問題與背景

• BUG無法重現(xiàn)

  線上偶發(fā)的數(shù)據(jù)類問題，時有時無，重現(xiàn)困難。

• 新版本擔(dān)憂

  新版本改動范圍大，擔(dān)心測試不充分，對原有功能有影響。

• 測試成本高

  測試用例設(shè)計，測試腳本創(chuàng)建、更新和管理等，都需要人力的持續(xù)投入。

需求與目標

• 數(shù)據(jù)源

  某個系統(tǒng)的海量交易日志，主要是請求與響應(yīng)日志報文

• 方法

  通過日志回放，模擬重現(xiàn)日志上的操作

• 目標

  根據(jù)場景要求不同，可以選擇某些日志進行回放，
  也可以使用全部日志進行回放。

大數(shù)據(jù)日志回放解決方案

• 

  一、數(shù)據(jù)清洗

  對日志報文進行清洗，并識別每一條日志所屬的用戶及日志發(fā)生的時間

• 

  二、日志回放

  使用生產(chǎn)日志進行回放。按用戶標識進行歸類，再排序后進行回放。

• 

  三、應(yīng)答結(jié)果對比

  包括對比應(yīng)答的標識位，對比詳細的參數(shù)

• 

  四、報表

  日志回放的結(jié)果，以報表的形式展現(xiàn)

TBCD 系統(tǒng)的結(jié)構(gòu)

• 本項目主要基于TBCD系統(tǒng)實現(xiàn)

• 展現(xiàn)層

  工作臺 統(tǒng)計報表 用例導(dǎo)出 參數(shù)閾值

  HTML5,D3,
  AngularJs

  業(yè)務(wù)層

  參數(shù)分析 流程用例 功能分析 日志回放 日志清洗

  數(shù)據(jù)字典 用戶管理

  SpringMVC,
  Spring,fast json等

  大數(shù)據(jù)層

  HBASE HIVE MapReduce HDFS

  MYSQL

  采用分布式架構(gòu)，
  可橫向擴展

日志回放示意圖

日志回放流程

• 

  日志清洗

  為每條日志標識用戶歸屬
  日志清洗也是其它功能操作的前提

• 

  按用戶分類

  使用用戶歸屬標識進行分類

• 

  每一個用戶類
  的日志排序

  歸類好的日志，在本用戶內(nèi)進行排序；不同用戶之間并發(fā)進行回放。

• 

  應(yīng)答對比

  每個日志回放到2個不同版本的測試環(huán)境，獲取2個版本的應(yīng)答進行對比。

• 

  報表中心

  統(tǒng)計回放的情況，報表展現(xiàn)。

產(chǎn)品價值

• 

  重現(xiàn)偶發(fā)性地生產(chǎn)問題

• 

  檢驗新版本潛在問題

• 

  不需要用例設(shè)計，測試成本低

• 

  覆蓋面廣