??????????????????????

   ?????????

    ?????????????????????????????web??????????????????????rpccall??server??server?????????????????????????client????client????????????????agent???????????????????????4????????2???????web?????????????client??agent????????????????????????????????????????????????????к?Э????????

    1???????????????

    ???????????????к?????????????????????????????????????κ??????????????????????????????????Ч???λ??????

    ????????ε???????????????????????????????ó????????????????????????????????????case????????????ó??????????????????????????

    ??????????????????????????????????????????????????????longhaultest????????????????????????????failover???????????recover????????????????????????????????м????????????????????

    2?????????

    ?????????????????????????mokey????????????????????????????e????????????????????????????????????????????????????????????

    a???????Σ????????????У????????????????????????feature???????UT?????????????????????о????????feature??refine????????feature???????????Ч?????case???飬??????Ч??????????????????????????????casefail????????????????????????????????feature?????svn???????????UT?????????????????Ч??Ρ?????????????????????????????????????λ???????????????????????????????????????????????????????????????????????????????????????д????????????дUT?????????????????????????????UT?????????????????UT?????????·????

    b???????Σ????????????У?????????2?????顣1????д???1????д???????????????????????????????????????????????????????????????????????衣???????????д????????????????????????????????????????д??client???????????д??client??agent?????????????????????????????????????÷??????????????????????￡?????????????????????????main???????????????????????????????

    ????????????ó???????????д?????mock??client?????mock??client?????????????client??????????????????????2?????????????????????????????????????????????????????????????????????????????????????????????????????????mock??client??????????????????????????????????????????????????mock??????????????????????????client???

    c???????????????????????????mock??????????????????????????????ж??mock???????mock????????ж??????????????????к?????????????????У?????????????????????????????????????????????????????????????????????????????α仯????????????????????????failover???????????????????????а?????

    d??????????к???????????????????????????????????????????????????????????????ó??????????????????????????????????????????????????????????????仯????????????????????????????????????????????????????????20?????????????????ok.

    e???????????????????????′?????????????????????з?????server??????????????????????????????????failover???????ν??failover?????????????serverdown???recover???????????????????????????????????????????????????????????????????????serverdown????????????????????task?????е?????м??????????server???????????Щ????task???????????????????????????????ù???????ù??????

    f??failover??????????????????????longhaul?????????????????????????????????????????????????????????????????????mock??client??????????????request???????????????Ч???????????????????????task???????????????

    g????review????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????mock??????????????????????н????????????????????????????????????????????????????????????????????????????????????????Щ?????????????????????????????????????????????Щ?????п?????????????п??????????????????????????????????????????????????????N*N*N??????????????????????????????????????????????????????з???????????????????????????????????????????????????????á?????????????????????????????????????????

    3???????????????????????????

    ???????????????????????????????????????????????????????????????????????

    ???????????????????????????????????????3????????????????????feature??????????????????????????????У?????????push???????????棬?????????????????

    ????????????????????????д?????????????????????1?????????????1?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????ü???feature???????????feature?????????????????????????????????????????????????????????????????????????????????????????