A/B 測試

出自維基百科,自由嘅百科全書
跳去導覽 跳去搵嘢
A-B testing example.png

A/B 測試英文A/B testing)係指比較兩種技術,通常係比較一種已有技術同一種新技術。喺最簡單嘅情況下,研究者會攞兩個技術試行,然後比較吓兩者(喺各指標上)嘅表現。

步驟[編輯]

做 A/B 測試嘅人係有兩種技術需要比較,佢要搵一啲指標評定一種技術點先算係「好」,喺檢驗咗兩種技術喺呢啲指標上嘅表現之後,作出相應嘅決策[1]。步驟如下[2]

  1. 講明要比較嘅係邊兩種技術;
  2. 決定用乜嘢指標評定技術嘅優劣;
  3. 決定要將幾多百分比嘅玩家用嚟測試新技術;
  4. 試行;
  5. 量度兩組玩家喺指標上嘅數值;
  6. 用個指標決定邊一種技術比較好。
例子

舉個例子說明:想像家陣有隻 PvP 嘅網上遊戲,製作組想做吓有關對局配對(matchmaking;指 PvP 遊戲當中將玩家分配落對局嘅過程)演算法實驗,於是[2]

  1. 佢哋試行兩隻唔同嘅對局配對演算法,叫呢兩個演算法做 A 同 B;
  2. 決定用玩家留存作指標;
  3. 決定將一半玩家用 A 做對局配對,另外一半就用 B 做對局配對;
  4. 試行一個月;
  5. 量度兩組玩家分別嘅玩家留存;
  6. 發現 A 演算法下玩家留存數值高啲(結果),於是就決定今後隻遊戲一律用演算法 A 做對局配對(基於結果嘅決策)。

[編輯]

  1. Kohavi, Ron; Longbotham, Roger (2017). "Online Controlled Experiments and A/B Tests". In Sammut, Claude; Webb, Geoff (eds.). Encyclopedia of Machine Learning and Data Mining. Springer.
  2. 2.0 2.1 A/B Testing – Overview. Game Analytics.