A/B 測試

A/B 測試係指比較兩種技術，通常係比較一種已有技術同一種新技術。喺最簡單嘅情況下，研究者會攞兩個技術試行，然後比較吓兩者喺各指標上嘅表現。呢種做法喺商業上頗為常用，當中技術可以係產品或者流動應用程式呀噉。

基本步驟

做 A/B 測試嘅人係有兩種技術需要比較，佢要搵一啲指標評定一種技術點先謂之「好」，喺檢驗咗兩種技術喺呢啲指標上嘅表現之後，作出相應嘅決策。步驟如下：

1. 講明要比較嘅係邊兩種技術；
2. 決定用乜嘢指標評定技術嘅優劣；
3. 決定要將幾多百分比嘅用家用嚟測試新技術；
4. 試行；
5. 量度兩組用家喺指標上嘅數值；
6. 用個指標決定邊一種技術比較好。

例子

舉個例子說明：想像家陣有隻 PvP 嘅網上遊戲，製作組想做吓有關對局配對（matchmaking；指 PvP 遊戲當中將玩家分配落對局嘅過程）演算法嘅實驗，於是

1. 佢哋試行兩隻唔同嘅對局配對演算法，叫呢兩個演算法做 A 同 B；
2. 決定用玩家留存作指標；
3. 決定將一半玩家用 A 做對局配對，另外一半就用 B 做對局配對；
4. 試行一個月；
5. 量度兩組玩家分別嘅玩家留存；
6. 發現 A 演算法下玩家留存數值高啲（結果），於是就決定今後隻遊戲一律用演算法 A 做對局配對（基於結果嘅決策）。

編程研究

例如喺學術性質嘅電腦科學上，會有人研究遊戲編程。而有關遊戲編程嘅學術研究會探討以下嘅問題：

• 邊啲演算法比較能夠改良用家體驗？例如：
  1. 研究者由人工智能文獻等嘅來源，得知有一種新嘅演算法，而呢種演算法係遊戲編程上甚少有人用，甚至係從來未有人用過嘅；
  2. 佢哋搵一啲指標用嚟量度玩家體驗，例子可以睇吓心流；
  3. 佢哋整一隻簡單嘅遊戲，再幫隻遊戲整兩個版本，一個版本用咗新嘅演算法，另一個版本唔用（A/B 測試）；
  4. 搵班受試者返嚟試玩，用指標量度喺兩個情況下，玩家體驗係點，睇吓用咗隻新嘅演算法係咪會改良玩家體驗。

數據分析

内文：比較平均值

睇埋

• 用家體驗
• 科學對照
• 行為科學