概率同統計學詞彙表

統計學上成日用嘅常態分佈（睇下面）畫出嚟會出鐘形線。

呢個表唔完整，歡迎加料。

以下係概率論同統計學上嘅主要詞彙一覽。

概率論（probability theory）係數學一個子領域，專門研究概率（又叫機會率）相關嘅問題：概率係一啲描述隨機過程嘅結果嘅數值，例如掟一個冇出千嘅銀仔，出公嘅概率係 50%，所以對於思考不確定性嚟講不可或缺。

統計學（statistics）就係專門研究點樣喺各個科學領域當中搜集、分析同呈現數據，而實證嘅科學方法本質上就帶有不確定性－理論上，淨係抽個樣本嚟睇嘅過程就必然會有「手上個樣本有幾大機會真係代表到個總體嘅實況」嘅問題，所以統計學嘅理論思考梗會用到概率論。

除此之外，噉亦即係話概率論同統計學本質上就係一啲可以攞嚟「喺有不確定性嘅情況下，按過去經驗預測未來」嘅工具，所以呢個表入面嗰啲詞彙同概念响研究「點樣教人工智能學習」嘅機械學習領域上都相當有用。

基本概率論

用一幅溫氏圖表示三件事件－$A$、$B$ 同 $C$－之間嘅機會率要點樣用數學符號表達。

機會率（probability），粵文入面又有叫概率或者或然率：大致上可以理解做「一件事件有幾可能會成真」，1 代表件事件實會發生，0 代表件事件絕對唔會發生；喺實際應用上，啲人一般會用以下噉嘅數學符號表示唔同事件嘅機會率：

• $P(A)$（或者 $\Pr(A)$）代表「$A$ 發生嘅機會率」，
• $P(A{\mbox{ and }}B)=P(A\cap B)$ 代表「$A$ 同 $B$ 都發生嘅機會率」（$A$ 同 $B$ 嘅交集；intersection），而
• $P(A{\mbox{ or }}B)=P(A\cup B)$ 就代表「$A$ 或者 $B$ 發生嘅機會率」（$A$ 同 $B$ 嘅併集；union），

... 呀噉。機會率係統計學同機械學習等領域上實要諗到嘅一個課題：呢啲領域都涉及研究者由一個總體（population）入面攞一個樣本（sample）出嚟，並且嘗試靠分析手上嘅樣本嚟增進自己對個總體嘅認識，但呢種做法本質上就有不確定性－難以保證個樣本實係代表到個總體；例如研究者想研究狼嘅體重，因為人力物力嘅限制，佢冇可能研究嗮古往今來所有嘅狼，所以佢就去搵 100 隻狼返嚟做研究，佢量度到呢個樣本嘅狼平均體重係 40 公斤，就最嚴格嘅邏輯基準嚟講，呢個數可能真係代表到全世界嘅狼，但又有可能全世界嘅狼嘅平均體重查實係 60 公斤，個研究者之所以搵到 40 公斤呢個數只係佢咁啱唔好彩抽到個代表唔到個總體嘅樣本－隨機性係統計學（以至科學方法）分析上走唔甩嘅一部份。

• 概率論（probability theory）：一套數學理論；專門研究機會率同相關概念，會以形式化（用各種數學符號）嘅方法將呢啲概念表達出嚟。
• 概率公理（probability axioms）：現代概率論當中嘅三條公理：
  • 第一公理：一件事件嘅概率係一個非負數嘅實數（不過可以係 0），

    $P(E)\in \mathbb {R} ,P(E)\geq 0\qquad \forall E\in F$，

  • 第二公理：「最少一件基本事件發生嘅概率」係 1，

    $P(\Omega )=1$

  • 第三公理：任何可數嘅事件不交集 $E_{1},E_{2},\ldots$ 會滿足以下呢條式：

    $P\left(\bigcup _{i=1}^{\infty }E_{i}\right)=\sum _{i=1}^{\infty }P(E_{i}).$

• 實驗（experiment）：概率論上講嘅「實驗」同一般科學上講嘅實驗係兩個唔同嘅概念；喺概率論上，一場實驗係指一段程序，而段程序有以下嘅特性：
  1. 有若干個具有清楚定義嘅可能結果（樣本空間；sample space）；
  2. 最少理論上可以重複無限咁多次；
  • 例如掟銀仔就係概率論上嘅一場實驗－正路嚟講，掟銀仔有兩個可能結果（公同字），理論上可以重複無限咁多次，而公同字呢兩個結果結合埋就形成呢場實驗嘅樣本空間。
  • 伯努利試驗（Bernoulli trial）：指有兩個可能結果嘅隨機性實驗，例如掟銀仔（一係出公一係出字）就係一場伯努利試驗。
  • 概率空間（probabilty space）：以下呢三樣嘢加埋嘅總體－
    1. 樣本空間、
    2. 啲事件（睇下面）、同埋
    3. 概率分佈（簡單講就係一個講明「每件可能事件發生嘅機率」嘅函數）
  • 實際數值（actual value / observed value）：指場概率實驗最後出嘅數值，例如家陣掟銀仔，有兩個可能結果（公同字），而掟完最後係出公，噉公就係「呢場掟銀子嘅結果」嘅實際數值。
• 隨機變數（random variable）：指一個數值會隨住某啲隨機性嘅現象而改變嘅變數。
• 隨機過程（stochastic process / random process）：簡單講就係有隨機性喺入面嘅過程；嚴格啲噉講，隨機過程係指一嚿以若干個隨機變數嚟定義嘅數學物體。可以睇吓馬可夫鏈。
  • 平穩過程（stationary process）：指場隨機過程嘅無條件概率分佈唔會隨時間改變，簡單講即係「啲可能結果分別嘅出現機率」唔會隨時間改變。
  • 隨機漫步（random walk）：指一條「路徑」描述一個隨機變數喺每「步」點樣變化；設 $t$ 做步數或者時間，$t$ 係個離散變數，而有個變數 $x$，無論 $t$ 係幾多，以下呢條式都會成立：

    $x_{t}=f(x_{t-1})$，例如係 $x_{t}=x_{t-1}\pm 1$

    • 如果將 $x$ 隨 $t$ 嘅變化畫做條線，打戙軸係 $x$，而打橫軸軸係 $t$，會出好似以下噉嘅圖：

  

• 期望值（expected value，$E(x)$）：指數據嘅每一個可能值各自噉同個可能值出現嘅機率乘埋，再將柞數加埋得出嘅總和，單位會同數據嘅相同；舉個具體例子，想像家陣個數據有 $n$ 個可能數值，而 $x_{i}$ 係指個數據嘅第 $i$ 個可能數值，噉 $E(x)$ 條式係：

  $E(x)=\sum _{i=1}^{n}{P(x_{i})x_{i}}$；有關呢啲數學符號嘅意思，可以睇吓加總。

  • 例如想像家陣掟銀仔，假設銀仔冇出千（出公同出字嘅機率一樣），出公會得到 10 分，出字 0 分，噉掟一次銀仔嘅分數嘅期望值會係

  $10\cdot {\frac {1}{2}}+0\cdot {\frac {1}{2}}=5$

  • 大數定律（law of large numbers，LLN）：依家有一串 iid 嘅隨機變數 $X_{k}$；只要 $|X_{k}|$（$X_{k}$ 嘅期望值）唔係無限大，噉 $X_{k}$ 實際觀察到嘅樣本平均值（${\overline {X}}_{n}$）

    ${\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}$

    • 會隨住 $n$ 變大而接近 $|X_{k}|$。進階嘅分析仲會分弱大數定律（weak－「趨近樣本平均值有咁上下概率會發生」）同強大數定律（strong－「趨近樣本平均值係一定會發生咁滯」）。

• 

  Y 軸：平均值；X 軸：$n$；
  藍線：理論上嘅平均值；
  綠線：實際擲到嘅平均值。

• 隨機變數匯合（convergence of random variable）：指隨機變數可以有嘅極限（limit）；如果話某一個隨機變數 $x$ 有一個極限，即係指（例如）隨住某個數值 $n$ 變得愈嚟愈大，$x$ 嘅數值會慢慢愈嚟愈近（匯合）某個數值（設呢個數值做 $c$，$c$ 係個函數嘅極限）－

  $\lim _{n\to \infty }x=c$

  • 例子可以睇吓大數定律講嘅嘢。
• 溫氏圖（Venn diagram）：一種成日俾人攞嚟表達概率嘅圖表；圖入面會有若干個波波，每個波波代表一件事件，而兩個波波之間嘅相交空間代表嗰兩個波波代表嗰兩件事件嘅交集 $P(A\cap B)$ 。

隨機事件

概率論上所講嘅事件（event）係指一個由若干個可能結果組成嘅集，掕住「呢件事件發生嘅機率」。

• 基本事件（elementary event）：淨係包含其中一個可能結果嘅事件。
• 對立事件（complementary event）：「$A$ 嘅對立事件」（$A'$ 或者 $A^{C}$）係指「$A$ 冇發生」呢件事件。

  $P(A')=1-P(A)$。

• 互補事件（collectively exhaustive events）：如果話「$A$ 同 $B$ 係互補事件」，即係話呢兩件事件當中必然有最少一件會發生－

  $P(A\cup B)=1$。

• 互斥事件（mutually exclusive events）：如果話「$A$ 同 $B$ 係互斥事件」，即係話兩件事冇可能同時發生－

  $P(A\cap B)=0$，

  $P(A\cup B)=P(A)+P(B)$。

• 非互斥事件（non-mutually exclusive events）：如果 $A$ 同 $B$ 係非互斥事件，即係話兩件事有可能同時發生－

  $P(A\cap B)>0$，

  $P(A\cup B)=P(A)+P(B)-P(A\cap B)$。

• 條件機會率（conditional probability）：指如果一件事件發生咗，另一件事件會發生嘅機會率；「$B$ 發生咗，$A$ 嘅條件機會率」係

  $P(A\mid B)$；

  • 呢個數值可以用以下呢條式計：

  $P(A\mid B)={\frac {P(A\cap B)}{P(B)}}$。

  • 如果 $A$ 同 $B$ 係互斥事件，

    $P(A\mid B)={\frac {P(A\cap B)}{P(B)}}={\frac {0}{P(B)}}=0$。

• 獨立（statistical independence）：如果話「$A$ 同 $B$ 呢兩件事件互相獨立」嘅話，意思即係兩件事唔會影響對方發生嘅機會率，

  $P(A\cap B)=P(A)P(B)$，所以

  $P(A\mid B)={\frac {P(A\cap B)}{P(B)}}={\frac {P(A)P(B)}{P(B)}}=P(A)$。

  • 呢條式表示，就算 $B$ 發生咗，$A$ 發生嘅機會率依然係 $P(A)$，反之亦然。
• 條件獨立（conditional independence）：指一件事件唔會影響第件事件嘅條件概率，即係話如果

  $P(A|B,C)=P(A|C)$，

  • 噉 $A$ 同 $B$ 就算係「喺 $C$ 之下條件獨立」（conditionally independent given C），$(A\perp \!\!\!\perp B|C)$。
• 概率連鎖法則（chain rule）：有兩件隨機事件 $A$ 同 $B$：

  $P(A\cap B)=P(B\mid A)\cdot P(A)$；

  • 而如果要考慮嘅事件（$A_{1},\ldots ,A_{n}$）有多過兩件：$\mathrm {P} (A_{n}\cap \ldots \cap A_{1})=\mathrm {P} (A_{n}|A_{n-1}\cap \ldots \cap A_{1})\cdot \mathrm {P} (A_{n-1}\cap \ldots \cap A_{1})$。
• 貝葉斯定理（Bayes' theorem）：指以下嘅定理：

  $P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}$。

概率分佈

概率分佈（probability distribution）係指一個表明某個變數每個可能數值出現嘅機會率嘅函數，

$\Pr(X=x)=f(x)$

當中 $f$ 就係個概率分佈；呢個函數可以畫做一個表，X 軸代表個目標變數嘅數值，Y 軸代表嗰個目標變數嘅每個數值出現嘅機率；是但搵個變數 $X$，$X$ 喺總體當中有一個概率分佈，表示 $X$ 每個可能數值 $x$ 出現嘅機率，呢個分佈喺實際上係不可知嘅，研究者淨係有得攞樣本，量度樣本當中嘅概率分佈（喺個樣本入面，$X$ 嘅每個可能數值出現嘅機率大約係幾多），靠噉嚟估計個總體嘅分佈。

喺廿一世紀統計學上，比較常用嘅概率分佈相關概念有以下呢啲：

• 離散概率分佈（discrete probability distribution）：指所描述嘅變數 $X$ 嘅可能數值係離散嘅概率分佈。
  • 概率質量函數（probability mass function，PMF）：描述一個離散概率分佈嘅函數；一個離散概率分佈嘅 PMF 會講明嗰個概率分佈嘅每一個離散可能數值出現嘅機會率：

    $\sum p_{X}(x_{i})=1$，啲可能性嘅機率冚唪唥加埋係 1；

    $p(x_{i})>0$，每個可能性嘅機率大過 0；

    $p(x)=0{\text{ for all other x}}$，啲可能性以外嘅數值出現嘅機會率係 0。

一個概率質量函數；$X$ 嘅可能數值得三個（1、3 同 7），每個數值都掕住咗個「出現嘅機率」，而呢啲機率加埋係 1。

• 連續概率分佈（continuous probability distribution）：指所描述嘅變數 $X$ 嘅可能數值係連續嘅。
  • 概率密度函數（probability density function，PDF）：描述一個連續概率分佈嘅函數；一個連續概率分佈嘅 PDF 會講明嗰個概率分佈嘅每一個可能數值出現嘅機會率大約係幾多，

    $\Pr(X=x)=f(x)$。

  • 常態分佈（normal distribution）：統計分析上最常用嘅概率分佈之一；喺常態分佈下，出現得最頻密嘅數值會係個平均數 $\mu$，而離平均數愈遠嘅數值就愈少會出現，畫做圖嘅話會出一條鐘形線（bell curve）；常見可以用常態分佈模擬嘅變數有人類嘅智商－多數人嘅智商數值都傾向於平均數，愈極端嘅數值愈少出現，即係話好少有智商極高或者極低嘅人。常態分佈個概率密度函數係（$\sigma$ 係個分佈嘅標準差）：

    $f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}$

常態分佈畫做圖嘅樣；x 軸代表目標變數嘅數值，y 軸代表目標變數嘅每個數值出現嘅機會率 $f(x)$。

• 頻率分佈（frequency distribution）：描述一個樣本入面每個可能數值出現咗幾多次嘅表。例：

身高間距	頻率	累計頻率
< 5.0 呎	25	25
5.0 - 5.5 呎	35	60
5.5 - 6.0 呎	20	80
6.0 - 6.5 呎	20	100

• 累計函數（cumulative distribution function）：描述一個概率分佈之下 $X$ 嘅累計值會點隨 $x$ 變化嘅函數 $c(x)$；$c(x_{0})$ 表示「由個樣本嗰度隨機抽一個個體，個個體嘅 $x$（叫呢個值做 $x_{d}$）細過或者等如 $x_{0}$」嘅機會率，

  $c(x_{0})=\Pr(x_{d}\leq x_{0})$

  • 無論連續定離散嘅概率分佈都可以有相應嘅累計函數。

$\mu$ 同 $\sigma$ 唔同嘅常態分佈嘅累計函數

• 對稱度（symmetry）：一個概率分佈可以有嘅一個屬性，攞個概率分佈當中嘅一個 $x$ 值，個分佈喺 $x$ 左邊嗰部份同個分佈喺 $x$ 右邊嗰部份形狀上愈相似，個概率分佈以 $x$ 為中心嘅對稱度就愈高；喺實際應用上，量度一個概率分佈嘅對稱度嗰陣會用嘅 $x$ 值通常會係個分佈嘅平均值。
  • 對稱概率分佈（symmetric probability distribution）：一個對稱概率分佈定義上係指符合下面呢條式嘅概率分佈，當中 $x_{m}$ 係個分佈上嘅一點：

    $f(x_{m}-\delta )=f(x_{m}+\delta )$ ${\text{for}}$ 所有實數 $\delta$

• 動差（moment）：泛指描述一個函數（例如概率分佈）嘅形狀嘅指標數值。
  • 偏度（skewness）：指個分佈有幾「歪埋一邊」；要評估一個分佈嘅偏度，一條可能嘅式如下：

    ${\tilde {\mu }}_{3}=\operatorname {E} \left[\left({\frac {X_{i}-\mu }{\sigma }}\right)^{3}\right]$；

    • 當中 $X$ 係第 $i$ 個個案嘅 $x$ 值，$\mu$ 係個分佈嘅平均值，而 $\sigma$ 係個分佈嘅標準差；呢個數值愈大，表示個分佈偏度愈高。
  • 峰度（kurtosis）：指個分佈有幾「扁」；要評估一個分佈嘅偏度，一條可能嘅式如下：

    $\operatorname {Kurt} [X]=\operatorname {E} \left[\left({\frac {X-\mu }{\sigma }}\right)^{4}\right]$；

    • 當中 $X$ 係第 $i$ 個個案嘅 $x$ 值，$\mu$ 係個分佈嘅平均值，而 $\sigma$ 係個分佈嘅標準差；呢個數值愈大，表示個分佈愈扁，（如果係常態分佈）比例上有愈多嘅個案處於極端值。

兩個有相當偏度嘅概率分佈

• 抽樣分佈（sampling distribution）：攞一個基於隨機抽樣嘅統計量，個統計量嘅概率分佈就係佢個抽樣分佈。
  • 標準誤差（standard error）：一個統計量嘅標準誤差係指佢抽樣分佈嘅標準差（SD）。
• 聯合概率分佈（joint probability distribution）：一個聯合概率分佈同時描述緊多過一個變數嘅分佈；一個兩變數聯合概率分佈會有打橫嘅 X 軸 Y 軸以及打戙嘅 Z 軸，總共三條軸，X 軸 Y 軸分別描述嗰兩個變數 $X$ 同 $Y$ 嘅數值，而 X 軸同 Y 軸成嘅平面當中每一點嘅高度（Z 值）反映咗「$X$ 係呢個數值而且同時 $Y$ 係呢個數值」嘅機會率。當變數有多過兩個嗰陣同一道理。

一個兩變數聯合概率分佈

• 獨立同分佈（independent and identically distributed，iid）：係概率論同統計學上嘅一個概念；如果話一柞隨機性變數（或者事件）係「獨立同分佈」嘅話，意思係佢哋嘅概率分佈完全一樣（每次抽嗰陣個結果嘅概率分佈一樣），而且彼此之間獨立（抽一次嘅結果唔會受打前抽到嘅數值影響）。
• 中央極限定理（central limit theorem，CLT）：概率論同統計學上最重要嘅定理之一；根據 CLT，想像有個變數 $x$，只要三條條件成立：
  1. 個總體喺 $x$ 上嘅變異數係有限，
  2. 每次抽樣都係獨立同分佈（iid）嘅，
  3. 而且個樣本夠大，
  • 如果呢三條條件成立，噉無論個總體喺 $x$ 上嘅概率分佈係點嘅樣，而家做抽樣，個樣本喺 $x$ 上嘅平均值嘅分佈會接近一個常態分佈。

• 

  唔同 $n$ 同 $p$ 值嘅二項分佈出嘅樣本平均值嘅分佈；
  綠線：理論上嘅常態分佈（用嚟做對照）；
  紅線：嗰個 $n$ 同 $p$ 值組合出嘅樣本平均值分佈。

收集數據

抽樣係由一個總體嗰度抽出一個樣本嘅過程；喺呢個個案入面，$n=4$。

收集數據（data collection）係做統計分析前必要嘅一個工序：用科學方法做研究係要由對現實嘅觀察當中歸納出一啲能夠描述現實嘅普遍法則；而要對現實作出有系統性嘅觀察，就一定要攞數據－即係用某啲符號（喺統計學上通常係數目字）記低現實世界嘅狀態。

• 總體（population）：指所有屬研究對象嘅個體；一份研究會嘗試搵出有關某啲研究對象嘅知識，會作出一啲描述呢啲對象嘅假說；
  • 例 1：研究假說係「狼嘅平均體重係咁多咁多」，研究對象係全世界嘅狼；
  • 例 2：研究假說係「人類可以記住一串 8 個位嘅數字平均記 4 個鐘頭」，研究對象係全世界嘅人類。
• 樣本（sample）：由總體抽出嚟、俾研究者攞嚟做量度嘅 $n$ 個個體（因為人力物力嘅限制，一份研究冇可能睇得嗮古往今來嘅所有研究對象）；
  • 例 1：由全世界嘅狼當中抽 100 隻嚟做研究，量度佢哋嘅體重，$n=100$；
  • 例 2：由全世界（過十億）人當中抽 80 個做研究，量度佢哋嘅記住串數字記到幾耐，$n=80$。
  • 樣本大細（sample size）：樣本嘅個體數量，通常以 $n$ 做符號代表；一般認為假設第啲因素不變，樣本最好就有咁大得咁大。喺現實應用上，因為人力物力限制，研究者往往冇辦法做到「樣本有咁大得咁大」，不過會起碼想啲樣本「有返咁上下大」，仲會有啲特定嘅式，用嚟計「樣本最少要係幾大」。
• 抽樣（sampling）：由總體抽出樣本嘅過程。
  • 代表性（representativeness）：指個樣本有幾代表到想研究嗰個總體，數學啲講係指個樣本喺研究緊嘅變數上嘅概率分佈有幾接近總體；例如家陣想研究嘅總體係「人類」，但個研究者貪方便淨係由大學生嗰度抽樣，搞到成個樣本得 19 至 26 歲嘅人類，代表唔到呢個年齡層以外嘅人類－樣本代表性不足。
  • 隨機抽樣（random sampling）：由總體嗰度隨機噉抽 $n$ 個個體做樣本。
  • 系統性抽樣（systematic sampling）：將總體入面嘅個案，按每個個案佢喺某個變數 $v$ 上嘅數值排序（由細到大定由大到細都得），然後再每 $k$ 個個體就將嗰個個體抽出嚟做樣本一部份；系統性抽樣能夠有效噉避免「抽出嚟個樣本喺變數 $v$ 上唔夠代表性」呢個問題。
  • 返去平均（reversion to the mean / regression to the mean）：想像家陣量度某個隨機變數若干次，如果其中一次度到個極端（極高或者極低）嘅數值，噉下一次量度嗰陣大機率會度到個比較近平均嘅數值。有唔少統計學工作者指，返去平均嘅現象喺唔少人對「點解手上個數值出咗變化」作出錯誤嘅判斷（睇埋歸返謬論）。
• 統計量（statistic）：指由數據嗰度做計算得出、用嚟做進一步分析嘅數值，例子有平均值。
  • 順序統計量（order statistic）：一個樣本嘅第 $k$ 級順序統計量係指個樣本入面第 $k$ 細嗰個數值。
  • 充分統計量（sufficient statistic）：統計量嘅一種。如果話一個統計量對於一個統計模型同個模型嗰啲參數嚟講係「充分」嘅，意思即係話「冇任何其他可以由個樣本嗰度計出嚟嘅統計量能夠為『啲參數嘅數值係乜』提供額外嘅資訊」，簡單講即係話嗰個統計量能夠獨力噉提供嗮有關個模型參數嘅數值嘅可能資訊。
• 缺失數據（missing data）：指因為數據搜集嘅過程當中，因為受訪者對問題嘅遺漏、拒絕回答、又或者係啲調查員犯嘅疏忽等原因，而造成數據當中有啲位冇相應嘅數值。基本上做親統計分析個數據集都梗會有啲缺失數據，而係做統計分析嘅過程當中，一件缺失咗嘅數據通常會用「99」或者類似嘅冇可能數值代表。
• 研究設計：
  • 受試間設計（between-subject design）：指份研究量度咗受試者喺柞變數上嘅數值，並且比較受試者之間喺變數上嘅差異。
  • 受試內設計（within-subject design），又有叫重複量數設計（repeated measures design）：指份研究量度咗每位受試者喺若干個時間點當中嘅變數數值；例：一路睇住班受試者嘅食量，每日睇一次，連睇 10 日，噉個數據集會每個受試者有 10 個數值，表示佢喺呢 10 日當中每一日嘅食量），等研究者可以分析一個變數點樣隨時間變化。
• 自變數（independent variable，IV）同應變數（dependent variable，DV）：兩個相關嘅概念；IV 指自己變緊（「自變」）嘅變數，而 DV 指隨住 IV 變而變嗰一個變數，IV 可以大致想像成「影響或者預測 DV 數值嗰個變數」。
• 控制變數（control variable）：如果話一個變數係一個控制變數，噉意思即係話研究者想睇個應變數獨立於呢個控制變數嘅效果。
• 操作化（operationalization）：指「定義要點樣量度一啲唔能夠直接量度得到嘅變數」嘅過程；例如係心理學研究成日都要應付一啲人腦入面嘅變數，呢啲變數好多時都難以直接量度，而個研究者要做嘅嘢包括定義好個變數，講明用某個直接量度得到嘅變數 $p$ 代表想量度嗰一個變數（$x$），以及佢點解認為 $p$ 代表到 $x$，上述嘅過程就係所謂嘅操作化。
• 時間序列（time series）：係指一列若干個數據數值，而呢列數值當中每一個都掕住一個數值，表示嗰一個數據數值「喺時間上係第幾個發生嘅數值」。

時間序列數據；X 軸代表時間，而 Y 軸就代表研究緊嗰個變數。

• 倖存偏見（survivorship bias）：指啲人搜集數據嗰陣，傾向淨係得到通過咗某啲甄選程序嘅個體，過唔到甄選程序嘅個體進入唔到數據集，因而引起數據偏向。例如喺二戰嗰時，有美軍嘅分析師試過研究戰機嘅裝甲，佢哋分析返空軍基地嘅戰機喺乜嘢部位俾敵人子彈打過（搜集數據），諗住俾敵人子彈打得多嘅部位就要加厚裝甲；結果發現，返到基地嘅戰機當中冇一架係駕駛艙俾敵人子彈打過嘅；噉唔係表示駕駛艙唔使加厚裝甲，而係因為駕駛艙俾敵人打中嘅戰機根本唔會返到基地－駕駛艙俾敵人打中嘅戰機過唔到「生還」呢個甄選程序，令最後得到嘅數據望落好似反映「冇戰機嘅駕駛艙畀敵人打中過」噉。

觀察研究

一個人填緊份問卷；問卷調查係俾人做心理測驗嘅常見方法。

觀察研究（observational study）係指由樣本嗰度攞啲描述自變數同應變數嘅數據，並且作出推論，而途中唔會特登嘗試作出任何嘅操作嚟影響啲變數嘅數值。呢類研究喺社會科學上成日用，因為社會科學研究嘅係人－好少可有得好似自然科學噉，能夠吓吓都攞自己啲研究對象入去實驗室裏面任意噉搞。

• 橫切面研究（cross-sectional study）：指研究者對個樣本喺 1 個時間點進行咗觀察。
• 縱向研究（longitudinal study）：指研究者對個樣本喺多過 1 個時間點進行咗觀察，而且會分析其中一啲變數隨時間嘅變化。
• 隊列研究（cohort study）：縱向研究嘅一種，指按某啲特性（性別同年紀等）搵一柞受試者返嚟觀察，然後喺打後一段時間（好多時斷年計）係噉觀察佢哋嘅變化；呢種做法喺醫學上成日俾人用嚟研究（例如）一隻病對患者有乜嘢長遠影響。
• 社會統計調查（survey methodology）：社科上常用嘅一種收集數據方法，通過搵一柞社會大眾返嚟做受試者，對佢哋作出系統性嘅提問，並且分析有關研究嘅數據，用嚟描述或者解釋社會現象。
  • 李卡特量表（Likert scale）：心理測量學上常用嘅一種社會統計調查方法，指每一條題目都成一句句子，而受試者要做嘅係睇每條題目，答自己有幾同意嗰句句子講嘅嘢；例：一個心理測驗量度一個人有幾外向，其中一條題目會係「我鍾意識新朋友」（一句句子，描述緊一樣同外向度有關嘅行為），而受試者要填一個 1 至 5 嘅數字，當中 1 分表示好唔同意呢句句子，5 分表示好同意。
• 自我報告研究（self-report study）：指靠人類受試者向研究者報告自己嘅行為嚟做嘅研究，通常係心理學同社科領域先會做嘅。例如一個社會學研究者想研究一個人每個禮拜花幾多時間上網會點影響佢嘅社交生活，佢要量度每個受試者「每個禮拜花幾多時間上網」，就靠問受試者估計自己平均每個禮拜花幾多時間上網。自我報告研究嘅效度受到唔少學者爭議。
• 民意調查（opinion pool）：指由專業人士搞，通過網絡、電話或者書面等嘅媒介嚟對一般大眾做調查，想知一般大眾對某啲政治、經濟同社會議題嘅意見同態度。
• 檔案研究（archival research）：指用檔案數據嚟做嘅研究；例如經濟學同第啲商學領域上嘅研究噉，就好興攞政府數據庫嗰度嘅數據嚟估計經濟指標數值，並且以呢啲經濟指標嚟做研究嘅自變數或者應變數。

實驗

實驗（experiment）泛指一啲做嚟目的係要驗證某啲假說嘅步驟。喺研究者做實驗嗰陣，佢要喺一個有返咁上下受控（controlled；指個研究者能夠量度同控制啲變數）嘅環境下做一啲操作（manipulation）。一個操作涉及個研究者特登控制某啲變數（自變數）嘅數值，再睇吓個操作會引致應變數有乜嘢變化，用意在於研究自變數同應變數嘅變化之間係咪有因果嘅關係－如果一份觀察性嘅研究，發現 $X$ 同 $Y$ 呢兩個變數之間有正相關，呢個發現有最少三個可能嘅解釋：

• $X$ 令 $Y$ 上升，
• $Y$ 令 $X$ 上升，或者
• $X$ 同 $Y$ 會受同一個因素 $Z$ 影響而上升，

但如果做咗場實驗，操控 $X$ 嘅數值（實驗操作；experimental manipulation）然後發現噉做令 $Y$ 數值上升，就更加確立「$X$ 令 $Y$ 上升」呢個可能性。

• 實驗設計（experimental design）：指設計一場實驗嘅過程；喺做實驗之前，研究者一般會寫計劃書向自己所屬嘅院校提議場實驗，會喺計劃書入面詳述場實驗嘅設計。
• 實驗組同對照組：
  • 實驗組（experimental group / treatment group）：指接受咗實驗操作嘅受試者。
  • 對照組（control group）：指冇受實驗操作嘅受試者，研究者會對比實驗組同對照組，睇吓兩組受試者係咪有分別；如果有，噉就表示個操作真係有效。
  • 舉個例說明，想像有個研究者，佢想研究一隻新藥（自變數）係咪能夠提升人嘅專注力（應變數），於是佢就搵咗若干個受試者返嚟，將佢哋分做兩組，實驗組俾佢哋試隻藥，而對照組就食一隻已知唔會影響專注力嘅藥，然後俾兩組受試者做一啲要求專注力嘅作業（假設有咗明確方法量度專注力），比較兩組喺專注力上嘅表現係咪有分別，如果有，就表示隻藥真係有效。
• 隨機化實驗（randomized experiment）：指隨機噉將受試者分做實驗組同對照組；假想家陣有個研究者想做實驗，佢搵咗柞受試者返嚟，跟手就要有方法決定邊個入實驗組邊個入對照組，而一般認為，最理想係完全隨機噉分。有關應用上要點樣做到呢樣嘢，可以睇吓隨機數產生（RNG）等嘅技術。
• 析因實驗（factorial experiment）：指有多過一個自變數受操控嘅實驗；例如家陣有個研究者想知 $A$ 同 $B$ 呢兩個實驗操作分別會造成乜嘢效果同埋彼此之間有冇調節效應（睇下面），於是就將受試者分做 4 組－$A$ 同 $B$ 都冇、有 $A$ 冇 $B$、冇 $A$ 有 $B$、同 $A$ 同 $B$ 都有，成一個 2 x 2 嘅析因實驗。
• 自然實驗（natural experiment）：指場實驗嘅操作係由研究者以外嘅力量所施加嘅，例如係一場經濟實驗，研究自然災難造成嘅經濟影響－場災難唔係由研究者施加嘅，但研究者可以透過比較受咗場災難嘅經濟體同冇受嗰場災難嘅經濟體（假設兩個經濟體除咗災難之外大致上相同）對比，嚟推斷場災難造成咗乜嘢影響。呢種實驗喺社會科學嗰度零舍常見。
• 准實驗（quasi-experiment）：指冇完全隨機噉將受試者分做實驗組同對照組嘅實驗。
• 臨床研究（clinical research）：指喺醫學同相關領域上試吓新嘅藥或者治療法嘅效用；呢種研究通常都會採取比較實驗組（食咗隻新藥或者用咗新嘅治療法）同對照組（食咗安慰劑）嘅實驗方法嚟做。
  • 臨床試驗（clinical trial）：一次臨床試驗係指一份臨床研究當中嘅其中一場實驗或者觀察。
  • 隨機對照試驗（randomized control trial）：指涉及隨機分組、有實驗組同對照組嘅臨床試驗。

量度

• 量度層次（level of measurement）：喺統計學入面對變數量度方法嘅一種分類法。喺做科學研究嗰陣時，科學家想做嘅嘢係要搵出變數同變數之間嘅關係，而要做呢樣嘢，佢哋好多時係首先要量度啲變數嘅數值，並且跟手做統計分析睇吓啲變數之間有乜嘢關係。量度層次嘅分類法係基於嗰個量度方法提供到幾多資訊嚟到劃分嘅，呢個分類法將量度方法分做四個級別：

層次	名	用得嘅邏輯同數學運算	例子	點計中間趨勢	點計離散趨勢	定性抑或 定量
1	名目 （nominal）	$=$、$\neq$	二元名目：性別（男、女）、真實性（真、假）、出席狀況（出席、缺席） 多元名目：語言（廣東話、普通話同英文等）...	眾數	冇	定性
2	次序 （ordinal）	$=$、$\neq$；$>$、$<$	多元次序：服務評等（傑出、好、欠佳）、教育程度（小學、初中、高中、學士、碩士同博士等）	眾數、中位數	分位數	定性
3	等距 （interval）	$=$、$\neq$；$>$、$<$ $+$、$-$	溫度、年份、緯度等	眾數、中位數、平均數	分位數、全距	定量
4	等比 （ratio）	$=$、$\neq$；$>$、$<$ $+$、$-$；$\times$、$\div$	價錢、年齡、身高、絕對溫度、絕大多數嘅物理量	眾數、中位數、平均數等	分位數、全距、標準差等	定量

• 連續變數（continuous variable）同離散變數（discrete variable）：一個連續變數嘅可能數值有無限咁多個，而離散變數得若干個可能數值；例：真相得兩個可能數值（真同假），但溫度嘅可能數值嘅數量原則上有無限咁多個，攝氏 100 度、攝氏 100.01 度、攝氏 100.0001 度... 等等。
  • 離散化（discretization）：指「將一個連續嘅變數或者函數變做離散」嘅過程；喺實際應用上，噉做嘅一個可能目的係因為手上嘅數據唔夠多，但要搜集大量數據又因為人力物力嘅限制而行唔通，所以分析之前將一個連續嘅變數變做離散（睇下面中位數分割），令分析變簡單啲。
  • 中位數分割（median split）：將一個連續變數變做一個離散變數嘅一種方法；攞一個連續變數 $x$，搵出 $x$ 嘅中位數 $x_{m}$，$x$ 數值 $<x_{m}$ 嘅個案冚唪唥設做「組 1」，而 $x$ 數值 $>x_{m}$ 嘅個案冚唪唥設做「組 2」－得出「屬組 1 定組 2」呢個離散變數，可以將一個原本係連續嘅變數做一啲離散變數先可以做嘅推論統計分析（例如係 ANOVA）。到咗 2020 年，中位數分割呢種做法廣受評擊，好多人都唔會接受呢種做法。
• 共同方法變異（common-method variance）：指因為量度方法（而唔係想量度嗰個變數）而起嘅變異數－想量度嘅變數會有一個（研究者想靠量度估計嘅）概率分佈，但實際量度到嘅數值嘅分佈可能同呢個真實分佈唔同，而呢個差異係因為量度架生嘅特性而起嘅；要檢驗一柞數據有冇共同方法變異嘅問題，最原始嘅做法係用哈曼測試（Harman's test）－即係用探索性因素分析（EFA；睇下面）嘗試由柞數據嗰度抽取一個因素出嚟，而如果呢個想像中嘅因素能夠解釋幾多嘅變異數。
• 時間解像度（temporal resolution）：指一個量度方法能夠睇到幾細時間差之間嘅變化。例如有兩個量度方法 A 同 B，A 能夠話到俾觀察者知一個變數喺 1 毫秒之間嘅變化，而 B 淨係講到俾觀察者知個變數喺 10 秒之間嘅變化，噉 A 嘅時間解像度比較高。
• 空間解像度（spatial resolution）：指一個量度方法能夠睇到幾細空間差之間嘅變化。例如有兩個量度方法 A 同 B，A 能夠話到俾觀察者知一個變數喺 1 厘米之間嘅變化，而 B 淨係講到俾觀察者知個變數喺 1 米之間嘅變化，噉 A 嘅空間解像度比較高。
• 天花板效應（ceiling effect）同地板效應（floor effect）：指想量度嗰啲數值高得滯（天花板效應）或者低得滯（地板效應），搞到件量度架生唔再俾到有用嘅資訊。
  • 舉個簡化嘅例子，想像家陣攞支日常嘅溫度計去量度太陽（塊表面超過 5,000 °C 咁熱）同天狼星（塊表面估計超過 9,000 °C 咁熱）嘅表面溫度，攞支日常溫度計去度太陽表面嘅話，條溫度計應該會變成氣體（假如條溫度計係用一般玻璃造－普通嘅玻璃沸點好多時得嗰 2,200 °C 左右），而攞支日常溫度計去度天狼星表面，條溫度計都係變氣體－噉即係話，雖然天狼星明顯熱過太陽，但條溫度計對太陽定對天狼星都係俾一樣嘅反應（變氣體）－做唔到分辨兩者（俾唔到有用嘅資訊）。
  • 呢種情況喺社科入面都見得到：想像家陣有 A 君同 B 君兩個人，兩個都喺智商測驗度攞滿分；但噉唔表示兩個一樣咁聰明－可能 A 君明顯聰明啲，但佢同 B 君嘅智能都係遠超份智商測驗度到嘅值；於是份智商測驗就唔再俾到有用嘅資訊－發生咗天花板效應。
  • 地板效應係天花板效應嘅相對，指想量度嗰啲嘢嘅值低得滯，搞到件量度架生俾唔到有用資訊（想像條溫度計最低淨係度到 -20 °C 嘅氣溫，條計就應該唔會有能力分辨一嚿 -100 °C 嘅物體同一嚿 -120 °C 嘅物體）。

信度同效度

信度（reliability）係常用嚟評估一個量度方法有幾好嘅指標，指對一個現象用嗰個方法進行重複觀察之後，係咪可以得到相同嘅數值；正路嚟講，如果一個量度方法係可信（reliable）嘅，噉無論何時何地何人用嗰個方法量度同一樣嘢，都理應會得到相同嘅數值。

• 評分者間信度（inter-rater reliability / inter-rater agreement）：用嚟評估一個量度有幾受做量度嘅人影響；例如有一個俾教育家用嚟評估細路學習進度嘅方法，但做完研究發現，五位教育家分別噉用同一個方法評估同一班細路，五個得到完全唔同嘅數值，噉呢個量度方法嘅評分者間信度就低。
  • 高氏 kappa（Cohen's kappa，$\kappa$）：可以用嚟評估評分者間信度嘅指標，條式係

    $\kappa \equiv {\frac {p_{o}-p_{e}}{1-p_{e}}}=1-{\frac {1-p_{o}}{1-p_{e}}}$

    • 當中 $p_{o}$ 係指有幾多 % 嘅個案係兩位評分者同意（評同一個分數），而 $p_{e}$ 指如果啲評分者隨機評，有幾多 % 嘅個案會係兩位評分者同意。高氏 kappa 最大可能數值係 1，數值愈近 1 愈表示評分者間信度高。
• 評分者內信度（intra-rater reliability）：用嚟評估一個量度有幾受做量度嘅人影響；例如有一個俾教育家用嚟評估細路學習進度嘅方法，但做完研究發現，由同一位研究員用同一個方法度同一個細路，假設段研究時間短（個細路嘅行為理應唔會有明顯變化），次次出嘅結果都唔同，噉呢個量度方法嘅評分者內信度就低。
• 重測試信度（test-retest reliability）：用嚟評估一個量度方法有幾受時間影響；例如有一個俾心理學家用嚟量度智商嘅測驗，做研究，搵班受試者返嚟做個測驗，得到一柞分數 ${\text{test}}_{t1}$，然後過咗一個月之後，搵返班受試者返嚟又做過，得到另一柞分數 ${\text{test}}_{t2}$；一般認為智商冇乜可能會喺一個月之內改變嘅，如果 ${\text{test}}_{t1}$ 同 ${\text{test}}_{t2}$ 差異好大，就表示呢個測驗嘅重測試信度低。
• 內部一致度（internal consistency）：指一個有多條題目嘅量度方法有幾「係量度緊同一樣嘢」；例如有一個智商測驗，有 50 條題目，理論上，呢啲題目冚唪唥都係量度緊智商，所以彼此之間理應喺得分上有返咁上下正相關，但研究發現，嗰 50 條題目當中有 5 條零舍係同其餘嗰啲題目有負相關，噉心理學家就好可能會要求攞走嗰 5 條題目（佢哋似乎唔係量度緊智商，所以唔應該擺喺一個智商測驗入面），變成一個 45 條題目嘅測驗。

效度（validity）係另一個常用嚟評估一個量度方法有幾好嘅指標，指個方法有幾量度到佢理應要量度嗰樣嘢；一個有效嘅量度方法真係量度緊研究者想佢量度嗰個變數；例如如果一個方法信度高、但效度低，就表示個量度方法能夠準確噉量度某個變數，但佢所量度嗰個變數並唔係研究者想佢量度嗰個。

• 建構效度（construct validity）：指一個概念嘅量度有幾合乎理論上嘅定義；例如理論上，智商測驗係量度智能嘅，而智能理論一般認為，智能包含一個個體解難嘅能力，所以一個智商測驗理應會考驗受試者嘅解難能力；建構效度嘅評估一般都係比較理論化嘅。
• 效標效度（criterion validity）：通常用嚟評估心理測驗嘅效度嘅一個指標，指個測驗嘅分數同俾人認為代表要量度嗰個變數有幾強相關；例如一個設計嚟量度一個人有幾外向嘅心理測驗，研究者搵咗班受試者返實驗室做個測驗，知道每位受試者嘅分數，然後喺實驗室入面觀察每位受試者有幾常主動同人講嘢或者互動（呢啲行為反映外向程度），再做一個相關嘅分析，睇吓測驗分數係咪真係同受試者做外向行為嘅次數有正相關。
• 分歧效度（discriminant validity）：指一個量度方法有幾「唔量度到理應唔啦更嘅變數」；例如一個智商測驗理應係量度緊智商，而唔係身高，如果一個一個智商測驗入面其中一條題目同個人嘅身高有正相關而且同身高嘅相關強過同其餘題目嘅相關，噉就似乎表示呢條題目量度身高多過量度智商，分歧效度低。
• 內容效度（content validity）：指一個量度方法有幾能夠涵蓋嗮佢要量度嗰樣嘢嘅各個方面；例如智能一般包括邏輯同語言等多種嘅認知能力，所以一個理想嘅智商測驗理應要量度嗮以上嘅各種認知能力。
• 聚合效度（convergent validity）：指一個量度方法有冇同一啲理論上同佢有相關嘅嘢有預期中嘅相關；例如智能理論上會同時影響一個人嘅邏輯能力同語言能力，所以邏輯能力同語言能力理論上應該會有返咁上下正相關。
• 表面效度（face validity）：指一個量度方法就噉望落有幾合乎佢理應要量度嘅嘢，通常話「一個量度方法有表面效度」喺正式科研上唔會俾人接受。

描述統計學

描述統計學（descriptive statistics）係指一啲量化噉描述一柞資訊嘅統計數值，包括咗：

集中趨勢

集中趨勢（central tendency）係指表示一個概率分佈「最中間嗰個數喺邊」嘅統計數值。

• 平均數（mean）：平均數（$A$）最常係指算術平均值（arithmetic mean），即係將啲個案嘅數值（$a_{i}$）冚唪唥加埋一齊，再除以個案數量（$n$）：

  $A={\frac {1}{n}}\sum _{i=1}^{n}a_{i}={\frac {a_{1}+a_{2}+\cdots +a_{n}}{n}}$

  • 幾何平均值（geometric mean，$G$）：指將嗰 $n$ 個案嘅數值乘埋一齊，再計個數嘅 $n$ 根式：

    $G=\left(\prod _{i=1}^{n}a_{i}\right)^{\frac {1}{n}}={\sqrt[{n}]{a_{1}a_{2}\cdots a_{n}}}$

  • 調和平均值（harmonic mean，$H$）：指以下嘅數值：

    $H={\frac {n}{{\frac {1}{x_{1}}}+{\frac {1}{x_{2}}}+\cdots +{\frac {1}{x_{n}}}}}={\frac {n}{\sum \limits _{i=1}^{n}{\frac {1}{x_{i}}}}}$

• 中位數（median）：將啲個案嘅數值（$a_{i}$）由細到大或者由大到細排好序，再攞最中間嗰個數，嗰個數就中位數；如果個案數量係雙數，令到有兩個數喺中間，就攞嗰兩個數嘅平均。

• 眾數（mode）：指出現得最多次嗰個數值，通常只會喺個變數係離散嘅嗰陣先會用。

離散程度

兩個大致跟常態分佈嘅概率分佈；紅色嗰個嘅變異數低啲。

離散程度（dispersion）係指描述一個概率分佈「有幾散」嘅統計數值。

• 變異數（variance，$\sigma _{Y}^{2}$）：以下嘅數值：

  $\sigma _{Y}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}$，

  • 當中 $n$ 係個案數量，$Y_{i}$ 係第 $i$ 個個案喺個變數上嘅值，而 ${\overline {Y}}$ 係個樣本嘅平均值－$\sigma _{Y}^{2}$ 反映咗啲個案平均距離平均值幾遠。
• 標準差（standard deviation，$\sigma _{Y}$）：變異數嘅開方。

  $\sigma _{Y}={\sqrt {\sigma _{Y}^{2}}}$

• 百分位數（percentile）：家吓將樣本入面嗰 $N$ 個數值由細至大排好，噉第 $n$ 個案嘅百分位數（$P$）就係指有幾多百分比嘅個案喺個變數數值上細過或者等如嗰個個案，即係

  $n=\left\lceil {\frac {P}{100}}\times N\right\rceil$

  • 四分位距（interquartile range，IQR）：指百分位數 75% 嘅個案嘅數值減百分位數 25% 嘅個案。
• 全距（range）：指樣本入面最大嘅 $Y_{i}$ 數值減最細嘅 $Y_{i}$ 數值。
• 變異系數（coefficient of variation，$c_{\rm {v}}$）：指用平均值除標準差得出嘅數。

  $c_{\rm {v}}={\frac {\sigma }{\mu }}$

• 離散指數（index of dispersion）：一個概率分佈嘅離散指數 $D$ 係指以下嘅數值：

  $D={\sigma ^{2} \over \mu }$；

  • 離散指數可以用嚟作為離散程度嘅一種標準化指標。
• 協方差矩陣（covariance matrix）：一種數據表達方法，用一個矩陣表達每對變數之間嘅協方差，例如下面嗰個矩陣就顯示 $X_{1}$ 同 $X_{2}$ 之間嘅協方差係 $6$，而對角線當中嘅係每個變數嘅變異數，例如下面嗰個矩陣就顯示 $X_{1}$ 嘅變異數係 $10$。

數據顯示嘅協方差矩陣

	$X_{1}$	$X_{2}$	$X_{3}$	$X_{4}$
$X_{1}$	$10$	$6$	$6$	$6$
$X_{2}$	$6$	$11$	$6$	$6$
$X_{3}$	$6$	$6$	$12$	$6$
$X_{4}$	$6$	$6$	$6$	$13$

統計圖

一幅箱形圖

統計圖（statistical graphics）係指將數據以視覺化嘅方法表達出嚟嘅做法，用途主要在於令啲數字易睇啲，例子有棒形圖。

• 箱形圖（box plot）：一幅箱形圖條 X 軸會一個離散嘅變數 $X$，Y 軸係一個連續嘅變數 $Y$；$X$ 嘅每個可能數值都會有一個四方形嘅「箱」，個箱會下面掕一條橫線上面掕一條橫線，個箱反映嘅嘢如下：
  • 個箱上面嗰條橫線反映最大嘅 $Y$ 值；
  • 個箱下面嗰條橫線反映最細嘅 $Y$ 值；
  • 個箱嘅上邊反映上四分位數（75th quartile），即係 $Y$ 值比較高嗰半橛嘅中位數；
  • 個箱嘅下邊反映下四分位數（25th quartile），即係 $Y$ 值比較低嗰半橛嘅中位數；
  • 個箱中間嗰條線反映所有個案夾埋中位數。
• 散佈圖（scatter plot / scatter diagram）：一種常用嘅統計圖，圖嘅兩條軸分別代表咗一個變數，圖上每一點代表一個個案，而每個個案都喺嗰兩個變數上有個數值，所以就形成一幅有大量點點嘅圖像，而每個點嘅位置反映佢喺變數上嘅數值。

一幅散佈圖

拉雜描述統計

• 標準分數（standard score）：攞個個案喺一個變數上嘅數值 $x$，個個案喺嗰個變數上嘅標準分數（$z$）係

  $z={x-\mu \over \sigma }$

  • 當中 $\mu$ 係拃個案喺個變數上嘅平均值，而 $\sigma$ 係佢哋個標準差。
• 結合數據（aggregate data）：指由將幾個個體嘅數據以某啲方式結合成嘅數據；例：有個經濟學家想研究一間公司嘅營業額同員工嘅工作表現有乜關係，佢一個可能嘅做法係，每間公司都搵若干個員工（個體），量度每個員工嘅工作表現（個體嘅數據；假設員工表現有方法量化），然後每間公司計個平均員工工作表現（以平均值嘅方式結合），再用統計分析睇吓每間公司嘅呢個數值同營業額之間有乜關係。
• 抽樣誤差（sampling error）：指因為抽樣造成嘅誤差－例如由一個有 10,00 個個體嘅總體嗰度是但抽 100 個個體出嚟，用呢 100 個個體嘅平均身高（$\mu _{s}$）估計個總體嘅平均身高（$\mu _{0}$），因為抽樣過程嘅隨機性，$\mu _{s}$ 同 $\mu _{0}$ 之間梗會有些少差異。
• 誤差積聚（accumulation of errors），又有叫不確定性傳播（propagation of uncertainty）：指一柞變數嘅不確定性（隨機性嘅誤差）影響到基於柞變數嘅函數嘅不確定性；想像一架太空船嘅燃料缸，太空船要監察住自己仲淨低幾多燃料，而廿世紀嘅太空船做法係知道燃料缸滿嗰陣容量係幾多，然後喺每次架船噴燃料嗰時估計問出咗幾多燃料，靠噉嚟計淨低幾多燃料，但噉做有問題－每一次嘅估計都會有個最大可能誤差 $e$，喺噴咗 $N$ 次燃料之後，得到嘅估計結果嘅誤差最大可以係成 $e\times N$ 咁多，即係話誤差會隨住做估計嘅次數「積聚」變到愈嚟愈大。
• 數數據（count data）：指數某件事發生咗幾多次嘅一種數據，數值只可以係正整數。
• 班佛定律（Benford's law），又有叫第一個位定律（first-digit law）：指一個喺現實世界數據當中觀察到嘅現象；如果話一柞有單一變數 $X$ 嘅數據跟從班佛定律（假設啲數值以十進制寫），意思係話喺嗰柞數據入面，會有大約 30% 嘅個案喺 $X$ 上嘅數值會係以 1 開頭，而數值嘅開頭數字愈大嘅個案數量就會愈細，得大約 5& 嘅個案喺 $X$ 上嘅數值會係以 9 開頭（下圖）。實證嘅研究表明，呢種現象喺地址、股票價格同人口數字等多種嘅自然（唔係由人用電腦隨機產生）統計數字當中都可以見得到。

一個跟從班佛定律嘅數據集；X 軸係 1 至 9，而 Y 軸係（如果啲數據以十進制嘅數字表示）「喺數值上以嗰個數做開頭嘅個案嘅數量」。

推論統計學

推論統計學（inferential statistics）技術性噉講係指做數據分析，推論數據背後反映嘅概率分佈嘅過程。呢啲分析通常係由數據嘅個案嘅值嗰度計一啲指標出嚟，用呢啲指標評估（例如）某兩個變數之間係咪真係有關，或者個自變數係咪真係能夠對個應變數產生影響，甚至估計一個數學模型出嚟描述所研究嘅現象。廿一世紀嘅統計學上有好多種推論統計分析法，每種能夠處理嘅數據類型都唔同。數據科學等領域嘅專家一定要對呢啲唔同嘅分析法有所認識，知乜嘢時候應該用邊種分析法。

假說檢定

假說檢定（hypothesis testing）係指喺推論統計學當中驗證一個假說係咪真嘅過程。一個做假說檢定嘅研究者所做嘅工序如下：

1. 睇過有關佢所研究嗰樣嘢嘅文獻，
2. 建基於已有嘅知識，作出一啲有關嗰樣嘢嘅新假說－「我睇過打前嘅研究，我認為有咗已知嘅嘢，我可以作出以下嘅判斷，而『驗證呢個判斷係咪正確』能夠帶嚟新知識」，
3. 諗出一個驗證呢假說嘅程序，
4. 用呢個程序攞數據，
5. 對數據作出分析，
6. 用分析結果判斷個假說係咪真確。

• 假說（hypothesis）：喺科學上係指一個仲未搵到證據支撐，但研究者有理由認為係真確嘅論述。
• 虛無假說（null hypothesis；符號：$H_{0}$）同備擇假說（alternative hypothesis；符號：$H_{1}$）：虛無假說係做一份研究嗰陣嘅預設立場，指「兩個量度嘅變數之間冇關係」呢句嘢，$\mu _{1}=\mu _{2}$，而備擇假說係做一份研究嗰陣嘗試驗證嘅立場，指「兩個量度嘅變數之間有關係」呢句嘢，$\mu _{1}\neq \mu _{2}$。
  • 舉個例說明，假想有個認知科學家想驗證「年紀」同「記憶力」呢兩個變數之間嘅關係，於是佢就搵咗兩批人返嚟做佢嘅樣本，第一批人年紀喺 20 至 30 歲之間，第二批人年紀喺 50 至 60 歲之間，再用一啲測試量度呢兩批人嘅記憶力，設第一批人喺記憶力測試上嘅平均得分係 $\mu _{1}$，而第二批人喺同一柞測試上嘅平均得分係 $\mu _{2}$，噉呢份研究嘅 $H_{0}$ 係 $\mu _{1}=\mu _{2}$，$H_{1}$ 係 $\mu _{1}\neq \mu _{2}$，當中後者係個認知科學家想證實嘅嘢。
• 單側同雙側檢定（one- and two-tailed tests）：單側檢定（one-tailed test）指個備擇假說講明咗 $\mu _{2}$ 處於 $\mu _{1}$ 邊一面，即係 $\mu _{1}>\mu _{2}$ 或者 $\mu _{1}<\mu _{2}$，而雙側檢定（two-tailed tests）指個備擇假說冇講明 $\mu _{2}$ 處於 $\mu _{1}$ 邊一面，即係單純嘅 $\mu _{1}\neq \mu _{2}$ 。
• 喺做假說檢定嗰陣，一般會將可能會出現嘅錯誤分兩種：
  • 第一型錯誤（Type I Error）指錯誤噉否定咗 $H_{0}$，得出咗個「假陽性」（false positive）結果－兩個變數查實冇啦掕，但研究者搵到咗一個陽性結果出嚟。
  • 第二型錯誤（Type II Error）指 $H_{0}$ 其實係錯，但就冇俾人成功噉否定到，得出咗個「假陰性」（false negative）－兩個變數實際上有關但就搵到個陰性結果。
• 統計顯著性（statistical significance）：係做假說檢定嗰陣得到嘅一個數值；統計顯著性嘅數學符號係 $p$，表示「如果虛無假說係真，呢個結果出現嘅機會率」，

  $p=\Pr {\big (}{\text{have this result}}\mid H_{0}{\text{ is true}}{\big )}$

  例如如果 $p$ 值係 0.05，表示「如果虛無假說係真，呢個結果出現嘅機會率得嗰 5%」－因為呢個緣故，研究者有理由相信虛無假說好有可能唔係真，而主張備擇假說（通常係佢想得到嗰個結果）比較有可能會係真，個研究者可以拒絕個虛無假說（reject the null hypothesis）。

• 統計功效（statistical power）：一個假說檢定過程會有嘅一個屬性；指「如果 $H_{1}$ 係真確，個測試過程會成功拒絕到 $H_{0}$」嘅機會率。

  ${\text{power}}=\Pr {\big (}{\text{reject }}H_{0}\mid H_{1}{\text{ is true}}{\big )}$

• 點定區間估計：
  • 點估計（point estimation）：指用樣本嘅數據嚟計出一個數值，作為一個「估計嘅數值」；例如做統計嘅人家陣嘗試靠住樣本嘅變數 $x$ 數據嚟估計出總體個 $x$ 嘅平均值最大機會會係幾多，如果畫做圖嘅畫，個估計值會係條軸上面嘅一點。
  • 預測區間（prediction interval）：指按統計模型作出嘅一個有關「跟住落嚟呢個觀察值嘅數值會喺幾多同幾多之間」嘅預測，會掕個機率數值表示嗰個預測有幾大機會成真。
  • 區間估計（interval estimation）：指用樣本嘅數據嚟計出一個數值間距，作為一個「估計個數值喺邊點同邊點之間」；例如做統計嘅人家陣嘗試靠住樣本嘅變數 $x$ 數據嚟估計出總體個 $x$ 嘅平均值喺幾多同幾多之間，如果畫做圖嘅畫，個估計值會係條軸上面嘅一個間距。
    • 信心區間（confidence interval，CI）：係指「有信心總體個真實數值係喺入面嘅區間」，喺做統計嗰時會俾人攞嚟表述個樣本嘅數值同個總體嘅真實數值之間估計差幾遠。
• 因果（causality / causation）：兩個變數之間可能有嘅一種關係；如果話 $x$ 係因而 $y$ 係果，意思即係話 $x$ 引致 $y$－「因果」一詞嘅具體定義喺廿一世紀初嘅哲學同邏輯學上查實仲係一條好有爭議性嘅問題。以廿一世紀初嘅基準嚟講，如果要檢定一啲帶有因果性質嘅假說（例如「食煙會引致患肺癌嘅機率提高」係一條醫學有可能會研究嘅因果假說），通常份研究要滿足以下呢啲條件：
  • 份研究涉及實驗操作：研究者要操控 $x$（因），睇吓 $y$（果）係咪會跟住改變；如果會，先至確立到因果關係。
  • 份研究要顯示 $y$ 嘅變化响時間上發生喺 $x$ 嘅操作之後，先至會確立到因果關係。
  • 一般認為，齋靠統計相關係確立唔到因果關係嘅（睇相關唔蘊含因果）。
  • 格蘭傑因果關係（Granger causality）：靠兩個變數嘅時間序列嚟評估嗰兩個變數之間「有冇因果關係」嘅一種假說檢定方式；最簡單噉講，喺格蘭傑因果關係之下，攞一個因變數 $x$ 嘅時間序列同一個果變數 $y$ 嘅時間序列，並且揀一個時間間隔 $\Delta t$，如果喺每個時間點 $t$ 嘅 $x$ 數值傾向能夠預測 $(t+\Delta t)$ 咁耐之後嘅 $y$ 數值嘅話，噉 $x$ 就可以算係 $y$ 嘅「因」。呢種分析方法源自經濟學（經濟學成日都會應付一個個經濟指標數值嘅時間序列），而且喺現代嘅各社會科學當中相當常用，不過「到底呢個測試能唔能夠真係表明因果」係一條幾受爭議嘅課題。

打橫條軸表示時間。$X$（上面條線）喺一個時間點嘅數值能唔能夠預測（紅色箭咀）$Y$（下面條線）喺若干時間後嘅數值呢？

• 多重比較問題（multiple comparisons problem）：指一位研究者同時考慮多場統計推論嘅結果嗰時會搞到出錯嘅機率提升；例如家陣位研究者做咗 5 場 t 測試，噉「啲測試當中最少一場出咗錯」嘅機率實會高過淨係做 1 場 t 測試嗰陣嘅。統計學界有好多種方法應付多重比較問題，簡單例子有「做嘅測試數量愈多，就要對統計顯著性有愈嚴格嘅基準」。
  • 邦佛朗尼校正（Bonferroni correction）：最簡單（同時亦係最保守）嗰種多重比較問題應對方法，將對統計顯著性嘅要求變得嚴格啲；設 $\alpha$ 做一次比較嗰陣對統計顯著性嘅要求，$m$ 做比較嘅次數，邦佛朗尼校正係將對統計顯著性嘅要求設做－

    $p_{i}\leq {\frac {\alpha }{m}}$

統計相關

相關（correlation）呢個詞喺統計學上嘅定義如下：如果話 $x$ 同 $y$ 呢兩個變數成正相關（positive correlation），即係話 $x$ 數值高嗰陣 $y$ 數值都傾向高，而 $x$ 數值低嗰陣 $y$ 數值都傾向低；如果話 $x$ 同 $y$ 呢兩個變數成負相關（negative correlation），即係話 $x$ 數值高嗰陣 $y$ 數值傾向低，而 $x$ 數值低嗰陣 $y$ 數值就會傾向高；而如果話 $x$ 同 $y$ 呢兩個變數冇明顯相關（not correlated），即係話 $x$ 嘅數值唔會點預測得到 $y$ 嘅數值。

• 皮亞遜積差相關係數（Pearson correlation coefficient）：係常用嚟衡量兩個變數之間嘅相關嘅一個數值，條式如下：

  $\rho _{X,Y}=\operatorname {corr} (X,Y)={\operatorname {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={\operatorname {E} [(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}}$，當中

  • $\rho _{X,Y}$ 係 $x$ 同 $y$ 呢兩個變數之間嘅皮亞遜積差相關係數；
  • $X$ 係第 $i$ 個個案嘅 $x$ 數值；
  • $Y$ 係第 $i$ 個個案嘅 $y$ 數值；
  • $\mu _{X}$ 係啲個案喺 $x$ 上嘅平均值；
  • $\mu _{Y}$ 係啲個案喺 $y$ 上嘅平均值；
  • $\sigma _{X}$ 係啲個案喺 $x$ 上嘅標準差；
  • $\sigma _{Y}$ 係啲個案喺 $y$ 上嘅標準差。
  • 皮亞遜積差相關係數俾嘅資訊只係「兩個變數大致上嘅相關」，但就算兩個變數之間嘅皮亞遜積差相關係數係 0，都唔等如兩個變數之間真係冇關，好似係以下嘅一柞圖噉，每幅圖上面嗰個數表示皮亞遜積差相關係數，每一點表示一個個案，X 軸係變數 $x$，Y 軸係變數 $y$；由圖中可見，有好多有趣嘅關係都會俾出數值係 0 嘅皮亞遜積差相關係數。
• 協方差（covariance）：皮亞遜積差相關係數條式個分子，即係：

  $\operatorname {cov} (X,Y)=\operatorname {E} {{\big [}(X-\operatorname {E} [X])(Y-\operatorname {E} [Y]){\big ]}}$；

• 相關唔蘊含因果（correlation does not imply causation）：統計學上嘅一條重要原則，指緊就算兩個變數之間有相關，都唔表示兩個變數之間有因果關係；假想而家有兩個變數 $X$ 同 $Y$ 之間有勁嘅相關（皮亞遜積差相關係數數值大），噉可以表示三個可能性－
  1. $X$ 引致 $Y$；
  2. $Y$ 引致 $X$；
  3. $X$ 同 $Y$ 有同一個原因。
  • 有唔少統計學嘅學生都以為兩個變數之間有相關表示咗兩者有因果關係，但呢個係一個錯誤嘅諗法，所以統計學界就有咗句噉嘅說話用嚟提醒學生要小心。
• 局部相關（partial correlation）：指喺第個或者第啲變數嘅影響冇咗嘅情況下，兩個變數之間嘅相關；想像有兩個變數 $X$ 同 $Y$，有 $n$ 個混淆變數（睇下面）$Z={Z_{1},Z_{2},..Z_{n}}$，$X$ 同 $Y$ 之間「喺 $Z$ 嘅影響受控制冇咗嗰陣」嘅局部相關 $\rho _{XY\cdot Z}$ 會係 $e_{X}$ 同 $e_{Y}$ 之間嘅相關，當中 $e_{X}$ 係指做線性迴歸分析用 $Z$ 預測 $X$ 嗰陣嘅誤差，$e_{Y}$ 同一道理。
• 組內相關（intraclass correlation，ICC）：用嚟衡量每一組有幾「內部一致」嘅基準；想像有個數據，有若干個個案，而呢柞個案可以分做若干組，如果柞數據反映組內相關高，就表示同一組嘅個案嘅數值傾向彼此之間接近；要計組內相關可以有幾條唔同嘅式用。

每個藍點係一個個案，每個個案有個 $y$ 值，而 X 軸表示個個案屬邊組；左圖係 ICC 高（0.91）嘅情況，而右圖係 ICC 低（-0.07）嘅情況。

• 等級相關（rank correlation）：指要同佢哋計相關值嗰兩個變數係「等級」，即係每個個案喺嗰兩個變數上有「第一高」、「第二高」同「第三高」等嘅數值。
  • 斯皮亞曼等級相關係數（Spearman's rank correlation coefficient，$r_{s}$）：等級相關嘅一種計法，指兩個變數分別嘅等級之間嘅皮亞遜積差相關係數，即係：

    $r_{s}=\rho _{\operatorname {rg} _{X},\operatorname {rg} _{Y}}={\frac {\operatorname {cov} (\operatorname {rg} _{X},\operatorname {rg} _{Y})}{\sigma _{\operatorname {rg} _{X}}\sigma _{\operatorname {rg} _{Y}}}},$，當中

    • $X_{i},Y_{i}$ 係考慮緊嗰兩個變數，而 $\operatorname {rg} _{X_{i}},\operatorname {rg} _{Y_{i}}$ 係啲個案喺 $X_{i},Y_{i}$ 上嘅等級（第一、第二... 等等）。
  • Τ 等級相關係數（τ rank correlation coefficient，$\tau$）：設 $(x_{1},y_{1}),...,(x_{n},y_{n})$ 做一柞個案，每個個案都喺 $X_{i},Y_{i}$ 呢兩個變數上有個數值，是但搵兩個個案 $(x_{i},y_{i})$ 同 $(x_{j},y_{j})$ 嚟睇，佢哋可以係一致（concordant），即係 $(x_{i}>x_{j})\land (y_{i}>y_{j})$ 或者 $(x_{i}<x_{j})\land (y_{i}<y_{j})$，否則佢哋就算係唔一致（discordant），而 $\tau$ 嘅計法如下：

    $\tau ={\frac {({\text{number of concordant pairs}})-({\text{number of discordant pairs}})}{n \choose 2}}$

• 自相關（autocorrelation）：一個隨機過程嘅自相關係指嗰個過程喺唔同時間點嘅數值之間嘅皮亞遜積差相關係數；設 $\left\{X_{t}\right\}$ 做一個有隨機性嘅過程，$t$ 設做是但一個時間點，而家將 $\left\{X_{t}\right\}$ 呢個過程行若干次，$X_{t}$ 代表個過程喺時間點 $t$ 俾出嘅數值，噉呢個過程時間點 $t_{1}$ 同時間點 $t_{2}$ 之間嘅自相關 $\operatorname {R} _{XX}(t_{1},t_{2})$ 定義上係 $X_{t_{1}}$ 同 $X_{t_{2}}$ 之間嘅皮亞遜積差相關係數；自相關喺訊號處理上常用，可以用嚟量度一段訊號有幾接近完全隨機。
• 交叉相關（cross-correlation）：睇喺每個時間點兩段時間序列 $f$ 同 $g$ 之間嘅統計相關，即係話交叉相關會反映 $f(t)$（時間點 $t$ 嘅 $f$ 值）同 $g(t)$（時間點 $t$ 嘅 $g$ 值）之間嘅相關，又或者係揀個延遲值 $\tau$，睇吓交叉相關反映 $f(t)$ 同 $g(t+\tau )$ 之間嘅相關。
• 正交（orthogonal）：喺統計學上，如果話兩個 IV「正交」，意思即係話呢兩個 IV 之間冇統計相關。睇埋多重共線性。

比較平均值

泛指「將手上嘅個案分做若干組，再比較唔同組之間喺個變數上嘅平均值」嘅推論統計學分析方法，多數都會假設每組喺個變數上呈常態分佈。

• 學生 t 測試（Student's t-test），簡稱 t 測試（t-test）：成日用嘅統計分析方法之一，用嚟分析兩個組（通常係實驗組同對照組）之間喺某個指定變數嘅數值上係咪有顯著嘅差異。t 測試涉及以下嘅方程式，比較兩組喺個變數上嘅平均值：

  $t={\frac {{\bar {X}}_{1}-{\bar {X}}_{2}}{s_{p}{\sqrt {2/n}}}}$

  • 當中 $n$ 係成個樣本嘅大細， ${\bar {X}}_{1}$ 同 ${\bar {X}}_{2}$ 就係兩個組分別喺個變數上嘅平均值（mean），$s_{p}$ 係兩個組嘅標準差（t 測試假設咗兩個組嘅標準差相等），最後計到一個 $t$ 值出嚟。如果 $t$ 值好大，噉就表示咗「兩個組之間嘅差異」大過「組嘅內部差異」好多，噉亦都表示咗「個實驗嘅操作造成嘅差異」大過「隨機性嘅個體差異」－$t$ 值愈大愈係表示兩個組之間嘅差異係因為組嘅存在而造成嘅。計到個 $t$ 值之後，仲有啲方法可以跟手計埋個顯著性嘅值出嚟。
  • 獨立樣本 t 測試（independent samples t-test）：指做 t 測試比較嗰兩個組係獨立同分佈嘅，例如做個心理學實驗，用隨機抽樣方法隨機噉抽咗 $n$ 個受試者返嚟，再用隨機方法將佢哋分落實驗組同對照組（即係每位受試者有 50% 機率入實驗組、50% 機率入對照組）。
  • 配對樣本 t 測試（paired samples t-test / repeated-measure t-test）：指做 t 測試嗰兩個組唔係獨立同分佈嘅，研究者做咗某啲嘢，令一組數值當中每一個都喺另外嗰組當中有個對應，例如做個心理學實驗，研究者想知個實驗操作會引致變數 $X$ 有乜變化，於是就喺實驗前量度 $X$ 一次，跟住對受試者做實驗操作，然後喺實驗後又量度 $X$ 一次（睇返重複量數設計）。喺呢個情況下，每位受試者都有個
    • 「實驗前嘅 $X$ 值」（$X_{\text{pre}}$）同
    • 「實驗後嘅 $X$ 值」（$X_{\text{post}}$），
    • 研究者想比較兩組數值（總共有 $n$ 個數值，而受試者數量係 $n/2$），但兩組數值唔係獨立同分佈嘅－每個 $X_{\text{pre}}$ 值都有一個相應嘅 $X_{\text{post}}$ 值（一位受試者嘅 $X_{\text{pre}}$ 值同佢嘅 $X_{\text{post}}$ 值）。喺配對樣本 t 測試當中，兩組數值理論上會互相影響－每一個 $X_{\text{post}}$ 理論上都會係相應嘅 $X_{\text{pre}}$ 嘅函數（$X_{\text{post}}=f(X_{\text{pre}})$），所以同獨立樣本 t 測試比起嚟，配對樣本 t 測試嘅統計自由度（$df$；睇下面）會明顯低啲：

      $df={\frac {n}{2}}-1$

實驗組同對照組喺個變數上各有個概率分佈（紅色線同藍色線）；上圖顯示兩組差異細－組之間嘅差異（由 ${\bar {X}}_{1}-{\bar {X}}_{2}$ 反映）同組內部差異（由 $s_{p}$ 反映）比起嚟好細，而下圖顯示兩組差異大。組嘅數量係三或者以上（ANOVA）嗰陣可以用同樣方法想像。

• 變異數分析（analysis of variance，ANOVA）：一系列用嚟分析唔同組嘅平均值嘅方法；假想家陣個研究者想比較三組喺變數 $x$ 嘅平均值上嘅差異，如果三組之間有顯著嘅差異，噉組之間嘅 $x$ 嘅變異數應該會大過組內部嘅好多。最簡單嘅單因子變異數分析（one-way ANOVA）分析一個應變數喺三個或者以上嘅組之間嘅差異（「組」就係自變數），考慮以下嘅數值：

  $F={\frac {\text{variance between groups}}{\text{variance within groups}}}$

  • 原則上，$F$ 數值愈大，研究者就愈有理由相信組之間有顯著嘅差異。
  • 重複量數變異數分析（repeated-measure ANOVA，rANOVA）：即係唔同組係同一班受試者喺唔同時間點嘅數值嗰陣用嘅 ANOVA；想像一個用重複量數設計嘅實驗，喺 $n$ 個時間點分別噉量度班受試者喺變數 $X$ 上嘅值，如果 $n=2$，研究者可以用配對樣本 t 測試（睇上面），而如果 $n>2$，噉研究者就要用 rANOVA－比較 $n$ 組（$n>2$）數值之間喺 $X$ 上嘅平均值嘅差異，而呢 $n$ 組唔係各有一班受試者，而係同一班受試者喺唔同時間點嘅 $X$ 值。
  • 雙因子變異數分析（two-way ANOVA）：指有兩個自變數嘅 ANOVA，可以用嚟睇嗰兩個自變數之間嘅調節效應（睇下面）。
  • 多變量變異數分析（multivariate analysis of variance，MANOVA）：ANOVA 嘅一個變種，用嚟分析多過一個應變數；簡單講嘅話，MANOVA 做嘅嘢就係比較唔同組嘅平均值向量－喺一般嘅 ANOVA 當中，每組得一個數值（個應變數嘅平均值），而 MANOVA 要考慮多過一個應變數，所以做法就變成每組有一個向量 $[x_{1},x_{2},...x_{n}]$，即係 $n$ 個應變數（假設每個應變數都最少去到等距層次）。
  • 協方差分析（analysis of covariance，ANCOVA）：係一種結合 ANOVA 同迴歸分析嘅一般線性模型；評估一個應變數嘅平均值係咪受一個離散嘅自變數（例如「組」）影響（一般 ANOVA 做得到嘅嘢）之餘，仲會控制住若干個連續變數（簡單講就係睇到個應變數獨立於呢啲控制變數嘅效果）。大致上噉講，ANCOVA 做嘅就係假設柞控制變數同應變數成線性關係，做迴歸分析用柞控制變數預測應變數，然後再用迴歸分析得到嘅誤差（柞控制變數預測唔到嘅變化）嚟做應變數行 ANOVA 。
• 等分散性（homoscedasticity）：比較平均值方法成日會作嘅假設；如果話一柞隨機變數（例如係「各組喺變數 $X$ 上嘅數值」）具有等分散性，表示佢哋冚唪唥都具有相同嘅有限變異數。比較平均值方法通常會假設各組喺變數 $X$ 上嘅數值嘅變異數一樣。
• 異分散性（heteroscedasticity）：等分散性嘅相反，指嗰柞隨機變數當中有最少一個喺變異數上同其他嗰啲唔同。
• Z 測試（Z-test）：都係比較樣本之間嘅平均值有咩差異，不過唔似得 t 測試噉條式會考慮埋樣本大細：

  $Z={\frac {({\bar {X}}-\mu _{0})}{s}}$

  • 當中 $Z$ 值愈大就愈表示樣本之間嘅差異愈明顯。
• F 測試（F-test）：泛指要測試嗰個變數喺虛無假說下係跟 F-分佈（F-distribution）嘅。

統計模型

統計模型（statistical model）係數學模型嘅一種。一個統計模型會帶有若干個假設，模擬一個產生數據（觀察到嘅嘢）嘅過程；一個研究者會收數據，並且用數據估計一個統計模型嘅參數數值，即係用數據估計世界嘅運作法則。

• 統計參數（statistical parameter）：參數係指一個能夠定義一個系統嘅數值；統計參數係指個統計模型裏面用嚟描述個總體嘅特性嘅數值，例如係某個變數喺個總體嗰度嘅平均值或者標準差呀噉。
• 單變量分析（univariate analysis）：指個分析模型得一個變數。
• 多變量分析（multivariate analysis）：指個分析模型有多過一個變數。
• 多變量統計（multivariate statistics）：指個分析模型有多過一個應變數。
• 統計模型標明（statistical model specification）：指「講明個統計模型要包含邊啲變數喺入面，仲有係啲變數要成點樣嘅函數」嘅過程。
• 適合度（goodness of fit / model fit）：一個統計模型有幾能夠準確噉描述手上嘅數據，一般係愈高愈好。
  • 適合度指標（fit indices）：指一啲用嚟衡量一個統計模型嘅適合度嘅指標數值；喺廿一世紀嘅統計學界有好多種適合度指標，用統計技術做研究嘅人會按照自己嘅情況選擇用乜嘢指標衡量手上嘅統計模型。
• 多組分析（multigroup analysis / multi-group analysis）：泛指「將受試者分做幾組，每組都由佢哋數據嗰度估個統計模型出嚟，並且比較唔同組喺個模型上有乜差異」；例如研究者認為變數 $x$ 同變數 $y$ 喺實驗組當中會成正比，而喺對照組當中會冇相關，於是就將數據分做兩份，每份對應其中一組受試者嘅數據，然後同兩組分別建立一個結構上相同嘅迴歸模型（$y=\beta x+e$），睇吓呢兩組嘅 $\beta$ 係咪有預期中嘅差異（即係喺實驗組當中係統計上顯著嘅正數，喺對照組當中統計上唔顯著）；如果有，就能夠支持嗰位研究者嘅假說。睇埋調節變數。
• 約束（constraint）：指喺建立一個統計模型嗰陣，指定個模型一定要滿足某啲條件；例如喺做兩組嘅多組分析嗰陣，指定一個約束，要 $A$ 同 $B$ 呢兩個變數之間嗰段統計關係喺兩組之間一樣，而如果施加呢個約束會搞到個模型嘅適合度明顯變差，噉個研究者就有理由話兩組之間有差異（睇埋下面調節效應）。
• 混合物模型（mixture model）：簡單講就係指將個模型設做「群體入面有若干個子群體，每個子群體之間都有顯著嘅差異」，而且唔使拃數據事先指定每個個案屬邊個子群體。睇埋聚類分析嘅概念。
• 統計模型選擇（statistical model selection）：泛指「由多個『可能描述到啲數據嘅統計模型』嗰度揀一個」嘅過程；通常係會靠「邊個模型嗰啲適合度指標最靚」嚟做基準揀。

迴歸模型

幅圖嘅兩條軸分別代表研究緊嗰兩個變數（x 同 y），每個紅點代表一個個案，每個個案都喺兩個變數上各有個值。用迴歸分析可以估計出條線（綠線同藍線都係可行嘅線）並且知道呢兩個變數大致上成正比。

迴歸模型（regression model）係常用嘅一種統計模型。一般迴歸模型有若干個自變數同一個應變數，兩者多數會係連續變數，然後個演算法就嘗試畫一條能夠表達自變數同應變數之間嘅關係嘅線。

例：$y=0.5x+30+e$，當中 $y$ 係應變數，$x$ 係自變數，$e$ 係殘差（residual），0.5 同 30 係由數據估計出嚟嘅參數。

• 線性迴歸模型（linear）：最簡單嗰種迴歸模型；喺一個線性迴歸模型當中，個應變數係柞自變數嘅線性組合。
  • 簡單線性迴歸分析（simple linear）：指得一個自變數嘅線性迴歸模型。
  • 非線性迴歸分析（nonlinear）：指個迴歸模型條式唔係線性嘅迴歸模型。
• 多重迴歸模型（multiple）：指多過一個自變數嘅迴歸模型。

  例：$y=0.2x_{1}+1.65x_{2}+30+e$，當中 $x_{1}$ 係第 1 個自變數，$x_{2}$ 係第 2 個自變數，$e$ 係誤差。

• 多變量適應性迴歸模型（multivariate adaptive regression splines，MARS）：指以下嘅迴歸模型：

${\widehat {f}}(x)=\sum _{i=1}^{k}c_{i}B_{i}(x)$，當中

• $c_{i}$ 係恆常嘅系數；
• 每個 $B_{i}(x)$ 可以係
  • 常數 1、
  • 一個合頁函數（hinge function），即係 $\max(0,x-{\text{constant}})$ 或者 $\max(0,{\text{constant}}-x)$、或者
  • 兩個或者以上嘅合頁函數乘埋。

• 決定系數（coefficient of determination，$R^{2}$）：反映一個應變數嘅變異數有幾多可以由啲自變數預測；最廣義上嘅定義如下：

  $R^{2}=1-{SS_{\rm {res}} \over SS_{\rm {tot}}}\,$

  • 當中 $SS_{\rm {res}}$ 可以想像成做咗迴歸分析後嘅殘差平方和（反映「用個模型得出嘅預測值同實際值傾向差幾遠」），而 $SS_{\rm {tot}}$ 係指變異數同樣本大細相乘（反映樣本整體嘅變異數）；即係話如果個模型做到完美預測，噉 $SS_{\rm {res}}=0$，$R^{2}=1$。
• 多重共線性（multicollinearity）：多重迴歸模型當中間中會出現嘅問題，指其中一個自變數嘅數值可以由其他自變數嘅線性噉預測，$x_{1}=f(x_{2},x_{3}...x_{i})$，而且準確度有返咁上下高；喺有多重共線性嘅情況下，個多重迴歸模型嘅系數（嗰柞 $\beta$）嘅估計數值可能會隨模型或者數據嘅細少變化而有不穩定嘅變化；多重共線性仲可能會令人懷疑個迴歸模型嘅預測能力－原則上，如果將一個多重迴歸模型嘅 $x_{1}$ 改變而第啲 $x_{i}$ 數值不變，係會睇到 $y$ 嘅數值會點隨住 $x_{1}$ 變化嘅，但如果有多重共線性，就表示 $x_{1}$ 數值變會令第啲 $x_{i}$ 跟住變，「設其他 $x_{i}$ 不變，$x_{1}$ 改變」呢樣嘢就會唔可行；因為噉，統計學界對於「要點樣處理多重共線性」有進行認真嘅探討。
  • 變異數擴大因子（variance inflation factor，VIF）：用嚟衡量一個線性迴歸模型嘅多重共線性嘅指標，係一個表示一個「有多個自變數嘅統計模型嘅變異數」除以「得一個自變數（叫呢個自變數做 $x$）嘅統計模型嘅變異數」之間嘅商數。
• 一般線性（general linear）模型：一種同時寫低幾個線性迴歸模型嘅做法，可以表達成：

  $\mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U}$

  • 當中 $\mathbf {Y}$ 係一個矩陣，包含啲應變數，$\mathbf {X}$ 係一個包含啲自變數嘅矩陣，$\mathbf {B}$ 係包含啲參數嘅矩陣，而最後 $\mathbf {U}$ 係包括啲誤差值嘅矩陣。
• 邏輯（logistic / logit）迴歸：個應變數係一個二元（得兩個可能數值）變數，例如係「輸定贏」噉；啲自變數就可以係連續可以係離散；邏輯迴歸可以用嚟按一柞個案當中每個喺柞自變數上嘅數值，預測佢哋係兩類當中嘅邊一類，例如係電子遊戲研究當中可以用嚟靠一個玩家嘅數據嚟估計佢輸定贏。$p=P(Y=1)$，$1-p=P(Y=0)$，用方程式嚟表達嘅話：

  $\ell =\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}$

• Sigmoid 函數：以下呢個函數：

  $S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}$

Sigmoid 函數畫做圖嘅樣

• 自迴歸模型（autoregression）：用嚟處理時間序列嘅一種迴歸模型；攞一個會隨住時間變化嘅變數 $x$，設 $x_{t}$ 做時間點 $t$ 嘅 $x$ 值，一個自迴歸模型會用個變數嘅過去數值做自變數，預測個變數而家嘅數值。

  $x_{t}=f(x_{t-1},x_{t-2}...x_{1})$

• 泊淞（Poisson regression）迴歸分析：會用喺數數據上嘅一種迴歸分析，最基本嗰個模型係噉嘅樣：

  $\log(\operatorname {E} (Y\mid \mathbf {x} ))=\alpha +\mathbf {\beta } '\mathbf {x} ,$，

  • 當中 $Y$ 係應變數（通常會假設佢跟泊淞分佈），$\mathbf {x}$ 係包含柞自變數嘅向量，而 $\alpha$ 同 $\mathbf {\beta } '$ 係啲參數。
• 普通最小二乘法（ordinary least squares，OLS）：其中一種最常用嚟估計線性迴歸模型參數嘅數值嘅演算法；呢一類演算法會用啲步驟逐漸改變個迴歸模型啲參數，目標係要令殘差平方和（residual sum of squares，簡稱 RSS）有咁細得咁細（有關將某啲數值最大最小化嘅嘢，可以睇最佳化）。當中 RSS 係指將所有誤差值嘅平方加埋得出嘅數：

  $RSS=\sum _{i=1}^{n}e_{i}^{2}\,$

• 逐步（stepwise）迴歸：一種可以用嚟估計線性迴歸模型參數嘅數值嘅演算法；指
  • 由一個冇自變數嘅迴歸模型開始，foreach 自變數，加個自變數入去，喺每一步都用某啲事先制定咗嘅法則講明要點決定加邊個自變數（前向；forward）；
  • 由一個有齊嗮啲自變數嘅迴歸模型開始，foreach 自變數，攞個自變數走，睇吓個模型嘅預測力變成點，喺每一步都用某啲事先制定咗嘅法則講明要點決定攞走邊個自變數（反向；backward）。
  • 喺廿一世紀嘅統計學界，逐步迴歸廣受批評，所以唔多人用。
• 線性關係：如果話兩個變數 $x$ 同 $y$ 成線性關係，即係話如果將兩個嘅數值畫做圖，會得出一條直線，條式會係：

  $y=ax+b$，當中 $a$ 係一個特定嘅參數，而 $b$ 係截距（intercept）。

• 固定效應（fixed effects）模型：指個模型嘅參數係固定或者最少非隨機嘅數值。
• 隨機效應（random effects）模型：指個模型嘅參數係隨機變數。
• 混合（mixed）模型：指個模型嘅參數有啲係固定或者非隨機，有啲係隨機變數。
• 嵌套（nested）模型：如果話「模型 $A$ 嵌套咗喺模型 $B$ 裏面」，意思即係話 $A$ 啲參數係 $B$ 嘅子集；研究者可以透過比較唔同模型嘅適合度指標，睇吓「邊個模型能夠最有效噉描述手上攞住嘅數據」。可以睇埋奧坎剃刀嘅概念。
• 等級線性模型（hierarchical linear model，HLM）：一種做多層分析（multi-level analysis）嗰時好有用嘅統計分析方法；「多層分析」意思係指樣本入面有 $i$ 個群組，而每個個體都屬於某一個群組，研究者有理由相信唔同群組彼此之間會有啲系統性嘅差異。
  • 例如一份管理學上嘅研究，想分析一間公司（樣本）入面嘅員工（個體），而每個員工都有佢所屬嘅工作團隊（樣本入面嘅群組），研究者有理由相信工作團隊之間嘅差異（例如係團隊領袖嘅領導能力）會影響佢想研究嘅現象，所以佢就做 HLM，用類似以下噉嘅數學方程式將唔同層面嘅變數擺入去同一條式入面：

    $Y_{ij}=\beta _{0j}+\beta _{1j}X_{ij}+\beta _{2}G_{j}+e_{ij}$

    • $Y_{ij}$ 係一個喺層面 1 嘅應變數（細階 $i$ 指個體，而細階 $j$ 指個群體）；
    • $X_{ij}$ 係一個喺層面 1 嘅自變數；
    • $G_{j}$ 係一個喺層面 2（群體層面）嘅自變數，佢嘅數值對於屬同一個群體嘅成員嚟講都係一樣嘅；
    • $\beta _{0j}$ 係個根（intercept）；
    • 淨低嗰啲 $\beta$ 係迴歸系數（regression coefficient），反映咗佢掕住嗰個自變數有幾能夠預測個應變數嘅數值，而 $e_{ij}$ 係指誤差。
  • 呢條式用文字解釋係噉：$Y_{ij}$ 嘅數值係受 $X_{ij}$ 同 $G_{j}$ 呢兩個變數嘅數值影響嘅，而如果用呢個變數嘅數值去預測 $Y_{ij}$ 嘅數值嘅話，誤差平均會係 $e_{ij}$。而家想像：
    • $Y_{ij}$ 係「工作團隊 $j$ 當中員工 $i$ 嘅工作表現」，
    • $X_{ij}$ 係「工作團隊 $j$ 當中員工 $i$ 嘅身體健康」，而
    • $G_{j}$ 係「工作團隊 $j$ 嘅領袖嘅領導能力」－
  • 跟手個研究者就去收數據，做統計分析，用數據估計 $\beta _{1j}$ 同 $\beta _{2}$ 嘅數值。如果數據反映（例如）一個員工嘅身體健康比起佢所屬嘅團隊嘅領袖嘅領導能力更加能夠預測佢嘅工作表現（簡單啲講就係 $\beta _{1j}>\beta _{2}$）嘅話，噉佢就發現咗啲有用嘅嘢（對一個組織嚟講，對提高員工表現嚟講，確保員工健康比起領導能力更重要），可以將佢嘅研究結果喺期刊嗰度公佈。HLM 常見於管理學等社科領域研究，因為呢啲領域成日會遇到「樣本入面有若干個次群體」嘅情況。

因素分析

一個潛在變數模型嘅想像圖；家陣研究者想量度 $T$ 呢個睇唔到嘅因素（例如智能），於是就俾受試者做個測驗，有 $k$ 咁多條題目，$X_{1}$、$X_{2}$、$X_{3}$... $X_{k}$，當中每條題目都有個誤差值 $e_{i}$ 以及 $\lambda _{i}$（因素負荷量；簡單講係反映嗰條題目嘅得分同 $T$ 有幾強相關）。

因素分析（factor analysis）係一系列用嚟將大量變數轉化成少量因素（factor）嘅統計方法。因素分析有好多種做，不過做法一般都係由若干個直接觀察到嘅變數嗰度推想一個能夠解釋呢啲變數嘅變化嘅因素出嚟，而最後得出呢個因素能夠一定程度上反映嗰柞變數嘅變化。舉個例說明：

1. 想像家陣手上個數據集有若干個可觀察（observable）嘅隨機變數 $x_{1},x_{2},...,x_{p}$，而呢柞變數嘅平均值係 $\mu _{1},\mu _{2},...,\mu _{p}$。
2. 想像有 $k$ 個數值冇得直接觀察嘅隱藏變數（latent variable）$F_{j}$，$j\in 1,...,k$，呢柞 $F_{j}$ 係所謂嘅因素；
3. 喺做因素分析前，$F_{j}$ 嘅數值係未知，而因素分析嘅目的就係要搵出以下呢啲式當中嘅參數：

$x_{i}-\mu _{i}=l_{i1}F_{1}+\cdots +l_{ik}F_{k}+\varepsilon _{i}$；當中

$i\in 1,...,p$

柞 $l_{ij}$ 係參數；

$\varepsilon _{i}$ 係誤差，平均值係 0，而變異數係一個有限數值，唔同 $i$ 嘅 $\varepsilon _{i}$ 變異數數值可以唔同。

假想 $p$ 嘅數值好大（即係 $x_{i}$ 數量多），研究者覺得吓吓都要用嗮柞 $x_{i}$ 做運算好撈絞；而又假想 $k<p$，如果研究者搵到上述柞式嘅參數數值，佢就能夠用柞 $F_{j}$ 嘅數值總結成個數據集，做到「用數量少啲嘅變數嚟做分析」嘅效果。

• 潛在變數模型（latent variable model，LVM）：描述到啲可觀察變數（或者外顯變數）戥佢哋背後啲潛在變數之間嘅連繫。
• 因素結構（factor structure）：指一個因素嘅「結構」，包含「個因素由邊啲睇到嘅變數反映」以及「每個變數嘅因素負荷量（factor loading）係幾多」等嘅資訊。
• 因素負荷量（factor loading）：喺每個量度咗嘅變數同個隱藏因素之間有嘅一個數，值喺 0 到 1 之間，係嗰個變數同個隱藏因素之間嘅統計相關；如果一個變數嘅因素負荷量大，就表示佢同個隱藏因素有強嘅統計相關，而如果一個變數嘅因素負荷量細，噉就表示佢同個隱藏因素之間嘅統計相關弱，通常研究者就會覺得噉表示個變數根本反映唔到個隱藏因素，會考慮將嗰個變數由個模型嗰度攞走。
• 因素分析可以分做兩大類：
  • 探索性因素分析（exploratory factor analysis，EFA）：指研究者冇作出任何事先假設嘅因素分析，研究者會由手上嘅數據嗰度估計因素嘅數量同每個變數條 $x_{i}-\mu _{i}$ 式係點；
  • 確定性因素分析（confirmatory factor analysis，CFA）：指研究者分析前經已有個模型喺度；個模型會描述「因素有幾多個」以及「每個變數係邊幾個因素嘅函數」等嘅資訊，然後分析方法要做嘅係嘗試計出一啲量度「個模型有幾準確噉描述數據嘅實際情況」嘅指標。
• 主成份分析（principal component analysis，PCA）：因素分析嘅一種；想像有柞個案，佢哋每個喺兩個變數上都有其數值（附圖），跟住可以畫兩條線（附圖嗰兩個箭咀），兩條線分別都可以用一條包含 $x$ 同 $y$ 嘅算式表達，當中由圖當中可以清楚睇到，長箭咀嗰條線成功噉捕捉更多嘅變異數－亦即係話長箭咀嗰條線所代表嗰個「成份」（component）比較能夠用嚟分辨啲個案，所以比較「重要」。喺最簡單嗰種情況下，一個做主成份分析嘅演算法大致上係噉：
  1. 攞數據；
  2. 畫條線出嚟，條線有條式，而條式包含數據當中有嘅變數；
  3. 計出沿呢條線嘅變異數有幾多；
  4. 改變吓條線嘅參數；
  5. 再計出沿條新線嘅變異數有幾多；
  6. 一路做步驟 4 同 5，做嗮所有指定咗嘅可能性，最後俾具有最大變異數嗰條線做個演算法嘅輸出。

主成分分析嘅圖解；幅圖每一點代表一個個案，兩個箭咀代表兩個成份，長啲嗰個箭咀係比較重要嗰個成份。

• 卡隆巴系數（Cronbach's alpha，$\rho _{T}$）：心理測量學上成日用嚟衡量一個心理測驗嘅信度（睇上面）嘅數值。想像家陣有個心理測驗，有 $k$ 咁多條題目，而呢 $k$ 條題目冚唪唥都係量度緊一個因素（例如 10 條題目量度邏輯能力），研究者搵人做個測驗攞到數據之後，個測驗嘅卡隆巴系數（$\rho _{T}$）條式如下：

  $\rho _{T}={k^{2}{\overline {\sigma _{ij}}} \over \sigma _{X}^{2}}$，當中

  ${\overline {\sigma _{ij}}}$ 係指每對題目之間嘅協方差（covariance）嘅平均值；

  $\sigma _{X}^{2}$ 指「啲題目嘅變異數（variance）嘅總和」加埋「題目之間嘅協方差總和」；即係話

  $\sigma _{X}^{2}=\sum _{i=1}^{k}\sum _{j=1}^{k}\sigma _{ij}=\sum _{i=1}^{k}\sigma _{i}^{2}+\sum _{i=1}^{k}\sum _{j\neq {i}}^{k}\sigma _{ij}$（有關呢啲數學符號嘅意思，可以睇吓加總）；

• 如果卡隆巴系數數值大（接近 1）嘅話，就表示呢柞題目嘅變異數主要源自佢哋之間嘅協方差，簡單講就係表示「呢柞題目之間嘅變異數主要係由佢哋之間嘅相關引起嘅」而唔係源於佢哋各自獨立嘅變異－所以如果一柞題目嘅卡隆巴系數數值大，研究者就更有理由相信呢柞題目係量度緊同一個隱藏因素。
• 張量分解（tensor factorization / tensor decomposition）：將一柞以張量形式表達嘅數據「分解」做比較簡單嘅張量以及呢啲簡單張量之間嘅運算，例：

  $T=v_{1}\otimes w_{1}\otimes \alpha _{1}+v_{2}\otimes w_{2}\otimes \alpha _{2}+\cdots +v_{N}\otimes w_{N}\otimes \alpha _{N}$

  • 當中 $T$ 係一個複雜啲嘅張量，柞 $v$、$w$ 同 $\alpha$ 係簡單啲嘅張量，而 $\otimes$ 係張量積（一種數學運算）。做張量分解目的係要等計起數上嚟冇咁撈絞。

結構方程

結構方程式模型（structural equation modeling，SEM）：包含一系列用嚟搵出一柞變數之間嘅關係嘅數學模型同演算法；一個結構方程式模型會包含若干個變數，途中好多時會用因素分析減少變數嘅數量先，然後再用獨立嘅迴歸分析估計啲變數之間嘅關係。

• 量度模型（measurement model）：一個結構方程式模型當中定義啲因素（睇因素分析）嗰部份。
• 結構模型（structural model）：一個結構方程式模型當中講明因素之間嘅關係嗰部份。
• 量度不變特性（measurement invariance）：做多組分析（睇 multigroup analysis）嘅結構方程式模型嗰陣會用到嘅概念；如果話一個量度（例如係智商測試等嘅心理測驗）具有量度不變特性，即係話喺分析緊嗰幾組之間個量度所度緊嘅概念並冇差異；舉個例說明，想像家陣有個心理學家，喺幾個唔同國家嗰度用一個心理測驗做咗份研究，但佢擔心唔同文化嘅人會對個心理測驗嘅問題有唔同理解，於是就做一個多組分析，每組係一個國家嘅受試者，再同每組都做一個因素分析（睇下面），睇吓唔同組喺因素結構上係咪一樣。

一個結構方程式模型；描述智能（intelligence）同學力（academic performance）之間嘅關係。智能由幾個唔同嘅指標（柞 scale）反映，講明智能同呢啲指標之間嘅式（由智能去指標嘅箭咀）嘅就係量度模型，而講明智能同成績之間嘅關係嘅式（由智能去成績嘅箭咀）就係結構模型。箭咀上嘅數字反映段關係有幾強（睇埋迴歸分析）。

• 通徑分析（path analysis）：指一個描述若干個變數之間嘅方向性相關嘅模型；一個通徑分析會有若干個變數，並且指明每對變數之間有點樣嘅關係，例：由 $x$ 去 $y$ 嘅單向箭咀表示 $x$ 可以作為一個預測 $y$ 嘅自變數（睇埋迴歸分析）。
• 修改指數（modification indices）：有好多用嚟做結構方程式模型嘅軟件喺建立完個模型之後會俾出一啲修改指數數值；喺最基本上，修改指數反映「邊條箭咀應該攞走」同「邊兩個變數之間應該要加箭咀」等嘅資訊，即係例如個程式喺建立個模型嗰陣，順手計埋「如果呢兩個變數之間嘅箭咀攞走，適合度指標會點樣變」同埋「如果呢兩個變數之間加個箭咀，適合度指標會點樣變」等嘅嘢，所以分析者如果需要執個模型，就可以靠睇啲修改指數嚟做決定。
• 交叉滯後模型（cross-lagged panel model）：指個結構方程式模型包含兩個變數（$x$ 同 $y$），兩個變數都喺若干個時間點各有數值－$x_{1},x_{2},x_{3}...$ 同 $y_{1},y_{2},y_{3}...$，當中 $x_{i}$ 係指時間點 $i$ 嘅 $x$ 數值，而 $y$ 同一道理；個交叉滯後模型會嘗試用 $x$ 同 $y$ 嚟預測（即係有箭咀指住）未來時間點嘅 $x$ 同 $y$ 數值（$x_{1}$ 有箭咀指住 $x_{2}$ 同 $y_{2}$、$y_{1}$ 有箭咀指住 $x_{2}$ 同 $y_{2}$... 如此類推）；喺廿一世紀初，有唔少人覺得交叉滯後模型可以攞嚟理解兩個變數之間嘅因果關係，但呢種見解唔係個個都同意。

拉雜模型

生還分析嘅圖解；想像喺實驗室養咗柞老鼠，上面幅圖嘅 X 軸表示時間，Y 軸表示「有幾多百分比嘅白老鼠仲係生勾勾」。

聚類分析嘅附圖；呢拃物件可以按位置座標分做三類，而聚類分析可以想像成同啲點油顏色嘅過程。

• 生還分析（survival analysis）：一套用嚟分析「一件事件要等幾耐先會發生」嘅統計分析技術，例如分析一隻動物要幾耐先會死－事件係「死亡」。生還分析包含咗一系列嘅技術，能夠解答以下呢啲問題：
  • 攞一個時間數值 $t$，過咗 $t$ 咁耐之後，個總體入面有幾多百分比嘅個體會死亡？
  • 喺死淨嗰啲個體當中，佢哋會以幾快嘅率接近死亡？
  • ... 等等。進階啲嘅應用仲可以將「死亡」換做第啲事件，例如電子遊戲同人機互動等方面嘅研究就會以「用家放棄隻遊戲或者產品」嚟做集中研究嘅嗰件事件，用嚟分析用家用起電子產品上嚟嘅行為。除此之外，生還分析呢種分析喺工程學同經濟學上都會用到。
  • 生還函數（survival function，$S(t)$）：指一個俾出「是但搵個個體，嗰個個體嘅生存時間（$T$）會有幾大機會（$P$）會超過 $t$ 咁長」嘅函數，即係話：

    $S(t)=P(\{T>t\})$

    • $S(t)$ 可以有好多種唔同樣，好似指數函數就係常用嘅一種生還函數。
• 聚類分析（cluster analysis / clustering）：令一個組（聚類）入面嘅物件彼此之間相似，但同個組以外嘅物件唔相似；最基本上，聚類分析可以用附圖嗰種方法想像－圖入面拃點當中每一粒，都喺 X 軸（一個變數）同 Y 軸度有個位置，但就噉用肉眼睇都睇得出，啲點可以分做三大類（唔同色嘅點），每個聚類（cluster）都係「個聚類入面啲點，彼此之間距離近，同時又冚唪唥都係同聚類外嘅點距離遠嘅」；聚類分析就可以想像成「同啲點油顏色，表示每點屬邊個聚類」嘅過程。
• 馬可夫鏈（Markov chain）：一種用嚟模擬一連串可能事件嘅隨機性數學模型。喺一條馬可夫鏈當中有若干個可能狀態，而每個狀態 $s_{i}$ 都會有一串數字 $[p_{0},p_{1},p_{2}...]$ 表示世界由 $s_{i}$ 呢個狀態變成另一個狀態嘅機會率；喺統計學上，一種簡單嘅做法係收數據，用數據估計 $[p_{0},p_{1},p_{2}...]$ 嘅數值，產生一個可以用嚟預測世界變化規律嘅模型。
• 獨立成份分析（independent component analysis，ICA）：常見於訊號處理，會將一個受多個變數影響嘅訊號 ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ 分做彼此之間獨立嘅子部份，即係將 ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ 變成 ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}$，當中每個 $x_{i}$ 都係某啲 $s_{i}$ 嘅線性組合；簡單講就係 foreach $x_{i}$，

  $x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}$（$a_{i}$ 反映嗰個 $s_{i}$ 有幾影響到 $x_{i}$）；

  • 當中啲 $s_{i}$ 之間要盡可能彼此獨立。
• 點過程（point process），又有叫點場（point field）：指將一個統計模型想像成會喺一個空間當中有隨機性噉產生一啲點，可以攞嚟做好多涉及空間嘅分析，例如係地質學上分析地震噉，一場地震嘅中心可以想像成空間入面嘅一點，而一場地震出現可能會提升周圍嘅空間出現地震點嘅機會（可以睇餘震），而喺建立統計模型嚟分析地震嗰陣，分析者可以將「震央嘅出現」想像成一個會喺代表地面嘅空間嗰度產生一粒點點嘅隨機過程。
• 線性判別分析（linear discriminant analysis）：指「攞住若干個自變數，搵出一個有齊呢啲自變數嘅線性組合，嚟分別出若干個『類別』嘅嘢」。

模型評估

喺做完推論統計或者機械學習過程之後，就要評估吓最後得出嗰個模型好定唔好。要評一個模型係咪「好」，有以下指標使得：

• 準確度（accuracy）：最常用嚟評估模型嘅指標；即係喺做完分析或者學習之後，要個模型睇一啲佢之前未見過嘅個案，同埋要佢對嗰啲個案進行預測。譬如一個訓練嚟預測股價嘅機械學習程式噉，要評估佢嘅準確度，最好方法就係要佢預估吓一啲股價、係佢之前未見過嘅時間點嘅。如果個程式做嘅嘢係將個案分做離散（discrete）嘅類，準確度可以用以下嘅式計：

  ${\text{Accuracy}}={\frac {\text{Number of correct predictions}}{\text{Total number of examples}}}\,$

  ${\text{Number of correct predictions}}$ 係估啱咗幾多個個案；

  ${\text{Total number of examples}}$ 係個案嘅總數。

  • 自助抽樣法（bootstrapping）；設個數據入面嘅個案數量係 n；個演算法會由啲數據度隨機抽一個個案出嚟（重抽樣；resampling），將個個案放入自助樣本（bootstrap sample），跟住再擺返第個個案入去抽過（即係所謂嘅邊替換邊抽樣；sampling with replacement），重複 n 次。最尾得出一個（可能有重複嘅）自助樣本，用個自助樣本做過測試。
  • K 次交叉驗證（K-fold cross-validation）：隨機噉將數據嘅個案劏做 K 份（喺實際應用上，K 一個常見數值係 10）；然後攞其中一份做測試，其餘啲份做學習－跟住逐份逐份過呢個過程。同一道理，都要使用某啲指標量度準確度。
• 靈敏度同特異度（sensitivity and specificity）：包括咗四個數值：
  • 歸啱咗啲陽性個案嘅真陽性率（True Positive Rate，TRP）
  • 歸啱咗啲陰性個案嘅真陰性率（True Negative Rate，TNR），同埋
  • 歸錯咗啲陽性個案嘅假陽性率（False Positive Rate，FRP）
  • 歸錯咗啲陰性個案嘅假陰性率（False Negative Rate，FNR）。
  • 亦都有啲設計者嫌呢啲數字淨係顯示到比例，所以喺寫論文同報告嗰陣會將啲比例嘅分子分母都報埋出嚟。
• 訓練曲線（training curve / learning curve）：指一條以「個機械學習程式表現有幾好」做 Y 軸、「總共讀取咗嘅個案數量」做 X 軸嘅線。訓練曲線喺機械學習研究上可以用嚟比較唔同嘅機械學習演算法嘅功效、用嚟睇吓個模型用乜嘢參數值比較好、或者係個程式有冇過適（overfitting）嘅問題等等。
• 模型能耐（model capacity）：一個機械學習模型 $M$ 嘅能耐指佢能夠學解幾複雜嘅問題；要判斷一個模型嘅能耐一個可能方法係，用 $n$ 個唔同複雜度嘅數學模型，$N_{i}$ 代表第 $i$ 個呢啲模型，用每個 $N_{i}$ 分別產生一柞數據，然後 foreach $N_{i}$ 模型出嘅數據，測試吓 $M$ 有幾能夠學識對嗰個模型嘅輸出做準確預測－如果 $M$ 能耐高，噉佢理應會無論 $N_{i}$ 幾複雜都做到準確預測。
• 演算法熵（algorithmic entropy），又有叫柯氏複雜性（Kolmogorov complexity）：理論電腦科學同相關領域上用嚟量度一件物件嘅複雜度嘅一個指標，一件物件嘅演算法熵係指要產生嗰件物件嘅程式嘅最短可能長度，

  演算法熵以攞嚟比較唔同物件嘅複雜度。舉兩個簡單嘅例子說明，想像以下呢兩串符號：

  abababababababababababababababab（串 1）

  4c1j5b2p0cv4w1x8rx2y39umgw5q85s7（串 2）

  • 呢兩串符號長度一樣，但喺複雜度上唔同：串 1 可以描述為「將『ab』寫 16 次」，即係 write ab 16 times 噉嘅碼－段碼淨係用咗 17 個符號；相比之下，串 2 冇乜明顯嘅規律，唔能夠用一句嘢簡單噉描述嗮，所以要部電腦死記住 write 4c1j5b2p0cv4w1x8rx2y39umgw5q85s7 嘅碼－段碼有成 38 個符號。所以如果用演算法熵做準則嘅話，串 1 簡單過串 2。
• 赤池資訊量準則（Akaike information criterion，AIC）：基於資訊理論嘅一條統計模型評估準則；根據赤池資訊量準則，評估一個統計模型嗰陣應該要令以下嘅數值有咁細得咁細：

  $\mathrm {AIC} \,=\,2k-2\ln({\hat {L}})$

  • 當中 $k$ 係估計咗嘅參數嘅數量，${\hat {L}}$ 係個模型嘅概似函數（likelihood function）得到嘅最大數值。
• 貝葉斯資訊量準則（Bayesian information criterion，BIC）：另一條用嚟評估統計模型嘅準則；根據呢條準則，評估一個統計模型嗰陣應該要令以下嘅數值有咁細得咁細：

  $\mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}})\$

  • 當中 $n$ 係樣本大細。
• 困惑度（perplexity，$PP$）：反映一個概率分佈「有幾能夠預測個樣本」；一個離散概率分佈 $p$ 嘅困惑度計法如下－

  ${\mathit {PP}}(p):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}$，當中

  • 當中 $H(p)$ 係個概率分佈嘅資訊熵。簡單講，困惑度愈高，就反映個概率分佈愈做唔到肯定嘅預測（所以困惑度愈高，表示個概率分佈愈係差）；自然語言處理好興用「個程式對每隻字嘅困惑度」嚟做量度「個模型有幾掂」嘅基準。
• 可詮釋性（interpretability）：對於統計模型嚟講好重要嘅一種性質，指個模型有幾能夠俾人類理解所描述嘅現象背後嘅運作原理，呢個特性亦都係統計學同機械學習嘅主要分界；舉個例說明，家陣用統計分析整咗一個迴歸模型出嚟，個模型反映兩個變數之間成簡單嘅正比關係，呢個模型由人類嘅角度嚟睇相當易理解；相比之下，一個人工神經網絡就算能夠做到準確預測，個網絡「到底係用乜嘢邏輯做預測」呢點對人類嚟講依然係冇可能理解嘅。即係話，統計學嘅目的係由數據搵出可詮釋嘅模型，等人類能夠了解所研究嘅現象，而機械學習最重視嘅係做準確預測，會願意為咗做預測嗰陣嘅準確性同效率犧牲可詮釋性。
• A/B 測試（A/B testing）：指比較兩種機械學習技巧，通常係比較一種已有技巧同一種新技巧。喺最簡單嘅情況下，研究者會攞兩個技巧做機械學習，然後比較吓兩者（喺各指標上）嘅表現。

拉雜推論概念

• 非參數統計學（nonparametric statistics）：泛指「唔對背後嘅概率分佈（統計參數）作出任何假設」嘅統計分析方法；例如 t 測試同 ANOVA 都假設咗啲變數背後係跟常態分佈嘅，所以呢啲統計分析法就係有參數統計學；非參數統計學嘅例子包括麥倫瑪測試呀噉。
• 卡方檢定（Chi-squared test，χ²）：一種成日俾人用嚟分析離散變數之間嘅關係嘅做法；喺最簡單嘅情況下，卡方檢定要做嘅嘢係計以下嘅數值：

  $X^{2}=\sum _{i=1}^{k}{\frac {(x_{i}-m_{i})^{2}}{m_{i}}}$，當中

  • $X^{2}$ 係所謂嘅卡次方（Chi-squared）。
  • $x_{i}$ 係一個觀察到嘅數值。
  • $m_{i}$ 係一個預期嘅數值。
  • 舉個例說明，想像研究者家陣想研究老人家係咪零舍容易有某隻病，佢搵個樣本返嚟，樣本入面有若干個人係老人家（歲數大過 60），又有若干個人有病，即係話啲受試者會屬於四個類嘅其中一類：
    • 有病又唔係老人家；
    • 有病又係老人家；
    • 冇病又唔係老人家；
    • 冇病又係老人家；
  • 跟住研究者可以計吓每個格嘅人數（$x_{i}$）同「假如歲數同有冇嗰隻病無關，嗰一格嘅預期人數」（$m_{i}$）。所以如果 $X^{2}$ 數值愈大，佢就愈有理據相信歲數同有冇嗰隻病真係有關。
• 麥倫瑪測試（McNemar test）：一個 IV 一個 DV，兩個變數都淨係得兩個可能數值，麥倫瑪測試會計個 χ² 值出嚟反映「IV 係咪對 DV 有具體影響」；例：想像家陣研究一隻藥對病人「有冇骨痛」嘅影響，IV 係有冇食嗰隻藥，而 DV 係有冇骨痛，麥倫瑪測試會話到俾研究者聽，IV 係咪對 DV 有顯著嘅影響。
• MWU 測試（Mann-Whitney U test）：一種非參數統計分析方法，用嚟比較兩個獨立嘅組嘅平均值係咪相等，可以用嚟唔跟常態分佈嘅數據上（唔似得 t-測試噉指定啲組要跟常態分佈）；想像家陣設兩組，佢哋嘅個案數量分別係 $n_{1}$ 同 $n_{2}$ 咁多，而又想像將每個個案喺個變數上嘅數值由細到大排咗次序（計好 rank），噉計以下嘅 $U_{1}$ 同 $U_{2}$
  • $U_{1}=n_{1}n_{2}+{\frac {n_{1}(n_{1}+1)}{2}}-R_{1}$，當中 $R_{1}$ 係指組 1 嘅 rank 總值；
  • $U_{2}=n_{1}n_{2}+{\frac {n_{2}(n_{2}+1)}{2}}-R_{2}$，當中 $R_{2}$ 係指組 2 嘅 rank 總值；
  • $U_{1}$ 同 $U_{2}$ 之間嘅差距會反映兩組之間係咪有啲系統性嘅差異（例如係咪「組 1 啲值硬係傾向低啲」噉）。
• 效應值（effect size）：指一個量度兩個變數之間嘅關係「有幾勁」嘅數值；要得到效應值有好多方法，簡單例子有變數之間嘅相關值同埋迴歸分析當中嘅迴歸系數。
• 效率（efficiency）：一個假說檢定步驟或者一套實驗設計可以有嘅一個特性；一套統計方法嘅「效率」係指套方法有幾能夠用最少量嘅個案嚟達到最高嘅表現（表現通常係以「做預測嘅能力」嚟衡量）。

• 頻率學派推論（frequentist inference）：一種舊時嘅統計學詮釋方法；根據呢種理解，推論統計嘅作用在於測試「一件事有冇發生」；一個頻率學派嘅研究者做嘅嘢係將個實驗重複若干次，再睇吓喺呢 $N$ 次實驗當中，有幾多次得出撐個假說嘅結果。呢種做法俾人詬病，話用佢得到嘅結果會受實驗嘅重複次數影響。
• 貝葉斯推論（Bayesian inference）：一種喺廿世紀取代咗頻率學派推斷嘅統計學詮釋方法；根據呢種理解，一個研究者喺做實驗之前會有一個原先預期（prior）嘅模型，對每件事件都有個先驗概率（prior probability），然後佢會做實驗攞數據，再按呢啲數據更改自己手上嘅模型，打後再做實驗，按攞到嘅知識更改自己心目中每件事件嘅後驗概率（posterior probability），跟住不斷更新個模型。即係用返貝葉斯定理（Bayesian theorem）嘅思考方法想像：

$P(\theta |D)={\frac {P(D|\theta )\,P(\theta )}{P(D)}}$，當中

• $P(\theta )$ 指（研究者相信）手上模型係真確嘅機會率；
• $P(D|\theta )$ 指「如果手上模型係真確，會得出呢個實驗結果（$D$）」嘅機會率；
• $P(\theta |D)$ 指「有咗個實驗結果，手上模型係真確」嘅機會率（事後信念；posterior belief）。

呢個過程可以想像成「心目中嘅概率分佈嘅不斷變化」－想像一個觀察者，佢完全唔知「撳 A 呢個掣會發生乜事」（喺佢心目中，所有可能性嘅機會率都一樣，成一個均勻分佈），喺撳咗一次，觀察到撳咗個掣會有盞燈閃之後，佢就會改變佢心目中嗰個概率分佈，知道「會有盞燈閃」嘅機會率大過「天會跌落嚟」嘅，即係對「撳 A 呢個掣會發生乜事」嘅認識多咗。

• 估計理論（estimation theory）：統計學當中嘅一個子領域，研究喺建立統計模型嗰陣點樣估計模型嘅參數數值。可以睇返普通最小二乘法（ordinary least square）。
  • 最大似然估計（maximum likelihood estimation，MLE）：廿一世紀初最常用嗰種用嚟估計模型參數數值嘅做法；最大似然估計會先搵出一個機會率函數（probability function），呢個函數會反映「觀察到手上數據嘅數值」（$X$）同「模型參數」（$\theta$）之間嘅關係，而最大似然估計演算法嘅目標係要搵出 $\theta$ 嘅數值應該要係幾多先可以令 ${\text{Pr}}(X|\theta )$（已知模型參數係 $\theta$ 噉嘅樣，觀察到手上呢柞數據嘅機會率）嘅數值有咁大得咁大。${\text{Pr}}(X|\theta )$ 可以表達成：

    ${\text{Pr}}(x_{1}\cap x_{2}\cap ...\cap x_{n}|\theta )$

  • 當中 ${\text{Pr}}(x_{1})$ 係指「第 1 個個案喺變數 $x$ 上嘅值係 $x_{1}$ 咁多」嘅機會率，而 $n$ 就係樣本大細。
• 特徵值（eigenvalue）同特徵向量（eigenvector）：假想有一個非零向量 $v$，處於一個向量空間 $V$ 當中，$v$ 作出一個線性嘅改變 $T$（例如係同一個矩陣相乘），而 $T$ 呢個改變等同將 $v$ 乘以一個標量 $\lambda$，即係話：

  $T(\mathbf {v} )=\lambda \mathbf {v}$；

  • 噉 $\lambda$ 就係一個同 $v$ 呢個特徵向量相關嘅特徵值；喺應用上，特徵值可以用嚟反映一個逐步噉變化嘅系統。

$x$ 係一個特徵向量，$x$ 同矩陣 $A$ 相乘，而 $x$ 呢個變化等同將佢同標量 $\lambda$ 相乘，$\lambda$ 係佢嘅特徵值。

• 可解釋變異（explained variation）：指一個數據庫入面嘅個案間差異（以離散程度計算）有幾多可以由手上嗰個統計模型解釋；可解釋變異可以用多個指標衡量。
• 中介變數（mediator variable）：如果有三個變數，$X$、$Y$ 同 $Me$，當中 $X$ 能夠影響 $Me$，而 $Me$ 跟住會影響 $Y$，噉 $Me$ 就係 $X$ 同 $Y$ 之間嘅中介變數；要用迴歸分析分析中介效應（mediation effect）最簡單嘅有三個步驟：

1. 用迴歸分析睇吓 $X$ 係咪能夠預測 $Y$；即係睇吓 $Y=\beta _{10}+\beta _{11}X+\varepsilon _{1}$ 當中嘅 $\beta _{11}$ 係咪顯著。
2. 用迴歸分析睇吓 $X$ 係咪能夠預測 $Me$；即係睇吓 $Me=\beta _{20}+\beta _{21}X+\varepsilon _{2}$ 當中嘅 $\beta _{21}$ 係咪顯著。
3. 用迴歸分析睇吓 $X$ 同 $Me$ 係咪能夠預測 $Y$；即係睇吓 $Y=\beta _{30}+\beta _{31}X+\beta _{32}Me+\varepsilon _{3}$ 當中嘅 $\beta _{32}$ 係咪顯著，以及 $\beta _{31}$ 嘅絕對值係咪細過 $\beta _{11}$。如果 $\beta _{31}$ 數值係 0，但 $\beta _{11}$ 係顯著，呢個模型就係一個完全中介（full mediation）嘅模型，而如果 $\beta _{31}$ 絕對值細過 $\beta _{11}$ 但依然顯著，噉呢個模型就係一個局部中介（partial mediation）嘅模型。

• 一個諗中介嘅統計模型可以涉及多過一個層次嘅變數（可以睇返等級線性模型），即係話當中有啲變數係量度緊某啲個體（例：員工），而高層次嗰啲個體（例：公司）係由低層次嗰啲個體組成嘅。不過一般嚟講，高層嗰啲變數會係預測低層變數數值嘅自變數。

中介效應嘅圖解

• 調節變數（moderator variable）：指一個「調節」另外兩個變數之間嘅關係嘅變數（調節效應；moderation effect），用迴歸分析諗嘅話：

  $Y=b_{0}+b_{1}x_{1}+b_{2}x_{2}+b_{3}(x_{1}\times x_{2})+\varepsilon \,$

  • 當中 $Y$ 係應變數，$x_{1}$ 係自變數，而 $x_{2}$ 係一個調節變數－$Y=f((x_{1}\times x_{2}))$，表示 $x_{1}$ 數值對 $Y$ 嘅影響視乎 $x_{2}$ 嘅數值。
  • 要睇吓一個變數係咪調節變數，一個可能嘅做法簡單講如下：首先將個自變數（$x_{1}$）同想知佢係咪調節變數嘅變數（$x_{2}$）做自變數，同個應變數做迴歸分析；然後第二步再做多個迴歸分析，今次淨係用互動項（interaction term；即係 $x_{1}\times x_{2}$ ）做自變數，如果迴歸分析結果顯示 $x_{1}$、$x_{2}$ 同 $x_{1}\times x_{2}$ 都係統計上顯著，噉就表示真係有一個調節性效應存在。
• 混淆變數（confounding variable / confounder）：指一個同時會對自變數同應變數產生影響嘅變數，搞到研究者唔能夠肯定（如果搵到）自變數同應變數之間嘅關係係咪因為兩者真係有關，定係因為個混淆變數嘅影響；想像家陣研究者做一份研究，想知道 $X$ 同 $Y$ 呢兩個變數之間嘅關係，佢做統計分析之後，發現 $X$ 同 $Y$ 之間有顯著嘅正相關，不過評鑑佢份研究嘅學者就指出，有一個變數 $Z$，$Z$ 係之前嘅研究發現咗係會對 $X$ 同 $Y$ 有正影響嘅，而呢份研究冇量度到 $Z$，所以個結果就未必係因為 $X$ 同 $Y$ 之間真係有關；$Z$ 喺呢個情況下就係一個混淆變數。
• 壓制變數（suppressor variable）：想像家陣做迴歸分析，用幾個自變數 $X_{1},X_{2},X_{3}...$ 嚟預測應變數 $Y$ 嘅值；假想而家 $X_{1}$ 同 $Y$ 有一定嘅統計相關（$X_{1}$ 係預測變數），同時 $X_{2}$ 同 $Y$ 冇顯著嘅相關（$X_{2}$ 係壓制變數），不過 $X_{2}$ 就同 $X_{1},X_{3}$ 等嘅自變數有相關－喺現實，好似 $X_{1}$ 噉嘅預測用變數多數都有「同應變數相關嘅部份」又有「同應變數冇相關嘅部份」，所以當研究者嘗試用呢啲變數建立迴歸模型嗰陣，呢啲變數唔淨只會解釋 $Y$ 嘅變異，同時又會解釋第啲自變數當中同應變數無關嘅變異；喺呢種情況下，壓制變數會解釋咗預測變數當中嗰啲同應變數無關嘅部份，形成「壓制預測變數入面嗰啲同應變數無關嘅部份」噉嘅效果。
• 自由度（degree of freedom / degrees of freedom，$df$）：簡單講就係「手上有得完全隨機變化嘅資訊量」超越「為咗建立統計模型而必要嘅資訊量」（要估計嘅參數數量）幾多；例如家陣做抽樣，抽咗 $n$ 個個案返嚟，然後由樣本度建立一個描述個樣嘅常態分佈；一個常態分佈可以靠兩個數值描述嗮－平均值（$\mu$）同標準差（$\sigma$）－所以喺呢個情況下，自由度係 $n-2$（用 $n$ 咁多份互相獨立嘅資訊，估計 2 個參數）。
  • 自由度同奧坎剃刀（Occam's razor）有啦掕－奧坎剃刀指出，假設第啲因素不變，研究者會偏好簡單嘅模型，簡單嘅模型有嘅參數數量會比較少，「要估計嘅參數數量」低就表示自由度數值會高。
  • 一般嚟講，自由度俾人覺得係數值愈大愈好嘅，不過喺現實世界因為人力物力嘅限制，樣本大細梗會係有限嘅。而唔同領域對於「自由度起碼要有幾多先可以接受」呢條問題都各有唔同嘅標準。
• 敏感度分析（sensitivity analysis）：有陣時喺得到統計模型之後會做嘅一樣嘢；用統計分析製作模型嘅過程當中往往假設咗好多嘢，但呢啲假設未必完全受人接納（例如好多時分析者都假設個變數係跟常態分佈）；做敏感度分析意思就係睇吓如果嗰啲假設唔成立（變數唔係跟常態分佈），個模型仲成唔成立，如果就算冇咗嗰個假設都仲係搵到同一樣嘅結果嘅話，個分析者就更加有信心覺得個模型係掂嘅。
• 廣義化（generalization）同狹義化（specialization）：
  • 廣義化指「攞多個唔同個案，搵出呢柞個案嘅共通點，用呢啲共通點形成一個概念」嘅過程。例：狼、烏鴉、蛇、青蛙同埋鯊魚（一柞個案）都有「有