因素分析

出自維基百科,自由嘅百科全書
(由因素結構跳轉過嚟)
因素分析嘅想像圖;家陣研究者想靠量度 ... ,剖析 (例如智能)呢個睇唔到嘅「因素」。如果做嘅係 EFA,研究者唔知 嘅數量有幾多個,要。

因素分析粵拼jan1 sou3 fan1 sik1英文Factor analysis)係一類嘅統計方法,用嚟將大量嘅變數轉化做少量因素,當中「因素」通常係一啲數值冇得直接量度嘅嘢,所以就要由量度得到嗰啲變數嚟「反映」佢。例如智商測驗就係因素分析嘅出名應用例子:智商測驗旨在量度智能,但係智能(因素)呢家嘢冇得直接量度,佢嘅數值只可以靠住由測驗題目攞到嘅分數(量度得到嘅變數)嚟反映[1]

以下嘅內容如果有基本概念唔明,可以去參考吓迴歸分析

基礎諗頭[編輯]

内文:潛在變數

用一句句子嚟講嘅話,因素分析嘅重點目標係要[2]:p 1

將數量龐大嘅變數,轉化做數量比較少嘅因素

科研嗰陣,研究者往往要面對好多變數,不過好多時一大拃變數查實都係反映緊某啲「潛在因素」(潛在變數),而因素分析就係想用一連串嘅演算法,搵出呢啲「潛在因素」。舉個具體例子說明,想像研究者畀受試者做咗個 IQ 測試

  • 個測試有 咁多條題目,而 ... 表示受試者喺每條題目上嘅分數,每條題目都有個誤差值 ;呢 個變數就係觀察咗隨機變數
  • 表示智能(IQ 測試想量度嘅嘢),每個 都掕咗個 值,(簡單講)反映嗰條題目嘅分數同 有幾強相關,可以大致當係
  • 係一個冇被直接觀察到嘅隨機變數;順帶一提,而家呢個例子得 一個「潛在因素」,複雜啲嘅因素模型可以一個模型有多過一個「潛在因素」;
  • 行因素分析前, 嘅數值係未知,而因素分析做嘅,就係要搵出啲參數(啲 )嘅數值;

要圖像化嘅話,啲人通常會將因素分析畫做好似文頭嗰幅圖噉嘅模型。搵到啲參數嘅數值之後,研究者仲可以做好多唔同嘅分析,包括「啲變數係咪真係反映緊同一個潛在因素」或者係「個潛在因素嘅結構係點,會唔會有得再細分做兩個子因素」... 等等[3]。事實上呢種噉嘅分析,係 IQ 呢個概念嘅數學基礎。

因素分析可以分兩大類型:探索型(EFA)同確定型(CFA)。如果一位研究者行嘅係 EFA,即係話佢冇事先指定要有幾多個因素,佢會叫部電腦按照某啲條件「睇吓呢啲數據望落似係分到做幾多個因素」,目標係要由數據嗰度產生理論模型;而如果一位研究者行嘅係 CFA,即係話佢會事先指定有幾多個因素,以及係每個因素包括邊啲可觀察變數,然後佢就會叫部電腦計吓,佢心目中嗰個模型同數據所顯示嘅「有幾吻合」—用統計學行話講,意思係話 CFA 會包含測試手上嘅假說[4]

EFA 步驟[編輯]

以下係做 EFA 嘅步驟。

咩時候用[編輯]

數據科學上,探索性質嘅因素分析可以好有用[5]:p 2:呢種分析能夠減少要考慮嘅變數嘅數量—用 嘅 1 個數值總結晒嗰一大拃分數,達致用數量更少嘅概念解釋現象;探索型嘅因素分析又可以用嚟探討變數之間有咩關係,以及係好似 IQ 噉嘅理論概念嘅「內部結構」(例如會唔會某啲變數零舍反映得到 IQ 呢?)。除此之外,呢種分析仲可以用嚟處理做統計分析不時會遇到嘅多重共線性問題。

郁手行因素分析之前,分析者要睇睇以下呢啲嘢先:

  • 樣本大細:因素分析係一種幾複雜嘅統計分析,樣本一般要起碼有 100 個個體至算得上係「探測真實結果嘅能力」夠高[6][7],而有再嚴格啲嘅基準會要求樣本最少有 300 個個體咁多[8]
  • 樣本大細可觀察變數個比例:樣本個體數量()同可觀察變數嘅數量之間嗰個比例亦都好重要;一般嚟講 同變數數量之間要去到 10:1 就比較穩陣,亦有啲統計學專家主張呢個比例要去到 20:1 先至算係可以接受[註 1]
  • 統計相關:實際做因素分析之前,研究者通常都會睇吓啲可觀察變數之間嘅統計相關先;有統計學專家主張,啲變數之間嘅相關值最少要係 .30,先至有可能表示佢哋反映緊某啲潛在變數,而相關值去到 .50 或以上就可以算係「理想」[9]
  • 常態分佈:因素分析假設咗啲變數係呈常態分佈嘅。

等等。

因素抽取[編輯]

睇埋:平行分析

如果係做 EFA,部電腦就要自行決定「個模型要有幾多個因素」。呢個決定一啲都唔容易做。

想像而家部電腦計咗[註 2]幾個因素模型出嚟,根據模型 A,嗰拃變數背後有三個潛在變數,模型 B 就話嗰拃變數背後得兩個潛在變數,而模型 C 就話嗰拃變數背後有四個潛在變數。噉亦即係話,分析者要搵某啲條件,作出「手上搵到嘅因素模型當中,邊一個係最可以接受,或者最似係真確嘅」噉嘅決定。而且決定因素數量本質上就係兩難:根據科學上嘅奧坎剃刀原則,科學追求嘅係用最少嘅概念解釋最多嘅現象,所以因素應該係愈少就愈理想;但係另一方面事實又表明,因素數量上升,個模型「解釋到嘅變數變異」實會跟住升—縱使個升幅可能好微細,例如加多一個因素,解釋咗嘅變異淨係升嗰 1% 咁多。

睇特徵值[編輯]

内文:特徵值

特徵值(以符號 代表)係統計學成日提到嘅一個概念。簡化噉講,特徵值係反映緊添加一個因素能夠令「解釋到嘅變數變異」升幾多[10]。而要選擇因素嘅數量,一個簡單嘅方法就係一邊加新嘅因素落去個模型度,一邊睇住特徵值點樣變化—噉一旦「加咗第 個因素,解釋到嘅變異嘅升幅」數值(由特徵值反映)跌到低過預先設好嘅門檻(例如特徵值跌到細過 1),部電腦就會停手唔再加新嘅因素,最後得出一個 咁多個因素嘅模型。根據慣常用嘅標準,自然科學嘅因素模型要解釋最少 95% 嘅變異,而社會科學嘅因素模型就要解釋最少 50 到 60% 嘅變異[6]

好似係以下呢個例子噉[5]:p 7已解變異係指解釋到幾多變異,以 % 嚟計):

特徵值 添加因素已解變異會升... 累計已解變異總共幾多?
因素 1 19.095 40.627 40.627
因素 2 2.644 5.625 46.252
因素 3 1.733 3.688 49.940
因素 4 1.354 2.882 52.822
因素 5 1.156 2.459 55.281
因素 6 1.144 2.433 57.714
因素 7 1.014 2.158 59.873

—去到添加第 8 個因素嗰陣,特徵值跌到細過 1,就形成一個 7 個因素嘅模型,解釋得到約莫 60% 嘅變異。

岩屑堆圖[編輯]

内文:岩屑堆圖

「一邊添加新因素,一邊睇住特徵值點變」噉嘅思考方法,可以用岩屑堆圖嘅方式圖像化。一幅岩屑堆圖有打橫打戙兩條軸,打橫嗰條表示因素嘅數量,而打戙嗰條表示特徵值。事實表明,隨住因素數量上升,特徵值會變到愈嚟愈細,即係話岩屑堆圖出嗰條線會偏向下跌,跌嘅速度就愈嚟愈慢,形狀望落似岩屑堆,好似下圖[11]

Scree plot:岩屑堆圖 | Eigenvalue:特徵值 | Component number:因素嘅數量

而條虛線就表示特徵值係 1 嗰個位—特徵值一跌到落 1 以下,部電腦就停手唔再加新嘅因素。上述呢幅圖噉嘅情況,部電腦最後會出嗰個模型將會有 3 個因素。

因素旋轉[編輯]

淨係出咗個模型係唔夠嘅。事實表明,因素分析出嘅模型好多時都「唔夠靚」:出咗個模型之後,是但攞一個變數嚟睇,個變數都會有條式

當中

  • 係第 個個體喺第 個變數上嘅數值;
  • 係第 個變數嘅平均值;
  • 係第 個變數喺第 個因素上嘅因素負荷量(下面詳細講);
  • 係第 個個體喺第 個因素上嘅數值;
  • 嗰個估計唔到嘅誤差數值,平均係 0,變異數有限;

矩陣式嘅寫法,就可以寫做望落簡潔啲嘅

—是但攞一對「變數-因素」組合,佢哋之間嘅因素負荷量都可以唔同,例如如果佢哋之間個 近乎等如 0,就表示兩者之間咩關係都冇,而如果佢哋之間個 數值好大,就表示兩者之間有好強嘅關係。因素旋轉做嘅嘢,就係想令到個模型入便多啲數值高嘅負荷量,同時少啲數值低嘅負荷量[5]:p 9,用日常用語講可以大致想像成「執吓啲 佢,等個模型睇落靚啲」。

旋轉方法[編輯]

因素分析上用嘅旋轉方法,可以有好多種[12]

  • Varimax:追求盡量減少「喺每個因素上都有高負荷量」嘅變數嘅數量,被指可以有效簡化對因素嘅詮釋。
  • Quartimax:盡量減少「每個變數需要」嘅因素嘅數量,令到每個變數都可以由一至兩個因素「解釋晒」。
  • Equamax:結合咗 varimax(簡化啲因素)同 quartimax(簡化啲變數),追求減少「一個因素有高負荷量掕住嘅變數數量」同埋減少「一個變數有高負荷量掕住嘅因素數量」。
  • Promax:容許因素之間有一定嘅統計相關。呢種做法計起上嚟快啲,因而被指比較能夠處理量大嘅數據

喺廿一世紀初嘅統計學界,因素旋轉呢樣嘢受到一定嘅批評:事實表明,數據入便嘅細微變動,可以令到因素旋轉出嘅結果出現大變;例如而家手上有 300 個個體,用呢 300 個個體做 EFA 用 varimax 旋轉,然後再由 300 個個體入便是但剷走 10 個個體嘅數據,重做用 varimax 旋轉嘅 EFA,出嘅因素模型可以唔同晒(因素嘅數量唔同,而且「邊個變數負荷落去邊個因素」又唔同咗);噉嘅問題亦表示,因素旋轉令到研究者難以比較唔同研究出嘅結果。事實係有社科研究曾經試過發生噉嘅事—班研究者喺度研究文化,個個都有用因素分析,用嘅旋轉方法唔同,打後嘅研究者發現,呢幾份研究冇旋轉得出嘅因素模型好相似,但係做咗旋轉之後嘅因素模型唔同晒,唔同研究者手上都有個唔同嘅因素模型,個個諗住自己發現咗新嘢,仲創造新概念嚟解釋呢啲「新發現」[13]

結果詮釋[編輯]

搞掂晒呢啲步驟,分析者就要詮釋個結果:就算做完旋轉,個模型都只係一大拃數值,分析者要對呢拃數值賦予意義;舉個簡化例子,想像而家研究智商,研究者手上個智商測試有 30 條問題;佢行 EFA 搵到一個因素模型,個模型得一個因素,當中頭嗰 10 條問題嘅因素負荷量(標準化咗)做晒旋轉都仲係好低(連 0.4 都唔夠),同時尾嗰 20 條問題就條條都因素負荷量都超過 0.7(標準化咗);噉佢就有理由相信

  • 然後佢根據手上嘅理論,有理由相信呢啲題目都係反映緊智能嘅,所以佢就將個因素命名做智能
  • 手上個智商測試,啲題目全部都係大致反映緊同一樣嘢(智能)嘅;
  • 頭嗰 10 條問題唔係咁反映得到個因素,可以考慮攞走以後都唔用佢哋;

有研究者指出,因素分析得出嘅因素幾有意義,講到埋尾都係由研究者定義[14]—有關要點樣同啲因素命名,廿一世紀初嘅學界並冇乜嘢精確嘅基準,好多時都係研究者睇吓喺呢個因素上負荷量高嘅變數,再認為佢哋「似係大致反映緊 XXX 呢個理論概念」,就當咗佢哋係反映緊呢個概念。

CFA 步驟[編輯]

啲人做完 EFA,成日都會走去做 CFA:想像而家一班研究者搵咗拃數據返嚟,用 EFA 建立咗個因素模型;佢哋好多時都會想搵第個樣本,用新樣本嘅數據嚟行 CFA,檢驗吓由第一個樣本度搵到嘅因素模型「有幾用得到落去個新樣本度」[15][16]— CFA 做嘅正正就係攞住

  • 一拃數據,加埋
  • 一個由研究者定義好嘅因素模型,

然後出一拃數值,講吓呢個模型有幾符合手上嗰拃數據[17]

有關 CFA 嗰啲數學細節,可以睇睇結構方程模型

講定模型[編輯]

内文:量度模型

做 CFA 嘅第一步就係要界定個模型。一般來講,研究者會做 CFA 可能係因為佢睇過前人做嘅研究,知道手上嗰拃變數應該係成點嘅因素結構嘅,亦有可能係佢做完 EFA 搵到一個因素模型。無論係點,佢跟住都同部電腦講,佢心目中個模型係點嘅,即係想像

噉嘅因素模型,研究者要指定有幾多個因素( 嘅數值),有幾多個變數( 嘅數值),佢亦要指定每個變數係反映緊邊個因素(可以想像成係指定邊個 係 0 邊個係非 0)—研究者要指定佢心目中個理論模型,再做分析睇吓能唔能夠確定佢個諗法係啱嘅。不過研究者唔使乜嘢都指定晒,喺多數情況下研究者都冇需要指定啲 嘅具體數值—啲 嘅具體數值會由做 CFA 嘅演算法[註 2]負責估計[18]

計適合度[編輯]

内文:適合度

淨係搵到一個模型係唔夠嘅:搵到個模型啲參數(拃 )數值之後,分析者仲要檢驗個模型嘅適合度夠唔夠高:適合度泛指一個統計模型(例如係一個 CFA 模型)有幾切合得到手上嘅數據[19];例如

  • 卡方檢定,符號係 χ2 [註 3]:呢種做法將「個模型係正確嘅」當做 虛無假說),並且攞「個模型嘅協方差矩陣」同「實際觀察到嘅協方差矩陣」做卡方檢定,如果卡方檢定嘅數值(χ2)愈大,就表示兩個矩陣之間差異愈大-研究者就愈有理由相信個模型係錯嘅[20][21]
  • 近似值根均方誤差,英文簡稱 RMSEA:一個數值愈低愈好嘅適合度指標;RMSEA 最細嘅可能數值係 0,而一般認為,RMSEA 數值喺 0.1 或者以上嘅話個模型嘅適合度就算低到唔可以接受[22]
  • 標準化根均殘差,英文簡稱 SRMR:另一個數值愈低愈好嘅適合度指標;一般認為,SRMR 嘅數值最好係喺 0.1 以下,亦都有統計學家主張 SRMR 數值要喺 0.08 以下個模型先算係有充足嘅適合度[20]
  • 比較適合指數,英文簡稱 CFI:一個主要反映數據當中嘅統計相關嘅大細嘅適合度指標,所以數值係愈高愈好;一般嚟講,CFI 嘅數值過到 0.95,個模型就算係可以接受[20]

等等。如果啲適合度指標反映手上嗰個模型「可以接受」,研究者就可以去下一步詮釋呢個模型。

應用價值[編輯]

CFA 被指係最啱用嚟檢驗一個理論模型嘅聚合效度分歧效度[17]:p 4,仲可以用嚟檢驗一個因素結構係咪有量度不變特性[17]:22.2

心理測量[編輯]

睇埋:智能智商

智商測試[編輯]

内文:智商測驗

性格測試[編輯]

内文:性格測驗

其他應用[編輯]

睇埋:社會科學

市場學[編輯]

睇埋:市場研究

自然科學[編輯]

類似分析[編輯]

睇埋[編輯]

詞彙[編輯]

用咗嘅重要概念或者專有名詞嘅外語(主要係英文)名:

文獻[編輯]

註釋[編輯]

  1. 喺廿一世紀初,統計學界對於「因素分析用嘅樣本最少要有幾大」呢條問題查實有相當嘅爭議。
  2. 2.0 2.1 有關「電腦係用咩演算法做呢啲計算嘅」,可以睇睇最大似然估計等嘅概念。
  3. 卡方檢定要係個樣本大過要估計嘅參數數量()嗰時至會有用,而且如果樣本大得滯,卡方檢定會變得唔可靠。

參考[編輯]

引用咗嘅學術文獻或者網頁

  1. Child, Dennis (2006), The Essentials of Factor Analysis (3rd ed.), Continuum International.
  2. Yong, A. G., & Pearce, S. (2013). A beginner's guide to factor analysis: Focusing on exploratory factor analysis. Tutorials in quantitative methods for psychology, 9(2), 79-94.
  3. Bandalos, D. L. (2017). Measurement Theory and Applications for the Social Sciences. The Guilford Press.
  4. Pett MA, Lackey NR, Sullivan JJ. Making Sense of Factor Analysis: The use of factor analysis for instrument development in health care research. California: Sage Publications Inc; 2003.
  5. 5.0 5.1 5.2 Williams, B., Onsman, A., & Brown, T. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian journal of paramedicine, 8, 1-13,佢 Table 2 嗰度講到幾種「郁手行因素分析之前要做」嘅測試。
    佢噉嚟描述旋轉:"Rotation maximises high item loadings and minimises low item loadings, therefore producing a more interpretable and simplified solution."
  6. 6.0 6.1 Hair J, Anderson RE, Tatham RL, Black WC. Multivariate data analysis. 4th ed. New Jersey: Prentice-Hall Inc; 1995.
  7. de Winter*, J. C., Dodou*, D. I. M. I. T. R. A., & Wieringa, P. A. (2009). Exploratory factor analysis with small sample sizes. Multivariate behavioral research, 44(2), 147-181,呢篇文亦提到話樣本要有最少 50 個個體。
  8. Tabachnick BG, Fidell LS. Using Multivariate Statistics. Boston: Pearson Education Inc; 2007.
  9. Hair J, Anderson RE, Tatham RL, Black WC. Multivariate data analysis. 4th ed. New Jersey: Prentice-Hall Inc; 1995. Hair et al. (1995) categorised these loadings using another rule of thumb as ±0.30=minimal, ±0.40=important, and ±.50=practically significant.
  10. Factor Analysis - Rachael Smyth and Andrew Johnson,佢哋噉講:"Eigenvalues are a measure of the amount of variance accounted for by a factor, and so they can be useful in determining the number of factors that we need to extract."
  11. George Thomas Lewith; Wayne B. Jonas; Harald Walach (23 November 2010). Clinical Research in Complementary Therapies: Principles, Problems and Solutions. Elsevier Health Sciences. p. 354.
  12. Factor Analysis Rotation. IBM SPSS.
  13. Fog, A (2022). "Two-Dimensional Models of Cultural Differences: Statistical and Theoretical Analysis" (PDF). Cross-Cultural Research. 57 (2–3): 115–165.
  14. Henson RK, Roberts JK (2006). Use of exploratory factor analysis in published research: Common errors and some comment on improved practice. Educational and Psychological measurement, 66(3), 393-416,佢講咗:"The meaningfulness of latent factors is ultimately dependent on researcher definition."
  15. (英文) So, K. K. F., King, C., & Sparks, B. (2014). Customer engagement with tourism brands: Scale development and validation. Journal of Hospitality & Tourism Research, 38(3), 304-329,佢哋做旅遊業研究設計問卷,步驟係界定想量度嘅概念、講吓個概念包含啲乜、設計題目同檢驗效度、做前導研究行 EFA、搵新數據做 CFA 檢驗信度,再做測試睇吓份問卷有冇聚合效度
  16. (英文) Hollebeek, L. D., Glynn, M. S., & Brodie, R. J. (2014). Consumer brand engagement in social media: Conceptualization, scale development and validation. Journal of interactive marketing, 28(2), 149-165,市場學研究設計問卷,步驟係做面試研究產生題目同檢驗效度、做 EFA、搵新數據做 CFA,再做測試睇吓份問卷有冇聚合效度
  17. 17.0 17.1 17.2 Brown, T. A., & Moore, M. T. (2012). Confirmatory factor analysis. Handbook of structural equation modeling, 361, 379,第 4 頁尾第 5 頁頭嗰度講咗:"Convergent validity is indicated by evidence that different indicators of theoretically similar or overlapping constructs are strongly interrelated; e.g., symptoms purported to be manifestations of a single mental disorder load on the same factor. Discriminant validity is indicated by results showing that indicators of theoretically distinct constructs are not highly intercorrelated."
  18. Raykov, T. (2001). Estimation of congeneric scale reliability using covariance structure analysis with nonlinear constraints. British Journal of Mathematical and Statistical Psychology, 54, 315-323.
  19. Singh, R. (2009). Does my structural model represent the real phenomenon?: a review of the appropriate use of Structural Equation Modelling (SEM) model fit indices. The Marketing Review, 9(3), 199-212.
  20. 20.0 20.1 20.2 Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55.
  21. Deciding Between Competing Models: Chi-Square Difference Tests (PDF). Introduction to Structural Equation Modeling with LISREL.
  22. Browne, M. W.; Cudeck, R. (1993). "Alternative ways of assessing model fit". In Bollen, K. A.; Long, J. S. (eds.). Testing structural equation models. Newbury Park, CA: Sage.

[編輯]