詞庫

2005 年一本拉丁文字典；字典想做嘅嘢，就係要列出嗮一隻語言嘅 lexicon 入面嘅字詞。

 唔好同詞彙搞亂。

Lexicon（粵拼：lek1 sik4 kan4，讀音大致對應漢字叻識勤lek1 sik4 kan4），或者叫詞庫ci4 fu3，係指一隻語言或者一套知識裏面啲詞彙嘅總和。

• 例如廣東話嘅叻識勤包嗮所有喺廣東話入面嘅詞彙－「詞彙ci4 wui6」呢隻詞喺廣東話入面，算係廣東話叻識勤嘅一部份；
• 除此之外，一門知識都可以有佢哋嘅叻識勤，例如係 AI 噉，做 AI 相關嘅工作會用到好多概念同埋行話（例：人工神經網絡），呢啲嘢入面包含嘅詞彙，可以算係 AI 呢個領域嘅叻識勤，形成所謂嘅 AI 詞彙。

喺語言學上，叻識勤係一個重要嘅概念：一隻語言可以大致睇做叻識勤同文法結合埋一齊而成嘅總體－叻識勤包括咗大拃嗰隻語言裏面嘅詞彙，用語言嘅人要攞住啲詞彙，跟文法將啲詞彙砌埋做句子，達致表達佢哋想表達嘅意思；例如攞住廣東話嘅詞彙

畀bei2（動詞）、本bun2（量詞）、書syu1（名詞）、同我ngo5（代名詞）

再跟廣東話嘅文法規則砌成「畀本書我。」噉嘅句子。因為叻識勤咁基本，對佢哋嘅研究喺語言學同自然語言處理（NLP）等語言相關嘅工作上相當受到重視。詞彙學（lexicology）就係語言學嘅一門子領域，顧名思義專研究叻識勤。

基礎

詞庫嘅最基本組成部份係字詞。

首先，而家淨係考慮口語（唔好諗文字點寫住），字詞由音素同形態素組成，當中

• 音素（phoneme）：指令用隻語言嘅人能夠分辨兩隻字嘅最細嘅聲單位；攞廣東話做例子，廣東話有元音同輔音，噉想像以下嘅音

  bou1（可以對應嘅漢字：煲）、dou1（可以對應嘅漢字：都、刀）－聽嘅人正路聽得出兩個聲唔同；

  bou1（可以對應嘅漢字：煲）、bo1（可以對應嘅漢字：波、玻）－聽嘅人都係會聽得出兩個聲唔同；

  －「改變個元音或者輔音」呢吓舉動，能夠令吓聲唔同咗，而且仲係能夠做到「令吓聲唔同咗」嘅最細可能改動，所以呢啲元音同輔音就係廣東話嘅音素。

• 形態素（morpheme）：指可以有意思嘅最細可能單位，唔一定能夠自成一隻字詞；攞英格蘭話做例子，想像以下呢啲字

  Redo（動詞再做過噉解）

  Reappear（動詞再出現噉解）

  －當中嘅 re- 本身唔能夠自成一隻字詞，但帶有再... 噉嘅意思，同時 re- 再斬細件啲就唔會再有咩意思可言。所以 re- 係英格蘭話入面嘅一嚿形態素。

一隻字詞會由若干嚿音素同若干嚿形態素組成。是但搵一個會用語言嘅群體，佢哋用嘅語言裏面有嘅字詞擺埋嗮一齊嘅整體，就係嗰個群體嘅詞庫，當中「群體」可以係：

• 講同一隻話嘅人，例：廣東話嘅詞庫、閩南話嘅詞庫、英格蘭話嘅詞庫... 呀噉；
• 做同一行嘅人－是但搵一門工作，嗰門工作都會有外人（講同一隻語言但唔係做嗰範嘅人）聽唔明嘅行話，所以一個行業可以有佢哋嘅詞庫，例：電腦科學嘅詞庫、工程學嘅詞庫、芭蕾舞嘅詞庫... 呀噉；
• 用同一隻語言而且年齡差唔多嘅人－年齡唔同嘅人講嘢方式可以幾唔同，有陣時可能齋係聽一個人講嘢啲用詞就可以知佢年齡，例：廣東話老人家嘅詞庫、廣東話後生仔女嘅詞庫... 呀噉；

... 等等。

詞庫化

詞庫化（lexicalization）係語言演變嘅重要一環，指

「

將新嘅字詞（或者慣用語等用字詞嘅方法）加入去一隻語言嘅詞庫度

」

噉嘅過程。詞庫化嘅過程可以係靠好多唔同嘅機制嚟做：

• 合成詞（compound，可以做粵拼：kam1 paang4）：技術性噉講，合成詞係指一個 lexeme 可能由多個字幹組成，簡化講即係兩隻各有意思嘅字砌埋一齊做一隻自成個新意思嘅字；例如粵人史上第一次見到雪糕嗰陣，就攞住雪同糕呢兩隻本身喺粵文入面可以獨自存在嘅形態素，砌埋一齊變成雪糕呢隻新字詞，隻字詞嗰兩橛對隻字詞整體嘅意思嚟講都係必要嘅。
  • 廣東話同普通話等嘅漢語出嗮名多合成詞，例子有廣東話入面嘅

    hoi1 sam1（漢字：開心；V-N）

    ceot1 maau1（漢字：出貓；V-N）

    faa1 jyun2*4（漢字：花園；N-N）... 等等。

• 減筆（abbreviation，減筆可以做 abbrv.）：將啲現有嘅字縮短，通常係由原先隻字或者句嘢度攞最重要嗰啲部份出嚟，最後形成隻新字或者句新句子，例如廣東話個英文名－Cantonese－以英文嚟講係一隻幾長嘅字，成日畀人減筆做 Canto，形成 Canto-pop（指粵語流行曲）等嘅字詞。睇埋揳夫簡潔定律。
• 頭字語（acronym）：淨係適用於寫起上嚟會攞字母寫嘅語言，指將隻詞用字母寫低，再攞隻詞每個字開頭嗰個字母，砌做一隻新字，例如北大西洋公約組織個名噉，北大西洋公約組織嘅英文名叫

  North Atlantic Treaty Organization

  • 個全名咁長，啲人覺得吓吓都要講或者寫嗮佢好煩（睇埋揳夫簡潔定律），所以就攞住嗰 4 隻字開頭嘅字母－N、A、T 同 O－做隻新字 NATO，用呢隻字指北大西洋公約組織。
• 借詞（loanword）：指由第啲語言度借啲字詞嚟用。

語料分析

語言相關工作者成日會靠分析語料嚟研究一隻語言嘅詞庫。

例如協氏定律（Heaps' law）就好出名：協氏定律係語言學上一條靠實證得出嘅定律；根據協氏定律，以下呢條式實會成立：

$V_{R}(n)=Kn^{\beta }$，當中

$V_{R}(n)$ 指一份 $n$ 隻字咁長嘅文件入面有幾多隻唔同款嘅字－am am 係兩隻同款嘅字，I am 係兩隻唔同款嘅字，$K$ 同 $\beta$ 係某啲參數，數值視乎語言而定。喺英文入面，$K$ 數值通常會係 10 至 100，而 $\beta$ 數值係 0.4 至 0.6（睇附圖）。用日常用語講嘅話，協氏定律講嘅嘢即係「一份文件嘅長度愈長，愈難搵到新鮮嘅字」。

協氏定律講嘅嘢畫做圖嘅樣如下，Y 軸做 $V_{R}(n)$，X 軸做 $n$。

睇埋

• 字表同字頻率
• 行話同詞彙表
• 辭典學
• 詞庫決定
• 顏色嘅名