詞法分析

詞法分析（英文：scanning，又叫 tokenization 或者 lexical analysis）係指將字串或者字符串流變做記號（token，臺譯符記）嘅過程，負責做爾樣嘢嘅軟件叫掃描器（scanner，又叫 tokenizer、lexical analyzer 等等）。

所謂符記係一種數據，代表語言入面可以視為詞位或者有意義嘅符號嘅嘢；符記代表嘅可以包括識別碼、保留字、數字、算子、字串或者其他符號等等，符記入面會嘜（maak1）低分類，通常亦會記低本來嘅字串係乜嘢（但係保留字同算子係有限集合，通常唔使記低）。