跳去內容

GPT-3

出自維基百科，自由嘅百科全書

生成式預訓練變換模型 3（GPT-3）係OpenAI喺 2020 年推出嘅大型語言模型。

同前代GPT-2一樣，佢係一個純解碼器[1]變換器模型嘅深度神經網絡，用咗「注意力機制」取代傳統嘅循環同卷積結構[2]。呢種機制令個模型識得自動揀輸入文本中最關鍵嘅段落嚟重點處理[3]。GPT-3 有成 1,750 億個參數，每個參數用 16-bit 精度儲存，淨係擺參數都要用 350GB 空間（每個參數佔 2 byte）。佢嘅上下文窗口可以處理 2048 個標記，仲展現出超強嘅「零擊」同「少樣本」學習能力[1]。

2020年9月22號，微軟宣布取得 GPT-3 嘅獨家授權。其他人雖然仲可以用佢嘅公開 API 攞輸出，但底層模型得微軟先有權改[4]。

背景

[編輯]

根據《經濟學人》分析，算法進步、電腦效能提升同埋數碼資料量暴增，合力推動咗機器學習革命。2010年代嘅新技術令各項任務「急速進化」，包括玩轉語言嘅能力[5]。

軟件模型透過「模仿大腦神經結構」嘅設計，用數以萬計嘅例子嚟學習[5]。自然語言處理（NLP）常用嘅一種結構係 2017 年推出嘅深度學習模型——變換器[6]。而家有唔少 NLP 系統識得處理、整理、連結同對比文本，甚至準確答問題[7]。

2018年6月11號，OpenAI 團隊發表咗首個生成式預訓練變換模型（GPT）——種先喺海量文本語料庫做預訓練，再針對特定任務做微調嘅生成式大型語言模型。GPT 採用深度學習嘅變換器結構。以往頂尖嘅神經 NLP 模型主要靠監督式學習，需要大量人手標註數據，搞到訓練超大模型又貴又嘥時間[1]。初代 GPT 叫「GPT-1」，2019年2月出嘅「GPT-2」將參數量同數據集規模各擴充10倍，用咗15億參數同800萬網頁數據訓練[8]。

2020年2月，微軟推出參數量達170億嘅「圖靈自然語言生成模型」（T-NLG），自稱係「當時最大語言模型」[9]。呢個模型喺文本摘要、答問題等多項任務表現都贏晒其他模型。

訓練同能力

[編輯]

2020年5月28號，OpenAI 31位工程師同研究員喺arXiv預印本論文入面詳細講解第三代「頂尖語言模型」GPT-3嘅研發成果[10][11]。團隊將 GPT-3 嘅容量比前代 GPT-2 提升超過兩個數量級[12]，令 GPT-3 成為當時最大嘅非稀疏語言模型[10]:14[13]。由於結構同前代相似[10]，GPT-3 嘅高準確度主要歸功於參數量暴增[14]。GPT-3 容量比當時第二大 NLP 模型——微軟 Turing NLG 大十倍[11]。

Lambdalabs 估算2020年用單張GPU訓練 GPT-3 要耗資約460萬美元同355年[15]，實際用多 GPU 並行訓練會快啲。

GPT-3 嘅預訓練數據集中，60%權重來自過濾版Common Crawl嘅4100億位元組對編碼標記，並用Apache Spark嘅MinHashLSH做模糊去重[10]:9。其他來源包括佔22%權重嘅190億標記 WebText2、佔8%嘅120億標記 Books1、佔8%嘅550億標記 Books2，同埋佔3%嘅30億維基百科標記[10]:9。GPT-3 訓練數據涵蓋數千億字詞，仲識得用CSS、JSX同Python等語言寫code[未記出處或冇根據]。

GPT-3 訓練數據[10]:9
數據集 標記數量 訓練佔比
Common Crawl 4100億 60%
WebText2 190億 22%
Books1 120億 8%
Books2 550億 8%
維基百科 30億 3%

由於 GPT-3 訓練數據包羅萬有，做唔同語言任務時唔使再訓練[未記出處或冇根據]。訓練數據含少量粗俗語言，令 GPT-3 有時都會爆粗。華盛頓大學研究發現 GPT-3 嘅毒性水平同 GPT-2、CTRL 等模型相若。OpenAI 實施多種限制措施後，GPT-3 比前代 GPT-1 少咗粗口，但比起全用維基數據訓練嘅 CTRL Wiki 模型，GPT-3 嘅粗口生成量同毒性都更高[16]。

2020年6月11日，OpenAI宣布開放申請 GPT-3 API 呢個「機器學習工具箱」，等公眾幫手「探索技術潛力同局限」[17][18]。呢個「文字入，文字出」嘅通用接口可以處理「幾乎所有英文任務」[17]。有早期試用者話 GPT-3 只要簡單提示就能寫出「驚人連貫」嘅文章，勁到有啲得人驚[19]。初步實驗搵80個美國人分辨200字文章係人寫定 GPT-3 生成，結果正確率得52%，同亂估差唔多[10]。

2021年11月18日，OpenAI 宣布加強防護措施後全面開放 API[20]，並提供內容審查工具協助遵守政策[21]。2022年1月27日，OpenAI 宣布全面改用新版 GPT-3 模型（統稱 InstructGPT），聲稱新模型更識跟指示、少作古仔、毒性更低[22]。

由於 GPT-3 能生成「人類難以分辨真假嘅新聞稿」[11]，被指「同時推動語言模型嘅正邪應用」[10]:34。2020年5月28日論文詳細列舉 GPT-3 潛在危害[11]，包括「假資訊、濫發、釣魚、濫用法律程序、代寫論文、社交工程詐騙」[10]，作者呼籲研究減害措施[10]:34。

GPT-3 具備零擊同小樣本學習能力（包括一擊學習）[10]。

2022年6月，Almira Osmanovic Thunström 聲稱 GPT-3 自主撰寫並提交咗篇自我介紹論文[23]，論文預印本已發布待審[24]。

GPT-3 模型家族

[編輯]

GPT-3 系列有多個模型，各有所長。OpenAI 初版論文提到8個主要型號：

模型名 參數量 API 名
GPT-3 Small 1.25億 n/a
GPT-3 Medium 3.5億 ada
GPT-3 Large 7.6億 n/a
GPT-3 XL 13億 babbage
GPT-3 2.7B 27億 n/a
GPT-3 6.7B 67億 curie
GPT-3 13B 130億 n/a
GPT-3 175B 1750億 davinci

半數模型可經 API 使用，即 GPT-3-medium、GPT-3-xl、GPT-3-6.7B 同 GPT-3-175b，對應名為 ada、babbage、curie、davinci。雖然 OpenAI 無公開 API 模型大小，但EleutherAI 2021年5月披露咗對應關係[25]，後獲 OpenAI 確認[26]，但後續模型參數仍保密。

模型 參數量 描述 系列
ada 3.5億 處理簡單任務最快最平 基礎 GPT-3
babbage

babbage-002

13億 處理直接任務，快而抵 基礎 GPT-3
curie 67億 能力強，比 davinci 快而平 基礎 GPT-3
davinci

davinci-002

1750億 最全能，任務完成質量最高 基礎 GPT-3
text-ada-001 3.5億 處理簡單任務最快最平 InstructGPT
text-babbage-001 13億 處理直接任務，快而抵 InstructGPT
text-curie-001 67億 能力強，比 davinci 快而平 InstructGPT
text-davinci-001 1750億 舊版最強模型，需較少上下文 InstructGPT
text-davinci-002

code-davinci-002

保密 類似 text-davinci-003 但用監督式微調 GPT-3.5
text-davinci-003 保密 語言任務更優，支援文本插入 GPT-3.5
gpt-3.5-turbo

gpt-3.5-turbo-instruct gpt-3.5-turbo-16k

保密 最強 GPT-3.5 模型，專為聊天優化，成本僅 text-davinci-003 1/10 GPT-3.5

GPT-3.5

[編輯]
生成式預訓練變換模型 3.5（GPT-3.5）
原作者OpenAI[10]
初始版本2022年3月15號，3年之前 (2022-03-15)
最新發布
  • 175B
改維基數據
測試版gpt-3.5-turbo-0125 / 2024年1月25號，17個月之前 (2024-01-25)
軟件類別Template:Indented plainlist
許可協議私有軟件
網站n/a
庫n/a

生成式預訓練變換模型 3.5（GPT-3.5）係OpenAI 2022年推出嘅 GPT-3 子系列。

2022年3月15日，OpenAI 喺 API 推出具編輯插入功能嘅新版 GPT-3 同 Codex，名為「text-davinci-002」同「code-davinci-002」[27]，訓練數據更新至2021年6月[28]。2022年11月28日推出 text-davinci-003[29]。2022年11月30日 OpenAI 將呢啲模型歸類為「GPT-3.5」系列[28]，並發布基於 GPT-3.5 微調嘅ChatGPT[30]。官方指 GPT-3.5 唔屬 GPT-3[31]。

模型

[編輯]

主要有三款[32]：

  • 聊天
    • gpt-3.5-turbo
  • 文本補全
    • text-davinci-003
    • text-davinci-002

GPT-3.5 瀏覽版

[編輯]

2023年4月10日，OpenAI推出 GPT-3.5 瀏覽版（ALPHA）[33]，基於「text-davinci-002」同「code-davinci-002」強化[34]。新版加入網上瀏覽功能，回應更準確及時[33]。

訓練數據更新至2021年9月（舊版至2021年6月），強化網絡資訊整合能力[33]。OpenAI 為瀏覽版設計新API，運行時可存取指定網上資源[35]。2023年4月27日向 GPT Plus 用戶全面開放[35]。

InstructGPT

[編輯]

InstructGPT 係基於人類指令數據集微調嘅 GPT-3.5 版本[36]。

疏仕

[編輯]
  1. ↑ 1.0 1.1 1.2 Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (2018年6月11日)。〈透過生成式預訓練提升語言理解〉 (PDF)。頁 12。原先內容歸檔 (PDF)喺2021年1月26日。喺2020年7月31日搵到。
  2. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017)。〈注意力就夠晒掟〉 (PDF)。《神經信息處理系統進展》。Curran Associates, Inc.。30。
  3. ↑ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014年9月1日)。〈透過聯合學習對齊與翻譯嘅神經機器翻譯〉。arXiv:1409.0473 [cs.CL]。
  4. ↑ Hao, Karen (2020年9月23日)。〈OpenAI 將 GPT-3 語言模型獨家授權俾微軟〉。《MIT科技評論》 (英文)。原先內容歸檔喺2021年2月5日。喺2020-09-25搵到。｢兩間公司聲明 OpenAI 會繼續提供對外 API 服務，等特定用戶可以傳文本俾 GPT-3 或其他模型再收輸出。但係得微軟先有權接觸 GPT-3 嘅原始碼，任佢點嵌入、改造同修改個模型都得。｣
  5. ↑ 5.0 5.1 〈世人開始明白 AI 嘅局限〉。《經濟學人》。2020年6月11日。ISSN 0013-0613。原先內容歸檔喺2020年7月31日。喺2020年7月31日搵到。
  6. ↑ Polosukhin, Illia; Kaiser, Lukasz; Gomez, Aidan N.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (2017-06-12)。〈注意力就夠晒掟〉。arXiv:1706.03762 [cs.CL]。
  7. ↑ 〈自然語言處理〉。原先內容歸檔喺2020年8月22日。喺2020-07-31搵到。
  8. ↑ 〈檔案副本〉 (PDF)。原先內容歸檔 (PDF)喺2021年2月6日。喺2023年4月28日搵到。
  9. ↑ Sterling, Bruce (2020年2月13日)。〈網絡語義：微軟圖靈計劃推出 T-NLG〉。Wired。ISSN 1059-1028。原先內容歸檔喺2020年11月4日。喺2020年7月31日搵到。
  10. ↑ 10.00 10.01 10.02 10.03 10.04 10.05 10.06 10.07 10.08 10.09 10.10 10.11 引用錯誤 無效嘅<ref>標籤；無文字提供畀叫做preprint嘅參照
  11. ↑ 11.0 11.1 11.2 11.3 Sagar, Ram (2020年6月3日)。〈OpenAI 推出至今最大模型 GPT-3〉。《印度分析雜誌》。原先內容歸檔喺2020年8月4日。喺2020年7月31日搵到。
  12. ↑ 〈語言模型係無監督多任務學習者〉 (PDF)。openai.com。原先內容歸檔 (PDF)喺2019年12月12日。喺2019年12月4日搵到。｢GPT-2 係個有15億參數嘅變換器｣
  13. ↑ Shead, Sam (2020年7月23日)。〈點解人人講緊 Elon Musk 撐場嘅實驗室出嘅 AI 文本生成器？〉。CNBC。原先內容歸檔喺2020年7月30日。喺2020年7月31日搵到。 2020年5月28日至7月22日期間共發布四篇預印本。
  14. ↑ Ray, Tiernan (2020年6月1日)。〈OpenAI 巨無霸 GPT-3 揭示語言模型嘅局限〉。ZDNet。原先內容歸檔喺2020年6月1日。喺2020年7月31日搵到。
  15. ↑ Li, Chuan (2020年6月3日)，《OpenAI GPT-3 語言模型技術解構》，原先內容歸檔喺2023年3月27日，喺2023年3月27日搵到
  16. ↑ Gehman, Samuel; Gururangan, Suchin; Sap, Maarten; Choi, Yejin; Smith, Noah A. (2020年11月16–20日)，《REALTOXICITYPROMPTS：評估語言模型嘅神經毒性退化》，計算語言學協會，頁 3356–3369，arXiv:2009.11462 {{citation}}: Check date values in: |date= (help)
  17. ↑ 17.0 17.1 "OpenAI API". OpenAI. 2020年6月11日. 原先內容歸檔喺2020年6月11日. 喺2020年7月31日搵到.
  18. ↑ Coldewey, Devin (2020年6月11日)。〈OpenAI 推出全能 API 玩轉文字 AI〉。TechCrunch。原先內容歸檔喺2021年10月27日。喺2020年7月31日搵到。｢想試 OpenAI 嘅神級機器學習工具？而家易過借火。公司推出咗個 API，等開發者可以『幾乎處理任何英文任務』。｣
  19. ↑ Arram (2020年7月9日)。〈GPT-3：識寫任何嘢嘅詭異 AI〉。Arram Sabeti。原先內容歸檔喺2020年7月20日。喺2020年7月31日搵到。
  20. ↑ 〈OpenAI API 免等侯名單全面開放〉。OpenAI (英文)。2021-11-18。原先內容歸檔喺2022年11月5日。喺2022-11-05搵到。
  21. ↑ "OpenAI API". beta.openai.com (英文). 原先內容歸檔喺2022年12月23日. 喺2022-11-05搵到.
  22. ↑ 〈訓練語言模型跟從指令〉。OpenAI (英文)。2022-01-27。原先內容歸檔喺2022年11月5日。喺2022-11-05搵到。
  23. ↑ Thunström, Almira Osmanovic (2022-06-30)。〈我哋叫 GPT-3 寫篇自我介紹論文 仲試過幫佢投稿〉。《科學美國人》。原先內容歸檔喺2022年6月30日。喺2022-06-30搵到。
  24. ↑ Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (2022-06-21)。〈GPT-3 可唔可以自己寫篇學術論文？〉。《HAL 開放檔案》 (法文)。原先內容歸檔喺2022年6月30日。喺2022-06-30搵到。
  25. ↑ Gao, Leo (2021-05-24)。〈解構 OpenAI API 模型大小〉。《EleutherAI 博客》。EleutherAI。喺2023-11-23搵到。
  26. ↑ 〈研究者用模型索引〉。OpenAI。歸檔時間2022-12-02。喺2023-11-23搵到。{{cite web}}: CS1 maint: bot: original URL status unknown (link)
  27. ↑ 〈GPT-3 新功能：編輯與插入〉。OpenAI (英文)。2022-03-15。原先內容歸檔喺2023年1月13日。喺2023-01-13搵到。
  28. ↑ 28.0 28.1 "OpenAI API". platform.openai.com. 原先內容歸檔喺2023年3月20日. 喺2023年3月15日搵到.
  29. ↑ 〈睇下 OpenAI 新出 text-davinci-003！同 002 同源但更聽話，歡迎試用反饋！ / Twitter〉。原先內容歸檔喺2023年3月15日。喺2023-05-06搵到。
  30. ↑ 〈ChatGPT：為對話優化嘅語言模型〉。OpenAI (英文)。2022-11-30。原先內容歸檔喺2022年11月30日。喺2023-01-13搵到。
  31. ↑ "OpenAI API". 原先內容歸檔喺2023年3月17日. 喺2023年5月6日搵到.
  32. ↑ "OpenAI API". 原先內容歸檔喺2023年5月6日. 喺2023年5月6日搵到.
  33. ↑ 33.0 33.1 33.2 tingetici (2023-04-10)。〈預設 GPT-3.5 瀏覽版 ALPHA —— 新模型剛上架〉。r/OpenAI。原先內容歸檔喺2023年4月27日。喺2023-04-27搵到。
  34. ↑ "推出 GPT-3.5 系列：text-davinci-002 同 code-davinci-002 模型". OPEN AI (英文). 2022-03-15. 原先內容歸檔喺2023年3月20日. 喺2023-04-27搵到.
  35. ↑ 35.0 35.1 〈GPT-3.5 瀏覽版（ALPHA）向 GPT Plus 用戶開放〉。OPEN AI (英文)。2023-04-27。原先內容歸檔喺2023年3月20日。喺2023-04-27搵到。
  36. ↑ Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D (2023年2月)。〈ChatGPT 喺美國醫師執照試表現點？大型語言模型對醫學教育同評估嘅啟示〉。《JMIR 醫學教育》。9: e45312。doi:10.2196/45312。PMC 9947764。PMID 36753318。 {{cite journal}}: Check |pmc= value (help); Check |pmid= value (help)
由「https://zh-yue.wikipedia.org/w/index.php?title=GPT-3&oldid=2239402」收