跳去內容

自監督式學習

出自維基百科，自由嘅百科全書

自監督式學習（英文：self-supervised learning）係機械學習嘅一隻分椏，係一種中間形式介於監督式學習同非監督式學習嘅。自監督式學習涉及一種自主式學習，使到人工神經網絡做協助而嘸需要啲人類預先分類好嘅樣本數據。首先，隻網絡會面對一隻pretext任務，相對容易解決同評估嘅，但需要對數據有高水平嘅語義理解，解決佢反過來有助於解決另一隻下游任務[1][2]。雖然第一步主要係基於啲偽標籤，啲透過轉換原始數據嚟生成嘅，但實際分類過程可以透過監督式或者非監督式學習來進行[3][4][5]。背後嘅惗法畀pretext任務嘅係，解決隻相對簡單尐嘅問題會初始化啲權重畀神經網絡，令到隻模型得用喺其他啲應用[6]。近排自監督式學習體現出嘅成果幾有前途吓，並已得到實際應用喺處理圖像、影片同音頻當中，着Facebook等用喺自動嘅語音識別裏頭。

區別戥其他種機械學習

[編輯]

自監督式學習屬監督式學習嘅範圍，因為目的畀種途徑都係生成分類好嘅輸出跟啲輸入來，之不過冇明顯用到帶標籤嘅輸入輸出孖。相反，相關性、數據裏頭𤗈有嘅中繼資料或者存在喺輸入裏頭嘅領域知識得到隱式、自動噉提取跟數據出。[7]然後啲訊息，啲生成跟數據本身嘅就着攞嚟做分類。[8]

之但係，自監督式學習都類似非監督式學習，因為佢嘸使明確指定任何標籤喺啲做例子嘅數據裏頭。但相較非監督式學習，實際嘅學習過程並冇憑藉固有嘅數據結構。[7]

監督式學習同非監督式學習嘅結合喊做半監督式學習，裏頭只有一部分仔學習資料得到標記。之相較自監督式學習都有好大嘸同，因為後者嘸需要任何明確嘅標籤。[2]

應用

[編輯]

自監督式學習佢效率高過監督式學習好多，尤其係喺樣本數據攞嚟學習嘅係好少嘅情景下。種情況下，種方法有可能克服到傳統機械學習嘅局限性並開拓出新嘅應用領域[9]。自監督式學習特別啱自動處理圖像、語音同影片[10][11]。例如，Facebook 開發了一種自監督式演算法帶有 wav2vec 嘅來執行自動語音識別，其中使到兩隻深度卷積神經網絡係相互構建嘅。Google 開發嘅 BERT 模型着用嚟譬如等理解上下文畀啲嘢檢索查詢嘅理解得好多尐。另外，OpenAi 研究出一種喊做 GPT-3 嘅自回歸語言模型使喺處理自然語言嘅，可以攞來翻譯文本或者回答問題等[12]。現有嘅方法似聚類、降維或者推薦系統之類都可以得到改進憑自監督式學習。具體嘅應用例有自動駕駛[13] 、機械人手術[14]或者單目內窺鏡檢查[15]。

軟件

[編輯]
  • Lightly - 開源 Python 庫畀自監督式學習畀圖像
  • OpenSelfSup - 工具箱同排行榜畀監督式學習
  • VISSL - 一隻組件庫，帶有拓展得、模塊化得與及擴展得嘅組件嘅，畀自監督式學習畀圖像

讀埋

[編輯]
  • Lan, Zhenzhong ; Chen, Mingda ; Goodman, Sebastian ; Gimpel, Kevin ; Sharma, Piyush ; Soricut, Radu: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. 26. September 2019
  • Afouras, Triantafyllos ; Owens, Andrew ; Chung, Joon Son ; Zisserman, Andrew: Self-Supervised Learning of Audio-Visual Objects from Video. 10. August 2020
  • Multi-Task Self-Supervised Visual Learning. 2017.

考

[編輯]
  1. ↑ Multi-Task Self-Supervised Visual Learning. 2017. pp. 2051–2060.
  2. ↑ 2.0 2.1 S4L: Self-Supervised Semi-Supervised Learning. 2019. pp. 1476–1485.
  3. ↑ Unsupervised Visual Representation Learning by Context Prediction. 2015. pp. 1422–1430.
  4. ↑ Fast and robust segmentation of white blood cell images by self-supervised learning.第107卷. 2018-04-01. pp. 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328.
  5. ↑ Boosting Few-Shot Visual Learning With Self-Supervision. 2019. pp. 8059–8068.
  6. ↑ Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles.第9910卷. Springer International Publishing. 2016. pp. 69–84. doi:10.1007/978-3-319-46466-4_5. ISBN 978-3-319-46465-7.
  7. ↑ 7.0 7.1 Carlos E. Perez (2019-06-13). "The Paradigm Shift of Self-Supervised Learning" (英文).
  8. ↑ Louis (What’s AI) Bouchard (2020-05-27). "What is Self-Supervised Learning ? | Will machines be able to learn like humans ?" (英文).
  9. ↑ Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey. 2020. pp. 1–1. doi:10.1109/TPAMI.2020.2992393. ISSN 0162-8828.
  10. ↑ Data-Efficient Image Recognition with Contrastive Predictive Coding. 2020-07-01. arXiv:abs/1905.09272. {{cite book}}: Check |arxiv= value (help)
  11. ↑ Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles.第33卷. 2019-07-17. pp. 8545–8552. doi:10.1609/aaai.v33i01.33018545. ISSN 2374-3468. 原著喺2020-08-11歸檔. 喺2022-11-13搵到.
  12. ↑ Brown, Tom B. ; Mann, Benjamin ; Ryder, Nick et al.: Language Models are Few-Shot Learners. 28. Mai 2020
  13. ↑ Operator interventions in autonomous off-road driving: effects of terrain. IEEE. doi:10.1109/icsmc.2004.1400756. ISBN 0-7803-8567-5.
  14. ↑ Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery. The Hamlyn Centre, Faculty of Engineering, Imperial College London. 2017. doi:10.31256/hsmr2017.14. ISBN 978-0-9563776-8-5.
  15. ↑ Dense Depth Estimation in Monocular Endoscopy With Self-Supervised Learning Methods.第39卷. 2020–05. pp. 1438–1447. doi:10.1109/tmi.2019.2950936. ISSN 0278-0062.{{cite book}}: CS1 maint: date format (link)
由「https://zh-yue.wikipedia.org/w/index.php?title=自監督式學習&oldid=1950648」收