超智能

超智能（粵拼：ciu1 zi3 nang4；參照英文：superintelligence）係一個假想嘅個體，佢擁有嘅智能勁過最叻同埋最有天賦嘅人類。「超智能」都可以指解決問題系統嘅一種特性（例如，超智能嘅語言翻譯器或者工程助手），無論呢啲高層次嘅智能係咪體現喺喺世界入面活動嘅個體度。超人工智能有可能係由智能爆炸產生，亦都有可能唔係，而且有可能同科技奇點有關，亦都有可能冇關。

牛津大學哲學家尼克·波斯特洛姆 將「超智能」定義為「任何喺幾乎所有受關注嘅領域入面，認知表現都遠遠超過人類嘅智能」。 程式Fritz 未能達到呢個超人工智能嘅概念——即使佢喺象棋方面叻過人類好多——因為Fritz喺其他任務方面都唔夠人類勁。

科技研究人員對於而家嘅人類智能有幾大機會會被超越，意見都唔係好一致。有啲人認為人工智能（AI）嘅進步可能會產生一啲冇人類認知限制嘅通用推理系統。亦都有啲人認為人類會進化，或者直接改造佢哋嘅生物構造，嚟達到勁好多嘅智能。 一啲未來研究嘅情景結合咗呢兩種可能性嘅元素，認為人類好可能會同電腦連接，或者將佢哋嘅思想上載到電腦，用一種可以大幅提升智能嘅方式。

有啲研究人員相信，喺通用人工智能開發出嚟之後，超人工智能好快就會跟住出現。第一批通用智能機器好有可能會即刻喺起碼某啲心智能力方面有巨大嘅優勢，包括完美記憶嘅能力、極之勁嘅知識庫，同埋生物個體做唔到嘅多任務處理能力。呢樣嘢可能會令佢哋——無論係作為單一個體定係一個新嘅物種——變得比人類更加強勁，並且取代人類。

有唔少科學家同埋預測家一直都喺度呼籲，要優先研究人類同埋機器認知增強可能帶嚟嘅好處同埋風險，因為呢啲科技可能會對社會造成影響。

人工智能超智能嘅可行性

人工智能，尤其係基礎模型，進展得好快，喺唔同嘅基準測試入面已經勁過人類嘅能力。

人工智能超智能（ASI）嘅出現，近年來越來越多人講，尤其係人工智能（AI）技術發展得好快。

人工智能嘅進步同埋聲稱係AGI

而家人工智能嘅發展，尤其係基於transformer 架構嘅大型語言模型（LLMs）方面，令到喺唔同嘅任務入面有咗好大嘅進步。好似 GPT-3、GPT-4、Claude 3.5 同埋其他模型，顯示咗啲能力，有啲研究人員認為，呢啲能力接近甚至展現咗通用人工智能（AGI）嘅特徵。

但係，話而家嘅LLM係AGI呢個講法係有爭議性嘅。啲批評者話，呢啲模型雖然幾勁，但係都係冇真係嘅理解，主要都係一啲好勁嘅 pattern matching system。

超智能嘅可能途徑

哲學家 大衛·查默斯 認為，AGI 係好有可能通去 ASI 嘅路。佢認為人工智能可以達到同人類智能一樣嘅水平，之後可以勁過人類，再之後仲可以勁到喺任何任務上面都贏過人類。

近排嘅研究探索咗幾條可能通去超智能嘅途徑：

1. 擴大而家嘅人工智能系統 – 有啲研究人員認為，如果繼續擴大而家嘅人工智能架構，尤其係基於 transformer 嘅模型，可能會出現 AGI，甚至 ASI。
2. 新穎嘅架構 – 其他人就認為，可能要用一啲新嘅人工智能架構，可能要參考神經科學，先可以實現 AGI 同埋 ASI。
3. 混合系統 – 將唔同嘅人工智能方法結合埋一齊，包括符號人工智能同埋神經網絡，可能會產生更強大、更有能力嘅系統。

運算優勢

人工智能系統比起生物智能有幾個潛在嘅優勢：

1. 速度 – 電腦組件嘅運行速度快過生物神經元好多。現代微處理器（約 2 GHz）比神經元（約 200 Hz）快七個數量級。
2. 可擴展性 – 人工智能系統嘅規模同埋運算能力，比起生物大腦更容易擴大。
3. 模組化 – 人工智能系統嘅唔同組件可以獨立噉改進或者替換。
4. 記憶 – 人工智能系統可以做到過目不忘同埋擁有龐大嘅知識庫。喺工作記憶方面，佢哋都冇人類咁多限制。
5. 多工處理 – 人工智能可以同時執行多項任務，呢啲係生物個體做唔到嘅。

通過 transformer 模型嘅潛在途徑

最近基於 transformer 模型嘅進展，令到一啲研究人員推測，通去 ASI 嘅路可能係擴大同埋改進呢啲架構。呢個觀點認為，如果繼續改進 transformer 模型或者類似嘅架構，可能會直接通去 ASI。

有啲專家甚至認為，而家嘅大型語言模型，好似 GPT-4，可能已經展現咗 AGI 或者 ASI 能力嘅早期跡象。 呢個睇法認為，由而家嘅人工智能過渡到 ASI，可能會比之前諗嘅更加連續同埋快速，令到狹義人工智能、AGI 同埋 ASI 之間嘅界線變得模糊。

但係，呢個睇法仍然有爭議性。批評者認為，而家嘅模型雖然好勁，但係仍然缺乏通用智能嘅關鍵方面，例如真正嘅理解、推理，同埋跨唔同領域嘅適應能力。

關於通去 ASI 嘅路係咪會經過一個獨立嘅 AGI 階段，定係更直接噉擴大而家嘅技術，呢個爭論仍然喺度，對於人工智能嘅發展策略同埋安全考慮都有重大嘅影響。

挑戰同埋不確定性

雖然有呢啲潛在嘅優勢，但係要實現 ASI 仍然有好多重大嘅挑戰同埋不確定性：

1. 倫理 同埋 安全 問題 – ASI 嘅發展引發咗好多倫理問題同埋潛在風險，呢啲問題需要解決。
2. 運算需求 – ASI 可能需要嘅運算資源，可能遠遠超出而家嘅能力。
3. 根本限制 – 智能可能存在一啲根本嘅限制，呢啲限制適用於人工智能同埋生物系統。
4. 不可預測性 – 通去 ASI 嘅路同埋佢嘅後果係非常不確定，而且難以預測。

由於人工智能嘅研究繼續快速發展，ASI 嘅可行性問題仍然係科學界入面一個激烈辯論同埋研究嘅課題。

生物超智能嘅可行性

卡爾·薩根提出，剖腹生產同埋「體外」受精嘅出現，可能會令人類進化出更大嘅頭，從而透過自然選擇，喺遺傳嘅人類智能成分方面有所改進。相反，謝拉爾德·克拉布特里就認為，選擇壓力減少緊，搞到人類智能喺幾百年嚟慢慢下降，而且呢個過程好可能會繼續落去。對於呢兩種可能性，科學界都冇共識，而且喺兩種情況下，生物變化都會好慢，尤其係同文化變遷嘅速度相比。

選擇性育種、益智藥、表觀遺傳調控，同埋基因工程可以更快噉提升人類智能。波斯特洛姆寫到，如果我哋開始了解智能嘅遺傳成分，噉植入前基因診斷可以用嚟揀選啲胚胎，令到智商提高多達 4 分（如果喺兩個胚胎入面揀一個），或者提高更多（例如，如果喺 1000 個胚胎入面揀一個，智商最多可以提高 24.3 分）。如果呢個過程喺好多代人入面重複進行，噉提升嘅幅度可能會達到一個數量級嘅改進。波斯特洛姆建議，利用胚胎幹細胞嚟產生新嘅配子，可以用嚟快速噉重複呢個選擇過程。一個組織完善、由高智能人類組成嘅社會，有可能實現集體超智能。

另一方面，集體智能可能係透過更好地組織而家個人智能水平嘅人類嚟建構嘅。有啲作家提出，人類文明，或者佢嘅某啲方面（例如，互聯網，或者經濟），開始運作到好似個全球大腦噉，佢嘅能力遠遠超過佢嘅組成個體。然而，如果呢個系統性嘅超智能主要依賴人工智能組件，噉佢可能會歸類做人工智能，而唔係基於生物學嘅超級有機體。預測市場有時被認為係一個運作中嘅集體智能系統嘅例子，佢只係由人類組成（假設冇用到演算法嚟提供決策資訊）。

最後一種提升智能嘅方法係直接增強單個人類，而唔係增強佢哋嘅社會或者繁殖動態。呢個可以透過使用益智藥、體細胞基因療法，或者腦機介面嚟實現。但係，波斯特洛姆對頭兩種方法嘅可擴展性表示懷疑，仲認為設計一個超智能生化人介面係一個AI完全問題。

預測

大多數受訪嘅人工智能研究員都估計，啲機器始終有一日會喺智能方面追得上人類，雖然幾時會發生就冇乜共識。喺 2006 年嘅 AI@50 會議上面，18% 嘅參加者話佢哋估計到 2056 年，啲機器就會「能夠模擬學習同埋人類智能嘅所有其他方面」；41% 嘅參加者估計呢件事會喺 2056 年之後嘅某個時間發生；而 41% 嘅人就估計啲機器永遠都唔會達到嗰個里程碑。

喺一個針對人工智能領域 100 位最多被引用作者嘅調查入面（截至 2013 年 5 月，根據 Microsoft Academic Search），受訪者預計啲機器「可以執行大多數人類職業，而且起碼同普通人類一樣咁好」（假設冇 全球性災難 發生）嘅中位數年份，喺 10% 信心水平下係 2024 年（平均數 2034 年，標準差 33 年），喺 50% 信心水平下係 2050 年（平均數 2072 年，標準差 110 年），喺 90% 信心水平下係 2070 年（平均數 2168 年，標準差 342 年）。呢啲估計唔包括嗰啲話永遠都唔會達到 10% 信心水平嘅 1.2% 受訪者，話喺 50% 信心水平下「永不」嘅 4.1% 受訪者，同埋話喺 90% 信心水平下「永不」嘅 16.5% 受訪者。受訪者認為，喺大約人類水平嘅機器智能發明出嚟之後 30 年內，發明出機器超智能嘅可能性，中位數機率係 50%。

喺 2022 年嘅一項調查入面，受訪者預計「高水平機器智能」喺 50% 信心水平下出現嘅中位數年份係 2061 年。嗰個調查將高水平機器智能嘅成就定義為，當唔使人幫手嘅機器可以比人類員工更好更平噉完成每一項任務嗰陣。

喺 2023 年，OpenAI 嘅領導人 森·阿特曼、格雷格·布羅克曼 同埋 伊利亞·蘇茨克維 發布咗關於超智能管治嘅建議，佢哋認為超智能可能喺唔夠 10 年嘅時間入面就會出現。 喺 2024 年，伊利亞·蘇茨克維離開咗 OpenAI，去共同創立初創公司 Safe Superintelligence，呢間公司淨係專注於創造一個 安全 設計嘅超智能，同時避免「受到管理開銷或者產品週期嘅干擾」。

設計考量

超級人工智能系統嘅設計，帶出咗一啲好重要嘅問題，就係呢啲系統應該要有啲乜嘢價值觀同埋目標。而家有幾個提議已經提出咗：

價值對齊提議

連貫外推意願 (CEV) – 人工智能應該要有啲價值觀，如果人類係更加有學識、更加理性嘅話，佢哋就會諗埋同一個方向嘅價值觀。

道德正確性 (MR) – 人工智能應該要寫程式去做到符合道德嘅嘢，靠佢哋勁啲嘅腦力去諗清楚點樣做先至合乎道德。

道德容許性 (MP) – 人工智能應該要喺道德上容許嘅範圍入面做嘢，喺呢個框框入面去追人類想要嘅目標（同CEV差唔多）。

Bostrom 再詳細解釋咗呢啲概念：

與其係執行人類嘅連貫外推意願，不如試吓整個人工智能出嚟，叫佢做啲道德上啱嘅嘢，靠人工智能勁過人嘅腦諗清楚邊啲行為先至啱。 我哋可以叫呢個提議做「道德正確性」（MR） ...

「道德正確性」睇落都有啲唔好嘅地方。佢係靠「道德上啱」呢個概念，但係呢個概念出晒名咁難搞，啲哲學家由好耐之前就已經喺度研究，到而家都未傾掂點樣分析。如果揀錯咗「道德上啱」嘅解釋，可能會搞到啲結果喺道德上錯到離晒譜 ...

有人可能會諗住保留「道德正確性」模型嘅基本諗法，但係就將要求降低啲，轉為關注「道德容許性」：個諗法就係我哋可以畀人工智能去追人類嘅連貫外推意願，但係前提係佢唔可以做啲道德上唔容許嘅嘢。

近期發展

自從 Bostrom 分析完之後，人工智能價值對齊方面出咗啲新嘅方法：

逆向強化學習 (IRL) – 呢個技術想透過觀察人類嘅行為，嚟估吓人類鍾意乜嘢，噉樣可能可以更加穩陣噉對齊價值觀。

憲法人工智能 – Anthropic 提出嘅，係用明確嘅道德原則同埋限制嚟教人工智能系統。

辯論同放大 – OpenAI 研究緊呢啲技術，用人工智能幫手辯論同埋用逐步改進嘅方法，嚟更加了解同埋對齊人類嘅價值觀。

Transformer LLMs 同埋 ASI

Transformer 底層嘅 LLMs 發展得好快，令人開始諗佢哋係咪有可能會發展到 ASI。 有啲研究人員認為，將呢啲模型放大之後，可能會展現出好似 ASI 噉嘅能力：

湧現能力 – 隨住 LLMs 嘅規模同埋複雜程度增加，佢哋展現出啲細模型冇嘅、估唔到嘅能力。

語境學習 – LLMs 展現出唔使特別調整都可以適應新任務嘅能力， 可能係度模仿緊通用智能。

多模態整合 – 最近啲模型可以處理同埋產生唔同類型嘅數據，包括文字、圖像同埋聲音。

不過，有啲批評嘅人就話，而家啲 LLMs 其實唔係真係理解到啲乜嘢，只係識得好勁噉樣去「對pattern」，咁就令人諗佢哋係咪真係可以發展到 ASI 呢？

關於超級人工智能嘅其他睇法

關於超級人工智能發展同埋影響嘅其他睇法包括：

遞迴式自我改進 – I. J. Good 提出咗「智能爆炸」嘅概念，即係話人工智能系統可以好快噉提升自己嘅智能，咁樣就好可能會變做超級人工智能。

正交性命題 – Bostrom 認為，人工智能嘅智能程度同埋佢嘅最終目標係冇乜關係嘅，即係話超級人工智能可以有乜嘢動機都得。

工具性收斂 – 好多唔同嘅人工智能系統，無論佢哋最終目標係乜嘢，都可能會追求一啲工具性嘅目標（例如，保護自己、攞資源）。

挑戰同埋持續研究

要搞掂價值對齊嘅人工智能，仲有好多挑戰：

定義「道德正確性」呢啲概念，哲學上仲有好多唔確定嘅地方

要將道德原則變成好精確嘅演算法，技術上好複雜

就算係出於好意嘅方法，都可能會搞出啲估唔到嘅後果

而家研究嘅方向包括用多方持份者嘅方法，吸納唔同嘅意見，開發啲可以大規模監管人工智能系統嘅方法，同埋改進啲穩陣噉學習價值觀嘅技術。

人工智能研究正喺度好快噉向住超級人工智能方向發展。要創建出又勁又符合人類利益嘅 ASI 系統，搞掂呢啲設計上嘅挑戰仍然係最重要嘅。

對人類嘅潛在威脅

内文：Existential risk from artificial general intelligence、[[:人工智能通用性帶嚟嘅存在風險]]、[[:人工智能對齊]]同[[:人工智能安全]]

超級人工智能（ASI）嘅發展，令人開始擔心佢會唔會對人類造成好大鑊嘅生存危機。啲研究人員就提出咗唔同嘅情況，喺呢啲情況下面，ASI 係有可能對人類構成好嚴重嘅威脅嘅：

智能爆炸同埋點樣控制佢嘅問題

有啲研究人員就覺得，靠住不斷噉自我改進，ASI 好快就會變得勁到人類根本控制唔住。呢個諗法，就叫做「智能爆炸」，係 I. J. Good 喺 1965 年第一次提出嚟嘅：

不如噉樣定義超智能機器：佢係一部可以遠遠勁過任何叻人嘅所有腦力活動嘅機器。 因為設計機器都係一種腦力活動，噉一部超智能機器就可以設計出更加勁嘅機器；噉就肯定會出現「智能爆炸」，而人類嘅腦力就會遠遠被拋離。 所以，第一部超智能機器，就係人類最後一件需要發明嘅嘢，前提係部機器要夠聽話，肯話畀我哋聽點樣先可以控制住佢。

呢個情況就帶出咗點樣控制人工智能嘅問題：即係點樣整到一個 ASI 出嚟，佢可以幫到人類，但又唔會搞出啲我哋唔想見到嘅衰嘢。 Eliezer Yudkowsky 就話，喺 ASI 真係出現之前，搞掂呢個問題係最重要嘅，因為一旦有咗超級智能系統，佢可能勁到可以阻止晒之後所有想控制佢嘅嘗試。

估唔到嘅後果同埋目標唔啱

就算本意係好嘅，ASI 都可能因為目標唔啱，或者對啲目標有啲估唔到嘅理解而搞出禍。Nick Bostrom 就舉咗個好明顯嘅例子嚟講呢個風險：

如果我哋整咗第一部超級智能嘢出嚟，可能會唔小心，畀咗啲會搞到佢想消滅人類嘅目標佢，諗吓佢咁鬼勁嘅腦力，應該有能力做到嘅。 譬如話，我哋可能會錯手將一個唔係咁重要嘅目標，當咗係最重要嘅目標。 我哋叫佢計條數學題，點知佢竟然將成個太陽系嘅嘢都變成咗一部超巨型嘅計數機，順手殺埋問佢問題嗰個人。

Stuart Russell 又講咗另一個可以說明問題嘅情景：

有個系統，佢嘅目標係要max out人類嘅幸福感，佢可能會覺得，與其改善個世界，不如直接改人類嘅腦部線路，等人類無論點都覺得開心，仲容易啦。

呢啲例子就突顯咗，就算 ASI 唔係刻意設計成要搞衰嘢，都一樣有可能搞出好大鑊嘅後果。所以，點樣清楚噉訂立目標，同埋確保目標啱晒方向，真係非常之重要。

可能可以點樣減低風險

啲研究人員就諗咗唔同嘅方法，想減低 ASI 可能帶嚟嘅風險：

能力控制 – 限制 ASI 影響世界嘅能力，好似將佢哋隔離喺某個地方，或者唔畀佢哋掂某啲資源噉。

動機控制 – 設計啲 ASI 出嚟，佢哋嘅目標本身就同人類嘅價值觀係一致嘅。

道德人工智能 – 將道德原則同埋決策嘅框架，放入 ASI 系統入面。

監督同埋管治 – 為咗開發同埋應用 ASI 技術，建立一套完善嘅國際規章制度。

雖然諗咗咁多方法出嚟，但係有啲專家，好似 Roman Yampolskiy 噉，就覺得要控制住超級智能人工智能，可能根本係冇可能嘅任務。佢哋強調，喺開發 ASI 嘅時候，一定要非常非常小心。

辯論同埋質疑

唔係個個研究人員都同意 ASI 相關嘅生存風險真係咁易發生，或者真係咁嚴重。 有啲人，好似 Rodney Brooks，就覺得驚超級智能人工智能根本係自己嚇自己，係基於一啲唔實際嘅假設，關於智能嘅本質同埋科技嘅進步。 又有啲人，好似 Joanna Bryson，就認為將人工智能系統當人噉睇，先至會對佢哋嘅潛在威脅有啲唔啱位嘅擔心。

最近嘅發展同埋而家嘅睇法

LLMs 同埋其他人工智能技術發展得咁快，令到大家更加熱烈噉討論 ASI 幾時會出現，同埋佢嘅潛在風險有幾大。 雖然科學界未有統一嘅共識，但係有啲研究人員同埋搞人工智能嘅人就覺得，而家嘅人工智能系統可能就嚟達到通用人工智能，甚至係 ASI 嘅水平。

LLM 嘅能力 – 最近啲 LLMs，好似 GPT-4，喺推理、解決問題、同埋理解唔同類型嘅信息等方面，展現咗好多意想不到嘅能力，搞到有啲人諗，佢哋係咪有可能會發展到 ASI。

湧現行為 – 有研究顯示，當人工智能模型嘅規模同埋複雜程度增加嘅時候，佢哋會展現一啲細模型冇嘅新能力，噉可能表示佢哋正喺度向住更加通用嘅智能發展。

快速進展 – 人工智能發展得實在太快，有啲人就覺得，我哋可能比之前諗嘅更加接近 ASI，噉樣對於生存風險嘅影響可能好大。

有一小部分研究人員同埋觀察家，包括一啲人工智能開發界嘅人，佢哋相信而家嘅人工智能系統可能已經到咗或者差唔多到咗通用人工智能嘅水平，ASI 可能好快就會跟住出現。 呢個睇法雖然未被科學界普遍接受，但係佢係基於觀察到人工智能能力嘅快速進步，同埋大型模型入面出現咗啲意想不到嘅新行為。

不過，好多專家都提醒大家唔好咁快就話有通用人工智能或者 ASI 出現，佢哋認為而家嘅人工智能系統，就算佢哋嘅能力幾勁都好，都仲係冇真正嘅理解能力同埋通用智能。 佢哋強調，要達到人類水平嘅智能，更唔好講超級智能，仲有好多好大嘅難關要過。

圍繞人工智能發展嘅現狀同埋未來方向嘅辯論，突顯咗繼續研究人工智能安全同埋倫理道德嘅重要性，同時亦都需要建立完善嘅監管框架，去管理住啲潛在風險，因為人工智能嘅能力仲會繼續進步落去。

睇埋

• 智能放大

疏仕

披爬

Bostrom, Nick (2002), "Existential Risks", Journal of Evolution and Technology, 9, 喺2007-08-07搵到。

Chalmers, David (2010). "The Singularity: A Philosophical Analysis" (PDF). Journal of Consciousness Studies. 17: 7–65.

Legg, Shane (2008). Machine Super Intelligence (PDF) (PhD). Department of Informatics, University of Lugano. 喺September 19, 2014搵到.

Müller, Vincent C.; Bostrom, Nick (2016). "Future Progress in Artificial Intelligence: A Survey of Expert Opinion". 出自 Müller, Vincent C. (編). Fundamental Issues of Artificial Intelligence. Springer. pp. 553–571.

Santos-Lang, Christopher (2014). "Our responsibility to manage evaluative diversity" (PDF). ACM SIGCAS Computers & Society. 44 (2): 16–19. doi:10.1145/2656870.2656874. S2CID 5649158. 歸檔時間July 29, 2014.{{cite journal}}: CS1 maint: unfit URL (link)

書

Hibbard, Bill (2002). Super-Intelligent Machines. Kluwer Academic/Plenum Publishers.

Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.

Tegmark, Max (2018)。《Life 3.0：喺人工智能時代做人》 (英文)。London, England。ISBN 978-0-14-198180-2。OCLC 1018461467。

Russell, Stuart J. (2019)。《Human compatible：人工智能同埋點樣控制佢嘅問題》。New York。ISBN 978-0-525-55861-3。OCLC 1113410915。

Sanders, Nada R. (2020). The humachine: humankind, machines, and the future of enterprise (英文). John D. Wood (第1版). New York, New York. ISBN 978-0-429-00117-8. OCLC 1119391268.