整理丨王軼群
出品丨AI 科技大本營（ID：rgznai100）
「兩年後，深度學習依然在碰壁。」
「人工智慧會產生致命的自主武器，它們將非常可怕，而且真的會自主執行。」
「降低人工智慧帶來的滅絕風險應該是全球的優先事項。」
人工智慧究竟是無謂的炒作還是真正的人類危機？
兩年後人工智慧「依然如此」
「深度學習」是人工智慧領最火的詞兒。熱度之下，難免存在著炒作。
「在無數的意見中，有一個聲音脫穎而出，成為理性和公正的倡導者：蓋瑞·馬庫斯。」 ——坎迪絲·克拉克
「Amongst the myriad of opinions, one voice stands out as a rational and impartial advocate: Gary Marcus.」 —Candice Clark
在人工智慧科技趨勢愈演愈熱的情形下，美國知名AI學者蓋瑞·馬庫斯（Gary Marcus）剛為大家的熱情潑了一盆冷水。本周，蓋瑞·馬庫斯發文表示：「兩年後，深度學習仍然面臨同樣的根本挑戰。」
在當時，這篇文章引起了軒然大波。在社交媒體上，有些人只是讀了標題，有數百人人認可文章內容，但也有數千人為此感到厭惡。事實證明，這篇文章在一定程度上經受起了時間的考驗。
蓋瑞·馬庫斯關於該文章中對通用智慧的發展障礙以及規模擴充套件（scaling）策略不夠的推斷，他認為在當時成立，在兩年後也並未發生根本改變：
在 2016 年Hinton預測深度學習將取代放射科醫生。Marcus寫道「快進到 2022 年，沒有一個放射科醫生被替換」。——這個預判依然正確。
「至少目前來說，人類和機器是優勢互補的。」——依然正確。
「很少有領域比人工智慧更充滿炒作和虛張聲勢。它幾十年來一直在流行，總是承諾登月，只是偶爾兌現。「——依然正確。
2020 年 11 月，Hinton在【麻省理工科技評論】（MIT Technology Review）上表示「深度學習將無所不能。「我對此深表懷疑。」 ——到目前為止，我的懷疑立場仍然正確，可以說持續存在。
「我們離真正理解人類語言的機器還有很長的路要走」——仍然如此，盡管有些人認為存在一些膚淺的理解。
「我們遠不及機器人羅西（Rosey）的日常智慧，羅西是一個科幻小說中的管家，不僅能理解各種各樣的人類請求，還能即時安全地采取行動。」——依然正確。
「埃隆·馬斯克最近表示，他希望制造的新型人形機器人 Optimus 有一天會比汽車行業規模更大」，我對此表示懷疑。—— 雖然還處於早期階段，但可以肯定的是，家用人形機器人在短期內不會成為任何人的大生意 。
「谷歌對語言的最新貢獻是一個Lamda系統，它是如此的輕浮，以至於它自己的一位作者最近承認它很容易產生廢話」——仍然如此。
「隨著時間的推移，我們將看到，如果我們要獲得值得信賴的人工智慧，深度學習只是我們需要構建的一小部份。」——猜想仍然存在，但請註意，正如我所敦促的，像 RAG 這樣的技術匯入了符號技術。 我們距離值得信賴的人工智慧還很遠。
「深度學習本質上是一種辨識模式的技術，當我們需要的只是粗略的結果、風險較低且可以選擇完美的結果時，深度學習處於最佳狀態。」—— 仍然如此。
「當前的深度學習系統經常會犯愚蠢的錯誤。」——仍然如此。
「另一個團隊曾短暫考慮將 GPT-3 轉變為自殺咨詢的自動聊天機器人，但發現該系統很容易出現有問題的交流」—— 仍然是一個問題，特別是對於可能沒有精心構建防護措施的開源機器人。
「GPT-3 容易產生有毒語言，並傳播錯誤資訊。」—— 仍然正確，並且取得了一些進展。(越獄很容易引發有毒語言，但在日常使用中則較少；即使沒有越獄，錯誤資訊仍然很常見。）
「OpenAI 為解決這些問題所做的新努力仍然是捏造權威的廢話。」—— 仍然是事實。
2020 年，Jared Kaplan和他在OpenAI的合作者提出語言神經網路模型存在一套「規模法則」（Scaling Laws）；他們發現，輸入神經網路的數據越多，這些網路的效能就越好，這意味著，如果我們收集更多數據並在越來越大的範圍內套用深度學習，我們就能做得越來越好。」 —— 不可否認，規模化（scaling）確實有所幫助，但並沒有解決我上面指出的任何問題。
「規模化爭論存在嚴重漏洞。首先，已經擴大規模的措施並沒有抓住我們迫切需要改進的東西：真正的理解……透過擴大規模的方式，Kaplan和他的 OpenAI 同事研究的關於預測句子中的單詞的措施，並不等於真正的人工智慧所需要的那種深度理解。」——仍然是正確的，並且逐漸得到普遍認可。
「Scaling laws不僅僅是觀察結果，可能不會永遠有效，就像莫耳定律一樣，電腦芯片生產的趨勢持續了幾十年，但可以說在十年前就開始放緩。」——這仍然是事實，而且最近被山姆·奧爾特曼（Sam Altman）公開承認，他指出，在我們到達那裏之前，我們不會真正知道 GPT-5 能做什麽。
OpenAI魅力十足的執行長山姆·奧爾特曼寫了一篇洋洋得意的部落格文章 ，大肆宣揚「莫耳定律適用於一切」，聲稱我們距離「能夠思考的電腦」、「閱讀法律檔」和（呼應IBM Watson）「給予醫療建議」只有幾年時間。也許是，但也許並不是。」——懸而未決/仍然正確。兩年後，我們對此還沒有任何可靠的參照。
「如果Scaling不能讓我們實作安全的自動駕駛，那麽數百億美元的擴充套件投資可能會付諸東流。」——懸而未決/仍然正確。結果顯示超過100B，仍然沒有商業化，測試仍然有限，多家公司因此失敗或衰落。
「神經符號（Neurosymbolic）可能是一個有前途的替代方案。」——懸而未決/仍然正確，DeepMind在今年初就一篇關於神經符號系統 AlphaGeometry 的精彩自然論文。
文章表明：規模化可能無法解決上述問題。—— 懸而未決/仍然正確。比爾·蓋茲、傑米斯·哈薩比斯、楊立昆和山姆·奧爾特曼等人都認識到，平穩期（plateau）可能即將到來。哈薩比斯（Hassabis）上個月的發言呼應了蓋瑞·馬庫斯2022 年文章的中心思想：
蓋瑞·馬庫斯表示，這並不意味著我們最終不會有某種形式的新創新，或者說 AGI 是不可能的。但我們需要範式轉變，而且越來越多的人認為LLM本身並不是AGI的答案——這正是我所議論的。
「總的來說，我想說這篇文章在金錢上是正確的。兩年後，除了更新範例和稍軟化標題之外，我不會做太多改變，為了澄清某些方向的進步並不意味著所有方向的進步。」他表示，自己絕對會提出同樣的擔憂。
蓋瑞·馬庫斯仍然覺得，人工智慧領域主要在追逐通往月球的梯子。 最後，蓋瑞·馬庫斯參照兩年前文章中仍然正確的最後一段，作為結尾：
「面對倫理學和計算方面的所有挑戰，以及語言學、心理學、人類學和神經科學等領域所需的知識，而不僅僅是數學和電腦科學，需要一個委員會去培育出人工智慧。我們永遠不應該忘記，人腦可能是已知宇宙中最復雜的系統。如果我們要建立大致相同的東西，開放的合作將是關鍵。」
百年後超級智慧將「淪陷人類」
蓋瑞·馬庫斯在文中頻頻提到的Hinton，即傑佛瑞·辛頓（Geoffrey Hinton）教授，人稱「人工智慧教父」「神經網路之父」。他給牛津大學做了一個公開演講，從哲學角度對AI的未來走向，提出了嚴肅而重要的思考。他聲稱百年後人工智慧將產生巨變，比人類更聰明，從而對人類產生威脅。
在演講中，他重點闡釋了有關人工智慧的7個主要觀點：
1. 在AI方面，生物方法顯然占了優勢，戰勝了邏輯方法
Hinton在演講中表示：「2012年，我的兩位學生Ilya Sutskever（後來成了OpenAI首席科學家）和Alex Krizhevsky，在我一點幫助下，展示了可以透過反向傳播方式制作一個非常好的神經網路，在有一百萬張訓練圖片時，可以辨識一千種不同型別的物件。這個神經網路在ImageNet競賽中獲勝，神經網路只有16%的錯誤率，而最好的傳統電腦視覺系統錯誤率則超過了25%。」
2. 大型神經網路可以無師自通地學會語言
符號學派認為他們在語言處理方面應該很出色，然而，大型神經網路僅僅透過學習大量的文本，就能無師自通掌握了語言的語法和語意。Hinton說，喬姆斯基（Noam Chomsky）曾說語言是天賦而非習得的，這很荒謬，他曾經做出了驚人的貢獻，但他的時代已經過去了。
3. 大模型完全有理解力
關於人是怎麽理解事物的，有兩種理論。符號方法理論認為，一個詞的意義在於它與其他詞的關系；心理學方法理論認為，一個詞的意義是一大堆特征組成的。
大模型很好結合了以上兩種理論：它學習每個詞的特征，並學習詞的特征如何交互作用。在推理時，大模型分析文本，列出文本中每個詞的特征，透過註意力演算法計算所有特征之間的互動，從而預測下一個詞的特征。
「在大模型中，數百萬個特征以及特征之間數十億次的互動，就是理解。」Hinton對此堅定不移。 他表示，只不過是一種人類以前從沒見過的巨大的模型，它如此巨大，大到能夠包容人類擁有的所有知識。
4. 大模型是人類認識自己的最好方法
大模型是了解人類如何理解語言的最佳模型，大腦就是在給單詞分配特征，並讓特征互動。神經網路模型就是為了模擬人類理解而設計的一個模型。大模型正如大腦那樣工作，正如大腦那樣理解。
5. 大模型的幻覺不是問題，人也會胡說
Hinton表示，心理學家從來不說大模型有幻覺，因為心理學家知道人類也經常編造東西，任何研究過記憶的人都知道，對人類而言，真實記憶與虛假記憶之間並沒有明確的界限。
6. 超級智慧不需要太久就會出現
「我一直以為我們離超級智慧還有很長很長的路要走，我過去常告訴人們可能需要50到100年，甚至可能是30到100年，我們現在不需要擔心它。」Hinton坦言， 「但是，由於我在之前兩年所從事的工作，我突然開始相信我們現在擁有的數位模型已經非常接近於大腦的水平，並且將變得比大腦更好。」
為什麽GPT-4比人類知識更豐富？它不是由一個模型實作的，而是由不同硬體上執行的大量相同模型的副本實作的，一千個副本都去互聯網上檢視不同的內容並學習東西，然後，透過平均梯度或平均權重，每個代理都掌握了其他代理學到的東西，這種溝通比人類要強太多了。GPT-4的權重只有人類大腦權重的2%左右，但卻擁有比人類多上千倍的知識。
數位計算的缺點是需要大量能量，但我們可以透過前進演化硬體，使大模型的能量消耗降低。
Hinton認為：「很明顯，在未來的20年內，有50%的機率，數位計算會比我們更聰明，很可能在未來的一百年內，它會比我們聰明得多。」「很少有例子表明更聰明的事物被不太聰明的事物所控制。」
7. 超級智慧有若幹種方法將我們消滅
工業革命來臨，體力勞動的工作崗位消失了。現在在智力領域，有些工作也將會消失，取而代之的是比我們聰明得多的東西。
Hinton認為，人工智慧會產生致命的自主武器，它們將非常可怕，而且真的會自主執行。他說，「人工智慧有若幹種方式將我們消滅」，「任何打算關閉它們的人都會被超級智慧說服。」
人工智慧會保持善良嗎？Hinton表示：「有些人認為我們可以使人工智慧變得善良，但如果它們相互競爭，我認為它們會開始像黑猩猩一樣行事。我不確定你能否讓它們保持善良，如果它們變得非常聰明並且有了自我保護的意識，它們可能會認為自己比我們更重要。」
道德與安全是AI的長期議題
道德和安全議題始終伴隨著新技術的發展，尤其在人工智慧領域。
本周，一份由美國國務院委托撰寫釋出的報告顯示，在最壞的情況下，人工智慧可能會對「人類物種造成滅絕級別的威脅」。報告稱，美國政府必須「迅速而果斷」地采取行動，避免人工智慧帶來的重大國家安全風險。
最先進的AI系統可能被用作武器，造成潛在的、不可逆轉的破壞。報告指出，人工智慧（AI）和通用人工智慧（AGI）的崛起，可能在某種程度上破壞全球安全，「讓人聯想到核武器的引入」，在AI方面存在著「軍備競賽」、沖突和「與大規模殺傷性武器相當的致命事故」的風險。
AI實驗室的安全性也存在隱患。實驗室沒有足夠的控制措施，來防止通用人工智慧系統「失去控制」，其後果可能對全球安全造成「潛在的淪陷性後果」。
2023年初，傑佛瑞·辛頓宣布從谷歌離職，並對AI帶來的風險發出警告。他坦言，對畢生所研究的東西感到後悔了，並安慰自己「我不研究別人也會研究」。辛頓曾表示，人工智慧在未來30年內導致人類滅絕的可能性為10%。2023年6月，辛頓和其他數十位人工智慧行業領袖、學者和其他人簽署了一份聲明，也表示「降低人工智慧帶來的滅絕風險應該是全球的優先事項」。
盡管在人工智慧領域投入了巨額資產，但全球各大企業也開始越來越擔心這項技術蘊含的危險。2023年在耶魯大學CEO峰會上接受調查的CEO中，42%的人表示，人工智慧有可能在5到10年後摧毀人類。
也有樂觀的學者表明，人工智慧失控不可怕，人工智慧投入戰爭或可減少人類士兵的犧牲，可怕的是人工智慧受制於懷揣不同目的的人。
但不可否認的是，道德和安全將是人工智慧發展下全球持續討論的議題。
4 月 25 ~ 26 日，由 CSDN 和高端 IT 咨詢和教育平台 Boolan 聯合主辦的「 全球機器學習技術大會 」將在上海環球港凱悅酒店舉行，特邀近 50 位技術領袖和行業套用專家，與 1000+ 來自電商、金融、汽車、智慧制造、通訊、工業互聯網、醫療、教育等眾多行業的精英參會聽眾，共同探討人工智慧領域的前沿發展和行業最佳實踐。 歡迎所有開發者朋友存取官網 http://ml-summit.org、點選「閱讀原文」或掃碼 進一步了解詳情。
