环球电气之家-午夜精彩视频-中国专业电气电子产品行业服务网站！

　　人工智能是善還是召喚惡魔？如今，對人工智能砸以重金的谷歌正試著走出一條中間道路。谷歌大腦、斯坦福、伯克利以及OpenAI研究人員合做并發布了一篇新論文，首次描述了研究人員必須予以研究的五個問題，讓未來的智能軟件更加安全。如果說之前大部分研究都是假設和推斷性的，那么，這篇論文表明對人工智能安全性的爭論可以更加具體化，也更富建設性。

　　今天，谷歌大腦、斯坦福、伯克利以及 OpenAI研究人員合作的新論文與大家見面了。文章首次探討了為了讓未來智能軟件更安全，研究人員必須研究的五個問題。論文作者之一，谷歌研究人員ChrisOlah說，之前大部分研究都是假設和推斷性的，但是，我們相信，將注意力錨定在真實的機器學習研究中，對于研發切實可行的方案來打造安全可靠的人工智能系統來說，必不可少。

　　之前谷歌已經承諾會確保人工智能軟件不會造成意外后果。谷歌的第一篇相關論文，出自 Deep Mind。Demis Hassabis也召集了一個道德委員會來考慮人工智能可能的不利一面，不過沒有公布委員會名單。

　　艾倫人工智能研究所的 Oren Etzioni對谷歌新論文所列舉的解決方法表示歡迎。之前，他曾批評過人工智能危險論的討論過于抽象。他說，谷歌列舉出的各種情況足夠具體，可以進行真實的研究，即使我們仍然不清楚這些實驗是否切實有用。「這是正確的人問了正確的問題，至于正確的答案，由時間來揭曉。」

　　以下是這篇論文主要內容：

　　摘要

　　機器學習和人工智能（AI）領域的快速進步已經引起了社會對人工智能潛在影響的廣泛關注。在這篇論文中，我們討論了這樣一種潛在的影響：機器學習系統出現事故的問題，具體定義為因真實世界人工智能系統的糟糕設計而導致的無意的傷害性行為。我們提出了與事故風險相關的五個實用的研究問題列表，它們的分類根據問題是否有錯誤的目標函數（「避免副作用」和「避免獎勵黑客行為」）、經常評估目標函數的成本實在太高了（「可擴展的監督」、或在學習過程中的不良行為（「安全探索」和「分布變化」）。我們還回顧了這些領域之前的工作，并建議了側重于與前沿人工智能系統相關的研究方向。最后，我們考慮了這樣一個高層次問題：如何最高效地思考人工智能未來應用的安全。

　　1.導語

　　過去幾年，人工智能飛速發展，并已經在游戲、醫學、經濟、科學和交通等許多領域取得了長足的發展，但隨之而來也出現了安全、隱私、公平、經濟和軍事應用上的擔憂。

　　本論文作者相信，人工智能技術很有可能將會給人類帶來整體的顛覆性好處，但我們也相信，嚴肅對待其可能帶來的風險和挑戰是非常值得的。我們強烈支持在隱私、安全、經濟和政治方面的研究，但本論文關注的是另一種我們相信與人工智能的社會影響有關的問題：機器學習系統的事故問題。這里的事故定義為：當我們指定了錯誤的目標函數時，機器學習系統可能無意產生的有害行為。這里沒有考慮學習過程或其它機器學習相關的實現錯誤。

　　隨著人工智能能力的進步和人工智能系統在社會功能上重要性的不斷增長，我們預計本論文所討論的難題和挑戰將變得越來越重要。人工智能和機器學習界在預測和理解這些挑戰上做得越成功，在開發越來越有用、重要的人工智能系統方面，我們就能做得越成功。

　　2.研究問題概述

　　從廣義上講，可將「事故」描述成：人類設計者心里想的特定目標或任務在系統實際的設計或實施中失敗，并最終導致了某種有害結果的情況。我們可以將人工智能系統的安全問題根據其出錯的位置進行分類。

　　第一，當設計者定義了錯誤的目標函數時，例如最大化了導致有害結果的目標函數，我們有「不良副作用（第3節）」和「獎勵黑客行為（第4節）」的問題。「不良副作用」通常是因為設計者在某個環境中設計實現某個特定目標時忽略（通常忽略了很多）了環境中其它因素。「獎勵黑客行為」則是由于設計者為了最大化系統的使用而寫下了「簡單的」目標函數，但系統卻濫用了設計者的意圖（即：目標函數可能會被耍花招）。