GeekPwn創辦人王琦： 黑客或許是AI時代保護人類的力量

　　中新網5月5日電  作為世界上第一個自我覺醒的機器人，電影《超能查派》中人工智能 “查派”卻被教壞，逐漸成長為一個“殺人機器”。人工智能在未來真的會威脅到人類嗎？人工智能可能蘊藏著什么危險？ 5月4日，?震KEEN公司創始人兼CEO，國際安全極客大賽GeekPwn創辦人王琦在“造就”TALK上發表了關于《人“攻”智能》的演講，從白帽黑客的視角帶來了對未來人工智能安全的獨到見解和預測。

　　AI看到了世界 黑客卻看到了危險

　　幾十年間，人工智能經歷了一波三折的曲折發展，例如計算機視覺領域的圖像識別，它的識別正確率一直難以取得大的突破，但是近年來取得了很多了不起的成果。2012年， Google X 實驗室發出了一套具備自主學習能力的神經網絡系統，不借助任何外界信息幫助，它就能從一千萬張圖片中找出那些有小貓的圖片。如今，人工智能已經廣泛應用于生活的諸多場景中，包括實時語音翻譯、目標識別、自動駕駛、人臉識別、人機對話等等。王琦在感受到興奮的同時，也表達了他的擔憂：我們要關注到人工智能可能暴露出的諸多潛藏風險。

　　“如果能夠讓自動駕駛的圖像識別產生錯誤判斷，分不清楚前方遇到的是人還是樹，我認為這就是黑掉了它，這可能要比黑掉傳統的控制系統更酷。” 王琦說。GeekPwn實驗室在2015年底開始了AI對抗的研究，并廣泛接觸和招募AI領域的頂尖人才，很快，在2016年的GeekPwn美國站上，生成對抗網絡(GANs)之父Ian Goodfellow就展示了“對抗性圖像”在現實物理世界欺騙機器學習的效果。原始圖像以60%的置信度判斷為“熊貓”，但是加入了微小的干擾，在人眼完全看不出差別的情況下卻以99%的執行度歸為了長臂猿。

　　AI學習和決策模型與黑客領域的漏洞挖掘和利用過程何其相似

　　AI在圖像領域存在被欺騙的可能性，讓王琦預見到這種可能性在其他語音和行為智能等領域也會存在。AI被欺騙，看似人工智能的錯誤和不完善，但其實在黑客眼里就有可能變成可以被利用的漏洞。“現代信息安全領域里的高級攻擊利用的漏洞，在很多年以前都僅僅被看作是計算機錯誤。需要警惕的是，凡是錯誤，可能到了黑客那里就變成了安全漏洞。”王琦說。人工智能依賴對大量樣本進行深度學習，最后產生決策的過程，和安全領域里通過產生大量模糊測試樣本引發計算機異常從而發掘出漏洞，最終執行流程可以被改變導致安全危害的過程非常相似，如果說正確樣本能夠產生正確的決策，那么黑客通過離線模擬產生的AI攻擊樣本，則可能給人工智能帶來錯誤的決策和行為。

　　微軟聊天機器人Tay上線不到一天，就向網友“成功學習”了新的聊天方式，從彬彬有禮的美國“姑娘”變得臟話不斷，言語中還充斥了種族主義、色情等“情感偏見”。王琦大膽預言：深度依賴學習樣本的人工智能，未來對它的攻擊可能甚至不需要編寫代碼，人人都可能成為“黑客”。

　　目前AI只有0.1歲 黑客能夠幫助AI安全成長

　　白帽黑客從對抗的思路出發，尋找AI潛藏的風險并不斷幫助其完善，其棒幫助人工智能安全健康成長。“對于人工智能的看法目前分為兩派，悲觀主義者認為人類研發人工智能可能是在自取滅亡，如果真的有那一天的話，白帽黑客可以做的是保護AI安全發展”王琦說。

　　當無人駕駛的“眼睛”被欺騙，它還能在馬路上安全行駛嗎？作為全球首個探討人工智能和專業安全的前沿賽事平臺，GeekPwn鼓勵更多的白帽子黑客可以協助AI進行安全性的預演分析。將于5月12日在香港星夢郵輪“云頂夢號”上舉辦的極棒年中賽，就將針對人工智能的安全課題向全球黑客發出英雄帖。