【億邦動力訊】9月2日消息，在“創(chuàng)響中國·哈爾濱站”啟動儀式暨哈爾濱新區(qū)雙創(chuàng)峰會上，網(wǎng)絡(luò)空間安全專家、中國工程院院士方濱興發(fā)表了《人工智能安全之我見》的主題演講，他指出，當(dāng)一個新技術(shù)用于安全時，會存在兩種情況：一種是用新技術(shù)支撐安全，當(dāng)然它可以做攻擊，也可以做防御；第二種是一個新技術(shù)本身就會帶來一個新的安全問題。

據(jù)了解，本次大會由2018年“創(chuàng)響中國”活動組委會、黑龍江省發(fā)展和改革委員會、黑龍江省科學(xué)技術(shù)廳、黑龍江省教育廳指導(dǎo)，哈爾濱市人民政府主辦，哈爾濱市發(fā)展和改革委員會、哈爾濱新區(qū)管理委員會承辦，哈爾濱工業(yè)大學(xué)、億邦動力聯(lián)合承辦。

網(wǎng)絡(luò)空間安全專家，中國工程院院士方濱興

溫馨提示：本文為速記初審稿，保證現(xiàn)場嘉賓原意，未經(jīng)刪節(jié)，或存紕漏，敬請諒解。

方濱興：我們先從一個宏觀的角度來看，作為一個新技術(shù)和安全有什么樣的關(guān)系？當(dāng)一個新技術(shù)用于安全時，它會存在著兩種情況，一種是把新技術(shù)支撐安全，當(dāng)然它可以做攻擊，也可以做防御，這個新技術(shù)實(shí)際上是被安全領(lǐng)域來利用了。第二種是出現(xiàn)了一個新技術(shù)，它本身就會帶來一個新的安全問題，也就是說它有可能是自身還不夠安全就用了。我們有時候說它可能是一個潘多拉的盒子，把魔鬼放出來了，危害了其他的領(lǐng)域。我們可以把它看成四種情況：

第一種情況，它用于助力防守，助力攻擊，內(nèi)生安全，衍生安全。我們從這個視角來看看人工智能是什么情況。首先人工智能會助力防御，人工智能供給，樣本攻擊，威脅人類。這是國外開發(fā)的一個系統(tǒng)，叫做ai2，用人工智能方法來分析你是不是有攻擊的情況，它通過大量的數(shù)據(jù)學(xué)習(xí)讓人給它做一個判斷，是不是攻擊。這種知識就能夠判斷是否會出現(xiàn)新的攻擊。最后得到了很好的效果，發(fā)現(xiàn)攻擊的情況比過去提高了3倍。

第二種情況，人工智能助力于網(wǎng)絡(luò)攻擊，我們叫做自動化的網(wǎng)絡(luò)攻擊。在美國2013年就準(zhǔn)備推這件事，他就說我要搞機(jī)器人的自動攻擊。我們兩年后要搞一次比賽，來干這個事兒。2016年就做了這個比賽，進(jìn)入了初選，一年時間進(jìn)行決賽。這是等于通過機(jī)器人，完全在人不干預(yù)的情況下自己去搞計(jì)算機(jī)的攻擊，來看人工智能能夠發(fā)揮什么樣的作用。

在這里面一個核心是要編一個“網(wǎng)絡(luò)推理”系統(tǒng)，也就是計(jì)算機(jī)一定要能夠自動的去發(fā)現(xiàn)程序有沒有漏洞可以被利用，如果可有的話，我們就想法自動生成一個程序攻擊你，同時也防止我讓人家利用。

2015年的初賽提供了大概131個程序，覆蓋了53種不同類型的漏洞。而且要求你的計(jì)算機(jī)運(yùn)行時間只有24小時，也就是說你得算得很快，要算幾天這個事就做不下去了。而且這53類里面涵蓋了590個漏洞。但是結(jié)果是，所有這590個漏洞都被發(fā)現(xiàn)了。這里面有很多的團(tuán)隊(duì)，但是事實(shí)證明沒有一個漏洞不被計(jì)算機(jī)發(fā)現(xiàn)。從這來看計(jì)算機(jī)的能力有多強(qiáng)，它當(dāng)時有100多個隊(duì)伍，其中有70多個是政府資助，其他的是自己報名的。那么報名的結(jié)果，初賽結(jié)果選了7個團(tuán)隊(duì)，這7個團(tuán)隊(duì)就進(jìn)入決賽。決賽和初賽是什么呢？初賽是自動生成程序，分析生成的效果如何，包括防御、攻擊、監(jiān)測。最終有7個團(tuán)隊(duì)入圍決賽。

賽就開始有人機(jī)對抗。通過計(jì)算機(jī)生成的打補(bǔ)丁的程序，最后是看誰強(qiáng)大。最后是卡內(nèi)基梅隆大學(xué)的一個程序獲勝了，它獲勝了之后，就讓它去參加人類的比賽，在人類比賽的最后決賽的過程中，前20名里面它排列了第18，換句話說它在一個頂級團(tuán)隊(duì)中干掉了兩個團(tuán)隊(duì)。所以說人工智能在助力攻擊的時候還是很可怕的。

第三，人工智能自身存在著脆弱性，我們有一個“對抗樣本”。就是無論在一個場景下，我們做什么都是機(jī)器學(xué)習(xí)，這個場景與原來學(xué)的東西無效，它就是讓你判斷失誤。像自動駕駛在我看來，還有很長的路要走，它還是成為輔助駕駛。大家開車從高速要下來要變道，在北京從主干道往下變非常難，自動駕駛我認(rèn)為不可能下去。因?yàn)槿斯ぶ悄芩欢ㄒＷo(hù)一個安全距離，但是人開車的時候打心理戰(zhàn)。

對抗樣本會出現(xiàn)什么情況？這是一個圖像，這一側(cè)是原圖，是一個熊貓，我加一個噪音，大家看這個噪音很大，但是我把這個噪音加了一個千分之七的比例，所以核對的結(jié)果是這邊，人一看還是熊貓，但是這個圖已經(jīng)是這個圖+上了這個噪音圖，人看是熊貓。那么計(jì)算機(jī)看到的是長臂猿。甚至能夠做到修改一個像素，讓你完全分類錯誤，或者把你的標(biāo)簽改變了，然后對你做欺騙。這是對抗樣本的結(jié)果。這個想識別男人還是女人，對抗者就把上面這個女人加了那么一個框圖，加的結(jié)果是旁邊人看還是女人，但是計(jì)算機(jī)去分類說上面的是男人。同樣下面的男人給他加一個對抗噪音，人一看他還是一個男人，但是計(jì)算機(jī)一看就是女人。

甚至有對抗的競賽，這是中國清華大學(xué)有一位叫張?jiān)菏繋ьI(lǐng)的團(tuán)隊(duì)參加的競賽，第一，給定一個輸入圖像，生成一個對抗圖像，盡可能使一個未知分類器給出錯誤的分類結(jié)果。就是攻擊者我拿這個對抗樣本能不能讓你分類錯誤。第二，我你給一個圖像，明明是貓，你分成馬，我能不能做到。第三，我防止別人來攻我，我設(shè)計(jì)的東西別人拿什么樣本我都分類不錯誤，這三種比賽清華大學(xué)都拿了第一。

其中攻擊別人的方法主要是把他們加動亂性，把穩(wěn)定做一個破壞。這明明是一個雪山，加了一個噪音，結(jié)果絕大多數(shù)的分類器都把它理解為是一個狗。這明明是一個河豚，加上一個噪音之后變成這個圖像，把它理解為是一個螃蟹。它防止別人去攻擊他，他采取的方法就是去噪音。這是一個原始的圖像熊貓，加上了噪音，它試圖讓分類器把它理解為是一個狗，但是清華在這里面去噪音，讓它不被理解為是狗?？傊@里面就是存在這種對抗。

最后一個就是人工智能具有危及人類的潛在威脅，特斯拉大家都知道，開車自動駕駛的過程當(dāng)中，撞到了一個白色的箱貨車，車毀人亡。這是因?yàn)樘厮估臄z像頭焦距很窄，高清的，所以他先頭看的是白云，突然看到車廂中間一塊，認(rèn)為這還是白云，就撞上去了。所以這個就等于對它的傳感器的識別做出了欺騙。這個車，自動駕駛車把人撞死了，發(fā)現(xiàn)這個系統(tǒng)里面看到這個人了，沒有任何決定剎車的動作。這個自動駕駛怎么了？我們說你可能有你的失誤，但是你危害了人類。人們已經(jīng)開始關(guān)注這類的問題了，國際社會宣言說不能拿人工智能用于武器，國際著名的學(xué)者馬斯克認(rèn)為，人工智能是要威脅到人們的未來，需要加強(qiáng)管理?；艚鹨舱J(rèn)為人工智能一旦脫離約束，這個是不可控的。彼爾蓋茨認(rèn)為人工智能最終構(gòu)成一個現(xiàn)實(shí)性的威脅。

怎么防止它？阿西莫夫提出機(jī)器人三大定律，第一，機(jī)器人不得傷害人類或看到人類受到傷害而袖手旁觀。第二，在不違反第一定律的前提下，機(jī)器人必須絕對服從人類給與的任何命令，第三，在不違反第一定律和第二定律的前提下，機(jī)器人必須盡力保護(hù)自己。所以最早人們的期望現(xiàn)在已經(jīng)被研究者給破壞掉了。

人工智能為什么會危害人類？前提它是要有一個人工智能的行為體，行為體有四個要素，感知外部環(huán)境，內(nèi)部算法，自身驅(qū)動裝置，還要有交互行為。所以說外部需要能夠感知，我內(nèi)部算法要做決策，驅(qū)動裝置你是要移動起來。然后要自治，你要決定自己做什么。這里面人工智能行為有很多，自動駕駛機(jī)器人，自動駕駛汽車，人工智能武器等等，我們說它都是人工智能行為體，因?yàn)樗行袨椤?/p>

人工智能在什么情況下會危害人類呢？我認(rèn)為要同時滿足三個條件，第一，有行為能力，能動；第二，有破壞力，有危害性；第三，能夠自治。

首先能動的問題早就解決了。第二，有沒有破壞力，這是一個學(xué)者他做的一個演講，這是一個名字叫殺人蜂，有這種破壞力的時候，這是一個危險因素。

第三個要素，就是它得是一個自動行為體。facebook曾經(jīng)在做研究的時候突然發(fā)現(xiàn)它研究的兩個機(jī)器人之間發(fā)生了這樣的對話，這個對話屏幕上是亂碼，但是一看是有規(guī)律的操作，所以嚇一跳就關(guān)了。因?yàn)槲覀冊谧匀徽Z言翻譯的時候，在機(jī)器里面是機(jī)器的原語，我們有狀態(tài)圖，但是你要展現(xiàn)出來，及其可以用原語對話的時候，它就堅(jiān)決不翻譯，繼續(xù)用原語對話，那么人怎么辦？人根本不知道它進(jìn)展到什么程度，如果機(jī)器人對話的時候人知道它進(jìn)展到什么程度，你會防范一些。所以只要有你不能理解的地方，你就不知道它會走在哪一步。

人類的學(xué)習(xí)是需要建筑在洞察力之上，這是因?yàn)槿祟惖挠洃浭怯邢薜?。alphago它把圍棋看成一個點(diǎn)陣，這個點(diǎn)陣只有19*19，我們看一個圖現(xiàn)在都是幾千乘幾千了，只有三個顏色，黑、白和非黑非白，那么這個機(jī)器人它無非就是把它19乘19，這個圖都是很小的，而且從一個圖到另一個圖的躍遷無非就是這么幾種可能。到底哪個圖更好，人永遠(yuǎn)不是這么下棋的，既然它能夠做到和你完全不一樣，它走到哪一步你怎么知道？所以他能不能失控你怎么知道？搞ai的人從來不這么想，但是我們老百姓覺得它挺可怕。所以說是否能自治，這是我們需要認(rèn)真思考的。

運(yùn)動體已經(jīng)比比皆是了，破壞力已經(jīng)突破掉了，關(guān)鍵就是能不能自治，我們現(xiàn)在碰到了很多事故了，是事故還是失控你控制不了，它還是有規(guī)律的，這就是一個很大的風(fēng)險。但是人工智能你不教它干什么，它就不會干什么。我們叫做自我目標(biāo)。

但是我們不能太相信機(jī)器人不會危害人類，所以要對它有約束。有一個國際標(biāo)準(zhǔn)，提出了四種約束條件，第一種安全級的監(jiān)控停止，當(dāng)出現(xiàn)問題的時候，有讓它停止的能力。第二，是手動引導(dǎo)，做什么事兒我讓它做它開始做，如果這個機(jī)器人只能手動才開始做的話，它就沒法給自己定宏觀目標(biāo)。第三，速度和距離監(jiān)控，當(dāng)它和人比較接近的時候，速度必須降下來。第四，功率和力的限制，當(dāng)和人接近的時候功率必須迅速降下來，這些都是要保護(hù)人類要做的事情。

我們提出一個ai保險工作理念，任何一個機(jī)器人首先要有驅(qū)動，然后要有決策，我就在驅(qū)動和決策之間插入一個保險箍，就是要防止它做危害人類的事。你要想做這個就必須要解決我們首先是遠(yuǎn)程控制，能夠讓它停下來，能夠限制它做事情。它有可能自己把自己摘除掉，所以我們需要反摘除。第三，把它形成一個閉環(huán)，當(dāng)它接近人的時候能夠馬上降低它的全部能力。第四，增強(qiáng)一些識別你是不是有黑科技，甚至在這里面去查傳感器都是假的，我用我不可修改的傳感器來做檢測。第五，要遠(yuǎn)程控制。

要想做到這一點(diǎn)，制定準(zhǔn)入制度，確保ai保險箍能夠發(fā)揮作用。ai行為必須預(yù)留接口，支持ai保險箍串聯(lián)接入。我們可以檢測是不是超越了它的技術(shù)能力，人工智能必須有可更改的算法，發(fā)現(xiàn)有沒有一些黑科技。

好，我的報告就到這里，謝謝大家！