如今的信息安全形勢(shì)十分復(fù)雜，而很多企業(yè)在將人工智能/機(jī)器學(xué)習(xí)添加到安全軟件組合的過(guò)程中可能會(huì)遇到一些麻煩?；蛘咂髽I(yè)在選擇合適的供應(yīng)商時(shí)希望得到更好的服務(wù)。

如今的信息安全形勢(shì)十分復(fù)雜，而很多企業(yè)在將/機(jī)器學(xué)習(xí)添加到安全軟件組合的過(guò)程中可能會(huì)遇到一些麻煩?；蛘咂髽I(yè)在選擇合適的供應(yīng)商時(shí)希望得到更好的服務(wù)。

大多數(shù)首席信息安全官相信采用人工智能和機(jī)器學(xué)習(xí)技術(shù)，在未來(lái)3到5年內(nèi)可能改變信息安全領(lǐng)域。事實(shí)上，安全軟件供應(yīng)商都希望采用或正在采用人工智能，就好像其具有神奇的屬性一樣。但糟糕的是，許多供應(yīng)商并沒有自己的人工智能的產(chǎn)品。

圖片來(lái)源：圖蟲創(chuàng)意

調(diào)研機(jī)構(gòu)gartner公司副總裁兼杰出分析師antonchuvakin博士表示，一些安全軟件供應(yīng)商過(guò)度承諾，并且未能實(shí)現(xiàn)其人工智能/機(jī)器學(xué)習(xí)實(shí)施的好處。

morphisec公司安全策略副總裁tombn表示，網(wǎng)絡(luò)安全廠商的首席信息安全官和首席信息官十分關(guān)注人工智能這一術(shù)語(yǔ)。他說(shuō)，“我所知道的一家供應(yīng)商在其網(wǎng)站主頁(yè)上22次提到了人工智能?！?/p>

應(yīng)用人工智能和前沿技術(shù)的領(lǐng)導(dǎo)人jtkostman博士表示，“大多數(shù)聲稱擁有我評(píng)估過(guò)的人工智能/機(jī)器學(xué)習(xí)能力的公司最終不得不承認(rèn)，他們的說(shuō)法只不過(guò)是營(yíng)銷和炒作而已。”

一些供應(yīng)商夸大或編造人工智能故事的意愿只是問(wèn)題的一部分。為針對(duì)webroot進(jìn)行的一項(xiàng)新研究中，近60%的it受訪者承認(rèn)，雖然他們知道他們的某些軟件使用了人工智能或機(jī)器學(xué)習(xí)，但他們不確定這意味著什么。此外，只有36%的人確切知道他們的網(wǎng)絡(luò)安全供應(yīng)商如何獲取和更新他們的威脅數(shù)據(jù)。該調(diào)查于2018年11月底到12月初進(jìn)行，調(diào)查了400名公司董事和it專業(yè)人員，其中200名在美國(guó)，另外200名在日本。

許多專家和人工智能經(jīng)驗(yàn)豐富的首席安全官?gòu)?qiáng)烈要求信息安全領(lǐng)導(dǎo)人加入，這樣在采用人工智能技術(shù)時(shí)，可以適應(yīng)更復(fù)雜的技術(shù)。例如，許多人嚴(yán)重低估了正確培訓(xùn)機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)量。構(gòu)建數(shù)據(jù)可能需要一段時(shí)間。德爾福集團(tuán)董事長(zhǎng)兼創(chuàng)始人thomaskoulopoulos說(shuō)，“許多人犯的錯(cuò)誤是人工智能與算法的復(fù)雜性有關(guān)。事實(shí)并非如此。關(guān)鍵是人工智能/機(jī)器學(xué)習(xí)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練?！?/p>

domo公司高級(jí)副總裁信任與安全和首席信息官nomlbrowne建議，企業(yè)需要為此做好準(zhǔn)備，而不必立即投資購(gòu)買。browne說(shuō)，明智的首席安全官正處于人工智能/機(jī)器學(xué)習(xí)的學(xué)習(xí)階段，他們現(xiàn)在正在盡可能多地研究人工智能技術(shù)。他們正在與供應(yīng)商溝通，以了解產(chǎn)品的功能和局限性。當(dāng)人工智能展現(xiàn)出更多承諾時(shí)，他們將準(zhǔn)備好制定出一個(gè)基于風(fēng)險(xiǎn)的明智決策?！?/p>

為了幫助人們完成此過(guò)程，對(duì)行業(yè)專家進(jìn)行采訪和調(diào)查，并列出了與安全供應(yīng)商探討時(shí)提出的10個(gè)問(wèn)題的列表。他們幫助人們區(qū)分良莠不齊的安全軟件產(chǎn)品（也就是說(shuō)，潛在的有用性與宣傳和炒作無(wú)關(guān)）。值得一提的是：杰出的技術(shù)專家johnomernik接受了此次調(diào)查，這是與供應(yīng)商討論人工智能/機(jī)器學(xué)習(xí)主題清單的關(guān)鍵人物之一。此列表基于這些專家的想法和見解，而omernik是最重要的貢獻(xiàn)者。

以下是有關(guān)基于人工智能/機(jī)器學(xué)習(xí)的安全軟件的11個(gè)問(wèn)題：

1.如何知道訓(xùn)練數(shù)據(jù)具有代表性？

boozallenhamilton高級(jí)首席數(shù)據(jù)科學(xué)家aaronsant-miller建議，組織希望知道采用什么數(shù)據(jù)來(lái)訓(xùn)練供應(yīng)商的模型，以便可以確定該數(shù)據(jù)是否代表其數(shù)據(jù)以及將在網(wǎng)絡(luò)中看到的行為。

2.訓(xùn)練數(shù)據(jù)的新鮮度、清潔度和可學(xué)習(xí)性如何？

koulopoulos說(shuō)，“組織希望知道訓(xùn)練數(shù)據(jù)集刷新的頻率，隨著時(shí)間的推移學(xué)習(xí)和發(fā)展其檢測(cè)能力，以及需要多少數(shù)據(jù)來(lái)充分訓(xùn)練人工智能/機(jī)器學(xué)習(xí)引擎等問(wèn)題。此外，組織希望了解人工智能系統(tǒng)的學(xué)習(xí)程度，以及需要多少數(shù)據(jù)來(lái)學(xué)習(xí)和重新學(xué)習(xí)?！?/p>

3.能獲得性能指標(biāo)嗎？

這是調(diào)查人員最常提出的問(wèn)題。kostman說(shuō)，“供應(yīng)商應(yīng)該能夠分享雙盲對(duì)照實(shí)驗(yàn)的結(jié)果，這些實(shí)驗(yàn)檢測(cè)到世界級(jí)的黑客或pen測(cè)試人員試圖破壞系統(tǒng)?！?/p>

signalfx公司首席信息安全官marzenafuller解釋說(shuō)，“確定供應(yīng)商是否使用機(jī)器學(xué)習(xí)而不僅僅是算法，可以通過(guò)測(cè)量供應(yīng)商機(jī)器學(xué)習(xí)模型性能的指標(biāo)來(lái)完成，這些指標(biāo)還應(yīng)該描述模型的準(zhǔn)確性。”

對(duì)于有監(jiān)督的模型，fuller建議采用“混淆矩陣”。她補(bǔ)充說(shuō)，接近1的值表示高精度。

她說(shuō)，“評(píng)估無(wú)監(jiān)督模型的性能更具挑戰(zhàn)性。簇內(nèi)距離的值相對(duì)較小，簇間距離的值相對(duì)較大，表明該模型對(duì)具有離散特性的類項(xiàng)進(jìn)行分組是有效的。”

4.能得到一個(gè)真實(shí)的演示嗎？

如果供應(yīng)商沒有硬性指標(biāo)，那么考慮放棄這樣的廠商。但是如果還想給他們另一個(gè)機(jī)會(huì)，chuvakin建議組織可以提出這樣的要求：“可以讓廠商提供一個(gè)可以證明人工智能解決方案能夠比安全運(yùn)營(yíng)中心（soc）分析師做出更好決策的案例?！?/p>

5.專有模型是否意味著組織不能對(duì)其進(jìn)行自定義？

當(dāng)供應(yīng)商聲稱專有的人工智能/機(jī)器學(xué)習(xí)實(shí)現(xiàn)將“解決所有問(wèn)題”時(shí)，omernik建議組織的首席信息安全官和首席安全官詢問(wèn)“客戶是否可以定制它？如果是這樣，工程師需要什么級(jí)別的培訓(xùn)來(lái)進(jìn)行這些定制？不同的模型可以在相同的數(shù)據(jù)上工作嗎？或者組織的數(shù)據(jù)只能采用與安全產(chǎn)品捆綁在一起的模型進(jìn)行工作嗎？”這樣的問(wèn)題。

6.供應(yīng)商的人工智能/機(jī)器學(xué)習(xí)實(shí)施有多靈活？

omernik建議詢問(wèn)這些問(wèn)題以確定實(shí)施的靈活性：供應(yīng)商的人工智能/機(jī)器學(xué)習(xí)實(shí)現(xiàn)是否可以處理不同類型的數(shù)據(jù)，例如日志、音頻、視頻、事務(wù)等？如果是這樣，數(shù)據(jù)集可以一起工作，還是必須分開？

7.人工智能/機(jī)器學(xué)習(xí)解決方案的更新情況如何？

組織希望知道是否需要逐步支付或購(gòu)買新版本的安全應(yīng)用程序以獲取更新。還要詢問(wèn)供應(yīng)商如何向客戶分發(fā)此類改進(jìn)，以及集成它們的難度。

8.供應(yīng)商的解決方案是否會(huì)成為組織安全團(tuán)隊(duì)的“黑盒”？

供應(yīng)商的解決方案就像是一個(gè)“黑盒”，其結(jié)果并不是直截了當(dāng)?shù)摹５墙M織需要知道它是否支持應(yīng)用最新的人工智能/機(jī)器學(xué)習(xí)工具包以及其團(tuán)隊(duì)如何使用它?！霸摴ぞ呤欠窨梢詭椭鷱臉I(yè)者了解數(shù)據(jù)的工作原理，并幫助他們擴(kuò)展對(duì)數(shù)據(jù)工程和數(shù)據(jù)科學(xué)的理解？還是一種迫使客戶依賴供應(yīng)商進(jìn)行更改的黑盒解決方案？供應(yīng)商應(yīng)該解答這些問(wèn)題?！眔mernik說(shuō)。

chuvakin說(shuō)，“對(duì)于許多客戶來(lái)說(shuō)，黑盒比開放式工具包要好得多?！?/p>

9.人工智能將如何整合到組織的產(chǎn)品中？

koulopoulos說(shuō)，“它是從內(nèi)部獲得的或構(gòu)建的，還是從一開始就是使用的軟件的一部分？這是對(duì)于人工智能持懷疑態(tài)度的組織的警告，如果組織只是使用谷歌的tensorflow技術(shù)，那么并不合格。”

10.組織的系統(tǒng)如何檢測(cè)新的攻擊類型？

kostman說(shuō)，“組織如何應(yīng)對(duì)所謂的冷啟動(dòng)問(wèn)題？機(jī)器學(xué)習(xí)算法需要數(shù)據(jù)，就像魚需要水一樣。那么，供應(yīng)商基于人工智能的系統(tǒng)如何識(shí)別不同于以前遇到過(guò)的任何威脅呢？”

11.誰(shuí)擁有這些數(shù)據(jù)？

browne說(shuō)，“組織需要十分關(guān)注自己的數(shù)據(jù)。人工智能供應(yīng)商目前的主要目標(biāo)不是出售，而是要獲得盡可能多的數(shù)據(jù)來(lái)測(cè)試和改進(jìn)他們的模型和算法。組織了解自己的數(shù)據(jù)和系統(tǒng)的訪問(wèn)級(jí)別，以及誰(shuí)擁有最終的人工智能元數(shù)據(jù)非常重要?！?/p>

koulopoulos也同意這一觀點(diǎn)，并提出了類似的觀點(diǎn)，“最大的爭(zhēng)議之一涉及培訓(xùn)數(shù)據(jù)的所有權(quán)，這些數(shù)據(jù)會(huì)隨著時(shí)間的推移而累積?！?/p>

對(duì)首席信息安全官的建議

“衡量基于人工智能的解決方案的有效性是組織所做的最重要的事情之一。但要做到這一點(diǎn)，需要這方面的專業(yè)知識(shí)?！眆uller說(shuō)，”每個(gè)公司都應(yīng)該有數(shù)據(jù)科學(xué)家在工作，如果首席信息安全官計(jì)劃廣泛采用機(jī)器學(xué)習(xí)解決方案，則應(yīng)考慮同時(shí)聘用數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師?！?/p>

omernik建議，“當(dāng)組織評(píng)價(jià)員工時(shí)，如果其技術(shù)人員具備幫助組織評(píng)估基于人工智能的安全產(chǎn)品的知識(shí)和培訓(xùn)，請(qǐng)相信他們。在一些組織中，高管們需要找到一種方法來(lái)信任他們的技術(shù)人員，他們會(huì)與試圖銷售產(chǎn)品的供應(yīng)商進(jìn)行溝通.”

他補(bǔ)充說(shuō)，“組織需要找到或雇傭一個(gè)有經(jīng)驗(yàn)的人員對(duì)于供應(yīng)商在產(chǎn)品的宣傳進(jìn)行判斷與分析。人工智能/機(jī)器學(xué)習(xí)的人才需求可能會(huì)造成經(jīng)驗(yàn)豐富的技術(shù)人員嚴(yán)重短缺。因此組織需要考慮如何吸引人才，如何為技術(shù)人員提供支持等問(wèn)題。”

koulopoulos說(shuō)，“很多組織可能沒有意識(shí)到這一點(diǎn)，將會(huì)面臨技術(shù)落后的風(fēng)險(xiǎn)。在接下來(lái)的3到5年內(nèi)，如果組織在人工智能和機(jī)器學(xué)習(xí)用于防御和打擊網(wǎng)絡(luò)犯罪方面的知識(shí)和經(jīng)驗(yàn)不足，那么將面臨業(yè)務(wù)損失的風(fēng)險(xiǎn)?！?/p>