可解釋的人工智能可以讓人們理解人工智能系統(tǒng)是如何做出決定的，而這將成為醫(yī)療、制造、保險(xiǎn)、汽車(chē)領(lǐng)域的關(guān)鍵。那么這對(duì)于組織意味著什么?

例如，流媒體音樂(lè)服務(wù)平臺(tái)spotify計(jì)劃向用戶(hù)推薦歌手justin bieber的歌曲，卻推薦了belieber的歌，顯然這有些令人感到困擾。這并不一定意味著spotify網(wǎng)站的程序員必須確保他們的算法透明且易于理解，但人們可能會(huì)發(fā)現(xiàn)這有些偏離目標(biāo)，但其后果顯然是微不足道的。

這是可解釋人工智能的一個(gè)試金石——即機(jī)器學(xué)習(xí)算法和其他人工智能系統(tǒng)，它們可以產(chǎn)生人類(lèi)可以容易理解并追溯到起源的結(jié)果。基于人工智能的結(jié)果越重要，對(duì)可解釋人工智能的需求就越大。相反，相對(duì)低風(fēng)險(xiǎn)的人工智能系統(tǒng)可能只適合黑盒模型，人們很難理解其結(jié)果。

jane.ai公司人工智能研發(fā)主管dave costenaro說(shuō)：“如果人工智能算法的效果不夠好，比如音樂(lè)服務(wù)公司推薦的歌曲一樣，那么社會(huì)可能不需要監(jiān)管機(jī)構(gòu)對(duì)這些建議進(jìn)行監(jiān)管。”

人們可以忍受應(yīng)用程序?qū)ζ湟魳?lè)品味的誤解。但可能無(wú)法忍受人工智能系統(tǒng)帶來(lái)的更重要的決定，也許是在建議的醫(yī)療或拒絕申請(qǐng)抵押貸款的情況下。

這些都是高風(fēng)險(xiǎn)的情況，尤其是在出現(xiàn)負(fù)面結(jié)果的情況下，人們可能需要明確地解釋是如何得出特定結(jié)果的。在許多情況下，審計(jì)師、律師、政府機(jī)構(gòu)和其他潛在當(dāng)事人也會(huì)這樣做。

costenaro表示，由于特定決策或結(jié)果的責(zé)任從人類(lèi)轉(zhuǎn)移到機(jī)器，因此對(duì)可解釋性的需求也會(huì)增加。

costenaro說(shuō)，“如果算法已經(jīng)讓人類(lèi)處于這個(gè)循環(huán)中，人類(lèi)決策者可以繼續(xù)承擔(dān)解釋結(jié)果的責(zé)任。”

他舉例說(shuō)明了一個(gè)為放射科醫(yī)生預(yù)先標(biāo)記x射線圖像的計(jì)算機(jī)視覺(jué)系統(tǒng)。他說(shuō)，“這可以幫助放射科醫(yī)生更準(zhǔn)確、更有效地工作，但最終將提供診斷和解釋。”

it的人工智能責(zé)任：解釋原因

然而，隨著人工智能的成熟，人們可能會(huì)看到越來(lái)越多的新應(yīng)用程序逐漸依賴(lài)于人類(lèi)的決策和責(zé)任。音樂(lè)推薦引擎可能沒(méi)有特別重大的責(zé)任負(fù)擔(dān)，但許多其他真實(shí)或潛在的用例將會(huì)面臨重大的責(zé)任。

costenaro說(shuō)，“對(duì)于一類(lèi)新的人工智能決策來(lái)說(shuō)，這些決策具有很高的影響力，而且由于所需處理的速度或數(shù)量，人類(lèi)不再能夠有效地參與其中，從業(yè)者們正在努力尋找解釋算法的方法。”

it領(lǐng)導(dǎo)者需要采取措施確保其組織的人工智能用例在必要時(shí)正確地包含可解釋性。 tigergraph公司營(yíng)銷(xiāo)副總裁gaurav deshpande表示，許多企業(yè)首席信息官已經(jīng)關(guān)注這個(gè)問(wèn)題，即使他們了解到特定人工智能技術(shù)或用例的價(jià)值，他們通常還有一些猶豫。

deshpande說(shuō)，“但是如果不能解釋是如何得出答案的，就不能使用它。這是因?yàn)?lsquo;黑盒’人工智能系統(tǒng)存在偏見(jiàn)的風(fēng)險(xiǎn)，這可能導(dǎo)致訴訟、對(duì)企業(yè)品牌以及資產(chǎn)負(fù)債表的重大責(zé)任和風(fēng)險(xiǎn)。”

這是思考企業(yè)如何以及為何采用可解釋的人工智能系統(tǒng)而不是操作黑盒模型的另一種方式。他們的業(yè)務(wù)可能依賴(lài)于它。人們對(duì)人工智能偏見(jiàn)的主張可能會(huì)被誤導(dǎo)。在風(fēng)險(xiǎn)較高的情況下，類(lèi)似的要求可能相當(dāng)嚴(yán)重。而這就是可解釋的人工智能可能成為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和其他學(xué)科的商業(yè)應(yīng)用的焦點(diǎn)的原因。

可解釋的人工智能在四個(gè)行業(yè)中的作用

ness數(shù)字工程公司首席技術(shù)官moshe kranc對(duì)可解釋人工智能的潛在用例進(jìn)行了探討，他說(shuō)，“任何影響人們生活的用例都可能受到偏見(jiàn)的影響。”其答案既簡(jiǎn)單又深遠(yuǎn)。

他分享了一些越來(lái)越多地可能由人工智能做出決定的例子，但這從根本上需要信任、可審計(jì)性和其他可解釋人工智能的特征：

•參加培訓(xùn)計(jì)劃

•決定是否為某人投保以及投保多少費(fèi)用

•根據(jù)人口統(tǒng)計(jì)數(shù)據(jù)決定是否向某人發(fā)放信用卡或貸款

考慮到這一點(diǎn)，各種人工智能專(zhuān)家和it領(lǐng)導(dǎo)者為此確定可解釋人工智能必不可少的行業(yè)和用例。銀行業(yè)是一個(gè)很好的例子，可以這么說(shuō)，可解釋的人工智能非常適合機(jī)器在貸款決策和其他金融服務(wù)中發(fā)揮關(guān)鍵作用。在許多情況下，這些用途可以擴(kuò)展到其他行業(yè)，其細(xì)節(jié)可能會(huì)有所不同，但原則保持不變，因此這些示例可能有助于思考組織中可解釋的人工智能用例。

1.醫(yī)療保健行業(yè)

對(duì)可解釋人工智能的需求與人類(lèi)的影響將會(huì)同步上升。因此，醫(yī)療保健行業(yè)是一個(gè)良好的起點(diǎn)，因?yàn)樗彩侨斯ぶ悄芸赡芊浅Ｓ幸娴念I(lǐng)域。

kinetica公司首席執(zhí)行官paul appleby說(shuō)，“使用可解釋的人工智能的機(jī)器可以為醫(yī)務(wù)人員節(jié)省大量時(shí)間，使他們能夠?qū)Ｗ⒂卺t(yī)學(xué)的解釋性工作，而不是重復(fù)性任務(wù)。他們可以同時(shí)給予每位患者更多的關(guān)注。其潛在的價(jià)值很大，但需要可解釋的人工智能提供的可追溯的解釋?？山忉尩娜斯ぶ悄茉试S機(jī)器評(píng)估數(shù)據(jù)并得出結(jié)論，但同時(shí)給醫(yī)生或護(hù)士提供決策數(shù)據(jù)，以了解如何達(dá)成該結(jié)論，因此在某些情況下得出不同的結(jié)論，這需要人類(lèi)解釋其細(xì)微差別。”

sas公司執(zhí)行副總裁兼首席信息官keith collins分享了一個(gè)特定的實(shí)際應(yīng)用程序。他說(shuō)，“我們目前正在研究醫(yī)生使用人工智能分析來(lái)幫助更準(zhǔn)確地檢測(cè)癌癥病變的案例。該技術(shù)可以充當(dāng)醫(yī)生的虛擬助手，并解釋了核磁共振成像(mri)圖像中的每個(gè)變量如何有助于識(shí)別可疑區(qū)域是否有可能致癌，而其他可疑區(qū)域則沒(méi)有。”

2.制造行業(yè)

在診斷和修復(fù)設(shè)備故障時(shí)，現(xiàn)場(chǎng)技術(shù)人員通常依賴(lài)“部落知識(shí)”。

ibm watson物聯(lián)網(wǎng)高級(jí)產(chǎn)品經(jīng)理heena purohit指出，在制造行業(yè)中，現(xiàn)場(chǎng)技術(shù)人員在診斷和修復(fù)設(shè)備故障時(shí)往往依賴(lài)“部落知識(shí)”，也有一些行業(yè)也是如此。部落知識(shí)的問(wèn)題在于團(tuán)隊(duì)成員變動(dòng)頻繁，有時(shí)甚至是顯著的：人員流動(dòng)頻繁，他們的專(zhuān)業(yè)知識(shí)也會(huì)改變，而這些知識(shí)并不總是被記錄或轉(zhuǎn)移。

purohit說(shuō)，“人工智能驅(qū)動(dòng)的自然語(yǔ)言處理可以幫助分析非結(jié)構(gòu)化數(shù)據(jù)，如設(shè)備手冊(cè)、維護(hù)標(biāo)準(zhǔn)，以及例如歷史工作訂單、物聯(lián)網(wǎng)傳感器讀數(shù)和業(yè)務(wù)流程數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)，以提出技術(shù)人員應(yīng)遵循的規(guī)定性指導(dǎo)的最佳建議。”

這并不能消除部落知識(shí)的價(jià)值，也沒(méi)有削弱人類(lèi)的決策制定。相反，它是一個(gè)迭代和交互的過(guò)程，有助于確保以可操作的方式存儲(chǔ)和共享知識(shí)。

purohit解釋道，“在這種情況下，我們向用戶(hù)展示了由人工智能驅(qū)動(dòng)的多種可能的維修指導(dǎo)建議選項(xiàng)，并且每個(gè)響應(yīng)的置信區(qū)間都是可能的答案。用戶(hù)可獲得每個(gè)選項(xiàng)，這有助于持續(xù)學(xué)習(xí)過(guò)程，并改進(jìn)未來(lái)的建議。這樣，我們不會(huì)只給用戶(hù)單一的選擇，我們?cè)试S用戶(hù)在各個(gè)選項(xiàng)之間作出明智的決定。對(duì)于每個(gè)建議，我們還向用戶(hù)顯示了知識(shí)圖輸出這個(gè)高級(jí)功能，以及在人工智能培訓(xùn)階段使用的輸入，以幫助用戶(hù)了解有關(guān)為什么結(jié)果被優(yōu)先排序和相應(yīng)評(píng)分的參數(shù)。”

3.保險(xiǎn)行業(yè)

就像醫(yī)療保健行業(yè)一樣，人工智能對(duì)于保險(xiǎn)行業(yè)可能會(huì)產(chǎn)生深遠(yuǎn)的影響，但信任、透明度、可審計(jì)性是絕對(duì)必要的。

cognitivescale公司創(chuàng)始人兼首席技術(shù)官matt sanchez說(shuō)：“人工智能在保險(xiǎn)領(lǐng)域有著許多潛在的使用案例，例如客戶(hù)獲取、代理生產(chǎn)率、索賠預(yù)防、承保、客戶(hù)服務(wù)、交叉銷(xiāo)售、政策調(diào)整，以及提高風(fēng)險(xiǎn)和合規(guī)性。”他指出，埃森哲公司最近的一項(xiàng)調(diào)查發(fā)現(xiàn)，大多數(shù)保險(xiǎn)業(yè)高管預(yù)計(jì)人工智能將在未來(lái)三年內(nèi)徹底改變其行業(yè)。

但這絕對(duì)是一個(gè)有相當(dāng)大影響的領(lǐng)域。只需考慮關(guān)鍵的保險(xiǎn)類(lèi)別就可以感受到這些影響，例如生活、業(yè)主、健康、員工補(bǔ)償?shù)鹊?。sanchez表示，可解釋的人工智能將非常重要;建議人們思考這些問(wèn)題，而每個(gè)問(wèn)題也適用于其他領(lǐng)域：

•人工智能能否解釋它是如何獲得這種洞察力或結(jié)果的?

•應(yīng)用了哪些數(shù)據(jù)、模型和處理來(lái)獲得其結(jié)果?

•監(jiān)管機(jī)構(gòu)可以訪問(wèn)并了解此人工智能的工作原理嗎?

•誰(shuí)在訪問(wèn)什么以及何時(shí)訪問(wèn)?

4.自動(dòng)駕駛汽車(chē)

可解釋的人工智能最終應(yīng)該是使人工智能提供最大的價(jià)值。

pubnub公司首席技術(shù)官兼聯(lián)合創(chuàng)始人stephen blum表示，“了解人工智能服務(wù)為什么做出某種決定，或者了解是如何獲得某種洞察力，這對(duì)于人工智能從業(yè)者更好地整合人工智能服務(wù)至關(guān)重要。例如自動(dòng)駕駛汽車(chē)的人工智能系統(tǒng)將如何構(gòu)建與車(chē)輛交互的方式，這對(duì)乘坐人員來(lái)說(shuō)將面臨很大的風(fēng)險(xiǎn)，因?yàn)檫@意味著其決定生死攸關(guān)。”

事實(shí)上，自動(dòng)駕駛汽車(chē)無(wú)疑是人工智能發(fā)揮重要作用的新興領(lǐng)域，可解釋的人工智能將是成為其最重要的領(lǐng)域。

kinetica公司首席執(zhí)行官appleby解釋了這種情況的重要性。他說(shuō)，“如果一輛自動(dòng)駕駛汽車(chē)發(fā)現(xiàn)自己處于不可避免的危險(xiǎn)境地時(shí)，應(yīng)該采取什么措施?優(yōu)先保護(hù)乘客卻將行人置于危險(xiǎn)之中?還是為了避免撞到行人而危及乘客安全?”

因此，獲得這些問(wèn)題的答案并不簡(jiǎn)單。但這將給出一個(gè)非常直接的結(jié)論：人工智能的黑盒模型在這種情況下不起作用。無(wú)論對(duì)于乘客還是行人，都必須解釋清楚，更不用說(shuō)汽車(chē)制造商、公共安全官員等相關(guān)人員。

appleby說(shuō)，“我們可能對(duì)自動(dòng)駕駛汽車(chē)的響應(yīng)并不認(rèn)同，但我們應(yīng)該提前了解它所遵循的道德優(yōu)先事項(xiàng)。通過(guò)企業(yè)內(nèi)部建立的數(shù)據(jù)治理，汽車(chē)制造商可以通過(guò)跟蹤和解釋模型從決策點(diǎn)a到z點(diǎn)的方式來(lái)跟蹤數(shù)據(jù)集，從而使他們更容易評(píng)估這些結(jié)果是否符合他們采取的道德立場(chǎng)。同樣，乘客也可以決定他們是否愿意乘坐做出某些決定而設(shè)計(jì)的車(chē)輛。”

這可能是一個(gè)嚴(yán)峻的現(xiàn)實(shí)，但同樣有一個(gè)基本原則，這包括那些不是生死攸關(guān)的場(chǎng)景。可解釋的人工智能是改進(jìn)和優(yōu)化的人工智能技術(shù)，這是it領(lǐng)導(dǎo)者思考人工智能的另一種方式。

blum說(shuō)，“如果人工智能系統(tǒng)出錯(cuò)，其構(gòu)建者需要理解為什么會(huì)這樣做，這樣才能改進(jìn)和修復(fù)。如果他們的人工智能服務(wù)在黑盒中存在并運(yùn)行，他們就無(wú)法了解如何調(diào)試和改進(jìn)它。”