人工智能端側(cè)芯片基準(zhǔn)測試評(píng)估方案 v0.5 版本發(fā)布

2018-10-17 15:29來源:機(jī)器之心synced//

原標(biāo)題：人工智能端側(cè)芯片基準(zhǔn)測試評(píng)估方案 v0.5 版本發(fā)布

ai 進(jìn)入爆發(fā)期后，芯片對(duì)技術(shù)進(jìn)步的影響愈發(fā)凸顯。深度學(xué)習(xí)對(duì)計(jì)算芯片提出了新需求，催生了 ai 加速芯片的問世。當(dāng) ai 芯片的功能日益復(fù)雜化、多樣化，一方面，芯片廠商紛紛給出不同的衡量標(biāo)準(zhǔn)，聲稱其產(chǎn)品在計(jì)算性能、單位能耗算力等方面處于行業(yè)領(lǐng)先水平；另一方面，需求方卻關(guān)心如何能從廠商給出的信息中判斷出芯片是否能實(shí)際滿足其真實(shí)場景的計(jì)算需求。針對(duì)這一現(xiàn)狀，一個(gè)與真實(shí)場景緊密相連的、同時(shí)跨產(chǎn)品可比的測試評(píng)估方案的出現(xiàn)，迫在眉睫。

如何構(gòu)建與真實(shí)場景緊密相連的、面向不同產(chǎn)品形態(tài)、設(shè)備級(jí)別的ai加速器測試評(píng)估方案？2018 aiia 人工智能開發(fā)者大會(huì)揭曉了答案。會(huì)上，《aiia dnn benchmark——人工智能端側(cè)芯片基準(zhǔn)測試評(píng)估方案 v0.5 版本》由中國信息通信研究院云大所人工智能部副主任、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟 （aiia） 總體組組長孫明俊代表中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布。

中國信息通信研究院云大所人工智能部副主任、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長 孫明俊

aiia dnn benchmark 的工作目標(biāo)為客觀反映當(dāng)前以提升深度學(xué)習(xí)處理能力的 ai 加速器現(xiàn)狀，所有指標(biāo)均旨在提供客觀比對(duì)維度。aiia 希望，該方案能夠?yàn)樾酒髽I(yè)提供第三方評(píng)測結(jié)果，幫助產(chǎn)品市場宣傳；同時(shí)為應(yīng)用企業(yè)提供選型參考，幫助產(chǎn)品找到合適其應(yīng)用場景的芯片。v0.5版本首先給出了端側(cè)評(píng)估方案。

根據(jù)孫明俊介紹，ai 基準(zhǔn)測試方案的制定面臨諸多挑戰(zhàn)。即便拋開優(yōu)化程度、硬件架構(gòu)等若干問題不談，延遲、帶寬、能耗都要納入考慮范圍。同時(shí)，各種神經(jīng)網(wǎng)絡(luò)模型都有不同參數(shù)，不同設(shè)備在不同參數(shù)下有不同的輸出曲線。如何讓指標(biāo)在不同級(jí)別的設(shè)備中橫向可比？而云端和終端的應(yīng)用是否需要不同的基準(zhǔn)測試？如何為不同測試項(xiàng)目分配權(quán)重，以獲得一個(gè)相對(duì)公正客觀、有代表性的評(píng)分？這些都是應(yīng)用領(lǐng)域的差異性和實(shí)現(xiàn)選擇的多樣性導(dǎo)致的測評(píng)難題。

針對(duì)以上特點(diǎn)，aiia 聯(lián)合 arm 中國、阿里巴巴集團(tuán)、百度、寒武紀(jì)科技、chipintelli、地平線、華為、華大半導(dǎo)體、imagination、synopsys，騰訊、云之聲等 12 家企業(yè)，推出了 aiia dnn benchmark——人工智能端側(cè)芯片基準(zhǔn)測試評(píng)估方案。

aiia dnn benchmark 將以「版本迭代、不斷豐富、不斷完善」的工作方式，為更多評(píng)測應(yīng)用場景、評(píng)測指標(biāo)等提供評(píng)估方案，最新公布的 v0.5 版本提供了「通用芯片 ai 能力評(píng)估」和「定制化芯片的 ai 能力評(píng)估」2 種方案評(píng)測方案。方案覆蓋了時(shí)間、性能評(píng)價(jià)指標(biāo)以及功耗 3 類測評(píng)指標(biāo)和圖片分類、目標(biāo)檢測、語音識(shí)別、超分辨率 4 大應(yīng)用場景。其中通用芯片的 ai 能力評(píng)估限定在指定場景、數(shù)據(jù)集、網(wǎng)絡(luò)模型、框架下，而定制化芯片的 ai 能力評(píng)估將更加關(guān)注 ai 芯片對(duì)于特殊場景的優(yōu)化能力，如安防、自動(dòng)駕駛、智能音箱等。針對(duì)每一個(gè)具體變量，方案都提供了 check list 選項(xiàng)，供被測方選擇 。

目前aiia dnn benchmark芯片基準(zhǔn)測試評(píng)估方案是初級(jí)版本，預(yù)計(jì)會(huì)在10月底到11月初面向企業(yè)征集首輪評(píng)估對(duì)象及方案，首輪測試對(duì)象主要為端側(cè)設(shè)備。aiia dnn benchmark 將會(huì)從場景、指標(biāo)、部署位置等角度不斷做版本更新，誠邀企業(yè)參與。

可以預(yù)見，aiia dnn benchmark 的發(fā)布，能夠促進(jìn)芯片供給側(cè)與需求側(cè)的交流，讓需求方的意見能夠更快傳達(dá)到芯片企業(yè)，讓企業(yè)進(jìn)行有針對(duì)性的改良，加快行業(yè)迭代速度，推動(dòng) ai 產(chǎn)業(yè)的快速進(jìn)步。