中新網(wǎng)7月31日電 近日，小i機(jī)器人研究院團(tuán)隊(duì)(xiaoi research)在由斯坦福大學(xué)發(fā)起的國(guó)際權(quán)威機(jī)器閱讀理解評(píng)測(cè)squad1.1挑戰(zhàn)賽中，憑借最新研究成果—bert+wwm+mt的單模型，以em(精準(zhǔn)匹配率和f1(模糊匹配率)超越人類平均水平的優(yōu)異成績(jī)排名第三(截至7月30日)，進(jìn)一步驗(yàn)證了小i機(jī)器人nlp相關(guān)模型算法的技術(shù)可行性和全球先進(jìn)性。

關(guān)于squad1.1

squad被譽(yù)為自然語(yǔ)言處理領(lǐng)域金字塔尖的比賽，旨在促進(jìn)智能搜索引擎的發(fā)展。國(guó)際機(jī)器閱讀理解評(píng)測(cè)squad自2016年發(fā)布以來(lái)，便受到了業(yè)界的廣泛關(guān)注，共吸引了包括谷歌、微軟亞洲研究院、ibm研究院、阿里巴巴達(dá)摩院、上海交通大學(xué)等眾多國(guó)內(nèi)外知名研究機(jī)構(gòu)和高校的踴躍報(bào)名。

在squad1.1數(shù)據(jù)集當(dāng)中，閱讀理解的主要難點(diǎn)是上下文的語(yǔ)義理解。所提問(wèn)題的答案并不能靠簡(jiǎn)單的近鄰或相似度對(duì)答案進(jìn)行匹配，而是需要通過(guò)nlp的語(yǔ)義分析，在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點(diǎn)，需要算法能力達(dá)到人類閱讀理解的思考水平。

參賽者需要提交一個(gè)系統(tǒng)模型，該系統(tǒng)模型在閱讀完數(shù)據(jù)集中的一篇文章后，逐一回答若干個(gè)基于文章內(nèi)容的問(wèn)題。然后，與人工標(biāo)注的答案進(jìn)行比對(duì)，得出精確匹配(exact match)和模糊匹配(f1-score)等相關(guān)評(píng)價(jià)指標(biāo)。em表示預(yù)測(cè)答案和真實(shí)答案完全匹配，而f1用來(lái)評(píng)測(cè)模型的整體性能的結(jié)果。

小i機(jī)器人bert+wwm+mt單模型

小i機(jī)器人研究院團(tuán)隊(duì)在基于whole word masking的bert預(yù)訓(xùn)練模型基礎(chǔ)之上，引入輔助任務(wù)如newsqa等數(shù)據(jù)集，采用多任務(wù)學(xué)習(xí)的思路來(lái)改進(jìn)現(xiàn)有模型的效果，進(jìn)一步提升模型的最終預(yù)測(cè)評(píng)價(jià)指標(biāo) (主要為exact match和f1值)， 小i機(jī)器人參賽模型在此次比賽中獲得em指標(biāo) (精準(zhǔn)匹配率)達(dá)到88.650，f1指標(biāo)(模糊匹配率)達(dá)到94.393的優(yōu)異成績(jī)。

具體地來(lái)說(shuō)，小i機(jī)器人研究院團(tuán)隊(duì)針對(duì)目標(biāo)任務(wù)和輔助任務(wù)中的問(wèn)題和答案的屬性和語(yǔ)義特征，來(lái)綜合判斷輔助任務(wù)中的數(shù)據(jù)樣本與目標(biāo)任務(wù)中的數(shù)據(jù)樣本之間的相關(guān)性，最后將這個(gè)相關(guān)性指標(biāo)引入到模型訓(xùn)練過(guò)程中損失函數(shù)的計(jì)算過(guò)程中，以充分利用并學(xué)習(xí)到來(lái)自目標(biāo)任務(wù)和有關(guān)輔助任務(wù)中的知識(shí)，從而最終提升模型的預(yù)測(cè)效果。

參賽模型相關(guān)技術(shù)已廣泛落地應(yīng)用

技術(shù)評(píng)測(cè)不只是“花拳繡腿”，能否將技術(shù)更好的應(yīng)用到實(shí)際產(chǎn)品中才是評(píng)測(cè)的最終目的。此次小i機(jī)器人用以參賽模型的相關(guān)技術(shù)已被成熟運(yùn)用于小i服務(wù)的數(shù)十個(gè)行業(yè)的有關(guān)產(chǎn)品和實(shí)際項(xiàng)目中，已實(shí)現(xiàn)可商業(yè)化可應(yīng)用化。例如，小i在開(kāi)發(fā)的智能對(duì)話系統(tǒng)ibot平臺(tái)中，就融合了基于機(jī)器閱讀理解的discovery bot能力，可用于解決系統(tǒng)未收錄的知識(shí)問(wèn)題的提問(wèn)。通過(guò)引入這一能力，可進(jìn)一步減少人力資源，不斷提升對(duì)話系統(tǒng)的回復(fù)準(zhǔn)確率，同時(shí)輔助完善相關(guān)的問(wèn)答知識(shí)庫(kù)積累。

在比賽指標(biāo)上超越人類水平遠(yuǎn)遠(yuǎn)不是終點(diǎn)，人類探索的腳步從未停止。小i機(jī)器人一直堅(jiān)持“大腦”研發(fā)，專注于認(rèn)知智能相關(guān)技術(shù)的自主研發(fā)和產(chǎn)業(yè)化應(yīng)用，并用“智能+”賦能傳統(tǒng)行業(yè)ai升級(jí)，推動(dòng)人工智能產(chǎn)業(yè)化發(fā)展進(jìn)程。