近年來，以學(xué)習(xí)通用環(huán)境表征為目的的預(yù)測學(xué)習(xí)（predictive learning）越來越多地被應(yīng)用到工業(yè)制造、自動駕駛等場景的各種時空決策任務(wù)中。針對持續(xù)任務(wù)學(xué)習(xí)設(shè)定下的時空預(yù)測學(xué)習(xí)問題，電子信息與電氣工程學(xué)院人工智能研究院楊小康教授帶領(lǐng)的團隊通過引入并改進已有的持續(xù)學(xué)習(xí)方法，開創(chuàng)性地提出了可持續(xù)時空預(yù)測學(xué)習(xí)框架cpl (continual predictive learning）。由楊小康教授和王韞博助理教授指導(dǎo)的相關(guān)研究工作“continual predictive learning from videos”已被cvpr 2022收錄并被選為口頭報告（oral presentation）（每年oral約占投稿數(shù)的5%）。

cvpr（計算機視覺與模式識別會議，ieee conference on computer vision and pattern recognition）是計算機視覺和模式識別領(lǐng)域的頂級會議，被中國計算機學(xué)會推薦為a類會議。根據(jù)谷歌學(xué)術(shù)公布的2021年最新學(xué)術(shù)期刊和會議影響力排名，cvpr在所有學(xué)術(shù)刊物和會議中位居第4。

預(yù)測學(xué)習(xí)（predictive learning）最早由圖靈獎獲得者yann lecun在nips 2016大會主題報告中首先被提出。其核心思想可以簡單總結(jié)為如何通過完成基于給定視頻片段的數(shù)據(jù)預(yù)測未來連續(xù)幀這一無監(jiān)督預(yù)測學(xué)習(xí)任務(wù)，使得智能體可以學(xué)習(xí)到數(shù)據(jù)所在環(huán)境中包含的動態(tài)先驗信息，如物體在力的作用下的運動狀態(tài)，從而進一步輔助智能體對于未來行為的決策推理。在已有的研究中，往往假設(shè)可以提前獲得不同環(huán)境、不同預(yù)測任務(wù)的全部訓(xùn)練數(shù)據(jù)，然后進行模型訓(xùn)練。

然而，在實際場景中，如圖1所示，模型所面臨的環(huán)境或任務(wù)可能是動態(tài)變化的，即待學(xué)習(xí)的預(yù)測任務(wù)可能以序列化的非平穩(wěn)的形式出現(xiàn)，比如機械臂需要首先完成推動的動作，再分別學(xué)習(xí)抓取和堆疊的動作。模型需要序列化地學(xué)習(xí)一連串不同的任務(wù)，而在學(xué)習(xí)當(dāng)前任務(wù)時，我們無法獲得或只能少量獲得之前任務(wù)的訓(xùn)練數(shù)據(jù)。在這種持續(xù)學(xué)習(xí)（continual learning）的設(shè)定下，多數(shù)現(xiàn)有的預(yù)測學(xué)習(xí)方法會遭遇嚴(yán)重的災(zāi)難性遺忘（catastrophic forgetting）問題，即模型在學(xué)習(xí)任務(wù)序列的過程中，會逐漸遺忘掉之前已學(xué)習(xí)任務(wù)的知識，造成在之前任務(wù)上測試性能的降低，并且研究人員發(fā)現(xiàn)直接將已有作用在圖像領(lǐng)域的持續(xù)學(xué)習(xí)方法應(yīng)用到時空預(yù)測上并不能取得很好的效果。

圖1 可持續(xù)時空預(yù)測問題定義及所提出架構(gòu)在測試時的運行流程

針對以上問題，研究團隊開創(chuàng)性地提出了一種可持續(xù)時空預(yù)測學(xué)習(xí)框架cpl（continual predictive learning），整體結(jié)構(gòu)如圖2所示。在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計上，針對性地設(shè)計了混合世界模型（mixture world model），通過引入類別標(biāo)簽分離不同任務(wù)對應(yīng)的時空動態(tài)信息。在遺忘數(shù)據(jù)增廣上，提出了基于預(yù)測的經(jīng)驗回放（predictive experience replay）策略，通過結(jié)合單幀圖像生成和世界模型的復(fù)用，在內(nèi)存受限的條件下實現(xiàn)了已有任務(wù)數(shù)據(jù)的生成，打破了數(shù)據(jù)限制。最后在模型測試流程中，引入了自適應(yīng)的無參數(shù)任務(wù)推斷機制（non-parametric task inference），進一步緩解預(yù)測階段的標(biāo)簽遺忘問題。

圖2 cpl整體框架

創(chuàng)新點

1、混合世界模型

為了更好地分離不同任務(wù)對應(yīng)的時空動態(tài)信息，進而緩解模型學(xué)習(xí)數(shù)據(jù)分布時帶來的表征混淆，研究人員首先對不同任務(wù)分配不同的任務(wù)標(biāo)簽，并使用混合高斯分布的形式學(xué)習(xí)特定任務(wù)的先驗信息用于預(yù)測，使得世界模型具有更好的表達能力。

2、基于預(yù)測的經(jīng)驗回放

為了緩解時空預(yù)測學(xué)習(xí)中的災(zāi)難性遺忘，研究人員采用基于回放（replay）的方法對混合世界模型進行訓(xùn)練，即在訓(xùn)練當(dāng)前任務(wù)時，通過其他方式對之前已學(xué)習(xí)任務(wù)的數(shù)據(jù)進行再生成，并將生成的數(shù)據(jù)和當(dāng)前真實數(shù)據(jù)混合提供給模型學(xué)習(xí)，實現(xiàn)緩解災(zāi)難性遺忘的目標(biāo)。

3、無參數(shù)任務(wù)推斷

在測試階段，為了避免直接使用一個視頻分類模型進行任務(wù)推斷造成分類模型遭遇災(zāi)難性遺忘的問題，研究團隊提出了一種無參數(shù)的任務(wù)推斷方法，利用混合世界模型通過試錯法進行任務(wù)推斷。

為驗證算法在復(fù)雜場景下的時空預(yù)測能力，研究人員在真實場景中的機械臂數(shù)據(jù)集robonet和人體動作數(shù)據(jù)集kth上進行了定量及定性實驗。在kth數(shù)據(jù)集上模型學(xué)習(xí)的任務(wù)序列為（boxing ->; handclapping ->; handwaving ->; walking ->; jogging->; running），研究人員在模型學(xué)習(xí)完最后一個任務(wù)“跑（running）”之后，測試了模型在第一個學(xué)習(xí)任務(wù)“拳擊（boxing）”上視頻預(yù)測的效果。如圖3所示，左上角ground truth(gt )為預(yù)測結(jié)果的真實值，與其他方法相比，本研究提出的cpl-full模型能夠預(yù)測和真實值高度一致的具有正確動作語義（boxing）的視頻片段，而其他模型的往往會生成模糊的預(yù)測結(jié)果（如predrnn+lwf），或者生成結(jié)果中包含錯誤的動作信息（如predrnn），這些結(jié)果說明本研究提出的模型有效地緩解了模型學(xué)習(xí)過程中對較早學(xué)習(xí)任務(wù)的災(zāi)難性遺忘問題。

圖3 不同模型在拳擊任務(wù)上測試時預(yù)測結(jié)果對比（cpl-full為本文方法）

為進一步體現(xiàn)所提出模型在工業(yè)環(huán)境中的應(yīng)用效果，研究人員將模型在機器人仿真環(huán)境（meta world）中進行測試，展示機械臂持續(xù)學(xué)習(xí)的可視化結(jié)果。研究人員首先使用預(yù)訓(xùn)練的強化學(xué)習(xí)策略對不同任務(wù)采樣，得到視頻序列，之后使模型按照hammer ->; assembly ->; sweep的順序，依次進行時空預(yù)測學(xué)習(xí)。在學(xué)習(xí)完最后一個任務(wù)“打掃（sweep）”后，再次測試所有學(xué)習(xí)任務(wù)的視頻預(yù)測效果，如圖4所示。經(jīng)過持續(xù)學(xué)習(xí)序列任務(wù)之后，基準(zhǔn)模型cpl-base在第一個學(xué)習(xí)任務(wù)“敲擊（hammer）”上出現(xiàn)了明顯的外觀信息的遺忘（物體消失），在第二個任務(wù)“裝配（assembly）”上表現(xiàn)出外觀及動作信息的遺忘（物體消失且機械臂動作不一致）；而本研究提出的cpl-full模型在經(jīng)過持續(xù)學(xué)習(xí)之后仍然能對已學(xué)習(xí)的所有任務(wù)生成清晰的預(yù)測結(jié)果。

圖4 模型應(yīng)用于機器人仿真環(huán)境中的持續(xù)學(xué)習(xí)預(yù)測結(jié)果(cpl-full為本文方法)

綜上，本研究提出的可持續(xù)時空預(yù)測學(xué)習(xí)框架cpl，有效地緩解了時空預(yù)測模型在序列化學(xué)習(xí)過程中的知識遺忘的現(xiàn)象。該模型可以很好地學(xué)習(xí)并存儲多場景、多任務(wù)的動態(tài)先驗信息，這些信息可以通過對未來時空進行預(yù)測輔助長時間的時空規(guī)劃與決策，提升智能機器人等智能體在真實場景中的學(xué)習(xí)與應(yīng)用能力，在智能制造產(chǎn)業(yè)發(fā)展中有著廣泛的應(yīng)用前景與價值。

論文地址：

項目地址：

作者：

電子信息與電氣工程學(xué)院

供稿單位：

電子信息與電氣工程學(xué)院