近日,，我校數(shù)學(xué)與信息學(xué)院,、軟件學(xué)院2021級(jí)本科生黎倩爾以第一作者身份在人工智能領(lǐng)域知名期刊Engineering Applications of Artificial Intelligence（影響因子7.5）發(fā)表了題為“Generating and Encouraging: An Effective Framework for Solving Class Imbalance in Multimodal Conversational Emotion Recognition”的學(xué)術(shù)論文,。

　　近年來(lái)，智能個(gè)人助理（Intelligent Personal Assistants, IPAs）已成為人機(jī)交互的重要工具,，具有廣泛的應(yīng)用,，如語(yǔ)音助手、虛擬客服和導(dǎo)航等,。捕捉并理解用戶的突出情感需求對(duì)于提高IPA的服務(wù)質(zhì)量至關(guān)重要,。多模態(tài)的對(duì)話情緒識(shí)別是構(gòu)建IPAs的關(guān)鍵，引起了越來(lái)越多的關(guān)注,。該領(lǐng)域的先進(jìn)技術(shù)是基于圖模擬跨模態(tài)和單模態(tài)交互,，然而這些方法忽略了對(duì)話情緒類別高度不平衡的問(wèn)題，無(wú)法對(duì)少數(shù)類的情緒類別進(jìn)行有效識(shí)別,。目前數(shù)據(jù)挖掘的研究采用過(guò)采樣的方法解決類不平衡分類,。然而，它們并不適合直接應(yīng)用到多模態(tài)對(duì)話情緒識(shí)別,，因?yàn)樗鼈儠?huì)破壞多模態(tài)情感識(shí)別數(shù)據(jù)集本身具有的對(duì)話連貫性和模態(tài)對(duì)齊性特點(diǎn),，并且無(wú)法緩解因決策邊界偏移導(dǎo)致的模型在部分多數(shù)類情緒類別上的性能下降。

　　對(duì)此,，本研究提出了一個(gè)解決普遍存在類別不平衡問(wèn)題的多模態(tài)對(duì)話情緒識(shí)別模型,，其中針對(duì)多模態(tài)對(duì)話的樣本生成機(jī)制解決現(xiàn)有方法在多模態(tài)對(duì)話情緒識(shí)別數(shù)據(jù)集上存在的應(yīng)用問(wèn)題，鼓勵(lì)損失機(jī)制達(dá)到了緩解因決策邊界偏移所導(dǎo)致的模型在部分多數(shù)類上性能下降的目的,。通過(guò)在兩個(gè)英文基準(zhǔn)數(shù)據(jù)集和一個(gè)中文公開數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明了論文提出的方法有效地利用不平衡情緒類別的信息量,，更好地對(duì)少數(shù)類的情緒類別進(jìn)行識(shí)別。

　　論文通訊作者為計(jì)算機(jī)科學(xué)與工程系的黃沛杰和徐禹洪副教授,。一直以來(lái),，數(shù)學(xué)與信息學(xué)院,、軟件學(xué)院高度重視學(xué)生的創(chuàng)新能力和科研素養(yǎng)的培養(yǎng)，支持學(xué)生自主開展創(chuàng)新科研活動(dòng)及參加各級(jí)各類科創(chuàng)競(jìng)賽,，鼓勵(lì)學(xué)生選擇科研導(dǎo)師,，進(jìn)入科研實(shí)驗(yàn)室，不斷提升學(xué)生科研創(chuàng)新能力,。

文圖/數(shù)學(xué)與信息學(xué)院,、軟件學(xué)院