隨著信息技術(shù)在各領(lǐng)域的廣泛應(yīng)用，海量數(shù)據(jù)涌現(xiàn)，其多模態(tài)、大規(guī)模等特點(diǎn)為現(xiàn)有大數(shù)據(jù)分析技術(shù)帶來(lái)了新的挑戰(zhàn)。近期，我校數(shù)學(xué)與信息學(xué)院黃棟課題組圍繞多模態(tài)大數(shù)據(jù)分析的多個(gè)難點(diǎn)問(wèn)題，取得了若干重要進(jìn)展，相關(guān)研究論文發(fā)表在Information Fusion（影響因子17.564）、IEEE Transactions on Neural Networks and Learning Systems（影響因子14.255）、IEEE Transactions on Knowledge and Data Engineering（影響因子9.235）、Pattern Recognition（影響因子8.518）等人工智能與大數(shù)據(jù)分析領(lǐng)域國(guó)際權(quán)威期刊上。

　　1. 面向多模態(tài)數(shù)據(jù)的高效二部圖學(xué)習(xí)與聚類分析

　　作為數(shù)據(jù)的最基本表達(dá)之一，圖結(jié)構(gòu)能夠有效反映數(shù)據(jù)樣本間的關(guān)聯(lián)信息，在多模態(tài)大規(guī)模數(shù)據(jù)分析上也扮演著重要角色。針對(duì)傳統(tǒng)多模態(tài)（多視圖）圖學(xué)習(xí)與聚類分析方法的高復(fù)雜度、缺乏跨模態(tài)融合建模、無(wú)法直接學(xué)習(xí)離散簇結(jié)構(gòu)等局限性，該研究提出以錨點(diǎn)子空間學(xué)習(xí)同時(shí)得到多個(gè)模態(tài)的大規(guī)模二部圖，并將其自適應(yīng)融合為具備離散簇結(jié)構(gòu)的統(tǒng)一圖結(jié)構(gòu)，由此提出一種可適用于多模態(tài)大規(guī)模數(shù)據(jù)的高效二部圖學(xué)習(xí)與聚類分析新算法。

　　團(tuán)隊(duì)在中科院一區(qū)期刊IEEE Transactions on Neural Networks and Learning Systems（影響因子14.255）上在線發(fā)表了題為“Efficient Multi-View Clustering via Unified and Discrete Bipartite Graph Learning”的研究論文（論文鏈接：https://ieeexplore.ieee.org/document/10091436）。該論文的通訊作者為黃棟副教授，第一作者為我校碩士研究生方思國(guó)。

　　2. 基于集成學(xué)習(xí)的多模態(tài)大規(guī)模數(shù)據(jù)聚類分析

　　針對(duì)傳統(tǒng)多模態(tài)聚類在運(yùn)算效率、單階段融合以及模型調(diào)參等方面的關(guān)鍵問(wèn)題，該研究提出一種基于集成學(xué)習(xí)的快速多模態(tài)聚類方法。該方法通過(guò)構(gòu)建隨機(jī)視圖（模態(tài)）組，挖掘不同模態(tài)之間的多樣化關(guān)聯(lián)，以此作為多階段融合的基礎(chǔ)。進(jìn)一步，整合特征級(jí)、錨點(diǎn)級(jí)以及鄰域級(jí)的多樣化信息，構(gòu)建一組具有差異性的基聚類，再結(jié)合高效二部圖建模與劃分，以得到多模態(tài)大規(guī)模數(shù)據(jù)的集成聚類結(jié)果。相比于傳統(tǒng)多模態(tài)聚類方法，該方法的優(yōu)勢(shì)主要體現(xiàn)在大規(guī)模可用性（Scalability）、性能優(yōu)越性（Superiority）以及高效易用性（Simplicity）三個(gè)方面。

　　團(tuán)隊(duì)在中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦A類期刊IEEE Transactions on Knowledge and Data Engineering（影響因子9.235）上在線發(fā)表了題為“Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity”的研究論文（論文鏈接：https://ieeexplore.ieee.org/document/10016684）。該論文的第一作者為黃棟副教授。

　　3. 基于跨模態(tài)一致性與非一致性建模的多模態(tài)子空間聚類研究

　　傳統(tǒng)多模態(tài)子空間聚類方法大多僅考慮多個(gè)子空間表達(dá)的一致性，而未對(duì)其非一致性作有效建模，亦未充分反映多模態(tài)數(shù)據(jù)的局部結(jié)構(gòu)信息。對(duì)此，該研究提出一種基于聯(lián)合平滑約束的多模態(tài)子空間聚類方法。該方法對(duì)多個(gè)模態(tài)子空間表達(dá)的一致性與非一致性進(jìn)行建模，并結(jié)合協(xié)同分組效應(yīng)，利用多個(gè)模態(tài)下的局部結(jié)構(gòu)信息進(jìn)行聯(lián)合平滑約束，進(jìn)而設(shè)計(jì)了一種迭代優(yōu)化算法對(duì)其進(jìn)行近似求解，以實(shí)現(xiàn)兼顧跨模態(tài)一致性與非一致性的多模態(tài)子空間聚類分析。

　　近期在中科院一區(qū)期刊Information Fusion（影響因子17.564）上正式發(fā)表了題為“Seeking commonness and inconsistencies: A jointly smoothed approach to multi-view subspace clustering”的研究論文（論文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S1566253522001968）。該論文的通訊作者為黃棟副教授，第一作者為我校碩士研究生蔡曉莎。

　　4. 基于深度學(xué)習(xí)與強(qiáng)弱增廣協(xié)同訓(xùn)練的自監(jiān)督聚類研究

　　深度神經(jīng)網(wǎng)絡(luò)近年來(lái)在復(fù)雜數(shù)據(jù)表征學(xué)習(xí)上表現(xiàn)出顯著優(yōu)勢(shì)，其與聚類分析的融合亦日益受到關(guān)注。當(dāng)前基于深度學(xué)習(xí)的聚類方法（即深度聚類方法）往往采用單路神經(jīng)網(wǎng)絡(luò)作聚類結(jié)構(gòu)學(xué)習(xí)，或采用兩路神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作對(duì)比學(xué)習(xí)，其對(duì)比學(xué)習(xí)過(guò)程亦大多局限于圖像數(shù)據(jù)的弱增廣策略。對(duì)此，該研究將過(guò)往深度聚類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由兩路擴(kuò)展至多路，并設(shè)計(jì)其多路神經(jīng)網(wǎng)絡(luò)的協(xié)同學(xué)習(xí)機(jī)制，由此提出一種基于強(qiáng)弱增廣協(xié)同訓(xùn)練的自監(jiān)督圖像聚類方法。

　　團(tuán)隊(duì)在中科院一區(qū)期刊Pattern Recognition（影響因子8.518）上正式發(fā)表了題為“Strongly augmented contrastive clustering”的研究論文（論文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S003132032300170X）。該論文的通訊作者為黃棟副教授，第一作者為我校碩士研究生鄧小智。

　　前述研究工作得到了國(guó)家自然科學(xué)基金（61976097，62276277，62077045，U1811263）、廣東省自然科學(xué)基金區(qū)域聯(lián)合基金重點(diǎn)項(xiàng)目（2022B1515120059）、廣東省自然科學(xué)基金面上項(xiàng)目 (2021A1515012203)、廣州市科技計(jì)劃項(xiàng)目（202201010314）等項(xiàng)目的支持。

文圖/數(shù)學(xué)與信息學(xué)院