新湖南客戶端 2025-03-19 15:38:22
近日,南華大學(xué)計(jì)算機(jī)學(xué)院劉永彬、萬(wàn)亞平團(tuán)隊(duì)在計(jì)算機(jī)人工智能領(lǐng)域權(quán)威期刊Information Fusion(影響因子14.8,中國(guó)科學(xué)院一區(qū))發(fā)表了題為“DyLas: A Dynamic Label Alignment Strategy for Large-Scale Multi-Label Text Classification”的研究論文。該論文創(chuàng)新性地利用因果推斷(Causal Inference)理論體系中的因果干預(yù)與反事實(shí)技術(shù),提出了一種動(dòng)態(tài)標(biāo)簽對(duì)齊策略(DyLas),使得大語(yǔ)言模型(Large Language Models)在無(wú)需額外訓(xùn)練的情況下,自動(dòng)適配大規(guī)模多標(biāo)簽分類任務(wù)(Large-scale Multi-label Text Classification)中的任意標(biāo)簽集。
大規(guī)模多標(biāo)簽文本分類(LMTC)是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)重要任務(wù),廣泛應(yīng)用于電子商務(wù)產(chǎn)品標(biāo)簽、新聞分類、醫(yī)療編碼和法律文檔分析等領(lǐng)域。然而,傳統(tǒng)的監(jiān)督學(xué)習(xí)方法在處理動(dòng)態(tài)標(biāo)簽集時(shí)面臨巨大挑戰(zhàn),尤其是標(biāo)簽集的動(dòng)態(tài)變化和長(zhǎng)尾分布問(wèn)題(圖1)?,F(xiàn)有的方法通常需要重新訓(xùn)練模型以適配新的標(biāo)簽集,這不僅耗費(fèi)大量資源,還限制了模型的靈活性和應(yīng)用范圍。
圖1 傳統(tǒng)方法與基于大語(yǔ)言模型方法對(duì)比圖
研究團(tuán)隊(duì)利用因果推斷中的因果干預(yù)和反事實(shí)技術(shù)有效減少大語(yǔ)言模型輸出中的幻覺(jué)問(wèn)題,通過(guò)雙重對(duì)齊和錯(cuò)誤檢查機(jī)制實(shí)現(xiàn)了大語(yǔ)言模型在動(dòng)態(tài)標(biāo)簽集上的高效適配(圖2),顯著提升了大語(yǔ)言模型在大規(guī)模多標(biāo)簽分類任務(wù)、動(dòng)態(tài)標(biāo)簽集合場(chǎng)景下的性能。
圖2 DyLas架構(gòu)示意圖
南華大學(xué)計(jì)算機(jī)學(xué)院劉永彬副教授為通訊作者,碩士生任林為第一作者,南華大學(xué)計(jì)算機(jī)學(xué)院為第一署名單位。(任林)
責(zé)編:張芷瑜
一審:張芷瑜
二審:張馬良
三審:周韜
來(lái)源:新湖南客戶端
我要問(wèn)