圖神經(jīng)網(wǎng)絡(luò) 社區(qū)發(fā)現(xiàn)(圖神經(jīng)網(wǎng)絡(luò)算法)
【導(dǎo)讀】GraphNarrator是圖神Emory大學(xué)研究團隊開發(fā)的首個為圖神經(jīng)網(wǎng)絡(luò)生成自然語言解釋的工具通過構(gòu)造和優(yōu)化解釋偽標(biāo)簽,再將這些標(biāo)簽蒸餾到一個端到端模型中,經(jīng)網(wǎng)使模型能直接輸出高質(zhì)量的絡(luò)社自然語言解釋,讓復(fù)雜的現(xiàn)圖圖神經(jīng)網(wǎng)絡(luò)決策過程變得透明可理解,且在多個真實數(shù)據(jù)集上驗證了其有效性。神經(jīng)算法
圖神經(jīng)網(wǎng)絡(luò)(GNN)已成為處理結(jié)構(gòu)化數(shù)據(jù)的網(wǎng)絡(luò)核心工具,廣泛應(yīng)用于社交網(wǎng)絡(luò)、圖神藥物設(shè)計、經(jīng)網(wǎng)金融風(fēng)控等場景然而,絡(luò)社現(xiàn)有 GNN 的現(xiàn)圖決策過程高度復(fù)雜,且常常缺乏透明度:為什么模型做出這樣的神經(jīng)算法預(yù)測?關(guān)鍵依據(jù)在哪?這成為阻礙其大規(guī)模落地的重要瓶頸。
已有方法多基于「重要子圖提取」或「節(jié)點-邊歸因」,網(wǎng)絡(luò)如 GNNExplainer、圖神PGExplainer 等,經(jīng)網(wǎng)但它們只能輸出結(jié)構(gòu)片段,絡(luò)社不具備人類可讀性,且缺乏對文本屬性節(jié)點的處理能力(如文獻圖、商品圖)Emory大學(xué)的研究團隊提出了首個面向圖神經(jīng)網(wǎng)絡(luò)的自然語言解釋生成器GraphNarrator,首次實現(xiàn)從GNN輸入輸出中,生成高質(zhì)量的自然語言解釋,讓圖神經(jīng)網(wǎng)絡(luò)從「黑盒模型」變?yōu)椤赣欣碛袚?jù)的決策體」。

論文鏈接:https://arxiv.org/pdf/2410.15268 代碼鏈接:https://github.com/pb0316/GraphNarratorGraphNarrator聚焦于一種重要的圖類型Text-Attributed Graphs (TAGs),即節(jié)點特征為自然語言文本(如論文摘要、商品介紹、疾病描述等)。
論文貢獻包括:提出首個自然語言解釋框架,將TAG圖解釋從結(jié)構(gòu)層面擴展至語言層;統(tǒng)一結(jié)構(gòu)化與語言信息,橋接圖結(jié)構(gòu)推理與LLM理解能力;開源工具鏈,提供高質(zhì)量偽標(biāo)簽構(gòu)造器+自監(jiān)督蒸餾方法,便于遷移至任意GNN任務(wù)。

論文第一作者為Emory大學(xué)博士生Bo Pan,長期從事圖學(xué)習(xí)與可解釋人工智能方向研究共同第一作者為USC碩士生Zhen Xiong和Emory大學(xué)博士生Guanchen Wu,通訊作者為Emory計算機系副教授Liang Zhao。
該研究獲得ACL2025 主會接收,提出首個面向圖神經(jīng)網(wǎng)絡(luò)的自然語言解釋生成器 GraphNarrator。 讓GNN開口說話

GraphNarrator 總體包含三步: 1. 構(gòu)造解釋偽標(biāo)簽(Pseudo-label Generation) 使用saliency-based解釋方法提取「重要文本+關(guān)鍵鄰居節(jié)點」,形式是每個特征(節(jié)點、邊、token)的重要性。
將這些結(jié)構(gòu)轉(zhuǎn)化為結(jié)構(gòu)化Prompt,和問題與預(yù)測一起輸入GPT模型,生成可解釋偽標(biāo)簽 2. 優(yōu)化偽標(biāo)簽(Filtering via Expert-Designed Criteria) 通過兩大標(biāo)準(zhǔn)篩選質(zhì)量更高的偽標(biāo)簽:。
忠實性(faithfulness):與模型預(yù)測一致,研究人員通過互信息(mutual information)的方式計算生成的文字解釋與輸入、輸出之間的忠實性簡潔性(conciseness):信息濃縮、可讀性強,鼓勵長度更短。
GraphNarrator通過專家迭代(Expert Iteration)同時優(yōu)化這兩個目標(biāo),確保教師模型(teacher model)生成高質(zhì)量的解釋 3. 蒸餾解釋器(Training Final Explainer) 。
將偽標(biāo)簽蒸餾進一個端到端模型(文章中使用LlaMA 3.1 8B),直接輸入圖結(jié)構(gòu)與文本,即可自動輸出解釋語句。

忠實、可讀、用戶更愛看! 數(shù)據(jù)集研究人員在多個真實世界的Text-Attributed Graph(TAG)數(shù)據(jù)集上對GraphNarrator進行了系統(tǒng)評估,包括:Cora:論文引文圖,節(jié)點為論文,文本為摘要
DBLP:作者合作圖,文本為論文列表PubMed:生物醫(yī)學(xué)文獻圖對比方法:各主流 LLM(LLaMA 3.1-8B、GPT?3.5、GPT?4o)Zero-shot生成解釋SMV:基于GPT?4o的saliency解釋模板轉(zhuǎn)換方法
GraphNarrator(基于LLaMA 3.1-8B)評估目標(biāo)是檢驗 GraphNarrator 生成的自然語言解釋是否忠實、準(zhǔn)確、可讀、受用戶喜愛 評測結(jié)果 研究人員通過自動方式和人工方式評測該方法生成的解釋質(zhì)量。
自動評測中,GraphNarrator在Simulatability上全面領(lǐng)先(+8‐10%),證明解釋內(nèi)容高度還原了GNN預(yù)測;PMI?10%覆蓋率提升顯著(平均+8.2%),表明能捕捉到最重要的token; Brevity(解釋長度/輸入長度)下降超13%,驗證其「短小精煉」能力。

人工評測中,有計算語言學(xué)背景的評審從易讀性、洞察力、結(jié)構(gòu)信息、語義信息4個方向打分(1–7 分制)結(jié)果表明各項均優(yōu)于GPT?4o、SMV,尤其在結(jié)構(gòu)理解上優(yōu)勢明顯(+33%),解釋更流暢、邏輯清晰,獲得真實用戶的更高信任。

參考資料:https://arxiv.org/pdf/2410.15268