引言\n\n深度學(xué)習(xí)模型的可解釋性一直是人工智能領(lǐng)域的重要挑戰(zhàn)。門(mén)控注意力機(jī)制在自然語(yǔ)言處理中表現(xiàn)優(yōu)異，其注意力圖蘊(yùn)含了模型對(duì)輸入序列的處理模式。但注意力圖的高維特性使得研究人員難以從海量數(shù)據(jù)中感知其結(jié)構(gòu)規(guī)律，網(wǎng)絡(luò)層數(shù)與注意力頭數(shù)的大量組合更增加了手動(dòng)分析的負(fù)擔(dān)。聚類(lèi)分析能夠以無(wú)監(jiān)督方式挖掘數(shù)據(jù)內(nèi)在結(jié)構(gòu)，為破解這一困境提供了可行路徑。為此，本文提出了基于聚類(lèi)的方法來(lái)可視化門(mén)控注意力圖聚類(lèi)網(wǎng)絡(luò)，嘗試在注意力表象與功能性知識(shí)之間搭建橋梁。實(shí)驗(yàn)預(yù)期表明，借助細(xì)粒度的聚類(lèi)技術(shù)，研究者可從網(wǎng)絡(luò)整體和多維屬性兩個(gè)層面洞察兩者之間的動(dòng)態(tài)弱相關(guān)性特征。整體而言，本文在網(wǎng)絡(luò)可解釋增強(qiáng)與認(rèn)知啟發(fā)深度學(xué)習(xí)上都具有積極的引導(dǎo)意義。\n\n## 一、門(mén)控注意力與數(shù)據(jù)建模\n\n許多流行的NIM模型具有各種門(mén)控體系結(jié)構(gòu)。這些網(wǎng)絡(luò)結(jié)構(gòu)在過(guò)去概念知識(shí)信息中能夠同已知的場(chǎng)景融為一體，在這種空間對(duì)比鮮明、各中差異的命名環(huán)境中呈現(xiàn)不同的異同名下的存在以及這個(gè)存在應(yīng)該算作的知識(shí)框架下的方法區(qū)分。在我們研究的聚類(lèi)式邏輯中，符號(hào)與不變量恰恰暴露