本發(fā)明涉及醫(yī)學(xué)圖像自動識別，尤其是涉及一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)。

背景技術(shù)：

1、醫(yī)學(xué)圖像的診斷識別是醫(yī)學(xué)圖像分析的基礎(chǔ)，是計(jì)算機(jī)輔助診斷（computer-aided?diagnosis，cad）的關(guān)鍵任務(wù)。深度學(xué)習(xí)的進(jìn)步使cad在醫(yī)學(xué)圖像識別任務(wù)中實(shí)現(xiàn)了接近人類水平的準(zhǔn)確性，如乳腺癌識別、皮膚病變識別等。然而，深度學(xué)習(xí)模型的識別精度受到大規(guī)模標(biāo)注數(shù)據(jù)的限制。但是，醫(yī)學(xué)圖像數(shù)據(jù)的標(biāo)注不僅繁瑣，而且需要專業(yè)的醫(yī)學(xué)知識，使得標(biāo)注數(shù)據(jù)的獲取成本很高。此外，一些罕見疾?。ㄈ缧叵倭龅龋┲荒芡ㄟ^醫(yī)學(xué)文獻(xiàn)進(jìn)行文字描述，實(shí)際樣本極難獲得。對于新出現(xiàn)的疾病，識別更具挑戰(zhàn)性。另一方面，由于深度學(xué)習(xí)模型在訓(xùn)練階段缺乏未見類樣本，模型傾向于將未見樣本識別為可見類，從而導(dǎo)致疾病的誤診。因此，開發(fā)能夠識別未見類樣本的深度學(xué)習(xí)模型對于臨床部署和應(yīng)用至關(guān)重要。

2、零樣本學(xué)習(xí)（zero-shot?learning，zsl）旨在利用語義信息從可見類的可用特征中學(xué)習(xí)未見類的結(jié)構(gòu)表示。在現(xiàn)實(shí)場景中往往需要更一般的是設(shè)置，測試階段能同時(shí)準(zhǔn)確識別出可見類和未見類，即廣義零樣本學(xué)習(xí)（generalized?zero-shot?learning，gzsl）。目前，gzsl在自然圖像的單標(biāo)簽識別領(lǐng)域已取得了較為顯著的成功，但在醫(yī)學(xué)圖像識別領(lǐng)域的應(yīng)用仍處于探索階段。由于醫(yī)學(xué)影像數(shù)據(jù)普遍存在樣本不均衡、新病癥持續(xù)出現(xiàn)，且部分圖像病理區(qū)域較模糊等問題，導(dǎo)致現(xiàn)有的基于廣義零樣本學(xué)習(xí)的醫(yī)學(xué)圖像識別模型，嚴(yán)重偏向于可見類。盡管生成式方法在一定程度上緩解了該類問題，但傳統(tǒng)生成式模型在醫(yī)學(xué)領(lǐng)域應(yīng)用中存在固有局限，如在醫(yī)學(xué)圖像零樣本生成中，生成器易過擬合于訓(xùn)練類別，即可見類，導(dǎo)致生成的偽樣本高度相關(guān)，多樣性不足，而且部分醫(yī)學(xué)圖像（x射線圖像、超聲圖像等）對比度較低，生成器難以準(zhǔn)確重建出細(xì)微的病理特征，導(dǎo)致生成的偽樣本結(jié)構(gòu)失真，嚴(yán)重制約其在臨床診斷中的實(shí)用價(jià)值。

3、近期，擴(kuò)散模型在圖像生成領(lǐng)域表現(xiàn)優(yōu)異，但其迭代去噪機(jī)制需耗費(fèi)大量計(jì)算資源。為了提高擴(kuò)散模型的訓(xùn)練效率同時(shí)保證偽樣本的生成質(zhì)量，本發(fā)明引用擴(kuò)散生成模型diffusion-gan為醫(yī)學(xué)圖像廣義零樣本識別的生成網(wǎng)絡(luò)。然而，與自然圖像的識別方法相比，開發(fā)用于胸部x射線圖像識別的屬性向量是一項(xiàng)非常復(fù)雜的任務(wù)。不僅需要高度專業(yè)化的醫(yī)療專業(yè)人員投入大量時(shí)間標(biāo)注，而且還需要大量實(shí)驗(yàn)驗(yàn)證其有效性，這與旨在提高醫(yī)療服務(wù)效率的基本目標(biāo)相矛盾。

4、針對醫(yī)學(xué)圖像廣義零樣本識別易偏向于可見類，且醫(yī)學(xué)圖像通常存在病理區(qū)域模糊，導(dǎo)致識別精度不理想的問題，提出局部增強(qiáng)的生成式胸部x射線圖像廣義零樣本識別方法，以緩解胸部x射線圖像在廣義零樣本識別時(shí)，嚴(yán)重偏向于可見類的問題；同時(shí)，本發(fā)明還提出了病理區(qū)域增強(qiáng)模塊，利用病理相關(guān)的語義知識作為指導(dǎo)，通過注意力機(jī)制對病理區(qū)域進(jìn)行局部增強(qiáng)，以提高生成偽樣本的質(zhì)量，并提升最終的識別效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)，通過融入病理區(qū)域增強(qiáng)模塊，增強(qiáng)病理區(qū)域的視覺特征，同時(shí)將擴(kuò)散生成模型引入到廣義零樣本識別，以緩解現(xiàn)有技術(shù)在廣義零樣本識別時(shí)，嚴(yán)重偏向于可見類的問題，有效提高胸部x射線圖像的病灶自動識別精度，輔助醫(yī)生更快地做出決策，有助于早期發(fā)現(xiàn)和干預(yù)胸部疾病。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種生成式胸部x射線圖像廣義零樣本識別方法，包括以下步驟：

3、s1、獲取多個(gè)類別的胸部x射線圖像數(shù)據(jù)集并進(jìn)行預(yù)處理工作，按照比例數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集與測試集；

4、s2、構(gòu)建局部增強(qiáng)的生成式胸部x射線圖像廣義零樣本識別模型，識別模型主要包括兩個(gè)核心模塊，分別為病理區(qū)域局部增強(qiáng)模塊、擴(kuò)散生成模塊，其中擴(kuò)散模塊包括前向擴(kuò)散過程和反向去噪過程；

5、s3、基于劃分的訓(xùn)練集對生成式胸部x射線圖像廣義零樣本識別模型進(jìn)行訓(xùn)練，計(jì)算胸部x射線圖像廣義零樣本識別模型的損失函數(shù)，使用adam優(yōu)化器更新參數(shù)，并在訓(xùn)練過程中保存模型最優(yōu)時(shí)的參數(shù)；

6、s4、使用訓(xùn)練好的生成式胸部x射線圖像廣義零樣本識別模型對測試集數(shù)據(jù)進(jìn)行測試。

7、進(jìn)一步地，s2中，病理區(qū)域局部增強(qiáng)模塊，包括利用自注意力機(jī)制實(shí)現(xiàn)病理區(qū)域視覺特征之間的相互學(xué)習(xí)，得到全局交互特征；利用標(biāo)簽對應(yīng)的病理報(bào)告生成查詢向量，對相應(yīng)區(qū)域的全局交互特征進(jìn)行視覺增強(qiáng)；將含有語義信息的病理報(bào)告與視覺圖像進(jìn)行跨模態(tài)特征融合，進(jìn)而得到各標(biāo)簽對應(yīng)增強(qiáng)后的視覺特征，實(shí)現(xiàn)病理區(qū)域的增強(qiáng)。

8、進(jìn)一步地，s2中，反向去噪過程采用雙判別器進(jìn)行協(xié)同訓(xùn)練，并通過知識蒸餾損失促進(jìn)雙判別器的相互學(xué)習(xí)；其中，雙判別器包括對抗判別器和擴(kuò)散判別器。

9、進(jìn)一步地，對抗判別器利用對抗損失函數(shù)進(jìn)行訓(xùn)練，如下：

10、；

11、其中，；

12、式中，為對抗判別器，為相應(yīng)的權(quán)重，為大于零的懲罰項(xiàng)系數(shù)，為生成器生成的偽視覺特征，為初始的真實(shí)視覺特征，表示病理報(bào)告的語義信息。

13、進(jìn)一步地，擴(kuò)散判別器的訓(xùn)練通過擴(kuò)散損失來約束，如下：

14、；

15、其中，；

16、式中，為擴(kuò)散判別器，為大于零的懲罰項(xiàng)系數(shù)，為前向擴(kuò)散過程處理后帶噪聲的真實(shí)特征，為擴(kuò)散時(shí)間步長，為擴(kuò)散時(shí)間步長時(shí)帶噪聲的真實(shí)特征。

17、進(jìn)一步地，知識蒸餾損失用于約束對抗判別器和擴(kuò)散判別器的訓(xùn)練，如下：

18、；

19、式中，為知識蒸餾損失。

20、為實(shí)施一種生成式胸部x射線圖像廣義零樣本識別方法，本發(fā)明還提供了一種生成式胸部x射線圖像廣義零樣本識別系統(tǒng)，包括病理區(qū)域增強(qiáng)模塊和擴(kuò)散生成模塊；

21、病理區(qū)域增強(qiáng)模塊包括自注意力機(jī)制，用于實(shí)現(xiàn)所有視覺特征之間的相互學(xué)習(xí)，得到全局交互特征；交叉注意力機(jī)制，根據(jù)標(biāo)簽對應(yīng)的病理報(bào)告，對相應(yīng)區(qū)域特征進(jìn)行視覺增強(qiáng)；融合模塊及前向傳播模塊，用于多模態(tài)數(shù)據(jù)的特征融合，獲取各標(biāo)簽對應(yīng)增強(qiáng)后的視覺特征；

22、擴(kuò)散生成模塊包括前向擴(kuò)散過程和反向去噪生成過程：前向擴(kuò)散過程基于擴(kuò)散機(jī)制，采用前向擴(kuò)散噪聲處理，逐步向干凈數(shù)據(jù)中添加噪聲；去噪生成過程用于反向去噪生成操作，設(shè)置有生成器和判別器，且判別器包括擴(kuò)散判別器和對抗判別器，兩個(gè)判別器通過知識蒸餾損失相互約束，協(xié)同訓(xùn)練。

23、因此，本發(fā)明采用上述一種生成式胸部x射線圖像廣義零樣本識別方法及系統(tǒng)，具有以下技術(shù)效果：

24、（1）本發(fā)明在生成模型之前引入局部增強(qiáng)模塊，通過跨模態(tài)融合病理描述和病理圖像，基于注意力機(jī)制對病理區(qū)域進(jìn)行增強(qiáng)，使得生成的偽視覺特征能突顯出病理區(qū)域，從而提高模型的識別精度。

25、（2）本發(fā)明引入擴(kuò)散生成模塊，通過雙判別器的相互學(xué)習(xí)，生成高質(zhì)量且多樣性的偽視覺特征，增強(qiáng)了模型的泛化性能，有效緩解模型在廣義零樣本識別對可見類的過擬合問題。

26、下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。