本發(fā)明涉及多光譜光電吊艙成像系統(tǒng)，具體涉及一種多光譜圖像重建方法、系統(tǒng)、產(chǎn)品、設(shè)備及檢測方法。

背景技術(shù)：

1、多光譜光電吊艙廣泛應(yīng)用于軍事和民用領(lǐng)域，傳統(tǒng)光電吊艙主要受限于設(shè)備體積、成本以及數(shù)據(jù)傳輸帶寬往往難以搭載具備高分辨率、多通道成像能力的多光譜攝像機(jī)，且由于帶寬資源有限，無法實(shí)時(shí)傳輸大規(guī)模高質(zhì)量多通道圖像數(shù)據(jù)，也限制了后端圖像處理和智能識(shí)別算法的部署效率。其次，多光譜相機(jī)普遍采用msfa（多光譜濾光片陣列）的方式獲取圖像數(shù)據(jù)。這種采集方式在傳感器面陣上以特定排列方式布置多個(gè)波段的濾光片，單次曝光即可獲得不同波段的圖像信息。然而，msfa布局下，每個(gè)像素只記錄一個(gè)波段的信息，其他波段的數(shù)據(jù)需要通過重建算法進(jìn)行推算，這就引出了多光譜圖像重建的核心問題。

2、傳統(tǒng)的多光譜去馬賽克算法主要借鑒了彩色圖像處理中的插值方法，常見方法包括：雙線性插值、cubic?interpolation（立方插值），簡單高效，但不能充分利用圖像的空間和光譜相關(guān)性，易產(chǎn)生偽影和模糊?；趀dge-directed?interpolation（邊緣導(dǎo)向的插值），例如gradient-based（基于梯度的）或edge-aware（邊緣感知）方法，試圖在邊緣方向插值，改善細(xì)節(jié)保留。但當(dāng)圖像噪聲較強(qiáng)或邊緣不明顯時(shí)效果下降。spectral-spatialinterpolation（譜-空聯(lián)合插值）同時(shí)考慮空間鄰域與波段間的相關(guān)性進(jìn)行插值，性能相對提升，但計(jì)算復(fù)雜度較高，難以實(shí)時(shí)處理。基于sparse?coding（稀疏表示）或dictionarylearning（字典學(xué)習(xí)）的方法可以在一定程度上恢復(fù)細(xì)節(jié)，但對訓(xùn)練樣本依賴性較強(qiáng)，泛化能力有限?，F(xiàn)有技術(shù)存在以下的主要問題與挑戰(zhàn)：

3、1、光電吊艙通常安裝于無人機(jī)、固定翼平臺(tái)、直升機(jī)或高速旋轉(zhuǎn)設(shè)備上，在飛行、俯仰、平移、轉(zhuǎn)向過程中圖像容易出現(xiàn)抖動(dòng)、位移、模糊等問題；

4、2、多光譜圖像波段眾多，傳統(tǒng)方法難以有效建模不同波段間的非線性相關(guān)性；

5、3、難以兼顧精度與速度，高質(zhì)量重建算法計(jì)算復(fù)雜度高，不適合實(shí)時(shí)處理；

6、4、在低照度、復(fù)雜環(huán)境下表現(xiàn)不佳，魯棒性差，無法適應(yīng)實(shí)際應(yīng)用中多變的成像條件。

7、現(xiàn)有技術(shù)中，中國專利文獻(xiàn)cn115908181a公開了“一種多幀融合的馬賽克視頻光譜儀圖譜信息重建方法”，通過多幀信息重建單幀的圖譜立方體，最大程度減少因插值帶來的誤差。針對連續(xù)幀的馬賽克圖像序列，可以利用滑動(dòng)時(shí)間窗口的方法進(jìn)行序貫重建，從而獲得圖譜信息完整的多光譜視頻數(shù)據(jù)。但此技術(shù)方案只適用于馬賽克視頻光譜儀在手持、機(jī)載等拍攝條件下，自然產(chǎn)生晃動(dòng)而引起的圖像場景運(yùn)動(dòng)，無法適應(yīng)實(shí)際應(yīng)用中多變的成像條件，并且光電吊艙的抖動(dòng)相對于自然產(chǎn)生的晃動(dòng)更加嚴(yán)重，如果將此技術(shù)方案直接應(yīng)用在光電吊艙的場景會(huì)存在圖像模糊、變形及背景漂移等技術(shù)問題。

8、綜上所述，現(xiàn)有技術(shù)缺少適用于多變的成像條件，并且顯著提升多光譜成像的穩(wěn)定性與清晰度的一種多光譜圖像重建方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明解決了現(xiàn)有技術(shù)缺少適用于多變的成像條件，并且顯著提升多光譜成像的穩(wěn)定性與清晰度的一種多光譜圖像重建方法。

2、本發(fā)明所述的一種多光譜圖像重建方法，包括以下步驟：

3、步驟1，獲取光電吊艙的視頻序列；

4、步驟2，基于光電吊艙的視頻序列，構(gòu)建全局背景圖像；

5、步驟3，基于光電吊艙的視頻序列中的當(dāng)前幀圖像和全局背景圖像進(jìn)行前景區(qū)域檢測，得到前景區(qū)域圖像，將前景區(qū)域圖像與全局背景圖像結(jié)合，得到第一單通道多光譜圖像；

6、步驟4，構(gòu)建基于二維頻譜低秩注意矩陣的光譜重建模型，基于第一單通道多光譜圖像采用無監(jiān)督輕量化重建機(jī)制對光譜重建模型進(jìn)行訓(xùn)練，將單通道多光譜圖像輸入到訓(xùn)練完成的光譜重建模型中，得到重建的多通道數(shù)據(jù)立方體。

7、進(jìn)一步，本發(fā)明實(shí)施例中，所述的步驟2中的基于光電吊艙的視頻序列，構(gòu)建全局背景圖像，具體為：

8、基于光電吊艙的視頻序列，得到投影變換矩陣，利用投影變換矩陣將光電吊艙的視頻序列中第個(gè)圖像幀分別與其之后的所有圖像幀進(jìn)行匹配，得到多個(gè)匹配對，分別計(jì)算每個(gè)匹配對的投影變換誤差，刪除投影變換誤差最大的匹配對，得到全局背景圖像。

9、進(jìn)一步，本發(fā)明實(shí)施例中，所述的基于光電吊艙的視頻序列，得到投影變換矩陣，具體為：

10、對光電吊艙的視頻序列中的任意兩個(gè)圖像幀進(jìn)行匹配，得到多個(gè)匹配點(diǎn)，分別計(jì)算多個(gè)匹配點(diǎn)的誤差，將誤差最大的匹配點(diǎn)刪除，得到投影變換矩陣。

11、進(jìn)一步，本發(fā)明實(shí)施例中，所述的步驟3中的基于光電吊艙的視頻序列中的當(dāng)前幀圖像和全局背景圖像進(jìn)行前景區(qū)域檢測，得到前景區(qū)域圖像，具體為：

12、對光電吊艙的視頻序列中的當(dāng)前幀圖像與全局背景圖像進(jìn)行像素級(jí)差分，得到粗略的前景區(qū)域圖像，計(jì)算光電吊艙的視頻序列中像素的運(yùn)動(dòng)方向與幅度，得到前景區(qū)域圖像的光流圖，融合前景區(qū)域圖像的光流圖和粗略的前景區(qū)域圖像的空間信息，得到前景區(qū)域圖像。

13、進(jìn)一步，本發(fā)明實(shí)施例中，所述的步驟4中的光譜重建模型，包括周期性局部卷積模塊、輕量級(jí)光譜注意力機(jī)制、插值分支和標(biāo)準(zhǔn)卷積，構(gòu)建基于二維頻譜低秩注意矩陣的光譜重建模型，具體為：

14、利用周期性局部卷積模塊提取輸入的多光譜圖像的初始特征，基于輕量級(jí)光譜注意力機(jī)制劃分二維頻譜低秩注意矩陣，對多光譜圖像的初始特征進(jìn)行動(dòng)態(tài)建模，得到基礎(chǔ)光譜模型，采用插值分支作為基礎(chǔ)光譜模型的低頻恢復(fù)基礎(chǔ)，通過標(biāo)準(zhǔn)卷積層輸出重建的多通道數(shù)據(jù)立方體。

15、進(jìn)一步，本發(fā)明實(shí)施例中，所述的步驟4中的基于第一單通道多光譜圖像采用無監(jiān)督輕量化重建機(jī)制對光譜重建模型進(jìn)行訓(xùn)練，具體為：

16、將第一單通道多光譜圖像輸入到光譜重建模型中，得到第一數(shù)據(jù)立方體和第一損失函數(shù)，對第一數(shù)據(jù)立方體進(jìn)行隨機(jī)變換，得到第二數(shù)據(jù)立方體，對第二數(shù)據(jù)立方體進(jìn)行重新采樣，得到第二單通道多光譜圖像，將第二單通道多光譜圖像輸入到光譜重建模型中，得到第三數(shù)據(jù)立方體和第二損失函數(shù)，利用第一損失函數(shù)和第二損失函數(shù)訓(xùn)練光譜重建模型，當(dāng)?shù)谌龜?shù)據(jù)立方體和第二數(shù)據(jù)立方體匹配時(shí)，結(jié)束訓(xùn)練，得到訓(xùn)練完成的光譜重建模型。

17、本發(fā)明所述的一種多光譜圖像重建系統(tǒng)，所述的系統(tǒng)是采用上述所述的一種多光譜圖像重建方法實(shí)現(xiàn)的，包括以下模塊：

18、獲取模塊，獲取光電吊艙的視頻序列；

19、構(gòu)建模塊，基于光電吊艙的視頻序列，構(gòu)建全局背景圖像；

20、結(jié)合模塊，基于光電吊艙的視頻序列中的當(dāng)前幀圖像和全局背景圖像進(jìn)行前景區(qū)域檢測，得到前景區(qū)域圖像，將前景區(qū)域圖像與全局背景圖像結(jié)合，得到第一單通道多光譜圖像；

21、訓(xùn)練模塊，構(gòu)建基于二維頻譜低秩注意矩陣的光譜重建模型，基于第一單通道多光譜圖像采用無監(jiān)督輕量化重建機(jī)制對光譜重建模型進(jìn)行訓(xùn)練，將單通道多光譜圖像輸入到訓(xùn)練完成的光譜重建模型中，得到重建的多通道數(shù)據(jù)立方體。

22、本發(fā)明所述的一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，該計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一所述的一種多光譜圖像重建方法。

23、本發(fā)明所述的一種電子設(shè)備，包括處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；

24、存儲(chǔ)器，用于存放計(jì)算機(jī)程序；

25、處理器，用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí)，實(shí)現(xiàn)上述任一所述的一種多光譜圖像重建方法。

26、本發(fā)明所述的一種多光譜圖像檢測方法，所述的方法是基于上述任一所述的一種多光譜圖像重建方法實(shí)現(xiàn)的，具體為：

27、對重建的多通道數(shù)據(jù)立方體進(jìn)行目標(biāo)檢測，得到關(guān)鍵光譜信息，將重建的多通道數(shù)據(jù)立方體和關(guān)鍵光譜信息傳輸?shù)降孛婵刂普净虿僮鲉T界面。

28、本發(fā)明解決了現(xiàn)有技術(shù)缺少適用于多變的成像條件，并且顯著提升多光譜成像的穩(wěn)定性與清晰度的一種多光譜圖像重建方法的技術(shù)問題。具體有益效果包括：

29、1、本發(fā)明提出了一種多光譜圖像重建方法，通過光電吊艙的視頻序列，構(gòu)建全局背景圖像，利用光電吊艙的視頻序列中的當(dāng)前幀圖像和全局背景圖像進(jìn)行前景區(qū)域檢測，得到前景區(qū)域圖像，將前景區(qū)域圖像與全局背景圖像結(jié)合，得到第一單通道多光譜圖像，構(gòu)建基于二維頻譜低秩注意矩陣的光譜重建模型，二維頻譜低秩注意矩陣可以在保證模型性能的同時(shí)，降低調(diào)整的參數(shù)量和計(jì)算負(fù)擔(dān)，這種多光譜圖像重建方法能夠?qū)崟r(shí)感知平臺(tái)的運(yùn)動(dòng)狀態(tài)并執(zhí)行幀間圖像配準(zhǔn)與運(yùn)動(dòng)補(bǔ)償，在動(dòng)態(tài)場景中有效消除圖像模糊、重影與形變問題，顯著提升多光譜成像清晰度、穩(wěn)定性與觀測可靠性；

30、2、本發(fā)明提出了一種多光譜圖像重建方法，采用無監(jiān)督輕量化重建機(jī)制對光譜重建模型進(jìn)行訓(xùn)練，無需大量人工標(biāo)注或?qū)Ｓ糜?xùn)練數(shù)據(jù)，部署靈活，能夠在低帶寬、低成本、msfa（多光譜濾光片陣列）攝像頭條件下，完成輕量化高質(zhì)量的多通道圖像重建，適用于多變的成像條件，降低傳感器復(fù)雜性和平臺(tái)搭載壓力，提升了多光譜圖像重建系統(tǒng)的小型化與工程適配性；

31、3、本發(fā)明提出了一種多光譜圖像重建方法，不依賴真實(shí)標(biāo)簽，訓(xùn)練效率高，部署靈活，適合嵌入式計(jì)算資源受限的吊艙平臺(tái)，通過對光譜重建模型輸出的多通道數(shù)據(jù)立方體進(jìn)行空間移位和采樣矩陣重采樣，生成偽單通道圖像，反饋至原始網(wǎng)絡(luò)輸入，構(gòu)成閉環(huán)監(jiān)督結(jié)構(gòu)，這種自監(jiān)督機(jī)制增強(qiáng)了模型的重建一致性與泛化能力，有效避免偽重建和噪聲傳播；

32、4、本發(fā)明提出了一種多光譜圖像重建方法，從光電吊艙硬件部署、圖像補(bǔ)償融合到智能重建算法形成完整閉環(huán)，兼顧實(shí)際平臺(tái)的體積、功耗和帶寬限制，實(shí)現(xiàn)了“少波段輸入、近全波段輸出”的成像能力，為低成本多光譜系統(tǒng)向高精度、高光譜目標(biāo)識(shí)別拓展提供了新路徑。