本發(fā)明涉及計算機視覺中目標(biāo)檢測，尤其是指一種基于異形卷積核的特征融合方法。
背景技術(shù)：
1、目前隨著計算機視覺技術(shù)的發(fā)展，目標(biāo)檢測越來越多的被應(yīng)用于高難度的識別領(lǐng)域，如安防、災(zāi)難檢測和目標(biāo)搜尋等等領(lǐng)域。
2、在大多數(shù)領(lǐng)域中，需要檢測的目標(biāo)長寬比和方向都相差較大，故目前主流的檢測模型都擁有一個強大的特征提取主干和多個特征融合模塊，其目的是為了能夠提取出含多種維度信息的特征并對其進行融合，以顯著提升目標(biāo)檢測效果，如金字塔結(jié)構(gòu)。但通常的金字塔結(jié)構(gòu)這樣的類似的結(jié)構(gòu)都是反復(fù)提取特征來將特征進行簡單的加法操作來完成特征融合。同時其大幅度增加了檢測模型的參數(shù)量和計算量，增加了檢測模型的復(fù)雜程度。
3、另一方面，傳統(tǒng)的特征融合方法如金字塔結(jié)構(gòu)和路徑聚合網(wǎng)絡(luò)都是簡單通過特征圖相加來實現(xiàn)特征圖融合，在特征融合階段模型沒有進行充分的學(xué)習(xí)，融合的比例是固定的，這些導(dǎo)致現(xiàn)有的檢測模型難以應(yīng)對越來越復(fù)雜的檢測任務(wù)和越來越多樣化的檢測物品。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題，本發(fā)明提供了一種基于異形卷積核的特征融合方法，包括如下步驟：
2、步驟s1：提取輸入圖像的特征圖?x，其尺寸為?c×h×w，其中?c?為通道數(shù)，h為高度，w為寬度；
3、步驟s2：采用至少三種不同形狀的異形卷積核對?x?并行進行特征提取，包括：
4、標(biāo)準(zhǔn)方形卷積核：尺寸為3×3，用于提取通用空間特征；其中膨脹卷積的核尺寸固定為?3×3，且不添加填充(padding)，以抑制邊界噪聲。
5、第一異形卷積核：尺寸為1×3，用于增強垂直方向特征響應(yīng)；
6、第二異形卷積核：尺寸為3×5，用于提取長寬比敏感特征；
7、步驟s3：將步驟s2輸出的各特征圖沿高度維度?h?進行拼接，生成融合前的特征圖；
8、步驟s4：對拼接后的特征圖執(zhí)行膨脹卷積操作，其中所述膨脹卷積的擴張率d根據(jù)輸入特征圖分辨率動態(tài)調(diào)整，擴張率?d≥2，以擴大感受野并融合多方向信息；
9、步驟s5：將膨脹卷積輸出與步驟s1的原始特征圖?x?進行殘差相加，生成最終特征圖用于目標(biāo)檢測或分類。
10、其中方法集成于特征金字塔網(wǎng)絡(luò)(fpn)中：在fpn的上采樣層中，使用上述所述異形卷積核組合替代標(biāo)準(zhǔn)卷積，并對上采樣后的特征執(zhí)行步驟s3-s5的融合操作。
11、方法在yolov4_tiny模型中替換resblock_body模塊：將原模塊中的標(biāo)準(zhǔn)卷積層替換為上述所述的異形卷積核組合及融合流程。
12、在本發(fā)明的一個實施例中，其中步驟s2還包括：針對長寬比超過2:1的目標(biāo)，增加第三異形卷積核，其尺寸為?4×1或?1×4，用于適配極端長寬比特征提取。
13、在本發(fā)明的一個實施例中，所述步驟s4中膨脹卷積的擴張率?d?動態(tài)調(diào)整：當(dāng)輸入特征圖分辨率低于?32×32時，設(shè)置?d=4；當(dāng)分辨率在?32×32至64×64時，設(shè)置?d=2；當(dāng)分辨率高于64×64時，設(shè)置d=1。
14、在本發(fā)明的一個實施例中，所述步驟s3中高度維度拼接的具體方式為：將各卷積分支輸出的特征圖按高度坐標(biāo)對齊，沿?h?軸堆疊，使輸出特征圖尺寸變?yōu)?c′×(k×h)×w，其中?k?為異形卷積核數(shù)量。
15、在本發(fā)明的一個實施例中，所述步驟s2中異形卷積核的通道數(shù)壓縮策略為：對3×3標(biāo)準(zhǔn)卷積保留原通道數(shù)c，對?1×3?和?3×5異形卷積輸出通道數(shù)壓縮至?c/2，以控制參數(shù)量。
16、在本發(fā)明的一個實施例中，所述步驟s5的殘差相加前增加通道注意力機制：使用se模塊對膨脹卷積輸出特征進行通道權(quán)重的重標(biāo)定，再與原始特征圖相加。
17、本發(fā)明的上述技術(shù)方案相比現(xiàn)有技術(shù)具有以下優(yōu)點：本發(fā)明所述的基于異形卷積核的特征融合方法，具備更大的卷積范圍，計算時能夠?qū)⒉煌矸e核輸出的特征都納進來一起計算，從而能夠獲得更多的物品方向信息。將多種異形卷積核提取出的特征拼接后進行膨脹卷積來特征融合，能夠讓卷積核每次計算都含有檢測物品更多的方向信息，提升模型針對不同檢測物品的特征提取能力。
1.一種基于異形卷積核的特征融合方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于異形卷積核的特征融合方法，其特征在于：其中步驟s2還包括：針對長寬比超過2:1的目標(biāo)，增加第三異形卷積核，其尺寸為?4×1或?1×4，用于適配極端長寬比特征提取。
3.根據(jù)權(quán)利要求1所述的基于異形卷積核的特征融合方法，其特征在于：所述步驟s4中膨脹卷積的擴張率?d?動態(tài)調(diào)整：當(dāng)輸入特征圖分辨率低于?32×32時，設(shè)置?d=4；當(dāng)分辨率在?32×32至64×64時，設(shè)置?d=2；當(dāng)分辨率高于64×64時，設(shè)置d=1。
4.根據(jù)權(quán)利要求1所述的基于異形卷積核的特征融合方法，其特征在于：所述步驟s3中高度維度拼接的具體方式為：將各卷積分支輸出的特征圖按高度坐標(biāo)對齊，沿?h?軸堆疊，使輸出特征圖尺寸變?yōu)?c′×(k×h)×w，其中?k?為異形卷積核數(shù)量。
5.根據(jù)權(quán)利要求1所述的基于異形卷積核的特征融合方法，其特征在于：所述步驟s2中異形卷積核的通道數(shù)壓縮策略為：對3×3標(biāo)準(zhǔn)卷積保留原通道數(shù)c，對?1×3?和?3×5異形卷積輸出通道數(shù)壓縮至?c/2，以控制參數(shù)量。
6.根據(jù)權(quán)利要求1所述的基于異形卷積核的特征融合方法，其特征在于：所述步驟s5的殘差相加前增加通道注意力機制：使用se模塊對膨脹卷積輸出特征進行通道權(quán)重的重標(biāo)定，再與原始特征圖相加。