本發(fā)明涉及視頻變化檢測領(lǐng)域,尤其涉及一種低照度條件下大視場視頻圖像變化檢測方法及裝置。
背景技術(shù):
1、鷹眼攝像機是一種廣角視頻采集設(shè)備,能夠覆蓋更寬廣的場景,為人員管理、交通分析和安防等領(lǐng)域提供了全面的視角。然而,鷹眼攝像頭拍攝的視頻圖像,尤其是在低照度環(huán)境下的大視場圖像,面臨諸多難題。這些圖像容易受到復(fù)雜隨機噪聲的干擾,顯著降低了變化檢測的可靠性。特別是在低照度條件下,例如:夜間或光線不足的場景,光照強度不足、對比度降低和信噪比下降等問題導(dǎo)致圖像質(zhì)量劣化,進一步增加了檢測小型移動目標(例如:行人或車輛的微小位移)的難度。
2、現(xiàn)有的變化檢測算法在低照度大視場場景下往往難以準確區(qū)分真實變化與噪聲或光照引起的偽變化,從而導(dǎo)致檢測性能不佳。因此,研究基于鷹眼攝像頭視頻圖像的低照度大視場環(huán)境下的魯棒變化檢測方法具有重要的理論意義和實際價值。
3、目前,針對低光大視場場景的研究和技術(shù)表現(xiàn)出明顯的局限性,尤其是在變化檢測的背景下。現(xiàn)有方法(包括:傳統(tǒng)圖像差分、光流技術(shù)和早期機器學(xué)習(xí)方法)難以在弱光條件下有效執(zhí)行。主要缺陷在于無法準確區(qū)分真正的變化(例如:行人、車輛的移動或結(jié)構(gòu)變化)與照明引起的偽變化,偽變化是由不均勻的照明、陰影或噪聲引起的偽影,無法滿足實際的生產(chǎn)生活需要。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供了一種低照度條件下大視場視頻圖像變化檢測方法及裝置,本發(fā)明提出了一種新穎的基于深度學(xué)習(xí)的框架,用于低光大視場視頻圖像中的變化檢測,該框架集成了先進的模塊,以克服現(xiàn)有技術(shù)的局限性,在具有挑戰(zhàn)性的環(huán)境中提高視頻圖像檢測的準確性、穩(wěn)健性和效率,詳見下文描述:
2、第一方面、一種低照度場景下視頻圖像變化檢測方法,所述方法包括:
3、利用輸入模塊接收在不同時刻拍攝的一對低照度視頻圖像,作為變化檢測過程的初始輸入數(shù)據(jù);
4、特征提取模塊通過共享的主干網(wǎng)絡(luò)從視頻圖像中提取多尺度特征圖;
5、跨尺度注意力特征融合模塊利用跨尺度注意力機制對多尺度特征圖進行融合,捕獲融合后的多尺度特征變化信息;
6、融合后的多尺度特征變化信息,差異增強與優(yōu)化模塊通過頻域分解和邊界感知策略對多尺度特征變化信息進行處理,獲取增強后結(jié)構(gòu)差異特征;
7、偽變化抑制模塊采用偽變化過濾注意力機制對增強后結(jié)構(gòu)差異特征進行抑制光照處理,對抑制結(jié)果進行多尺度特征融合,獲取最終的變化圖作為變化檢測圖輸出。
8、其中,所述跨尺度注意力特征融合模塊包括:
9、特征金字塔網(wǎng)絡(luò):生成不同尺度的特征層次結(jié)構(gòu);
10、時空注意力機制:聯(lián)合建模空間與時間維度的依賴關(guān)系,提升對變化區(qū)域的敏感度;
11、簡化信息調(diào)制與蒸餾塊:通過信息的蒸餾與調(diào)制來增強特征表示,由一系列卷積層組成,并輔以一差異增強路徑,對于輸入特征x,simdb的計算方式如下:
12、out=relu(concat(c1,c2,c3,c4)+x+enhanceddiff)
13、其中,ci是來自連續(xù)卷積層的中間特征,enhanceddiff是通過帶有殘差塊的差異路徑計算得到,用于強調(diào)與變化相關(guān)的特征,relu表示激活函數(shù),out作為輸出,concat表示特征拼接。
14、其中,所述差異增強與優(yōu)化模塊為:
15、特征增強:使用變化檢測差異增強模塊結(jié)合通道注意力和空間注意力來增強變化區(qū)域的特征表示;
16、頻率分解:頻率感知變化增強器模塊通過分離低頻和高頻成分,提升變化檢測能力。
17、其中,所述差異增強為:
18、通過一個卷積塊提取邊緣特征:
19、edgei=edgedetect(xi)
20、接著使用多擴張卷積捕捉多尺度的邊界信息:
21、multiscalefeat=concat(dilatedconvd(diff))
22、其中,d∈{1,2,5,7},對特征施加通道注意力和空間注意力進行細化,最終輸出通過融合增強后的差異特征與邊緣差異來獲得。
23、其中,所述偽變化抑制模塊為:
24、偽變化抑制與多尺度融合引入偽變化過濾注意力機制;偽變化過濾注意力機制通過區(qū)分光照相關(guān)變化與結(jié)構(gòu)性變化來抑制偽變化,使用實例歸一化提取偽變化特征:
25、pseudodiff=|pseudoextractor(x1)-pseudoextractor(x2)|
26、使用批歸一化提取真實變化特征:
27、realdiff=|realextractor(x1)-realextractor(x2)|
28、接著,生成變化注意力掩碼以抑制偽變化:
29、changemask=sigmoid(conv(concat(realdiff,pseudodiff)))
30、最后將過濾后的差異特征與真實差異特征融合,生成最終輸出。
31、第二方面、一種低照度場景下視頻圖像變化檢測裝置,所述裝置包括:處理器和存儲器,所述存儲器中存儲有程序指令,所述處理器調(diào)用存儲器中存儲的程序指令以使裝置執(zhí)行第一方面中的任一項所述的方法。
32、第三方面、一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令被處理器執(zhí)行時使所述處理器執(zhí)行第一方面中的任一項所述的方法。
33、本發(fā)明提供的技術(shù)方案的有益效果是:
34、1、本發(fā)明采用跨尺度注意力特征融合(caf)模塊,通過跨尺度注意力機制融合多尺度特征,能夠有效捕捉不同尺度下的變化信息,顯著提升對小尺度移動目標(例如:行人或車輛)的檢測能力,其性能優(yōu)于傳統(tǒng)單一尺度的特征提取方法;
35、2、本發(fā)明引入差異增強與優(yōu)化(deo)模塊,利用頻率域分解和邊界感知策略增強結(jié)構(gòu)差異并緩解光照變化影響,該模塊在保持圖像結(jié)構(gòu)完整性的同時有效抑制光照誘導(dǎo)的偽變化,相比現(xiàn)有技術(shù)顯著提高了圖像變化檢測的魯棒性,滿足實際的生產(chǎn)生活需要;
36、3、本發(fā)明采用偽變化抑制與多尺度融合(psf)模塊,結(jié)合偽變化過濾注意力(pfa)機制抑制光照引起的偽變化,并通過多尺度特征融合生成精確的變化圖,該方法能夠減少假陽性檢測,相比傳統(tǒng)偽變化處理技術(shù)大幅提升了空間精度。
1.一種低照度場景下視頻圖像變化檢測方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的一種低照度場景下視頻圖像變化檢測方法,其特征在于,所述跨尺度注意力特征融合模塊包括:
3.根據(jù)權(quán)利要求1所述的一種低照度場景下視頻圖像變化檢測方法,其特征在于,所述差異增強與優(yōu)化模塊為:
4.根據(jù)權(quán)利要求1所述的一種低照度場景下視頻圖像變化檢測方法,其特征在于,所述差異增強為:
5.根據(jù)權(quán)利要求1所述的一種低照度場景下視頻圖像變化檢測方法,其特征在于,所述偽變化抑制模塊為:
6.一種低照度場景下視頻圖像變化檢測裝置,其特征在于,所述裝置包括:處理器和存儲器,所述存儲器中存儲有程序指令,所述處理器調(diào)用存儲器中存儲的程序指令以使裝置執(zhí)行權(quán)利要求1-5中的任一項所述的方法。
7.一種計算機可讀存儲介質(zhì),其特征在于,所述計算機可讀存儲介質(zhì)存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令被處理器執(zhí)行時使所述處理器執(zhí)行權(quán)利要求1-5中的任一項所述的方法。