本發(fā)明屬于目標檢測，更具體地，涉及一種邊緣側(cè)部署的輕量級安全行為快速檢測方法及系統(tǒng)。

背景技術(shù)：

1、現(xiàn)階段針對礦區(qū)生產(chǎn)安全的管理工作大多采用人工巡檢和中心化數(shù)據(jù)分析的方式，存在成本高昂、巡視范圍小以及反應(yīng)遲緩等問題。傳統(tǒng)的基于深度學習的目標檢測網(wǎng)絡(luò)存在結(jié)構(gòu)復雜、運行速度慢等問題，在實際礦區(qū)生產(chǎn)監(jiān)測中不具備較好的應(yīng)用前景。因此，要實現(xiàn)生產(chǎn)過程中安全隱患的及時預警，需要采用更輕量級的目標檢測框架，在確保檢測精度的同時快速地完成檢測任務(wù)。

2、隨著深度學習技術(shù)的不斷發(fā)展，在圖像處理領(lǐng)域取得明顯進展，實現(xiàn)了高精度和高效率的結(jié)果。但傳統(tǒng)基于深度學習的目標檢測網(wǎng)絡(luò)存在結(jié)構(gòu)復雜、運行速度慢等問題，在實際礦區(qū)生產(chǎn)監(jiān)測中不具備較好的應(yīng)用前景。因此，要實現(xiàn)生產(chǎn)過程中安全隱患的及時預警，需要采用更輕量級的目標檢測框架，在確保檢測精度的同時快速地完成檢測任務(wù)。此外，礦區(qū)內(nèi)實現(xiàn)大范圍監(jiān)測需要海量的監(jiān)控視頻設(shè)備實時產(chǎn)生數(shù)據(jù)，傳統(tǒng)的由端設(shè)采集數(shù)據(jù)并依賴云計算中心處理數(shù)據(jù)的模式，難以滿足數(shù)據(jù)頻繁交互的需求。而在邊緣端完成深度學習模型的推理，一方面可有效彌補終端設(shè)備計算能力不足的劣勢，另一方面可緩解云計算場景下數(shù)據(jù)安全、隱私保護、帶寬與延時等潛在問題，只需要將模型部署移植后就可在本地運行，更接近工程項目中落地應(yīng)用的需求。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種邊緣側(cè)部署的輕量級安全行為快速檢測方法及系統(tǒng)。

2、本發(fā)明采用如下的技術(shù)方案。

3、本發(fā)明的第一方面提供了一種邊緣側(cè)部署的輕量級安全行為檢測方法，其特征在于，包括以下步驟：

4、步驟1，采集礦區(qū)監(jiān)控視頻流中的圖像幀數(shù)據(jù)，生成包括監(jiān)控區(qū)域內(nèi)的物體、位置和行為的標準化圖像數(shù)據(jù)；通過分析標準化圖像數(shù)據(jù)，確定危險物品類別、人與設(shè)備的安全距離范圍及危險動作，構(gòu)建危險行為庫；

5、步驟2，采用超輕量型mobileone架構(gòu)提取標準化圖像數(shù)據(jù)的多尺度特征，結(jié)合反向殘差塊和多尺度注意力機制，構(gòu)建跨階段特征融合模塊；mobileone架構(gòu)和跨階段特征融合模塊構(gòu)成輕量檢測模型；

6、步驟3，將輕量檢測模型部署于邊緣設(shè)備，以檢測物體類別、位置坐標和邊界框參數(shù)，優(yōu)化邊界框，生成初步檢測結(jié)果；

7、步驟4，將初步檢測結(jié)果與危險行為庫進行比對，判斷初步檢測結(jié)果是否符合危險物品類別、人與設(shè)備的距離范圍及動作條件中定義的危險行為；若判定為危險行為，則輸出危險判定結(jié)果。

8、優(yōu)選地，采集礦區(qū)監(jiān)控視頻流中的圖像幀數(shù)據(jù)，生成包括監(jiān)控區(qū)域內(nèi)的物體、位置和行為的標準化圖像數(shù)據(jù)，包括：

9、劃分礦區(qū)為設(shè)備操作區(qū)、危險物品存儲區(qū)和人員活動區(qū)域，部署監(jiān)控攝像頭，采集視頻流；

10、從視頻流中按照固定時間間隔提取圖像幀，獲取每一幀圖像數(shù)據(jù)；

11、對提取的圖像幀進行標準化處理，包括統(tǒng)一圖像尺寸和比例、去噪和轉(zhuǎn)換為統(tǒng)一的顏色空間；

12、標注標準化處理圖像幀中的物體、位置和行為，生成標準化圖像數(shù)據(jù)。

13、優(yōu)選地，構(gòu)建危險行為庫，包括：

14、通過對歷史圖像數(shù)據(jù)和當前標準化圖像數(shù)據(jù)進行處理，采用目標檢測算法提取物體類別、位置坐標和行為信息，結(jié)合物體與設(shè)備的安全距離計算，構(gòu)建包含危險物品類別、人與設(shè)備的安全距離范圍及危險動作的危險行為庫；

15、以如下式計算人與設(shè)備的安全距離：

16、

17、式中，表示安全距離；和分別為人物和設(shè)備的位置坐標；

18、根據(jù)危險物品類別和人與設(shè)備的安全距離范圍，判斷并標注危險動作，包括：接觸危險物品、接近危險設(shè)備、進入危險區(qū)域、操作危險設(shè)備、搬運危險物品和違反操作規(guī)范。

19、優(yōu)選地，采用mobileone架構(gòu)提取標準化圖像數(shù)據(jù)的多尺度特征，包括：

20、mobileone架構(gòu)包括多個mobile?one?block結(jié)構(gòu)塊；

21、mobile?one?block結(jié)構(gòu)塊在訓練階段采用多分支結(jié)構(gòu)，包括多個3×3卷積、多個1×1卷積；在推理階段通過結(jié)構(gòu)重參數(shù)化將多分支結(jié)構(gòu)轉(zhuǎn)換為單一的線性結(jié)構(gòu)，包括一個3×3卷積和一個1×1卷積。

22、優(yōu)選地，構(gòu)建跨階段特征融合模塊，包括：

23、利用反向殘差塊提取特征，所述反向殘差塊依次包括一個升維的1×1卷積用于處理通道數(shù)、一個3×3深度可分離卷積用于提取空間特征，以及一個降維的1×1卷積用于處理輸出特征通道；

24、多尺度注意力機制包括通道注意力模塊和空間注意力模塊；

25、通道注意力模塊對輸入特征的各通道分配權(quán)重，包括：通過全局平均池化提取各通道的全局特征，利用全連接層生成權(quán)重向量，將權(quán)重向量與原始特征逐通道相乘；

26、空間注意力模塊對輸入特征圖的各像素點分配權(quán)重，包括：通過在通道維度進行最大池化和平均池化生成空間注意力圖，將空間注意力圖與輸入特征逐像素相乘；

27、將經(jīng)過反向殘差塊處理后的特征與通過通道注意力模塊和空間注意力模塊加權(quán)處理的特征進行逐像素加和融合，構(gòu)建跨階段特征融合模塊。

28、優(yōu)選地，將輕量檢測模型部署于邊緣設(shè)備，包括：

29、配置開發(fā)環(huán)境和運行環(huán)境，包括連接ubuntu主機環(huán)境與開發(fā)板硬件環(huán)境；

30、將輕量檢測模型轉(zhuǎn)換為onnx中間表示格式，再通過邊緣設(shè)備支持的編譯器，將onnx中間表示格式編譯為邊緣設(shè)備兼容的離線om格式，得到om格式的輕量檢測模型。

31、優(yōu)選地，生成初步檢測結(jié)果，包括：

32、邊緣設(shè)備接收標準化圖像數(shù)據(jù)，使用om格式的輕量檢測模型進行檢測，提取物體類別、位置坐標和邊界框參數(shù)；采用加權(quán)交并比wise-iou函數(shù)優(yōu)化邊界框，邊界框包括預測框和真實框，采用動態(tài)非單調(diào)聚焦機制優(yōu)化預測框與真實框的相似度度量；以如下式優(yōu)化邊界框，生成初步檢測結(jié)果：

33、

34、

35、

36、式中，表示邊界框的損失值，用于衡量檢測框和真實框的重疊區(qū)域；表示iou權(quán)重因子，用于調(diào)整預測框?qū)倱p失的影響；表示邊界框的損失值，用于結(jié)合位置偏差和iou損失的權(quán)重；

37、和表示預測框與真實框所組成交叉框的寬度和高度；和表示預測框與真實框所組成的最小包圍框的寬和高；和分別表示預測框中心點的橫縱坐標，和分別表示真實框中心點的橫縱坐標；表示離群度，和值為1.8和3，表示聚焦系數(shù)。

38、優(yōu)選地，將初步檢測結(jié)果與危險行為庫進行比對，判斷初步檢測結(jié)果是否符合危險物品類別、人與設(shè)備的距離范圍及動作條件中定義的危險行為；若判定為危險行為，則輸出危險判定結(jié)果，包括：

39、通過檢測結(jié)果中的物體類別，確認該物體是否屬于危險物品；

40、根據(jù)檢測結(jié)果中的物體位置和人員位置，計算物體與人員之間的距離；如果距離小于預設(shè)的安全距離，則判定為危險行為；

41、通過識別檢測結(jié)果中的行為，對照危險行為庫中的動作模式，判斷是否符合危險動作的條件；

42、如果比對結(jié)果滿足上述任意一項危險行為的條件，則輸出“危險”判定結(jié)果。

43、本發(fā)明的第二方面一種邊緣側(cè)部署的輕量級安全行為檢測系統(tǒng)，包括：圖像采集模塊、危險行為庫構(gòu)建模塊、特征提取模塊邊緣設(shè)備部署模塊以及危險行為判定模塊；

44、圖像采集模塊，用于采集礦區(qū)監(jiān)控視頻流中的圖像幀數(shù)據(jù)，生成標準化圖像數(shù)據(jù)，包括監(jiān)控區(qū)域內(nèi)的物體、位置和行為信息；

45、危險行為庫構(gòu)建模塊，用于通過分析標準化圖像數(shù)據(jù)，確定危險物品類別、人與設(shè)備的安全距離范圍及危險動作，構(gòu)建危險行為庫；

46、特征提取模塊，用于采用超輕量型mobileone架構(gòu)從標準化圖像數(shù)據(jù)中提取多尺度特征，結(jié)合反向殘差塊和多尺度注意力機制，構(gòu)建跨階段特征融合模塊，構(gòu)成輕量檢測模型；

47、邊緣設(shè)備部署模塊，用于將輕量檢測模型部署至邊緣設(shè)備，檢測物體類別、位置坐標和邊界框參數(shù)，進行邊界框優(yōu)化，生成初步檢測結(jié)果；

48、危險行為判定模塊，用于將初步檢測結(jié)果與危險行為庫進行比對，根據(jù)危險物品類別、人與設(shè)備的距離范圍及動作條件判斷初步檢測結(jié)果是否符合預定義的危險行為特征，若符合，則輸出危險判定結(jié)果。

49、優(yōu)選地，圖像采集模塊包括：

50、視頻流采集單元，用于從礦區(qū)監(jiān)控攝像頭實時獲取監(jiān)控視頻流；

51、幀提取單元，用于根據(jù)預設(shè)時間間隔從視頻流中提取圖像幀數(shù)據(jù)；

52、標準化處理單元，用于對提取的圖像幀進行標準化處理，包括統(tǒng)一圖像尺寸、去噪和轉(zhuǎn)換為統(tǒng)一的顏色空間，生成標準化圖像數(shù)據(jù)；

53、標注單元，用于標注圖像幀中的物體類別、位置坐標和行為信息，將標注結(jié)果與標準化圖像數(shù)據(jù)結(jié)合，形成標準化圖像數(shù)據(jù)集。

54、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果至少包括：本發(fā)明所提mpw-yolov8算法設(shè)計了輕量化的骨干網(wǎng)絡(luò)，在邊緣設(shè)備上降低模型的推理時延，提升了檢測網(wǎng)絡(luò)在設(shè)備上的推理速度；設(shè)計了全新的高效頸部網(wǎng)絡(luò)，在保持模型參數(shù)量和計算量的前提下增強了模型對于全局信息的感知力，提高了檢測精度；采用wise-iou函數(shù)作為模型的邊界框損失函數(shù)，使模型聚焦于普通質(zhì)量的樣本，進而提高模型的檢測精度和泛化性能。通過以上改進，使得本文所提算法能夠在保證模型檢測精度的情況下得到更快的檢測速度。