本發(fā)明涉及圖像處理，尤其涉及一種城市場(chǎng)景輕量級(jí)實(shí)時(shí)語(yǔ)義分割方法、系統(tǒng)及設(shè)備。

背景技術(shù)：

1、語(yǔ)義分割是一項(xiàng)關(guān)鍵的計(jì)算機(jī)視覺(jué)任務(wù)，皆在根據(jù)語(yǔ)義信息對(duì)輸入圖像進(jìn)行精細(xì)分割，并為每個(gè)像素分配一個(gè)相應(yīng)的語(yǔ)義類別標(biāo)簽。隨著現(xiàn)代生活的智能化發(fā)展，語(yǔ)義分割在自動(dòng)駕駛和無(wú)人機(jī)監(jiān)控等眾多移動(dòng)終端領(lǐng)域中的應(yīng)用日益廣泛。

2、然而，在實(shí)際應(yīng)用中對(duì)高處理速度和低計(jì)算復(fù)雜度的嚴(yán)格要求，給語(yǔ)義分割任務(wù)帶來(lái)了巨大挑戰(zhàn)。目前，大多數(shù)語(yǔ)義分割網(wǎng)絡(luò)在設(shè)計(jì)時(shí)主要關(guān)注分割精度，如resnet、vggnet、segnet和enet等均忽略了模型輕量化對(duì)于實(shí)際應(yīng)用的重要性。因此，如何在保持小參數(shù)量的同時(shí)提升分割能力成為實(shí)時(shí)語(yǔ)義分割方法中的關(guān)鍵問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種城市場(chǎng)景輕量級(jí)實(shí)時(shí)語(yǔ)義分割方法、系統(tǒng)及設(shè)備，解決了如何在保持小參數(shù)量的同時(shí)提升分割能力的技術(shù)問(wèn)題。

2、本發(fā)明第一方面提供的一種城市場(chǎng)景輕量級(jí)實(shí)時(shí)語(yǔ)義分割方法，包括：

3、獲取待分割道路場(chǎng)景圖像；

4、獲取預(yù)先訓(xùn)練好的實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型，所述實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型包括多尺度語(yǔ)義編碼器和雙向注意力特征融合解碼器；

5、采用所述多尺度語(yǔ)義編碼器對(duì)所述待分割道路場(chǎng)景圖像進(jìn)行特征提取，輸出目標(biāo)特征圖；

6、采用所述雙向注意力特征融合解碼器對(duì)所述目標(biāo)特征圖進(jìn)行特征聚合，輸出語(yǔ)義分割特征圖。

7、可選地，所述多尺度語(yǔ)義編碼器包括依次連接的第一下采樣模塊、初級(jí)特征提取模塊、第二下采樣模塊和多尺度空洞卷積模塊，所述采用所述多尺度語(yǔ)義編碼器對(duì)所述待分割道路場(chǎng)景圖像進(jìn)行特征提取，輸出目標(biāo)特征圖，包括：

8、采用所述第一下采樣模塊對(duì)所述待分割道路場(chǎng)景圖像進(jìn)行空間降采樣，輸出第一特征圖；

9、采用所述初級(jí)特征提取模塊對(duì)所述第一特征圖進(jìn)行特征互補(bǔ)，輸出第二特征圖；

10、采用所述第二下采樣模塊對(duì)所述第二特征圖進(jìn)行空間降采樣，輸出第三特征圖；

11、采用所述多尺度空洞卷積模塊對(duì)所述第三特征圖進(jìn)行空間可分離卷積，輸出目標(biāo)特征圖。

12、可選地，所述采用所述初級(jí)特征提取模塊對(duì)所述第一特征圖進(jìn)行特征互補(bǔ)，輸出第二特征圖，包括：

13、采用所述第一特征圖進(jìn)行標(biāo)準(zhǔn)卷積，得到第一卷積特征圖；

14、采用所述第一卷積特征圖輸入預(yù)置第一分裂通道進(jìn)行深度卷積，得到第二卷積特征圖；

15、采用所述第一卷積特征圖輸入預(yù)置第二分裂通道進(jìn)行深度擴(kuò)展卷積，得到第三卷積特征圖；

16、采用所述第二卷積特征圖與所述第三卷積特征圖進(jìn)行特征合并，得到第四卷積特征圖；

17、對(duì)所述第四卷積特征圖進(jìn)行標(biāo)準(zhǔn)卷積，得到第五卷積特征圖；

18、采用所述第五卷積特征圖與所述第一特征圖進(jìn)行逐元素相加，輸出第二特征圖。

19、可選地，所述多尺度空洞卷積模塊包括依次連接的第一高級(jí)特征提取模塊、第三下采樣模塊和第二高級(jí)特征提取模塊，所述采用所述多尺度空洞卷積模塊對(duì)所述第三特征圖進(jìn)行空間可分離卷積，輸出目標(biāo)特征圖，包括：

20、采用所述第一高級(jí)特征提取模塊對(duì)所述第三特征圖進(jìn)行膨脹卷積，輸出第四特征圖，所述第一高級(jí)特征提取模塊包括第一預(yù)設(shè)數(shù)量的高級(jí)特征提取單元；

21、采用所述第三下采樣模塊對(duì)所述第四特征圖進(jìn)行空間降采樣，輸出第五特征圖；

22、采用所述第二高級(jí)特征提取模塊對(duì)所述第五特征圖進(jìn)行膨脹卷積，輸出目標(biāo)特征圖，所述第二高級(jí)特征提取模塊包括第二預(yù)設(shè)數(shù)量的高級(jí)特征提取單元；

23、其中，所述第一預(yù)設(shè)數(shù)量小于所述第二預(yù)設(shè)數(shù)量。

24、可選地，所述高級(jí)特征提取單元的處理過(guò)程具體為：

25、對(duì)第一輸入特征圖進(jìn)行深度卷積，得到第六卷積特征圖；

26、采用所述第六卷積特征圖輸入預(yù)置第三分裂通道進(jìn)行垂直長(zhǎng)條卷積，得到第七卷積特征圖；

27、采用所述第七卷積特征圖進(jìn)行水平長(zhǎng)條卷積，得到第八卷積特征圖；

28、采用所述第六卷積特征圖輸入預(yù)置第四分裂通道進(jìn)行垂直長(zhǎng)條擴(kuò)展卷積，得到第九卷積特征圖；

29、采用所述第九卷積特征圖進(jìn)行水平長(zhǎng)條擴(kuò)展卷積，得到第十卷積特征圖；

30、采用所述第八卷積特征圖與所述第十卷積特征圖進(jìn)行特征合并，得到第十一卷積特征圖；

31、采用所述十一卷積特征圖進(jìn)行標(biāo)準(zhǔn)卷積，得到第十二卷積特征圖；

32、采用所述第十二卷積特征圖與所述第一輸入特征圖進(jìn)行元素相加，得到第一輸出特征圖。

33、可選地，所述雙向注意力特征融合解碼器包括依次連接的第一上采樣模塊、第一坐標(biāo)注意力模塊、第二上采樣模塊、特征信息融合模塊和標(biāo)準(zhǔn)卷積模塊，所述采用所述雙向注意力特征融合解碼器對(duì)所述目標(biāo)特征圖進(jìn)行特征聚合，輸出語(yǔ)義分割特征圖，包括：

34、采用所述第一上采樣模塊對(duì)所述目標(biāo)特征圖進(jìn)行空間升采樣，得到第六特征圖；

35、采用所述第一坐標(biāo)注意力模塊對(duì)所述第六特征圖進(jìn)行坐標(biāo)與通道注意力操作，得到第七特征圖；

36、采用所述第二上采樣模塊對(duì)所述第七特征圖進(jìn)行空間升采樣，得到第八特征圖；

37、采用所述特征信息融合模塊對(duì)所述第八特征圖進(jìn)行特征融合增強(qiáng)操作，得到第九特征圖；

38、采用所述標(biāo)準(zhǔn)卷積模塊對(duì)所述第九特征圖進(jìn)行標(biāo)準(zhǔn)卷積，輸出語(yǔ)義分割特征圖。

39、可選地，所述特征信息融合模塊包括依次連接的第一特征融合模塊、第二坐標(biāo)注意力模塊、第三坐標(biāo)注意力模塊和信息融合模塊，所述采用所述特征信息融合模塊對(duì)所述第八特征圖進(jìn)行特征融合增強(qiáng)操作，得到第九特征圖，包括：

40、采用所述第一特征融合模塊對(duì)所述第八特征圖內(nèi)的語(yǔ)義信息與空間信息進(jìn)行逐元素相加，得到粗融合特征圖；

41、采用所述第二坐標(biāo)注意力模塊對(duì)所述粗融合特征圖進(jìn)行坐標(biāo)與通道注意力操作，得到第一融合特征圖；

42、采用所述第三坐標(biāo)注意力模塊對(duì)所述第一融合特征圖進(jìn)行坐標(biāo)與通道注意力操作，得到第二融合特征圖；

43、采用所述信息融合模塊將所述第二融合特征圖與所述第八特征圖內(nèi)的語(yǔ)義信息與空間信息進(jìn)行信息融合，輸出第九特征圖。

44、可選地，所述坐標(biāo)與通道注意力操作具體為：

45、對(duì)第二輸入特征圖進(jìn)行分別進(jìn)行高全局池化與寬全局池化，得到第一池化特征圖和第二池化特征圖；

46、采用所述第一池化特征圖與所述第二池化特征圖進(jìn)行連接，得到第三池化特征圖；

47、采用所述第三池化特征圖進(jìn)行標(biāo)準(zhǔn)卷積，得到第四池化特征圖；

48、采用所述第四池化特征圖進(jìn)行雙通道卷積與歸一化操作，得到第一通道特征圖和第二通道特征圖；

49、采用所述第一通道特征圖、所述第二通道特征圖和所述第二輸入特征圖進(jìn)行逐元素相乘，得到注意力調(diào)制特征圖；

50、采用所述注意力調(diào)制特征圖進(jìn)行歸一化操作，得到第二輸出特征圖。

51、本發(fā)明第二方面提供的一種城市場(chǎng)景輕量級(jí)實(shí)時(shí)語(yǔ)義分割系統(tǒng)，包括：

52、獲取模塊，用于獲取待分割道路場(chǎng)景圖像；

53、構(gòu)建模塊，用于獲取預(yù)先訓(xùn)練好的實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型，所述實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型包括多尺度語(yǔ)義編碼器和雙向注意力特征融合解碼器；

54、編碼模塊，用于采用所述多尺度語(yǔ)義編碼器對(duì)所述待分割道路場(chǎng)景圖像進(jìn)行特征提取，輸出目標(biāo)特征圖；

55、解碼模塊，用于采用所述雙向注意力特征融合解碼器對(duì)所述目標(biāo)特征圖進(jìn)行特征聚合，輸出語(yǔ)義分割特征圖。

56、本發(fā)明第三方面提供的一種電子設(shè)備，包括存儲(chǔ)器及處理器，所述存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如上述任一項(xiàng)所述的城市場(chǎng)景輕量級(jí)實(shí)時(shí)語(yǔ)義分割方法的步驟。

57、從以上技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點(diǎn)：

58、本發(fā)明針對(duì)城市道路場(chǎng)景語(yǔ)義分割需求，構(gòu)建了一種輕量級(jí)的實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型，實(shí)時(shí)城市道路場(chǎng)景語(yǔ)義分割模型包括多尺度語(yǔ)義編碼器和雙向注意力特征融合解碼器，先通過(guò)多尺度編碼器提取道路場(chǎng)景多維度特征，再由雙向注意力解碼器聚合特征，實(shí)現(xiàn)從輸入圖像到語(yǔ)義分割結(jié)果的映射，其中，多尺度編碼器以高效結(jié)構(gòu)提取多層級(jí)語(yǔ)義，避免冗余參數(shù)，在控制模型小參數(shù)量的同時(shí)，覆蓋道路場(chǎng)景中大小目標(biāo)的特征需求，雙向注意力融合解碼器，通過(guò)注意力機(jī)制精準(zhǔn)聚合關(guān)鍵特征，彌補(bǔ)小參數(shù)量模型的特征表達(dá)短板，提升復(fù)雜場(chǎng)景下的分割精度，解決了“小參數(shù)量與高分割能力平衡”的問(wèn)題。