本發(fā)明涉及低空飛行器控制，特別涉及一種基于多模態(tài)數(shù)據(jù)融合與時空對齊算法的低空飛行器環(huán)境感知系統(tǒng)及其方法。

背景技術：

1、由于城市樓宇密集區(qū)需要無人機具備亞米級定位與動態(tài)避障能力，傳統(tǒng)的bds信號容易受到遮擋，導致導航失效。橋梁、輸電線路等場景需高精度三維建模與隱蔽缺陷檢測，單一傳感器（如難以兼顧幾何精度與材質穿透能力。廢墟環(huán)境中衛(wèi)星信號丟失，依賴視覺或慣性導航易因誤差累積導致定位漂移，且多模態(tài)數(shù)據(jù)融合效率低下。

2、因此，融合多傳感器，兼顧多種應用能力，增強bds信號的強度或減少對bds信號的依賴，避免因衛(wèi)星信號丟失而導致定位偏移，成了目前有待解決的問題。

3、專利202210559839?.3提出了一種“基于拍攝設備的雷達外參標定方法、裝置及計算機設備”，該設備通過引入拍攝設備為中介，利用其與待標定雷達的視場重疊區(qū)域，結合目標檢測技術和坐標變換關系實現(xiàn)標定；首先獲取拍攝設備的采集圖像及雷達的點云數(shù)據(jù)，分別對第一雷達和第二雷達的點云進行目標檢測，提取目標對象點云；基于拍攝圖像確定目標對象的位置后，通過投影匹配和迭代優(yōu)化，計算雷達與拍攝設備之間的外參變換關系，并最終推導出雷達間的外參標定結果。相比于傳統(tǒng)的設備，該設備提升了標定精度和通用性，但其依賴相機與雷達的投影迭代優(yōu)化方法，可能導致設備在動態(tài)場景因時空對齊機制缺乏動態(tài)適應性而標定精度低等問題。

技術實現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種低空飛行器環(huán)境感知系統(tǒng)及其方法，可以有效解決背景技術中提到的問題。

2、為實現(xiàn)上述目的，本發(fā)明采取的技術方案為：

3、一種低空飛行器環(huán)境感知系統(tǒng)，包括依次執(zhí)行的四大核心模塊：多模態(tài)數(shù)據(jù)采集、時空對齊算法、多模態(tài)數(shù)據(jù)融合、無源增強定位，具體為：

4、多模態(tài)數(shù)據(jù)采集模塊：集成多類型傳感器采集多環(huán)境原始數(shù)據(jù)并預處理；

5、時空對齊算法模塊：消除多傳感器數(shù)據(jù)的時空不一致性，實現(xiàn)時間基準統(tǒng)一與空間坐標系映射；

6、多模態(tài)數(shù)據(jù)融合模塊：提取跨模態(tài)互補特征，建模模態(tài)間依賴關系；

7、無源增強定位模塊：基于無線信號實現(xiàn)高精度定位，彌補衛(wèi)星信號受限缺陷。

8、一種上述低空飛行器環(huán)境感知系統(tǒng)的感知方法，包括以下步驟：

9、s01、多模態(tài)數(shù)據(jù)采集：通過集成多傳感器陣列采集多環(huán)境原始數(shù)據(jù)，包括毫米波雷達、lidar、超聲波傳感器、紅外攝像頭、電磁渦流傳感器、多光譜攝像頭、微波生命探測雷達、氣體傳感器；

10、s02、時空對齊算法：利用硬件同步與軟件補償結合的時空對齊算法，統(tǒng)一時間基準并映射至全局坐標系；利用華大北斗hd9300模塊統(tǒng)一所有傳感器的時間基準，確保數(shù)據(jù)采集時刻對齊，卡爾曼濾波動態(tài)插值動態(tài)補償微小時間偏差，以確保時間同步，將所有的傳感器數(shù)據(jù)映射到同一全局坐標系中，imu動態(tài)修正，通過slam同步定位與建圖以確保空間對齊；

11、s03、多模態(tài)數(shù)據(jù)融合：基于特征級融合與多頭自注意力機制，實現(xiàn)跨模態(tài)數(shù)據(jù)的語義關聯(lián)與權重動態(tài)分配；使用統(tǒng)一的神經(jīng)網(wǎng)絡vit生成高維特征向量，將不同模態(tài)地特征向量映射到同一語義空間中消除尺度與維度差異，各模態(tài)獨立生成獨立檢測概率并將不同模態(tài)地語義標簽進行邏輯關聯(lián)，多頭自注意力機制和跨模態(tài)注意力機制動態(tài)加權建立依賴；

12、s04、無源增強定位：利用環(huán)境中已有的無線信號，融合tdoa算法與信號指紋匹配技術，在衛(wèi)星拒止環(huán)境中實現(xiàn)亞米級定位。

13、優(yōu)選的，所述s01中多傳感器陣列的采集原理如下：

14、毫米波雷達通過發(fā)射頻率為24ghz至77ghz的電磁波，接受目標反射的回波信號，利用時間差和多普勒效應計算目標的距離、速度，其公式計算公式為：

15、；

16、其中r為目標距離，c為光速，為發(fā)射和接收時間差，v為目標速度，為多普勒頻移，為波長；

17、lidar通過發(fā)射激光脈沖并測量其反射時間，根據(jù)反射時間計算目標距離；通過機械旋轉覆蓋視場角，生成三維點云數(shù)據(jù)，其點云分辨率公式為：

18、；

19、其中r為探測距離，激光發(fā)散角通常為0.1°至0.5°，探測距離可達300米；

20、超聲波傳感器發(fā)射頻率為20khz至50khz的超聲波脈沖，接收障礙物反射的回波，通過回波時間計算距離，其公式為：

21、；

22、紅外攝像頭捕獲目標發(fā)射的紅外輻射轉換為電信號，通過熱敏元件生成熱圖像，顯示溫度分布；

23、電磁渦流傳感器中的傳感器線圈通高頻交流電，產(chǎn)生交變磁場，當靠近金屬表面時，磁場在金屬中感應渦流，渦流產(chǎn)生反向磁場，通過檢測線圈阻抗變化進行判斷；

24、微波生命探測雷達發(fā)射頻率1ghz至10ghz的微波信號，穿透障礙物，接收反射信號中的微多普勒頻移，分析生命體征；

25、氣體傳感器將氣體分子吸附到傳感器表面，與半導體材料發(fā)生化學反應，改變半導體電阻值，輸出與氣體濃度成正比的電信號。

26、優(yōu)選的，所述s02中時空對齊算法包括：

27、時間同步：利用華大北斗hd9300模塊輸出的pps信號作為全局時間基準，觸發(fā)所有傳感器同步采集數(shù)據(jù)，再結合卡爾曼濾波動態(tài)插值消除時間偏差，預測時間偏差的動態(tài)變化的狀態(tài)方程為：

28、；

29、a為狀態(tài)轉移矩陣，為過程噪聲；

30、利用bds或其他參考時間源校準偏差的觀測方程為：

31、；

32、h為觀測矩陣，為觀測噪聲；

33、結合預測和觀測值修正時間偏差，其公式為：

34、；

35、k為卡爾曼增益，為預測偏差；

36、空間對齊：在空間上將不同傳感器的數(shù)據(jù)映射到統(tǒng)一的全局坐標系，消除因安裝位置或視角差異導致的空間偏移，先通過已知尺寸的標定板計算傳感器間的相對位姿，其公式為：

37、；

38、r為旋轉矩陣，t為平移向量；

39、然后在有bds時將輸出的cgcs2000坐標系轉換成wgs-84地理坐標系，

40、；

41、無bds時通過slam構建局部地圖并與無線信號指紋庫對齊；再利用imu慣性測量單元實時估計無人飛行器位置變換，以修正傳感器數(shù)據(jù)的空間偏移，其公式為：

42、。

43、優(yōu)選的，所述s03中多模態(tài)融合整合來自不同傳感器的異構數(shù)據(jù)，提取互補特征和建?？缒B(tài)依賴關系；包括：

44、特征級融合：基于?vit?神經(jīng)網(wǎng)絡對多模態(tài)數(shù)據(jù)統(tǒng)一編碼，生成高維特征向量并映射至同一語義空間；

45、跨模態(tài)依賴建模：利用多頭自注意力機制動態(tài)分配模態(tài)權重，公式為

46、；

47、結合跨模態(tài)注意力機制消除語義歧義。

48、優(yōu)選的，所述s04中無源增強定位在bds拒止或信號受限環(huán)境中，通過環(huán)境無線信號實現(xiàn)高精度定位用以彌補傳統(tǒng)衛(wèi)星定位的不足，包括：

49、tdoa定位：tdoa定位技術測量信號從目標設備到多個基站的傳播時間差，計算目標位置，其公式為：

50、；

51、其中x為目標位置，為基站坐標，c為光速；

52、信號指紋匹配：依據(jù)信號指紋匹配確定目標位置，在定位區(qū)域內采集各點的信號特征，通過k近鄰算法與預存的指紋庫匹配，其公式為：

53、。

54、與現(xiàn)有技術相比，本發(fā)明具有如下有益效果：

55、本發(fā)明通過集成毫米波雷達、lidar等八類異構傳感器實現(xiàn)多環(huán)境數(shù)據(jù)協(xié)同采集，采用北斗pps硬件同步與卡爾曼濾波動態(tài)校準實現(xiàn)高精度時空對齊，結合vit神經(jīng)網(wǎng)絡統(tǒng)一編碼與多頭自注意力機制動態(tài)融合跨模態(tài)特征，并創(chuàng)新性融合tdoa定位和信號指紋匹配技術，在衛(wèi)星拒止環(huán)境下實現(xiàn)亞米級無源定位，顯著提升城市密集區(qū)域無人機的實時避障精度與復雜場景適應性。