本發(fā)明屬于無(wú)人機(jī)搜索路徑規(guī)劃領(lǐng)域，尤其涉及一種基于d2d通信的無(wú)人機(jī)搜索路徑規(guī)劃方法及設(shè)備。

背景技術(shù)：

1、隨著無(wú)人機(jī)技術(shù)的快速發(fā)展，無(wú)人機(jī)在搜索、救援、偵察等領(lǐng)域的應(yīng)用越來(lái)越廣泛。特別是在復(fù)雜環(huán)境中，如山區(qū)、城市建筑群等，無(wú)人機(jī)的搜索效率和能力顯得尤為重要。傳統(tǒng)的無(wú)人機(jī)搜索路徑規(guī)劃方法大多依賴于預(yù)設(shè)的地圖和路徑，然而，在實(shí)際應(yīng)用中，由于環(huán)境復(fù)雜多變，預(yù)設(shè)路徑往往無(wú)法滿足實(shí)際需求，導(dǎo)致搜索效率低下，甚至可能遺漏目標(biāo)區(qū)域。

2、此外，當(dāng)使用多個(gè)無(wú)人機(jī)進(jìn)行分布式協(xié)同搜索時(shí)，如何確保各個(gè)無(wú)人機(jī)之間的信息共享和協(xié)同決策，從而為無(wú)人機(jī)確定搜索路徑成為一個(gè)關(guān)鍵問(wèn)題。傳統(tǒng)的無(wú)人機(jī)協(xié)同方法通常依賴于地面控制站進(jìn)行集中控制，這不僅增加了通信延遲，還限制了無(wú)人機(jī)的自主性和靈活性。而分布式無(wú)人機(jī)協(xié)同決策方案在一定程度上提高了無(wú)人機(jī)的自主性和靈活性，但求解全局最優(yōu)解的算法往往非常復(fù)雜，受環(huán)境變化影響較大，甚至可能出現(xiàn)決策結(jié)果偏離全局最優(yōu)解的情況。

3、近年來(lái)，d2d（device-to-device，設(shè)備到設(shè)備）通信技術(shù)因其能夠減少延遲、提高能效和增加網(wǎng)絡(luò)容量等優(yōu)點(diǎn)，被廣泛應(yīng)用于無(wú)人機(jī)通信中。然而，無(wú)人機(jī)通過(guò)d2d通信進(jìn)行信息共享時(shí)，存在頻譜沖突的問(wèn)題，這成為制約其應(yīng)用的關(guān)鍵因素之一。具體來(lái)說(shuō)，當(dāng)多個(gè)無(wú)人機(jī)在同一頻段進(jìn)行d2d通信時(shí)，由于頻譜資源的有限性，可能導(dǎo)致嚴(yán)重的頻譜沖突，進(jìn)而影響通信質(zhì)量和效率。這種沖突在無(wú)人機(jī)數(shù)量較多或通信環(huán)境復(fù)雜的情況下尤為顯著，可能導(dǎo)致信息傳輸?shù)闹袛嗷蜓舆t，從而影響無(wú)人機(jī)之間的信息共享和協(xié)同決策，無(wú)法實(shí)現(xiàn)無(wú)人機(jī)搜索路徑規(guī)劃。

4、因此，亟需一種新型的基于d2d通信的無(wú)人機(jī)搜索路徑規(guī)劃方法及設(shè)備，該方法和設(shè)備能夠?qū)崿F(xiàn)無(wú)人機(jī)之間的信息共享和分布式協(xié)同決策，提高無(wú)人機(jī)搜索路徑規(guī)劃的智能化水平，從而提高無(wú)人機(jī)搜索作業(yè)效率。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明提供一種基于d2d通信的無(wú)人機(jī)搜索路徑規(guī)劃方法，所述無(wú)人機(jī)的數(shù)量大于等于兩個(gè)，每個(gè)無(wú)人機(jī)均作為一個(gè)獨(dú)立的智能體，所述方法包括以下步驟：

2、s1：每個(gè)所述無(wú)人機(jī)均通過(guò)傳感器實(shí)時(shí)采集周圍環(huán)境信息，基于所述周圍環(huán)境信息構(gòu)建與自身對(duì)應(yīng)的三維環(huán)境模型，所述三維環(huán)境模型至少包括地形信息和障礙物位置信息，所述三維環(huán)境模型根據(jù)所述無(wú)人機(jī)采集的周圍環(huán)境信息動(dòng)態(tài)更新；

3、s2：基于所述三維環(huán)境模型，每個(gè)所述無(wú)人機(jī)利用改進(jìn)的深度確定性策略梯度模型進(jìn)行初步路徑規(guī)劃，確定當(dāng)前三維環(huán)境模型中，所述無(wú)人機(jī)從當(dāng)前位置到目標(biāo)區(qū)域的初步最優(yōu)路徑；

4、s3：所述無(wú)人機(jī)通過(guò)d2d通信進(jìn)行信息共享，所述信息包括所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息；所述無(wú)人機(jī)包括d2d通信單元，所述d2d通信單元包括頻譜感知模塊和頻譜分配模塊；

5、s4：基于所述共享的信息，所述無(wú)人機(jī)之間基于一致性算法進(jìn)行分布式協(xié)同決策，確保多個(gè)無(wú)人機(jī)在搜索過(guò)程中保持一致的搜索方向和搜索速度，同時(shí)避免碰撞和重復(fù)搜索，根據(jù)所述分布式協(xié)同決策結(jié)果，確定每個(gè)無(wú)人機(jī)的搜索策略，其中，所述搜索策略包括最終搜索路徑；

6、s5：所述無(wú)人機(jī)按照所述搜索策略進(jìn)行搜索，并對(duì)所述三維環(huán)境模型進(jìn)行更新，返回步驟s2，重新進(jìn)行搜索路徑規(guī)劃，直至多個(gè)所述無(wú)人機(jī)完成搜索任務(wù)。

7、所述步驟s2中，所述改進(jìn)的深度確定性策略梯度模型通過(guò)預(yù)訓(xùn)練得到，所述訓(xùn)練包括以下步驟：

8、s21：定義所述無(wú)人機(jī)的狀態(tài)空間s和動(dòng)作空間a，狀態(tài)空間s={p，v，g}，其中，p=（x，y，z），表示所述無(wú)人機(jī)在三維空間中的位置信息，x、y和z分別表示所述無(wú)人機(jī)在三個(gè)軸向上的位置；表示所述無(wú)人機(jī)在三維空間中的速度信息，，和分別表示所述無(wú)人機(jī)在三個(gè)軸向上的速度；?，表示所述無(wú)人機(jī)姿態(tài)信息，，和分別表示所述無(wú)人機(jī)的橫滾角、俯仰角和偏航角；動(dòng)作空間a表示所述無(wú)人機(jī)在飛行過(guò)程中采取的所有可能動(dòng)作，動(dòng)作向量是動(dòng)作空間a中的一個(gè)元素，，其中表示所述無(wú)人機(jī)在三維空間中的速度變化情況，，，分別表示所述無(wú)人機(jī)在三個(gè)軸向上的速度變化，，和分別表示所述無(wú)人機(jī)的橫滾角變化率、俯仰角變化率和偏航角變化率；

9、s22：初始化actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，其中actor網(wǎng)絡(luò)為，critic網(wǎng)絡(luò)為，其中s表示所述無(wú)人機(jī)狀態(tài)，，和分別表示所述actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的權(quán)重參數(shù)；經(jīng)驗(yàn)回放池d，用于存儲(chǔ)狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)和下一狀態(tài)的元組；目標(biāo)網(wǎng)絡(luò)參數(shù)和，作為和的副本，用于穩(wěn)定訓(xùn)練過(guò)程；設(shè)置獎(jiǎng)勵(lì)函數(shù)為，其中是狀態(tài)的即時(shí)獎(jiǎng)勵(lì)；

10、s23：將元組存儲(chǔ)到經(jīng)驗(yàn)回放池d中；

11、s234：從經(jīng)驗(yàn)回放池d中采樣一批元組；

12、s235：計(jì)算目標(biāo)q值：

13、，；

14、其中，是該批元組對(duì)應(yīng)的目標(biāo)q值；是折扣因子，和是目標(biāo)網(wǎng)絡(luò)；

15、s236：使用均方誤差損失函數(shù)更新critic網(wǎng)絡(luò)：

16、；

17、使用策略梯度方法更新actor網(wǎng)絡(luò)：

18、；

19、其中，和均為學(xué)習(xí)率；

20、s237：在每個(gè)時(shí)間步后，使用軟更新規(guī)則更新目標(biāo)網(wǎng)絡(luò)的參數(shù)：

21、；

22、；

23、其中，是軟更新系數(shù)，；表示賦值；

24、重復(fù)上述步驟，直至actor網(wǎng)絡(luò)收斂。

25、所述步驟s234中，所述從經(jīng)驗(yàn)回放池d中采樣一批元組，具體包括：

26、對(duì)于每個(gè)存儲(chǔ)的經(jīng)驗(yàn)元組，計(jì)算其優(yōu)先級(jí)；

27、；；；

28、其中，為校正參數(shù)；

29、將優(yōu)先級(jí)與經(jīng)驗(yàn)元組一并存儲(chǔ)在經(jīng)驗(yàn)回放池；

30、根據(jù)優(yōu)先級(jí)概率分布從經(jīng)驗(yàn)回放池中采樣一批元組，所述優(yōu)先級(jí)概率分布通過(guò)下式計(jì)算得到：

31、?；

32、其中，ext表示調(diào)節(jié)優(yōu)先級(jí)影響程度的參數(shù)，m和n表示第m和第n個(gè)經(jīng)驗(yàn)元組。

33、所述頻譜感知模塊用于對(duì)所述無(wú)人機(jī)的無(wú)線通信環(huán)境進(jìn)行監(jiān)測(cè)和分析，以確定頻譜感知結(jié)果，所述頻譜感知結(jié)果包括頻譜占用情況、信號(hào)強(qiáng)度和干擾水平；

34、所述頻譜分配模塊用于根據(jù)所述頻譜感知結(jié)果確定所述無(wú)人機(jī)的通信頻譜。

35、所述頻譜分配模塊用于根據(jù)所述頻譜感知結(jié)果確定所述無(wú)人機(jī)的通信頻譜，具體包括：

36、s31：所述頻譜分配模塊通過(guò)無(wú)線通信鏈路與其他無(wú)人機(jī)交換所述頻譜感知結(jié)果，從而獲得多個(gè)所述頻譜感知結(jié)果；

37、s32：基于所述多個(gè)頻譜感知結(jié)果構(gòu)建頻譜相似度矩陣，所述頻譜相似度矩陣中的每個(gè)元素表示兩個(gè)頻譜資源之間的相似度；

38、s33：根據(jù)譜聚類算法和所述頻譜相似度矩陣，對(duì)頻譜資源進(jìn)行聚類，得到頻譜聚類結(jié)果；

39、s34：基于所述頻譜聚類結(jié)果，根據(jù)預(yù)先設(shè)置的通信優(yōu)先級(jí)，確定所述無(wú)人機(jī)自身的通信頻譜；

40、s35：將所述通信頻譜通過(guò)所述無(wú)線通信鏈路發(fā)送給其他無(wú)人機(jī)進(jìn)行協(xié)商，在協(xié)商一致的情況下，所述頻譜分配模塊將所述通信頻譜確定為該無(wú)人機(jī)最終的可用通信頻譜；若協(xié)商不一致，根據(jù)所述通信頻譜對(duì)所述頻譜感知結(jié)果進(jìn)行更新，返回步驟s31。

41、所述步驟s4中，所述一致性算法為raft算法，所述無(wú)人機(jī)之間基于一致性算法進(jìn)行分布式協(xié)同決策，確保多個(gè)無(wú)人機(jī)在搜索過(guò)程中保持一致的搜索方向和搜索速度，同時(shí)避免碰撞和重復(fù)搜索，根據(jù)所述分布協(xié)同決策結(jié)果，確定每個(gè)無(wú)人機(jī)的搜索策略，包括：

42、所述領(lǐng)導(dǎo)者將接收到的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息作為日志條目寫(xiě)入本地日志；其中，所述領(lǐng)導(dǎo)者由所述多個(gè)無(wú)人機(jī)進(jìn)行投票確定；

43、在所述日志被提交后，所述領(lǐng)導(dǎo)者整合各個(gè)所述無(wú)人機(jī)的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息，判斷各個(gè)無(wú)人機(jī)的所述初步最優(yōu)路徑是否發(fā)生沖突；

44、在發(fā)生沖突的情況下，根據(jù)所述地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息對(duì)所述初步最優(yōu)路徑進(jìn)行優(yōu)化，并將優(yōu)化后的所述初步最優(yōu)路徑作為該無(wú)人機(jī)的最終搜索路徑；

45、在未發(fā)生沖突的情況下，將所述無(wú)人機(jī)的所述初步最優(yōu)路徑確定該無(wú)人機(jī)的最終搜索路徑；

46、所述領(lǐng)導(dǎo)者將所述最終搜索路徑作為協(xié)商后的搜索策略，發(fā)送給對(duì)應(yīng)的所述無(wú)人機(jī)。

47、所述步驟s3中，所述信息還包括所述無(wú)人機(jī)的速度信息；所述領(lǐng)導(dǎo)者將接收到的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息、速度信息作為日志條目寫(xiě)入本地日志，在所述日志被提交后，所述領(lǐng)導(dǎo)者對(duì)所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息、速度信息進(jìn)行整合。

48、在所述領(lǐng)導(dǎo)者將所述最終搜索路徑作為協(xié)商后的搜索策略后，所述領(lǐng)導(dǎo)者對(duì)各個(gè)所述最終搜索路徑進(jìn)行微調(diào)，以確保每個(gè)所述無(wú)人機(jī)的搜索方向一致，并根據(jù)整合后的所述速度信息、所述地形信息、障礙物信息以及所述無(wú)人機(jī)的電池狀態(tài)信息為多個(gè)所述無(wú)人機(jī)設(shè)定統(tǒng)一的搜索速度；所述領(lǐng)導(dǎo)者將微調(diào)后的所述最終搜索路徑和所述統(tǒng)一的搜索速度作為協(xié)商后的所述搜索策略，發(fā)送給對(duì)應(yīng)的所述無(wú)人機(jī)。

49、本發(fā)明還公開(kāi)了一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一所述的方法的步驟。

50、本發(fā)明中每個(gè)無(wú)人機(jī)均作為一個(gè)獨(dú)立的智能體，根據(jù)強(qiáng)化學(xué)習(xí)算法確定自身所處三維環(huán)境模型的初步最優(yōu)搜索路徑，并將初步最優(yōu)搜索路徑、三維環(huán)境信息和自身狀態(tài)信息通過(guò)d2d通信共享給其他無(wú)人機(jī)，多個(gè)無(wú)人機(jī)之間基于上述信息通過(guò)一致性算法進(jìn)行分布式協(xié)同決策。即本發(fā)明實(shí)現(xiàn)了在無(wú)人機(jī)作為智能體基于強(qiáng)化學(xué)習(xí)算法進(jìn)行一次路徑規(guī)劃決策的基礎(chǔ)上，多個(gè)無(wú)人機(jī)之間通過(guò)一致性算法進(jìn)行二次分布式協(xié)同決策，在二次分布式協(xié)同決策時(shí)僅需判斷初步最優(yōu)搜索路徑是否發(fā)生沖突，避免了現(xiàn)有方案中無(wú)人機(jī)分布式協(xié)同決策時(shí)求取全局最優(yōu)解算法復(fù)雜度較高的問(wèn)題，同時(shí)提高了無(wú)人機(jī)路徑規(guī)劃決策的效率和準(zhǔn)確性。在強(qiáng)化學(xué)習(xí)時(shí)采用優(yōu)先經(jīng)驗(yàn)回放機(jī)制來(lái)提高采樣效率，減小參數(shù)更新的方差，加速算法收斂，使得算法更加適用于無(wú)人機(jī)計(jì)算資源受限的場(chǎng)景。本發(fā)明在無(wú)人機(jī)中設(shè)置頻譜感知模塊和頻譜分配模塊，通過(guò)協(xié)商確定無(wú)人機(jī)最終的可用通信頻譜，保障無(wú)人機(jī)初步最優(yōu)搜索路徑等信息的準(zhǔn)確傳輸，避免通信沖突等錯(cuò)誤造成無(wú)人機(jī)協(xié)同決策參數(shù)和條件頻繁調(diào)整，提高了分布式協(xié)同決策的魯棒性。