本發(fā)明涉及水體檢測，尤其涉及一種基于強(qiáng)化學(xué)習(xí)的水體微生物風(fēng)險分析方法。

背景技術(shù)：

1、目前，現(xiàn)有的水體病原微生物風(fēng)險評估技術(shù)普遍存在檢測手段單一、評估模型簡單、空間適應(yīng)性差及缺乏動態(tài)更新問題。傳統(tǒng)風(fēng)險識別方法多依賴現(xiàn)場定點監(jiān)測，以大腸桿菌單一細(xì)菌指標(biāo)為主要檢測對象，難以全面覆蓋病毒、寄生蟲多種類病原；同時，現(xiàn)有檢測技術(shù)存在周期長、靈敏度低、現(xiàn)場適應(yīng)性差局限，導(dǎo)致污染擴(kuò)散過程無法實時捕捉，阻礙應(yīng)急響應(yīng)效率。

2、在建模層面，多數(shù)現(xiàn)有風(fēng)險評估模型采用經(jīng)驗公式或靜態(tài)統(tǒng)計方法，僅在特定水域和固定參數(shù)下具有適用性，難以適配具有強(qiáng)非線性特征的水體系統(tǒng)。此外，主流方法往往未能綜合考慮污染源分布、水動力過程、氣象擾動、土地利用變化多維環(huán)境驅(qū)動因子，風(fēng)險驅(qū)動機(jī)制描述不清晰，路徑預(yù)測結(jié)果準(zhǔn)確性有限，缺乏對風(fēng)險傳播機(jī)制的深層刻畫能力?？臻g建模手段也多以人工劃分或基于規(guī)則的分區(qū)方式進(jìn)行，無法從動態(tài)水文演化特征中提取高質(zhì)量的時空傳播線索。

3、綜上所述，亟需引入面向時空演化機(jī)制的新型建模策略，融合多源信息、強(qiáng)化路徑生成智能性，并具備自適應(yīng)更新能力，以應(yīng)對復(fù)雜水動力條件下病原微生物傳播過程的建模難題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的一個目的在于提出一種基于強(qiáng)化學(xué)習(xí)的水體微生物風(fēng)險分析方法，本發(fā)明實測中對突發(fā)事件引起的污染擴(kuò)散響應(yīng)延遲大幅度縮短，顯著提升了系統(tǒng)在突發(fā)污染場景中的應(yīng)急建模能力。

2、根據(jù)本發(fā)明實施例的一種基于強(qiáng)化學(xué)習(xí)的水體微生物風(fēng)險分析方法，包括如下步驟：

3、s1.?采集目標(biāo)水域中的原始觀測數(shù)據(jù)集并進(jìn)行預(yù)處理，生成標(biāo)準(zhǔn)化觀測數(shù)據(jù)集；

4、s2.?基于標(biāo)準(zhǔn)化觀測數(shù)據(jù)集構(gòu)建動態(tài)水體圖；

5、s3.?針對動態(tài)水體圖結(jié)構(gòu)執(zhí)行動態(tài)圖表示學(xué)習(xí)，得到節(jié)點向量表征矩陣，并在節(jié)點向量表征矩陣基礎(chǔ)上生成時空風(fēng)險熱度矩陣；

6、s4.?利用標(biāo)準(zhǔn)化觀測數(shù)據(jù)集、節(jié)點向量表征矩陣與時空風(fēng)險熱度矩陣，構(gòu)建貝葉斯獎勵函數(shù)先驗分布，初始化獎勵函數(shù)并建立獎勵函數(shù)參數(shù)集合；

7、s5.?在動態(tài)水體圖結(jié)構(gòu)上以標(biāo)準(zhǔn)化觀測數(shù)據(jù)集為行為結(jié)果輸入，采用最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)模型對獎勵函數(shù)參數(shù)集合進(jìn)行增量學(xué)習(xí)，輸出第一傳播勢場；

8、s6.?以第一傳播勢場作為適應(yīng)度評價依據(jù)，調(diào)用人工蜂群優(yōu)化算法在動態(tài)水體圖結(jié)構(gòu)上執(zhí)行全局搜索，生成候選擴(kuò)散路徑集合，基于候選擴(kuò)散路徑集合與第一傳播勢場，執(zhí)行跟隨蜂局部精化與偵察蜂隨機(jī)擾動操作，獲得最優(yōu)擴(kuò)散路徑序列；

9、s7.?將最優(yōu)擴(kuò)散路徑序列與標(biāo)準(zhǔn)化觀測數(shù)據(jù)集進(jìn)行路徑重建誤差分析，得到動態(tài)反饋指標(biāo)，并形成聯(lián)合收斂迭代循環(huán)，當(dāng)聯(lián)合收斂迭代循環(huán)滿足預(yù)設(shè)收斂閾值時，輸出最終擴(kuò)散路徑序列、動態(tài)風(fēng)險區(qū)分布圖以及獎勵函數(shù)敏感性指標(biāo)。

10、可選的，所述原始觀測數(shù)據(jù)集包括病原微生物濃度、水流速度、水溫、酸堿度、水流方向、物理連通性屬性與邊界接觸屬性。

11、可選的，所述s2包括以下步驟：

12、s21.構(gòu)建空間節(jié)點集合，每一個空間節(jié)點用于表示目標(biāo)水域中的監(jiān)測斷面、支流入口、潛在污染源或水力控制點，所有空間節(jié)點共同構(gòu)成空間節(jié)點集合，空間節(jié)點集合覆蓋整個水體研究范圍，節(jié)點編號從1至，其中表示空間節(jié)點總數(shù)量；

13、s22.對于每一個空間節(jié)點，在每一個時間步提取空間節(jié)點的病原微生物濃度、水溫與酸堿度，將病原微生物濃度、水溫與酸堿度作為空間節(jié)點在對應(yīng)時間步的節(jié)點屬性，病原微生物濃度、水溫與酸堿度共同構(gòu)成空間節(jié)點的節(jié)點屬性集合；

14、s23.基于標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中記錄的水流方向與水流速度，在空間節(jié)點之間建立有向邊關(guān)系，若兩個空間節(jié)點之間存在物理連接，且水流方向指向物理連接路徑，則建立一個從上游節(jié)點指向下游節(jié)點的有向邊，有向邊集合由所有滿足條件的邊組成；

15、s24.對于每一個已建立的有向邊，在每一個時間步提取有向邊對應(yīng)的水流速度，水流速度值作為有向邊在時間步的邊權(quán)重并構(gòu)建邊權(quán)重集合，邊權(quán)重用于表示水體中污染物在此通道上傳播的動力強(qiáng)度；

16、s25.對于每一個已建立的有向邊，從標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中提取邊的水流方向?qū)傩?、物理連通性屬性與邊界接觸屬性，共同組成邊的邊屬性集合；

17、s26.將空間節(jié)點集合、有向邊集合、節(jié)點屬性集合、邊權(quán)重集合與邊屬性集合進(jìn)行統(tǒng)一封裝，構(gòu)建動態(tài)水體圖結(jié)構(gòu)。

18、可選的，所述s3包括以下步驟：

19、s31.基于動態(tài)水體圖結(jié)構(gòu)，從初始時間步至最終時間步依次提取空間節(jié)點集合中每個空間節(jié)點的節(jié)點屬性集合以及有向邊集合中每條邊的邊權(quán)重集合，形成動態(tài)圖表示學(xué)習(xí)的時序輸入序列；

20、s32.針對時序輸入序列，以動態(tài)圖卷積網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建節(jié)點向量表征模型，節(jié)點向量表征模型的節(jié)點特征更新過程定義為：

21、；

22、其中，表示在第層網(wǎng)絡(luò)中空間節(jié)點在時間步對應(yīng)的節(jié)點特征向量，表示非線性激活函數(shù)，表示第層網(wǎng)絡(luò)的權(quán)重矩陣，表示第層網(wǎng)絡(luò)的偏置項，表示鄰居節(jié)點聚合函數(shù)，表示與節(jié)點相鄰接的空間節(jié)點集合；

23、s33.以節(jié)點向量表征模型對從到的動態(tài)圖時序輸入序列進(jìn)行前向傳播訓(xùn)練，得到每個空間節(jié)點在各個時間步的節(jié)點特征向量，形成節(jié)點向量表征矩陣，節(jié)點向量表征矩陣用于表達(dá)空間節(jié)點的時空動態(tài)特征；

24、s34.以節(jié)點向量表征矩陣為輸入，構(gòu)建時空風(fēng)險熱度矩陣生成模型；

25、s35.根據(jù)時空風(fēng)險熱度矩陣生成模型對空間節(jié)點集合中所有空間節(jié)點進(jìn)行遍歷，獲得所有節(jié)點在每個時間步的風(fēng)險熱度值，形成完整的時空風(fēng)險熱度矩陣。

26、可選的，所述s4包括以下步驟：

27、s41.構(gòu)建貝葉斯獎勵函數(shù)的物理驅(qū)動先驗空間，物理驅(qū)動先驗空間以標(biāo)準(zhǔn)化觀測數(shù)據(jù)集作為輸入基礎(chǔ)，并結(jié)合節(jié)點向量表征矩陣與時空風(fēng)險熱度矩陣；

28、s42.將貝葉斯獎勵函數(shù)定義為空間節(jié)點與時間步的條件概率分布，每一個貝葉斯獎勵函數(shù)值服從以先驗均值函數(shù)和協(xié)方差函數(shù)為參數(shù)的高斯過程分布；

29、s43.構(gòu)建貝葉斯獎勵函數(shù)的先驗均值函數(shù)，先驗均值函數(shù)由三個加權(quán)部分組成，第一部分為病原微生物濃度相對殘差項，第二部分為水溫占比項，第三部分為酸堿度偏差項；

30、s44.構(gòu)建貝葉斯獎勵函數(shù)的協(xié)方差函數(shù)，協(xié)方差函數(shù)以節(jié)點與節(jié)點在不同時刻的節(jié)點向量與節(jié)點向量之間的歐式距離作為輸入特征，通過縮放系數(shù)與特征尺度參數(shù)控制的指數(shù)型衰減函數(shù)進(jìn)行映射，輸出表示獎勵值相關(guān)性的協(xié)方差值；

31、s45.將先驗均值函數(shù)與協(xié)方差函數(shù)聯(lián)合構(gòu)成貝葉斯獎勵函數(shù)的完整先驗分布集合，先驗分布集合覆蓋所有空間節(jié)點以及所有時間步，用于提供獎勵函數(shù)在空間和時間維度上的初始結(jié)構(gòu)關(guān)系；

32、s46.基于貝葉斯獎勵函數(shù)的先驗分布集合，初始化獎勵函數(shù)參數(shù)集合，樣本集合中的每一個元素表示節(jié)點在時間步的初始獎勵估計值，所有估計值構(gòu)成初始樣本集合。

33、可選的，所述s5包括以下步驟：

34、s51.以標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中病原微生物濃度分布作為專家行為樣本輸入，基于動態(tài)水體圖結(jié)構(gòu)、節(jié)點向量表征矩陣與貝葉斯獎勵函數(shù)參數(shù)集合，構(gòu)建融合雙層注意力機(jī)制與動態(tài)貝葉斯更新的最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)模型；

35、s52.在最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)模型中，以空間節(jié)點集合的節(jié)點屬性集合作為輸入，構(gòu)建節(jié)點級注意力機(jī)制，節(jié)點級注意力機(jī)制用于學(xué)習(xí)空間節(jié)點在時間步的狀態(tài)權(quán)重；

36、s53.基于節(jié)點級注意力機(jī)制輸出的狀態(tài)權(quán)重，構(gòu)建時間級注意力機(jī)制，時間級注意力機(jī)制用于捕獲病原微生物擴(kuò)散路徑隨時間步變化的時間級注意力權(quán)重；

37、s54.基于節(jié)點級注意力機(jī)制輸出的狀態(tài)權(quán)重與時間級注意力權(quán)重，重構(gòu)最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)的目標(biāo)優(yōu)化函數(shù)：

38、；

39、其中，為節(jié)點在獎勵函數(shù)下表現(xiàn)出病原微生物濃度的似然概率，為貝葉斯獎勵函數(shù)的先驗分布；

40、s55.通過動態(tài)貝葉斯更新方法，執(zhí)行最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)的目標(biāo)優(yōu)化函數(shù)的迭代更新，更新獎勵函數(shù)參數(shù)集合；

41、s56.在獎勵函數(shù)參數(shù)集合完成迭代更新且達(dá)到預(yù)定收斂閾值后，輸出優(yōu)化獎勵函數(shù)集合，并基于優(yōu)化獎勵函數(shù)集合生成第一傳播勢場：

42、；

43、其中，為優(yōu)化后的最優(yōu)擴(kuò)散策略，為折扣因子，表示在最優(yōu)擴(kuò)散策略下對未來傳播過程的期望值計算算子。

44、可選的，所述s6包括以下步驟：

45、s61.計算每一條擴(kuò)散路徑的路徑適應(yīng)度值，路徑適應(yīng)度值的計算方法為將擴(kuò)散路徑上所有空間節(jié)點在對應(yīng)時間步的傳播勢能值依次乘以其在路徑中的風(fēng)險權(quán)重系數(shù)后求和，傳播勢能值從第一傳播勢場中獲??；

46、s62.初始化人工蜂群優(yōu)化算法的蜂群個體集合，設(shè)置先導(dǎo)蜂數(shù)量、跟隨蜂數(shù)量與偵察蜂數(shù)量，并生成與之?dāng)?shù)量一致的初始路徑集合，每一個路徑個體由一組空間節(jié)點組成；

47、s63.對每一條由先導(dǎo)蜂生成的路徑，按照傳播勢場的梯度方向執(zhí)行路徑更新操作，路徑更新操作通過在原路徑基礎(chǔ)上沿著傳播勢能上升方向插入新的空間節(jié)點或調(diào)整路徑走向；

48、s64.對每一條由跟隨蜂負(fù)責(zé)優(yōu)化的路徑，基于當(dāng)前傳播勢場適應(yīng)度最高路徑進(jìn)行局部精化操作；

49、s65.由偵察蜂負(fù)責(zé)執(zhí)行全隨機(jī)路徑搜索機(jī)制，隨機(jī)路徑由在動態(tài)水體圖結(jié)構(gòu)上隨機(jī)選取連通空間節(jié)點構(gòu)建而成，若隨機(jī)路徑的傳播勢能累積值高于當(dāng)前路徑集合中最差路徑的傳播勢能累積值超過最小改進(jìn)閾值，則將擴(kuò)散路徑替換原集合中最差路徑；

50、s66.重復(fù)執(zhí)行先導(dǎo)蜂的全局引導(dǎo)搜索、跟隨蜂的局部精化搜索與偵察蜂的隨機(jī)搜索機(jī)制，在每一輪迭代中記錄當(dāng)前適應(yīng)度最高的路徑，并將其作為路徑種群的參考最優(yōu)解，當(dāng)達(dá)到最大迭代次數(shù)或路徑適應(yīng)度值提升幅度小于預(yù)設(shè)終止閾值時，終止人工蜂群優(yōu)化過程；

51、s67.在人工蜂群優(yōu)化過程終止后，輸出最終的最優(yōu)擴(kuò)散路徑，最優(yōu)擴(kuò)散路徑為當(dāng)前所有路徑個體中傳播勢能累積值最高的路徑，擴(kuò)散路徑表示病原微生物在動態(tài)水體圖結(jié)構(gòu)中由潛在源頭擴(kuò)散至高風(fēng)險區(qū)域的最可能傳播路徑。

52、可選的，所述s7包括以下步驟：

53、s71.將人工蜂群優(yōu)化算法輸出的最優(yōu)擴(kuò)散路徑序列與標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中的病原微生物濃度分布進(jìn)行路徑重建誤差分析；

54、s72.以路徑重建誤差分析結(jié)果構(gòu)建動態(tài)反饋指標(biāo)集合，動態(tài)反饋指標(biāo)集合包括空間節(jié)點匹配誤差、時序濃度擬合誤差與傳播方向一致性誤差；

55、s73.將動態(tài)反饋指標(biāo)集合作為聯(lián)合優(yōu)化更新的評價依據(jù)，利用空間節(jié)點匹配誤差和時序濃度擬合誤差反饋信息對獎勵函數(shù)參數(shù)集合進(jìn)行動態(tài)更新；

56、s74.將獎勵函數(shù)參數(shù)集合與人工蜂群優(yōu)化控制參數(shù)更新后的結(jié)果重新輸入至最大后驗?zāi)嫦驈?qiáng)化學(xué)習(xí)模型與人工蜂群優(yōu)化算法，繼續(xù)執(zhí)行獎勵函數(shù)訓(xùn)練與擴(kuò)散路徑搜索，形成聯(lián)合收斂迭代循環(huán)；

57、s75.輸出最終擴(kuò)散路徑序列、動態(tài)風(fēng)險區(qū)分布圖以及獎勵函數(shù)敏感性指標(biāo)：

58、最終擴(kuò)散路徑序列：表示水體病原微生物從起始高風(fēng)險源頭節(jié)點向下游擴(kuò)散的最優(yōu)路徑軌跡，節(jié)點序列滿足流向約束且在傳播勢場中累計勢能最大；

59、動態(tài)風(fēng)險區(qū)分布圖：根據(jù)最終擴(kuò)散路徑序列與傳播勢場計算每個空間節(jié)點在每個時間步的風(fēng)險指數(shù)值，風(fēng)險指數(shù)值用于劃分風(fēng)險等級區(qū)域，分為風(fēng)險指數(shù)值≥0.8的高風(fēng)險區(qū)、0.5≤風(fēng)險指數(shù)值＜0.8的中風(fēng)險區(qū)與風(fēng)險指數(shù)值＜0.5的低風(fēng)險區(qū)；

60、獎勵函數(shù)敏感性指標(biāo)：基于最終收斂的獎勵函數(shù)樣本集合與標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中理化指標(biāo)之間的偏導(dǎo)響應(yīng)，輸出每個驅(qū)動因子對獎勵函數(shù)變化的敏感性評分，敏感性評分大于0.3的因子定義為關(guān)鍵傳播驅(qū)動因子；

61、s77.將最終擴(kuò)散路徑序列、動態(tài)風(fēng)險區(qū)分布圖與獎勵函數(shù)敏感性指標(biāo)進(jìn)行格式標(biāo)準(zhǔn)化與圖層映射。

62、可選的，所述空間節(jié)點匹配誤差：衡量最優(yōu)擴(kuò)散路徑序列中節(jié)點集合與觀測高濃度節(jié)點集合的重合程度；

63、時序濃度擬合誤差：衡量擴(kuò)散路徑中各節(jié)點在對應(yīng)時間步的傳播勢場值與標(biāo)準(zhǔn)化觀測數(shù)據(jù)集中濃度值之間的差異程度；

64、傳播方向一致性誤差：衡量路徑節(jié)點間方向與動態(tài)水體圖結(jié)構(gòu)中邊屬性集合中記錄的流向一致性程度。

65、本發(fā)明的有益效果是：

66、（1）本發(fā)明在傳統(tǒng)逆向強(qiáng)化學(xué)習(xí)結(jié)構(gòu)基礎(chǔ)上引入了雙層注意力機(jī)制：節(jié)點級注意力機(jī)制能夠根據(jù)病原微生物在不同空間節(jié)點的傳播潛勢動態(tài)調(diào)整節(jié)點權(quán)重；時間級注意力機(jī)制則基于擴(kuò)散路徑的時間演化趨勢動態(tài)調(diào)整各時間步在學(xué)習(xí)過程中的權(quán)重分布，使得模型可以更有效聚焦于關(guān)鍵傳播節(jié)點與時段，從而學(xué)習(xí)出更符合水體流向與病原動力機(jī)制的獎勵函數(shù)，不僅提升了策略收斂效率，同時增強(qiáng)了模型的物理可解釋性，為后續(xù)公共衛(wèi)生干預(yù)提供直接支持。

67、（2）本發(fā)明改進(jìn)了傳統(tǒng)人工蜂群優(yōu)化策略，在先導(dǎo)蜂階段引入傳播勢場梯度引導(dǎo)機(jī)制實現(xiàn)全局引導(dǎo)性路徑構(gòu)建，在跟隨蜂階段通過高斯擾動執(zhí)行路徑細(xì)化優(yōu)化，并在偵察蜂階段引入結(jié)構(gòu)一致性約束提升路徑生成的物理合理性，同時，以傳播勢能為適應(yīng)度評價核心，在動態(tài)水體圖結(jié)構(gòu)中多輪迭代搜索最優(yōu)路徑序列，有效規(guī)避陷入局部最優(yōu)的常見問題，在真實復(fù)雜流域場景下最優(yōu)路徑的結(jié)構(gòu)保真度得到了提升。

68、（3）本發(fā)明建立獎勵函數(shù)與路徑搜索聯(lián)合更新的動態(tài)收斂機(jī)制，提升模型對水體條件變化的適應(yīng)性與實時性，通過引入路徑重建誤差反饋機(jī)制，實現(xiàn)了獎勵函數(shù)參數(shù)與優(yōu)化算法控制參數(shù)的聯(lián)合自適應(yīng)更新，在每輪迭代中利用空間節(jié)點匹配誤差、傳播方向一致性誤差等動態(tài)反饋指標(biāo)調(diào)整逆向強(qiáng)化學(xué)習(xí)模型與人工蜂群優(yōu)化策略，形成“行為-結(jié)構(gòu)-更新”閉環(huán)學(xué)習(xí)流程，在面對水動力擾動頻繁、水文參數(shù)動態(tài)變化的場景中，具備快速收斂與魯棒優(yōu)化能力，實測中對突發(fā)事件引起的污染擴(kuò)散響應(yīng)延遲大幅度縮短，顯著提升了系統(tǒng)在突發(fā)污染場景中的應(yīng)急建模能力。