本發(fā)明涉及云計算與分布式系統(tǒng)，尤其涉及一種云計算平臺通用計量方法及系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)、云計算以及人工智能技術(shù)的快速發(fā)展，云計算平臺已成為承載各類數(shù)字業(yè)務(wù)的基礎(chǔ)設(shè)施。作為服務(wù)提供方，云廠商在提供彈性計算、對象存儲、網(wǎng)絡(luò)服務(wù)等資源同時，也承擔(dān)著資源使用數(shù)據(jù)的采集、計量與計費職責(zé)。伴隨業(yè)務(wù)規(guī)模的持續(xù)擴(kuò)大與客戶數(shù)量的快速增長，計量數(shù)據(jù)呈現(xiàn)出高頻率、大規(guī)模、突發(fā)性等特征，對系統(tǒng)的穩(wěn)定性與擴(kuò)展能力提出更高要求。

2、當(dāng)前，在云計算平臺中，計量系統(tǒng)通常需要實時接收來自cdn節(jié)點、對象存儲服務(wù)、虛擬機(jī)等上報的資源使用信息，并將其寫入后端數(shù)據(jù)庫進(jìn)行后續(xù)聚合與計費。在此過程中，大量或突發(fā)的上報數(shù)據(jù)可能集中涌入系統(tǒng)，造成寫入壓力激增。由于計量服務(wù)往往與下游的計費系統(tǒng)緊耦合，一旦前端處理延遲、寫入阻塞或服務(wù)故障，將直接影響賬單生成、費用結(jié)算，甚至對客戶造成資費異常或服務(wù)不可用等風(fēng)險。

3、因此，如何在確保計量數(shù)據(jù)準(zhǔn)確性的基礎(chǔ)上，實現(xiàn)對突發(fā)流量的有效削峰、對高并發(fā)數(shù)據(jù)的高效處理，并通過技術(shù)手段降低對下游計費系統(tǒng)的沖擊，已成為當(dāng)前云平臺亟需解決的技術(shù)難題。為此，亟需提出一種具備高吞吐、強(qiáng)隔離能力、支持冪等控制與靈活擴(kuò)展的通用計量方法與系統(tǒng)，以提升平臺穩(wěn)定性和服務(wù)可靠性。

技術(shù)實現(xiàn)思路

1、針對上述問題，本發(fā)明的目的在于提供一種云計算平臺通用計量方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中計量數(shù)據(jù)在高并發(fā)、突發(fā)場景下寫入性能低下、冪等性控制不足、對計費系統(tǒng)沖擊較大及擴(kuò)展能力受限等技術(shù)問題，本實施例的方法和系統(tǒng)能夠?qū)崿F(xiàn)對原始計量數(shù)據(jù)的唯一性標(biāo)識、冪等性校驗、異步緩沖、分庫分表路由及聚合計算等處理機(jī)制，提升系統(tǒng)在高吞吐量、強(qiáng)一致性和靈活擴(kuò)展方面的能力，從而確保計量過程的準(zhǔn)確性、穩(wěn)定性與可追溯性，為后續(xù)計費、賬單生成和補(bǔ)償機(jī)制提供堅實支撐。特別地，本發(fā)明充分利用云計算計量事件在時間維度上的天然有序性，按時序批次進(jìn)行數(shù)據(jù)處理與入庫操作，結(jié)合計算機(jī)系統(tǒng)中的局部性原理優(yōu)化數(shù)據(jù)的存儲結(jié)構(gòu)與訪問模式，有效提升計量系統(tǒng)在讀寫過程中的性能表現(xiàn)，進(jìn)一步增強(qiáng)其在高負(fù)載環(huán)境下的穩(wěn)定性與處理效率。本發(fā)明的上述發(fā)明目的是通過以下技術(shù)方案得以實現(xiàn)的：

2、本發(fā)明提供了一種云計算平臺通用計量方法，包括：

3、步驟s1：上報端實時采集原始計量數(shù)據(jù)，基于所述原始計量數(shù)據(jù)中的關(guān)鍵字段信息構(gòu)建業(yè)務(wù)資源唯一標(biāo)識mrn；

4、步驟s2：計量前置服務(wù)對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進(jìn)行冪等性校驗，并將校驗通過的所述原始計量數(shù)據(jù)寫入消息隊列中，用于異步緩沖和流量削峰；

5、步驟s3：計量服務(wù)從所述消息隊列中異步批量拉取所述原始計量數(shù)據(jù)，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據(jù)的高并發(fā)入庫處理；

6、步驟s4：周期性觸發(fā)聚合計算任務(wù)，按照預(yù)設(shè)的聚合維度對已入庫的所述原始計量數(shù)據(jù)進(jìn)行聚合處理，生成的聚合記錄寫入聚合任務(wù)數(shù)據(jù)庫表中，同時為每條所述聚合記錄生成對應(yīng)的聚合資源標(biāo)識，用于計費服務(wù)執(zhí)行賬單查詢或重新計費操作時，基于所述聚合資源標(biāo)識定位對應(yīng)的所述聚合記錄，進(jìn)而支持賬期賬單生成、明細(xì)核查及補(bǔ)償計費處理。

7、進(jìn)一步地，在步驟s1中，上報端實時采集原始計量數(shù)據(jù)，基于所述原始計量數(shù)據(jù)中的關(guān)鍵字段信息構(gòu)建業(yè)務(wù)資源唯一標(biāo)識mrn，包括，

8、上報端根據(jù)設(shè)定的采集周期或觸發(fā)條件，獲取所述原始計量數(shù)據(jù)；

9、基于所述原始計量數(shù)據(jù)的內(nèi)容，解析并提取對應(yīng)所述關(guān)鍵字段，所述關(guān)鍵字段包括產(chǎn)品標(biāo)識、子產(chǎn)品標(biāo)識、計費項編號、服務(wù)區(qū)域、用戶id及計量時間范圍；

10、將所述關(guān)鍵字段按照預(yù)設(shè)字段序列進(jìn)行有序拼接，構(gòu)建成用于唯一確定所述原始計量數(shù)據(jù)所屬的業(yè)務(wù)資源及其計量時間窗口的所述mrn。

11、進(jìn)一步地，在步驟s2中，計量前置服務(wù)對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進(jìn)行冪等性校驗，并將校驗通過的所述原始計量數(shù)據(jù)寫入消息隊列中進(jìn)行異步緩沖和流量削峰，包括，

12、所述計量前置服務(wù)接收所述上報端發(fā)送的所述原始計量數(shù)據(jù)及其所攜帶的所述mrn；

13、對接收到的所述mrn執(zhí)行哈希函數(shù)計算，生成所述固定長度的哈希值作為所述原始計量數(shù)據(jù)的唯一標(biāo)識；

14、將所述哈希值與本地冪等性校驗記錄進(jìn)行比對，向所述上報端發(fā)送ack消息，用戶反饋所述冪等性校驗結(jié)果；

15、當(dāng)所述哈希值未命中所述本地冪等性校驗記錄時，則判定為首次上報的所述原始計量數(shù)據(jù)，將所述原始計量數(shù)據(jù)寫入所述消息隊列中；

16、當(dāng)所述哈希值存在所述本地冪等性校驗記錄時，則判定為重復(fù)上報數(shù)據(jù)，不進(jìn)入所述消息隊列。

17、進(jìn)一步地，在步驟s3中，計量服務(wù)從所述消息隊列中異步批量拉取所述原始計量數(shù)據(jù)，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據(jù)的高并發(fā)入庫處理，包括，

18、監(jiān)聽所述消息隊列中緩沖的所述原始計量數(shù)據(jù)，當(dāng)滿足預(yù)設(shè)的批處理觸發(fā)條件時，觸發(fā)一次批量數(shù)據(jù)拉取操作，所述預(yù)設(shè)的批處理觸發(fā)條件包括所述消息隊列中的數(shù)據(jù)條目達(dá)到設(shè)定的批處理上限或時間窗口達(dá)到時間閾值；

19、將每條所述原始計量數(shù)據(jù)對應(yīng)的所述哈希值作為分庫分表的路由鍵，依據(jù)預(yù)定義的分片規(guī)則確定其目標(biāo)數(shù)據(jù)庫表；

20、將分組后的所述原始計量數(shù)據(jù)一次性寫入對應(yīng)的所述目標(biāo)數(shù)據(jù)庫表中。

21、進(jìn)一步地，將每條所述原始計量數(shù)據(jù)對應(yīng)的所述哈希值作為分庫分表的路由鍵，依據(jù)預(yù)定義的分片規(guī)則確定其目標(biāo)數(shù)據(jù)庫表，包括，

22、將每條所述原始計量數(shù)據(jù)對應(yīng)的所述哈希值作為所述分庫分表的路由鍵，對所述哈希值執(zhí)行哈希取模計算，依據(jù)預(yù)定義的分庫總數(shù)和分表總數(shù)，分別計算得到目標(biāo)數(shù)據(jù)庫編號與目標(biāo)數(shù)據(jù)表編號，確定所述原始計量數(shù)據(jù)的在所述目標(biāo)數(shù)據(jù)庫表的存儲位置。

23、進(jìn)一步地，在步驟s4中，周期性觸發(fā)聚合計算任務(wù)，按照預(yù)設(shè)的聚合維度對已入庫的所述原始計量數(shù)據(jù)進(jìn)行聚合處理，生成的聚合記錄寫入聚合任務(wù)數(shù)據(jù)庫表中，同時為每條所述聚合記錄生成對應(yīng)的聚合資源標(biāo)識，計費服務(wù)在賬單查詢或重新計費時，基于所述聚合資源標(biāo)識標(biāo)識定位對應(yīng)的所述聚合記錄，用于支持賬期賬單生成、明細(xì)查驗及補(bǔ)償計費處理，包括：

24、根據(jù)所設(shè)定的聚合周期及聚合維度，周期性觸發(fā)所述聚合計算任務(wù)，采用預(yù)設(shè)的聚合函數(shù)對已入庫的所述原始計量數(shù)據(jù)進(jìn)行聚合處理，生成對應(yīng)的所述聚合記錄；

25、為每條所述聚合記錄構(gòu)建唯一的聚合資源標(biāo)識，作為所述聚合記錄的唯一索引；

26、將所述聚合記錄連同對應(yīng)的聚合資源標(biāo)識一并寫入聚合任務(wù)數(shù)據(jù)庫表中；

27、當(dāng)所述計費服務(wù)接收到賬單生成請求或重新計費請求時，基于所述聚合資源標(biāo)識，查詢對應(yīng)賬期范圍內(nèi)的聚合記錄，輸出對應(yīng)賬單明細(xì)及計量匯總結(jié)果。

28、進(jìn)一步地，步驟s4還包括，基于所述聚合資源標(biāo)識回溯關(guān)聯(lián)的原始計量明細(xì)數(shù)據(jù)。

29、進(jìn)一步地，步驟s4還包括，當(dāng)檢測到所述賬期內(nèi)聚合任務(wù)失敗、數(shù)據(jù)延遲或遺漏時，自動觸發(fā)補(bǔ)償聚合任務(wù)，基于原賬期范圍重新執(zhí)行聚合處理，并對已生成的賬單記錄進(jìn)行修正或補(bǔ)充，確保賬單準(zhǔn)確性與完整性。

30、基于相同的發(fā)明構(gòu)思，本發(fā)明還提供了一種云計算平臺通用計量系統(tǒng)，執(zhí)行如上述的云計算平臺通用計量方法，包括，

31、數(shù)據(jù)采集模塊，用于上報端實時采集原始計量數(shù)據(jù)，基于所述原始計量數(shù)據(jù)中的關(guān)鍵字段信息構(gòu)建業(yè)務(wù)資源唯一標(biāo)識mrn；

32、數(shù)據(jù)緩沖模塊，用于計量前置服務(wù)對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進(jìn)行冪等性校驗，并將校驗通過的所述原始計量數(shù)據(jù)寫入消息隊列中用于異步緩沖和流量削峰；

33、異步入庫模塊，用于計量服務(wù)從所述消息隊列中異步批量拉取所述原始計量數(shù)據(jù)，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據(jù)的高并發(fā)入庫處理；

34、聚合處理模塊，用于周期性觸發(fā)聚合計算任務(wù)，按照預(yù)設(shè)的聚合維度對已入庫的所述原始計量數(shù)據(jù)進(jìn)行聚合處理，生成的聚合記錄寫入聚合任務(wù)數(shù)據(jù)庫表中，同時為每條聚合記錄生成對應(yīng)的聚合資源標(biāo)識，用于計費服務(wù)執(zhí)行賬單查詢或重新計費操作時，基于聚合資源標(biāo)識定位對應(yīng)的所述聚合記錄，進(jìn)而支持賬期賬單生成、明細(xì)核查及補(bǔ)償計費處理。

35、進(jìn)一步地，所述聚合處理模塊，還包括，補(bǔ)償計費單元，用于當(dāng)檢測到賬期內(nèi)聚合任務(wù)失敗、數(shù)據(jù)延遲或遺漏時，自動觸發(fā)補(bǔ)償聚合任務(wù)，基于原賬期范圍重新執(zhí)行聚合處理，并對已生成的賬單記錄進(jìn)行修正或補(bǔ)充，確保賬單準(zhǔn)確性與完整性。

36、與現(xiàn)有技術(shù)相比，本發(fā)明包括以下至少一種有益效果是：

37、本發(fā)明充分利用計量數(shù)據(jù)在時間序列上的天然有序性，結(jié)合引入消息隊列的異步緩沖機(jī)制、批量處理策略以及周期性聚合計算方法，實現(xiàn)對大規(guī)模高頻計量數(shù)據(jù)的只寫不更新處理模式。通過設(shè)計寫入側(cè)與讀取側(cè)的解耦機(jī)制，采用數(shù)據(jù)庫的讀寫分離技術(shù)，實現(xiàn)上游計量數(shù)據(jù)的高并發(fā)寫入與下游計費數(shù)據(jù)的穩(wěn)定讀取協(xié)同運行。有效解決了高并發(fā)環(huán)境下系統(tǒng)寫入阻塞、讀寫競爭和資源瓶頸等問題，實現(xiàn)計量的高吞吐及削洪峰，計量與計費的精準(zhǔn)無漏，以及計量與計費的可靠隔離，并為云計算千差萬別的各種計量計費業(yè)務(wù)提供一種統(tǒng)一的標(biāo)準(zhǔn)處理模式。該方法不僅顯著提升了整個平臺的數(shù)據(jù)處理效率與并發(fā)能力，也降低了因資源爭搶、鏈路阻塞等原因造成的系統(tǒng)故障率，全面保障了云計算平臺的穩(wěn)定性與服務(wù)連續(xù)性，為終端用戶提供了更高可靠性和一致性的計費體驗。

38、通過創(chuàng)新的計量中心設(shè)計方法，有效解決了現(xiàn)有云計算平臺中計量數(shù)據(jù)處理效率低、系統(tǒng)耦合性強(qiáng)、應(yīng)對突發(fā)流量能力弱等關(guān)鍵技術(shù)問題，具有如下有益效果：①采用冪等性校驗機(jī)制與異步消息緩沖機(jī)制，將原始計量數(shù)據(jù)的采集與入庫與下游計費邏輯徹底分離。通過消息隊列削峰填谷，緩沖寫入壓力，避免突發(fā)高并發(fā)計量請求對計費系統(tǒng)造成直接沖擊，提升了系統(tǒng)整體穩(wěn)定性和風(fēng)險容錯能力。②設(shè)計了基于mrn（計量資源標(biāo)識）的統(tǒng)一計量字段結(jié)構(gòu)，并結(jié)合哈希路由分庫分表技術(shù)，能夠支持彈性計算、網(wǎng)絡(luò)流量、對象存儲等不同類型資源的統(tǒng)一處理。系統(tǒng)具備良好的可擴(kuò)展性，適用于從中小型私有云到超大規(guī)模公有云的不同部署場景。③引入批處理、讀寫分離、聚合定時調(diào)度等機(jī)制，支持“只寫不更新”的數(shù)據(jù)入庫策略，大幅提升數(shù)據(jù)處理吞吐率并降低數(shù)據(jù)庫寫入沖突概率。聚合計算與賬期同步執(zhí)行，支持自動重算與補(bǔ)償邏輯，有效提升計量準(zhǔn)確性與運營自動化水平，顯著降低了人工干預(yù)與后期對賬成本。