本說明書涉及數(shù)據(jù)處理，尤其涉及一種日志壓縮方法和系統(tǒng)。
背景技術(shù)：
1、日志數(shù)據(jù)也可以簡(jiǎn)稱為日志（log），是指系統(tǒng)或應(yīng)用程序運(yùn)行時(shí)生成的記錄文件，用于描述事件或狀態(tài)信息，通常是機(jī)器根據(jù)編譯后的程序固定生成的數(shù)據(jù)。日志壓縮是指，通過減少日志中的冗余信息（如重復(fù)詞匯和模板），利用字典和模板匹配技術(shù)降低其存儲(chǔ)空間和傳輸成本的技術(shù)。
2、在相關(guān)技術(shù)中，cpu可以通過日志結(jié)構(gòu)化解析和重復(fù)特征提取的方式進(jìn)行日志壓縮。然而，該種方式在算法上較為復(fù)雜，壓縮速度較低。
3、值得說明的是，上述相關(guān)技術(shù)的內(nèi)容僅僅是發(fā)明人個(gè)人所知曉的信息，并不代表上述信息在本說明書申請(qǐng)日之前已經(jīng)進(jìn)入公共領(lǐng)域，也不代表其可以成為本說明書的現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本說明書提供一種日志壓縮方法和系統(tǒng)，用以避免上述技術(shù)問題中的至少一種。
2、第一方面，本說明書提供一種日志壓縮方法，所述方法應(yīng)用于日志壓縮系統(tǒng)，所述系統(tǒng)包括cpu和gpu；所述方法包括：
3、獲得待壓縮日志；
4、利用所述cpu對(duì)所述待壓縮日志進(jìn)行解析，得到與所述待壓縮日志對(duì)應(yīng)的結(jié)構(gòu)化模板集合、以及所述待壓縮日志與所述結(jié)構(gòu)化模板集合之間對(duì)應(yīng)關(guān)系的索引；以及
5、利用所述gpu根據(jù)所述索引將所述待壓縮日志與所述結(jié)構(gòu)化模板集合中的結(jié)構(gòu)化模板進(jìn)行模板匹配，得到匹配結(jié)果，并根據(jù)所述匹配結(jié)果對(duì)所述待壓縮日志進(jìn)行壓縮，得到壓縮結(jié)果。
6、第二方面，本說明書提供一種日志壓縮系統(tǒng)，所述系統(tǒng)包括cpu和gpu，其中
7、所述cpu用于，對(duì)獲得的待壓縮日志進(jìn)行解析，得到與所述待壓縮日志對(duì)應(yīng)的結(jié)構(gòu)化模板集合、以及所述待壓縮日志與所述結(jié)構(gòu)化模板集合之間對(duì)應(yīng)關(guān)系的索引，并將所述結(jié)構(gòu)化模板集合和所述索引傳輸給所述gpu；
8、所述gpu用于，根據(jù)所述索引將獲得的待壓縮日志與所述結(jié)構(gòu)化模板集合中的結(jié)構(gòu)化模板進(jìn)行模板匹配，得到匹配結(jié)果，并根據(jù)所述匹配結(jié)果對(duì)所述待壓縮日志進(jìn)行壓縮，得到壓縮結(jié)果。
9、第三方面，本說明書提供一種計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一個(gè)指令集，所述至少一個(gè)指令集被至少一個(gè)處理器執(zhí)行，實(shí)現(xiàn)如第一方面所述的方法。
10、由以上技術(shù)方案可知，本說明書提供的日志壓縮方法和系統(tǒng)，通過采用cpu和gpu異構(gòu)架構(gòu)的方式，即cpu和gpu共同作用的方式，對(duì)待壓縮日志進(jìn)行壓縮。充分利用了cpu在復(fù)雜邏輯處理上的優(yōu)勢(shì)、以及gpu具有高帶寬、高計(jì)算力等優(yōu)勢(shì)，尤其是gpu在大規(guī)模并行計(jì)算上的高效性優(yōu)勢(shì)等。從而可以提高日志壓縮速度和效率。
11、本說明書提供的日志壓縮方法和系統(tǒng)的其他功能將在以下說明中部分列出。本說明書提供的日志壓縮方法和系統(tǒng)的創(chuàng)造性方面可以通過實(shí)踐或使用下面詳細(xì)示例中所述的方法、裝置和組合得到充分解釋。
1.一種日志壓縮方法，所述方法應(yīng)用于日志壓縮系統(tǒng)，所述系統(tǒng)包括cpu和gpu；所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)所述待壓縮日志進(jìn)行解析，得到與所述待壓縮日志對(duì)應(yīng)的結(jié)構(gòu)化模板集合、以及所述待壓縮日志與所述結(jié)構(gòu)化模板集合之間對(duì)應(yīng)關(guān)系的索引，包括：
3.根據(jù)權(quán)利要求2所述的方法，其中，構(gòu)建所述待壓縮日志與所述結(jié)構(gòu)化模板集合之間對(duì)應(yīng)關(guān)系的倒排索引和解析樹索引，包括：
4.根據(jù)權(quán)利要求2所述的方法，其中，根據(jù)所述索引將所述待壓縮日志與所述結(jié)構(gòu)化模板集合中的結(jié)構(gòu)化模板進(jìn)行模板匹配，得到匹配結(jié)果，包括：
5.根據(jù)權(quán)利要求4所述的方法，其中，根據(jù)所述匹配結(jié)果對(duì)所述待壓縮日志進(jìn)行壓縮，得到壓縮結(jié)果，包括：
6.根據(jù)權(quán)利要求5所述的方法，其中，根據(jù)通過可能性評(píng)估的目標(biāo)匹配模板id對(duì)所述待壓縮日志進(jìn)行壓縮，得到所述壓縮結(jié)果，包括：
7.根據(jù)權(quán)利要求6所述的方法，其中，基于所述目標(biāo)結(jié)構(gòu)化模板對(duì)所述待壓縮日志進(jìn)行壓縮，得到所述壓縮結(jié)果，包括：
8.根據(jù)權(quán)利要求2所述的方法，其中，所述倒排索引通過哈希表的樣式表征。
9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，根據(jù)所述索引將所述待壓縮日志與所述結(jié)構(gòu)化模板集合中的結(jié)構(gòu)化模板進(jìn)行模板匹配，包括：
10.根據(jù)權(quán)利要求9所述的方法，其中，對(duì)所述待壓縮日志進(jìn)行詞匯提取處理，得到與所述待壓縮日志對(duì)應(yīng)的詞匯字典，包括：
11.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，所述壓縮結(jié)果是利用gpu的并行處理數(shù)據(jù)能力得到的；所述并行處理數(shù)據(jù)能力包括以warp級(jí)別的線程組織結(jié)構(gòu)的并行能力。
12.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，根據(jù)所述索引將所述待壓縮日志與所述結(jié)構(gòu)化模板集合中的結(jié)構(gòu)化模板進(jìn)行模板匹配，包括：
13.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，對(duì)所述待壓縮日志進(jìn)行解析，得到與所述待壓縮日志對(duì)應(yīng)的結(jié)構(gòu)化模板集合和索引，包括：
14.一種日志壓縮系統(tǒng)，所述系統(tǒng)包括cpu和gpu，其中