本發(fā)明涉及視頻評價領(lǐng)域，尤其涉及基于頻率特征的沉浸式視頻質(zhì)量評價方法及裝置。

背景技術(shù)：

1、隨著虛擬現(xiàn)實、增強現(xiàn)實和全景視頻技術(shù)的發(fā)展，沉浸式視頻已成為影視、游戲、遠(yuǎn)程教育、醫(yī)療和遠(yuǎn)程協(xié)作等多個領(lǐng)域的重要應(yīng)用形式。與傳統(tǒng)的2d視頻相比，沉浸式視頻能夠提供更強的沉浸感和交互體驗，使用戶能夠從多個視角自由探索三維場景，獲得更加真實和動態(tài)的視覺體驗。

2、在沉浸式視頻的采集、編碼、傳輸、渲染和顯示等不同處理階段，不可避免地會受到各種失真因素的影響，例如壓縮偽影、幾何失真、時空不一致、深度信息誤差等，這些失真會顯著降低用戶的觀看體驗。因此，開發(fā)一種有效、準(zhǔn)確的沉浸式視頻質(zhì)量評估方法，以優(yōu)化沉浸式視頻的視覺質(zhì)量，并提高相關(guān)應(yīng)用的性能具有重要的理論研究意義和實際應(yīng)用價值。

技術(shù)實現(xiàn)思路

1、針對以上問題，本發(fā)明提出了基于頻率特征的沉浸式視頻質(zhì)量評價方法及裝置，使用3d-gabor濾波器進(jìn)行局部頻率特征提取，使用三維帶通巴特沃斯濾波器進(jìn)行全局頻率特征提取，利用基于3d-cnn的特征增強模塊進(jìn)行特征增強，采用局部頻率特征和全局頻率特征相融合的策略，有效利用沉浸式視頻中空間紋理和深度信息，能準(zhǔn)確地進(jìn)行沉浸式視頻質(zhì)量評估。

2、第一方面，基于頻率特征的沉浸式視頻質(zhì)量評價方法，具體步驟如下：

3、s1，獲取參考沉浸式視頻和失真沉浸式視頻；所述參考沉浸式視頻包括參考紋理視頻序列和參考深度視頻序列，所述失真沉浸式視頻包括失真紋理視頻序列和失真深度視頻序列；

4、s2，構(gòu)建包括局部頻率特征提取模塊、全局頻率特征提取模塊、特征增強模塊、頻率特征差模塊和質(zhì)量回歸模塊的沉浸式視頻質(zhì)量評價模型；

5、所述局部頻率特征提取模塊包括第一局部頻率特征提取單元和第二局部頻率特征提取單元；所述全局頻率特征提取模塊包括第一全局頻率特征提取單元和第二全局頻率特征提取單元；所述特征增強模塊包括第一特征增強單元、第二特征增強單元、第三特征增強單元和第四特征增強單元；

6、以參考紋理視頻序列和失真紋理視頻序列為第一組輸入；以參考深度視頻序列和失真深度視頻序列為第二組輸入；第一組輸入在第一局部頻率特征提取單元進(jìn)行局部頻率特征提取后，經(jīng)過第一特征增強模塊單元進(jìn)行特征加強并輸出第一組質(zhì)量特征；第一組輸入在第一全局頻率特征提取單元進(jìn)行全局頻率特征提取后，經(jīng)過第二特征增強模塊單元進(jìn)行特征加強并輸出第二組質(zhì)量特征；第二組輸入在第二局部頻率特征提取單元進(jìn)行局部頻率特征提取后，經(jīng)過第三特征增強模塊單元進(jìn)行特征加強并輸出第三組質(zhì)量特征；第二組輸入在第二全局頻率特征提取單元進(jìn)行全局頻率特征提取后，經(jīng)過第四特征增強模塊單元進(jìn)行特征加強并輸出第四組質(zhì)量特征；

7、所述特征差模塊，分別將特征增強模塊的各組輸出的兩個特征進(jìn)行相減，得到四個特征差并進(jìn)行融合，得到融合特征并輸出；

8、所述質(zhì)量回歸模塊，對輸入的融合特征進(jìn)行質(zhì)量回歸得到質(zhì)量分?jǐn)?shù)并輸出；

9、s3，利用參考沉浸式視頻和失真沉浸式視頻對沉浸式視頻質(zhì)量評價模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的沉浸式視頻質(zhì)量評價模型；

10、s4，將待評價的沉浸式視頻輸入訓(xùn)練好的沉浸式視頻質(zhì)量評價模型，得到沉浸式視頻質(zhì)量評分。

11、優(yōu)選的，所述第一局部頻率特征提取單元和第二局部頻率特征提取單元均采用3d-gabor濾波器的奇部分進(jìn)行局部頻率特征提??；所述3d-gabor濾波器的奇部分的計算公式表示為：

12、；

13、其中，表示原坐標(biāo)，和分別表示空間坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)，t表示時間坐標(biāo)；表示旋轉(zhuǎn)后的坐標(biāo)；和分別表示濾波器在空間維度上橫坐標(biāo)和縱坐標(biāo)的中心頻率，表示濾波器在時間維度上的中心頻率；和分別表示空間橫坐標(biāo)和縱坐標(biāo)的標(biāo)準(zhǔn)差，表示時間的標(biāo)準(zhǔn)差，表示3d-gabor濾波器的奇部分對應(yīng)的函數(shù)。

14、優(yōu)選的，所述第一全局頻率特征提取單元和第二全局頻率特征提取單元均采用3d-fft變換進(jìn)行頻域變換得到頻譜圖，對頻譜圖進(jìn)行頻譜中心化和log壓縮處理，再使用三維帶通巴特沃斯濾波器從處理后的頻譜圖中提取全局頻率特征；所述3d-fft變換的計算公式表示為：

15、；

16、其中，表示頻域中的頻率坐標(biāo)，表示水平空間頻率，表示垂直空間頻率，表示時間頻率，、和分別表示頻域相應(yīng)的三個維度、和的長度；表示輸入的沉浸式視頻序列，表示原坐標(biāo)；表示3d-fft變換后的函數(shù)；

17、所述三維帶通巴特沃斯濾波器的公式表示為：

18、；

19、其中，表示三維帶通巴特沃斯濾波器；d表示三維網(wǎng)格的歐式距離，和表示截止頻率，和表示階數(shù)。

20、優(yōu)選的，各特征增強單元采用3d-cnn進(jìn)行特征增強。

21、優(yōu)選的，所述頻率特征差模塊的實現(xiàn)具體如下：

22、將第一組質(zhì)量特征中的參考紋理視頻序列的局部頻率質(zhì)量特征和失真紋理視頻序列的局部頻率質(zhì)量特征進(jìn)行相減操作，如下式所示：

23、；

24、其中，表示參考紋理視頻序列的局部頻率質(zhì)量特征；表示失真紋理視頻序列的局部頻率質(zhì)量特征；表示進(jìn)行相減操作后的紋理視頻序列的局部頻率質(zhì)量特征；表示絕對值；表示原坐標(biāo)，和分別表示空間坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)，t表示時間坐標(biāo)；

25、將第二組質(zhì)量特征中的參考紋理視頻序列的全局頻率質(zhì)量特征和失真紋理視頻序列的全局頻率質(zhì)量特征進(jìn)行相減操作，如下式所示：

26、；

27、其中，表示參考紋理視頻序列的全局頻率質(zhì)量特征；表示失真紋理視頻序列的全局頻率質(zhì)量特征；表示進(jìn)行相減操作后的紋理視頻序列的全局頻率質(zhì)量特征；

28、將第三組質(zhì)量特征中的參考深度視頻序列的局部頻率質(zhì)量特征和失真深度視頻序列的局部頻率質(zhì)量特征進(jìn)行相減操作，如下式所示：

29、；

30、其中，表示參考深度視頻序列的局部頻率質(zhì)量特征；表示失真深度視頻序列的局部頻率質(zhì)量特征；表示進(jìn)行相減操作后的深度視頻序列的局部頻率質(zhì)量特征；

31、將第四組質(zhì)量特征中的參考深度視頻序列的全局頻率質(zhì)量特征和失真深度視頻序列的全局頻率質(zhì)量特征進(jìn)行相減操作，如下式所示：

32、；

33、其中，表示參考深度視頻序列的全局頻率質(zhì)量特征，表示失真深度視頻序列的全局頻率質(zhì)量特征；表示進(jìn)行相減操作后的深度視頻序列的全局頻率質(zhì)量特征；

34、隨后，將相減操作獲得的、、和進(jìn)行特征融合，得到融合特征，如下式所示：

35、；

36、其中，表示特征融合；表示進(jìn)行特征融合操作后的頻率特征。

37、優(yōu)選的，所述質(zhì)量回歸模塊由多層感知機構(gòu)成；質(zhì)量回歸模塊的實現(xiàn)具體如下：

38、輸入的融合特征經(jīng)過多層感知機，得到沉浸式視頻感知質(zhì)量分?jǐn)?shù)；表示為：

39、；

40、其中，表示第個沉浸式視頻序列的質(zhì)量得分，表示第個沉浸式視頻序列的特征融合操作后的頻率特征，=1,2,…,n；n表示待評價的沉浸式視頻序列的數(shù)量；

41、對所有n個沉浸式視頻序列的質(zhì)量得分進(jìn)行平均，得到整個沉浸式視頻的總體得分，表示為：

42、；

43、其中，表示待評價的沉浸式視頻的總體得分。

44、第二方面，基于頻率特征的沉浸式視頻質(zhì)量評價裝置，包括如下：

45、視頻獲取模塊，用于獲取參考沉浸式視頻和失真沉浸式視頻；所述參考沉浸式視頻包括參考紋理視頻序列和參考深度視頻序列，所述失真沉浸式視頻包括失真紋理視頻序列和失真深度視頻序列；

46、視頻質(zhì)量評價模型構(gòu)建模塊，用于構(gòu)建包括局部頻率特征提取模塊、全局頻率特征提取模塊、特征增強模塊、頻率特征差模塊和質(zhì)量回歸模塊的沉浸式視頻質(zhì)量評價模型；

47、所述局部頻率特征提取模塊包括第一局部頻率特征提取單元和第二局部頻率特征提取單元；所述全局頻率特征提取模塊包括第一全局頻率特征提取單元和第二全局頻率特征提取單元；所述特征增強模塊包括第一特征增強單元、第二特征增強單元、第三特征增強單元和第四特征增強單元；

48、以參考紋理視頻序列和失真紋理視頻序列為第一組輸入；以參考深度視頻序列和失真深度視頻序列為第二組輸入；第一組輸入在第一局部頻率特征提取單元進(jìn)行局部頻率特征提取后，經(jīng)過第一特征增強模塊單元進(jìn)行特征加強并輸出第一組質(zhì)量特征；第一組輸入在第一全局頻率特征提取單元進(jìn)行全局頻率特征提取后，經(jīng)過第二特征增強模塊單元進(jìn)行特征加強并輸出第二組質(zhì)量特征；第二組輸入在第二局部頻率特征提取單元進(jìn)行局部頻率特征提取后，經(jīng)過第三特征增強模塊單元進(jìn)行特征加強并輸出第三組質(zhì)量特征；第二組輸入在第二全局頻率特征提取單元進(jìn)行全局頻率特征提取后，經(jīng)過第四特征增強模塊單元進(jìn)行特征加強并輸出第四組質(zhì)量特征；

49、所述特征差模塊，分別將特征增強模塊的各組輸出的兩個特征進(jìn)行相減，得到四個特征差并進(jìn)行融合，得到融合特征并輸出；

50、所述質(zhì)量回歸模塊，對輸入的融合特征進(jìn)行質(zhì)量回歸得到質(zhì)量分?jǐn)?shù)并輸出；

51、模型訓(xùn)練模塊，用于利用參考沉浸式視頻和失真沉浸式視頻對沉浸式視頻質(zhì)量評價模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的沉浸式視頻質(zhì)量評價模型；

52、視頻質(zhì)量評價模塊，用于將待評價的沉浸式視頻輸入訓(xùn)練好的沉浸式視頻質(zhì)量評價模型，得到沉浸式視頻質(zhì)量評分。

53、第三方面，一種電子設(shè)備，包括一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如第一方面中任一實現(xiàn)方式描述的方法。

54、第四方面，一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中任一實現(xiàn)方式描述的方法。

55、第五方面，本發(fā)明提供了一種計算機程序產(chǎn)品，包括計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中任一實現(xiàn)方式描述的方法。

56、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

57、（1）本發(fā)明提出的基于頻率特征的沉浸式視頻質(zhì)量評價方法采用局部頻率特征和全局頻率特征相融合的策略，該策略有效利用沉浸式視頻中空間紋理和深度信息，建模了人眼視覺系統(tǒng)在不同屬性區(qū)域的感知差異，提高客觀質(zhì)量評價與主觀感知的一致性。

58、（2）本發(fā)明提出的基于頻率特征的沉浸式視頻質(zhì)量評價方法中的基于3d-cnn的特征增強模塊，通過三維卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)優(yōu)化處理沉浸式視頻的局部頻率特征和全局頻率特征，對有效頻率特征信息進(jìn)行特征增強，提高視頻分析的精度。