本公開的實施例總體上涉及視頻處理技術,并且更具體地,涉及針對視頻編解碼的加權參數(shù)的自適應推導。
背景技術:
1、如今,數(shù)字視頻能力正被應用于人們生活的各個方面。已經(jīng)針對視頻編碼/解碼提出了多種類型的視頻壓縮技術,諸如mpeg-2、mpeg-4、itu-t?h.263、itu-th.264/mpeg-4第10部分高級視頻編解碼(avc)、itu-t?h.265高效視頻編解碼(hevc)標準、多功能視頻編解碼(vvc)標準。然而,視頻編解碼技術的編解碼效率通常被期望進一步提高。
技術實現(xiàn)思路
1、本公開的實施例提供了一種用于視頻處理的解決方案。
2、在第一方面,提出了一種用于視頻處理的方法。該方法包括:根據(jù)視頻的視頻單元利用目標編解碼工具被編解碼的確定,針對視頻的視頻單元與視頻單元的比特流之間的轉(zhuǎn)換,使用多個預測方法或預測方法的多個預測模式來生成視頻單元的預測或重建;推導針對利用目標編解碼工具被編解碼的視頻單元的一組加權參數(shù);以及基于一組加權參數(shù)和視頻單元的預測或重建來執(zhí)行轉(zhuǎn)換。以此方式,其能夠提高編解碼效率和編解碼性能。
3、在第二方面,提出了一種用于視頻處理的裝置。該裝置包括處理器和其上具有指令的非暫態(tài)存儲器。該指令在由處理器執(zhí)行時使處理器執(zhí)行根據(jù)本公開的第一方面的方法。
4、在第三方面,提出了一種非暫態(tài)計算機可讀存儲介質(zhì)。該非暫態(tài)計算機可讀存儲介質(zhì)存儲使處理器執(zhí)行根據(jù)本公開的第一方面的方法的指令。
5、在第四方面,提出了另一種非暫態(tài)計算機可讀記錄介質(zhì)。該非暫態(tài)計算機可讀記錄介質(zhì)存儲視頻的通過由用于視頻處理的裝置執(zhí)行的方法生成的比特流。該方法包括:根據(jù)視頻的視頻單元利用目標編解碼工具被編解碼的確定,使用預測方法或預測方法的多個預測模式來生成視頻單元的預測或重建;推導針對利用目標編解碼工具被編解碼的視頻單元的一組加權參數(shù);以及基于一組加權參數(shù)和視頻單元的預測或重建來生成比特流。
6、在第五方面,提出了一種用于存儲視頻的比特流的方法。該方法包括:根據(jù)視頻的視頻單元利用目標編解碼工具被編解碼的確定,使用多個預測方法或預測方法的多個預測模式來生成視頻單元的預測或重建;推導針對利用目標編解碼工具被編解碼的視頻單元的一組加權參數(shù);基于一組加權參數(shù)和視頻單元的預測或重建來生成比特流;以及將比特流存儲在非暫態(tài)計算機可讀介質(zhì)中。
7、本
技術實現(xiàn)要素:
旨在以簡化的形式介紹下面在具體實施方式中進一步描述的概念選擇。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關鍵特征或必要特征,也不旨在用于限制所要求保護的主題的范圍。
1.一種視頻處理的方法,包括:
2.根據(jù)權利要求1所述的方法,其中所述一組加權參數(shù)使用包括鄰近的經(jīng)重建樣點的模板被推導。
3.根據(jù)權利要求2所述的方法,其中所述鄰近的經(jīng)重建樣點包括以下中的至少一項:相鄰鄰近樣點或非相鄰鄰近樣點。
4.根據(jù)權利要求2所述的方法,其中所述鄰近的經(jīng)重建樣點包括以下中的至少一項:左側(cè)鄰近樣點、左下鄰近樣點、左上鄰近樣點、上方鄰近樣點或右上鄰近樣點。
5.根據(jù)權利要求2所述的方法,其中所述鄰近的經(jīng)重建樣點的數(shù)目是被預先定義的,或者
6.根據(jù)權利要求2所述的方法,其中包括所述鄰近的經(jīng)重建樣點的所述模板的形狀或尺寸是被預先定義的,或者
7.根據(jù)權利要求5或6所述的方法,其中所述編解碼信息包括塊維度或塊尺寸。
8.根據(jù)權利要求2所述的方法,其中所述模板的經(jīng)預測樣點被用于推導所述一組加權參數(shù)。
9.根據(jù)權利要求8所述的方法,其中與所述視頻單元相同的預測方法或預測模式被應用于所述模板以生成所述模板的所述經(jīng)預測樣點。
10.根據(jù)權利要求2所述的方法,其中坐標信息被用于推導所述一組加權參數(shù)。
11.根據(jù)權利要求10所述的方法,其中所述坐標信息包括樣點與預先定義的位置之間的相對位置。
12.根據(jù)權利要求11所述的方法,其中所述預先定義的位置包括所述模板的左上位置。
13.根據(jù)權利要求1所述的方法,其中所述一組加權參數(shù)使用線性方程或非線性方程被推導。
14.根據(jù)權利要求13所述的方法,其中所述線性方程如下:
15.根據(jù)權利要求14所述的方法,其中所述偏置的值等于0,或者
16.根據(jù)權利要求13所述的方法,其中所述線性方程如下:
17.根據(jù)權利要求14-16中任一項所述的方法,其中方法被應用來通過最小化一組訓練樣點上的所述模板的預測信號與所述模板的重建信號之間的差異來推導以下中的至少一項:所述偏置的所述值和所述第i個加權參數(shù)。
18.根據(jù)權利要求17所述的方法,其中最小均方(lms)方法被應用以推導以下中的至少一項:所述第i個加權參數(shù)和所述偏置的所述值。
19.根據(jù)權利要求17所述的方法,其中卷積跨分量模型(cccm)中使用的ldl被應用以推導以下中的至少一項:所述第i個加權參數(shù)和所述偏置的所述值。
20.根據(jù)權利要求17所述的方法,其中高斯消去被應用以推導以下中的至少一項:所述第i個加權參數(shù)和所述偏置的所述值。
21.根據(jù)權利要求17所述的方法,其中所述一組訓練樣點包括所述模板的所有樣點。
22.根據(jù)權利要求17所述的方法,其中所述一組訓練樣點包括所述模板的至少一個樣點。
23.根據(jù)權利要求17所述的方法,其中所述方法是基于神經(jīng)網(wǎng)絡的方法。
24.根據(jù)權利要求1所述的方法,其中一組或多組加權參數(shù)被推導。
25.根據(jù)權利要求24所述的方法,其中所述一組或多組加權參數(shù)使用不同的模板被推導。
26.根據(jù)權利要求24所述的方法,其中哪組所述加權參數(shù)被使用是被預先定義的,或者
27.根據(jù)權利要求24所述的方法,其中哪組所述加權參數(shù)被使用取決于樣點值。
28.根據(jù)權利要求27所述的方法,其中如果所述樣點值大于或不小于閾值,則第一組加權值被使用。
29.根據(jù)權利要求27所述的方法,其中如果所述樣點值小于或不大于閾值,則第二組加權值被使用。
30.根據(jù)權利要求1所述的方法,其中所述目標編解碼工具包括幀間預測。
31.根據(jù)權利要求30所述的方法,其中所述目標編解碼工具包括以下中的至少一項:
32.根據(jù)權利要求1所述的方法,其中所述目標編解碼工具包括以下中的一項:ibc、調(diào)色板或基于塊的增量脈沖編解碼調(diào)制(bdpcm)。
33.根據(jù)權利要求32所述的方法,其中所述目標編解碼工具包括以下中的一項:ibc-ciip、ibc-gpm或ibc-lic。
34.根據(jù)權利要求1所述的方法,其中所述目標編解碼工具包括幀內(nèi)預測。
35.根據(jù)權利要求34所述的方法,其中所述目標編解碼工具包括以下中的一項:
36.根據(jù)權利要求1所述的方法,其中所述目標編解碼工具包括環(huán)路濾波器,或者
37.根據(jù)權利要求1所述的方法,其中所述一組加權參數(shù)被用于替換現(xiàn)有加權參數(shù),或者
38.根據(jù)權利要求37所述的方法,其中所述一組加權參數(shù)被用于以下中的至少一項:dimd、timd、幀內(nèi)預測融合、tmrl、色度融合、bcw、雙向預測、dmvr、多遍次dmvr、mhp、obmc、基于tm的obmc或ibc-ciip。
39.根據(jù)權利要求1所述的方法,其中編解碼工具的一組或多組參數(shù)被生成。
40.根據(jù)權利要求39所述的方法,其中所述編解碼工具包括以下中的一項:lic、lic的變體、cclm、cclm的變體、多模型cclm(mmlm)、mmlm的變體、cccm或cccm的變體。
41.根據(jù)權利要求39所述的方法,其中所述編解碼工具包括使用以下中的至少一項的編解碼方法:當前模板或所述當前模板的參考,以推導被用于所述視頻單元的所述預測或重建的一組參數(shù)。
42.根據(jù)權利要求1所述的方法,還包括:
43.根據(jù)權利要求42所述的方法,其中模板包括所述視頻單元的鄰近重建樣點。
44.根據(jù)權利要求42所述的方法,其中模板與所述視頻單元相鄰或非相鄰。
45.根據(jù)權利要求42所述的方法,其中模板包括以下中的至少一項:
46.根據(jù)權利要求45所述的方法,其中哪個模板被使用取決于以下中的一項:當前塊的位置、尺寸或形狀。
47.根據(jù)權利要求45所述的方法,其中哪個模板被使用被指示。
48.根據(jù)權利要求45所述的方法,其中哪個模板被使用被隱式地推導。
49.根據(jù)權利要求42所述的方法,其中多于兩個幀間預測信號使用不同的模板被融合。
50.根據(jù)權利要求42所述的方法,其中第一預測信號使用由第一模板細化的運動信息被生成,并且第二預測信號使用由第二模板細化的運動信息被生成,其中所述第一模板與所述第二模板不同。
51.根據(jù)權利要求50所述的方法,其中所述第一模板是左側(cè)模板,并且所述第二模板是上方模板。
52.根據(jù)權利要求42所述的方法,其中是否應用所述多個幀間預測信號的所述融合和/或如何應用所述多個幀間預測信號的所述融合被預先定義,或者
53.根據(jù)權利要求52所述的方法,其中所述比特流中的一個或多個語法指示是否應用所述多個幀間預測信號的所述融合。
54.根據(jù)權利要求52所述的方法,其中是否應用所述多個幀間預測信號的所述融合基于條件被確定。
55.根據(jù)權利要求54所述的方法,其中所述條件取決于編解碼信息。
56.根據(jù)權利要求55所述的方法,其中所述編解碼信息包括以下中的至少一項:
57.根據(jù)權利要求1所述的方法,其中是否應用針對所述視頻單元的所述一組加權參數(shù)的所述推導和/或如何應用針對所述視頻單元的所述一組加權參數(shù)的所述推導取決于編解碼信息。
58.根據(jù)權利要求57所述的方法,其中所述編解碼信息包括以下中的一項:
59.根據(jù)權利要求58所述的方法,其中所述一組加權參數(shù)的所述推導被應用于所有色彩分量。
60.根據(jù)權利要求58所述的方法,其中如果所述一組加權參數(shù)的所述推導被應用于色度分量,則所述推導與針對亮度分量的推導不同。
61.根據(jù)權利要求58所述的方法,其中是否將所述一組加權參數(shù)的所述推導應用于第一分量和/或如何將所述一組加權參數(shù)的所述推導應用于所述第一分量取決于是否將所述一組加權參數(shù)的所述推導應用于第二分量。
62.根據(jù)權利要求61所述的方法,其中所述第一分量是色度分量,并且所述第二分量是亮度分量。
63.根據(jù)權利要求61所述的方法,其中將所述一組加權參數(shù)的所述推導應用于所述第一分量的方式與將所述一組加權參數(shù)的所述推導應用于所述第二分量的方式相同。
64.根據(jù)權利要求61所述的方法,其中將所述一組加權參數(shù)的所述推導應用于所述第一分量的方式與將所述一組加權參數(shù)的所述推導應用于所述第二分量的方式不同。
65.根據(jù)權利要求58所述的方法,其中所述一組加權參數(shù)的所述推導被應用于亮度分量,但不被應用于色度分量。
66.根據(jù)權利要求65所述的方法,其中所述亮度分量是ycbcr色彩空間中的y或紅綠藍(rgb)色彩空間中的綠色(g)。
67.根據(jù)權利要求65所述的方法,其中所述色度分量包括ycbcr色彩空間中的cb和/或cr,或者所述色度分量包括rgb色彩空間中的r和/或b。
68.根據(jù)權利要求1所述的方法,其中所述一組加權參數(shù)的所述推導被用于替換針對編解碼工具的所述加權參數(shù)的當前推導,或者
69.根據(jù)權利要求68所述的方法,其中所述編解碼工具包括以下中的一項:lic、cclm、mmlm、cccm、glm、lic的變體、cclm的變體、mmlm的變體、cccm的變體或glm的變體。
70.根據(jù)權利要求1至69中任一項所述的方法,其中所述視頻單元包括以下中的至少一項:
71.根據(jù)權利要求1至70中任一項所述的方法,其中是否推導所述一組加權參數(shù)和/或如何推導所述一組加權參數(shù)的指示在以下中的一項處被指示:
72.根據(jù)權利要求1至70中任一項所述的方法,其中是否推導所述一組加權參數(shù)和/或如何推導所述一組加權參數(shù)的指示在以下中的一項中被指示:
73.根據(jù)權利要求1至70中任一項所述的方法,還包括:
74.根據(jù)權利要求1至73中任一項所述的方法,其中所述se被二值化為以下中的一項:標志、固定長度碼、eg(x)碼、一元碼、舍位一元碼或舍位二元碼。
75.根據(jù)權利要求74所述的方法,其中所述se是有符號的或無符號的。
76.根據(jù)權利要求1至75中任一項所述的方法,其中所述se利用至少一個上下文模型被編解碼,或者
77.根據(jù)權利要求1至75中任一項所述的方法,其中所述se以有條件的方式通過信號被傳輸。
78.根據(jù)權利要求77所述的方法,其中只有在相對應的函數(shù)適用時,所述se通過信號被傳輸,或者
79.根據(jù)權利要求1至78中任一項所述的方法,其中所述se在以下中的一項處被指示:
80.根據(jù)權利要求1至78中任一項所述的方法,其中所述se在以下中的一項處被指示:
81.根據(jù)權利要求1至80中任一項所述的方法,其中所述一組加權參數(shù)的所述推導與另一編解碼工具組合,或者
82.根據(jù)權利要求81所述的方法,其中所述另一編解碼工具包括以下中的至少一項:仿射、多變換選擇(mts)、低頻不可分變換(lfnst)、mmvd、mip、isp、cclm、cccm、對稱運動矢量差(smvd)、bdof、dmvr、基于歷史的運動矢量預測(hmvp)、模板匹配、ibc或調(diào)色板。
83.根據(jù)權利要求81所述的方法,其中如果所述一組加權參數(shù)的所述推導被應用,則所述不包括的編解碼工具在沒有信令的情況下隱式地被禁用。
84.根據(jù)權利要求81所述的方法,其中如果所述不包括的編解碼工具被使用,則所述一組加權參數(shù)的所述推導在沒有信令的情況下隱式地被禁用。
85.根據(jù)權利要求1至84中任一項所述的方法,其中所述轉(zhuǎn)換包括將所述視頻單元編碼到所述比特流中。
86.根據(jù)權利要求1至84中任一項所述的方法,其中所述轉(zhuǎn)換包括從所述比特流解碼所述視頻單元。
87.一種用于視頻處理的裝置,包括處理器和其上具有指令的非暫態(tài)存儲器,其中所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)權利要求1至86中任一項所述的方法。
88.一種非暫態(tài)計算機可讀存儲介質(zhì),存儲使處理器執(zhí)行根據(jù)權利要求1至86中任一項所述的方法的指令。
89.一種非暫態(tài)計算機可讀記錄介質(zhì),存儲視頻的通過由用于視頻處理的裝置執(zhí)行的方法生成的比特流,其中所述方法包括:
90.一種用于存儲視頻的比特流的方法,包括: