專利名稱：用于改善的包損失彈性的h.26l的靈活數(shù)據(jù)分割和打包的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及數(shù)據(jù)打包，更具體地涉及一種分割和打包方案，用于編碼視頻的傳輸、數(shù)據(jù)分割語法的改進(jìn)、和相應(yīng)的網(wǎng)絡(luò)適配層(NAL)打包處理，使得能夠在H.26L協(xié)議環(huán)境中靈活地進(jìn)行數(shù)據(jù)分割。
具有每秒幾兆比特至每秒幾十兆比特的高帶寬能力的WLAN技術(shù)的出現(xiàn)，允許通過這種網(wǎng)絡(luò)的高質(zhì)量視頻流。最近，802.11b成為流行的同時用于商務(wù)和家庭的基于標(biāo)準(zhǔn)的無線以太網(wǎng)組網(wǎng)技術(shù)。6Mbps的有效載荷吞吐量，對于多數(shù)網(wǎng)絡(luò)應(yīng)用(包括編碼視頻廣播)已足夠快。
但是，對于傳輸高質(zhì)量無線視頻信號存在許多挑戰(zhàn)，主要?dú)w因于與帶寬約束和高錯誤率有關(guān)的限制。因?yàn)闊o線網(wǎng)絡(luò)極易受在相同頻帶工作的其它設(shè)備的干擾，因此經(jīng)常發(fā)生包錯誤或丟失。在802.11b無線LAN環(huán)境中尤其如此，其中利用了被微波、無繩電話和/或其他802.11b網(wǎng)絡(luò)共享的2.4GHz ISM頻帶。對于經(jīng)802.11b網(wǎng)絡(luò)傳輸視頻的另一個挑戰(zhàn)是802.11b媒體訪問(MAC)層要求丟棄所接收的帶有比特錯誤的包，因而限制了在接收機(jī)處校正錯誤的可能性。
但是MAC層和應(yīng)用層能夠向某些包提供不相等的錯誤保護(hù)(UEP)來保證它們準(zhǔn)時到達(dá)。例如，即使在降低信道吞吐量50％的共信道干擾下，至少50％的包能夠幾乎不丟失地被傳送。可擴(kuò)展或分層編碼和具有UEP的傳輸?shù)慕M合能夠保證即使在信道干擾下也能通過視頻的主要部分，而僅在信道具有足夠吞吐量時通過次要部分。為了獲得由數(shù)據(jù)分割和UEP提供的最大利益，如果丟失增強(qiáng)層包，則對于最佳視頻質(zhì)量來說，約50％基本比50％增強(qiáng)的分割比可能是所希望的。過低的分割比會導(dǎo)致底層網(wǎng)絡(luò)的UEP能力利用不足。
最近，H.26L標(biāo)準(zhǔn)被用來實(shí)現(xiàn)增強(qiáng)的壓縮性能，同時提供用于“對話”(視頻電話)和“非對話”(存儲、廣播或流動)應(yīng)用的“網(wǎng)絡(luò)友好”的視頻表示。H.26L標(biāo)準(zhǔn)包括視頻編碼層(VCL)(提供視頻圖像內(nèi)容的核心高壓縮表示)和網(wǎng)絡(luò)適配層(NAL)(為經(jīng)特定類型網(wǎng)絡(luò)的傳送打包該表示)。
不幸地是，目前的H.26L視頻編碼層(VCL)中的數(shù)據(jù)分割語法對分割比的選擇提供極小的靈活性。固定的分割不適于由不同網(wǎng)絡(luò)(例如802.11a和802.11b)提供的不同的不相等的錯誤保護(hù)能力。固定的分割也不允許基本層視頻質(zhì)量的速率失真最優(yōu)化。
目前的H.26L(或聯(lián)合視頻組或JVT或MPEG-4視頻部分10)規(guī)定了字節(jié)流(視頻基本流)中的數(shù)據(jù)分割語義，允許三個固定的分段類型分段A，包含編碼宏塊的報(bào)頭符號；分段B，包含幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)；和分段C，包含幀間編碼塊的編碼塊模式和DCT數(shù)據(jù)。H.26L還規(guī)定了網(wǎng)絡(luò)適配層(NAL)中的打包處理，即將三個分段打包到三個包中。三個包具有不同的傳輸(例如RTP或?qū)崟r傳輸協(xié)議)有效載荷類型，它們將通知應(yīng)用層或底層網(wǎng)絡(luò)傳輸層以提供有區(qū)別的業(yè)務(wù)或不相等的錯誤保護(hù)。在接收機(jī)側(cè)，包含不同分段的包被解包和并入單個比特流(具有多個分段)來解碼。雖然該系統(tǒng)提供防止包丟失的某種級別的彈性(resilience)，但是它具有幾個缺點(diǎn)。
第一，固定分割和NAL打包處理不允許分割操作的任何速率失真最優(yōu)化。與其中分割點(diǎn)和相應(yīng)的基本對增強(qiáng)層包邊界能夠根據(jù)畫面特性被適配地改變的靈活數(shù)據(jù)分割相比，這會造成較低的視頻質(zhì)量(在增強(qiáng)層數(shù)據(jù)丟失時)。
第二，固定分割和打包將基本和增強(qiáng)層的比限制在由報(bào)頭和運(yùn)動矢量信息對DCT數(shù)據(jù)的量所確定的小范圍中。因?yàn)镠.26L標(biāo)準(zhǔn)是為多種應(yīng)用設(shè)計(jì)的(例如家庭影院和視頻流動)，應(yīng)用或底層網(wǎng)絡(luò)將具有不同的不相等的錯誤保護(hù)的能力?；竞驮鰪?qiáng)層分割的固定比將不允許其中不相等的錯誤保護(hù)可用的整個系統(tǒng)性能的最優(yōu)化。
因此，需要進(jìn)行改善，以便在H.26L環(huán)境中提供更大的數(shù)據(jù)分割靈活性，這對于支持經(jīng)不同包丟失網(wǎng)絡(luò)的視頻通信應(yīng)用是不可或缺的。
本發(fā)明致力于解決上述及其它問題，這是通過提供對VCL數(shù)據(jù)分割語義和相應(yīng)的NAL打包處理的更改，使得能夠進(jìn)行靈活的數(shù)據(jù)分割。在第一方面，本發(fā)明提供一種H.26L編碼系統(tǒng)，包括視頻編碼層(VCL)，具有分割視頻數(shù)據(jù)的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT系數(shù)；和網(wǎng)絡(luò)適配層(NAL)，將數(shù)據(jù)打包到第一和第二包中，其中在由VCL實(shí)施第二分割模式時，第一包被配置為包含低頻DCT系數(shù)，第二包被配置為包含高頻DCT系數(shù)。
在第二方面，本發(fā)明提供一種在H.26L環(huán)境中分割和打包視頻數(shù)據(jù)的方法，包括提供視頻編碼層(VCL)，它具有分割視頻數(shù)據(jù)的第一分割模式和第二分割模式；在選擇第一分割模式時，將視頻數(shù)據(jù)分割為三個分段(A，B和C)；在選擇第二分割模式時，將視頻數(shù)據(jù)分割為第一分段(包含報(bào)頭信息和低頻DCT數(shù)據(jù))和第二分段(高頻DCT數(shù)據(jù))。
在第三方面，本發(fā)明提供一種存儲在可記錄介質(zhì)上的、用于在H.26L環(huán)境中打包和分割視頻數(shù)據(jù)的程序產(chǎn)品，包括視頻編碼層(VCL)，它具有分割視頻數(shù)據(jù)的第一分割模式和第二分割模式；用于在選擇第一分割模式時將視頻數(shù)據(jù)分割為三個分段(A，B和C)的裝置；和用于在選擇第二分割模式時將視頻數(shù)據(jù)分割為第一分段(包含報(bào)頭信息和低頻DCT數(shù)據(jù))和第二分段(高頻DCT數(shù)據(jù))的裝置。
在第四方面，發(fā)明提供一種在H.26L環(huán)境中解碼視頻數(shù)據(jù)的解碼系統(tǒng)，其中視頻數(shù)據(jù)以兩種方案之一被打包，包括第一方案，其中報(bào)頭數(shù)據(jù)被打包為第一包類型，幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)被打包為第二包類型，而幀間編碼塊的編碼塊模式和DCT數(shù)據(jù)被打包為第三包類型；第二方案，其中報(bào)頭數(shù)據(jù)和低頻DCT系數(shù)被打包為第一包類型，而高頻DCT系數(shù)被打包為第二包類型；并且其中解碼系統(tǒng)包括解包系統(tǒng)，用于確定所使用的是第一和第二方案中的哪一個并從包中解包視頻數(shù)據(jù)；和解碼器，用于解碼視頻數(shù)據(jù)。
本發(fā)明的這些和其它特征從以下結(jié)合附圖的對本發(fā)明各方面的詳細(xì)說明將更易于理解，其中

圖1示出了按照本發(fā)明一個實(shí)施例的H.26L視頻傳輸系統(tǒng)。
圖2示出了按照本發(fā)明一個實(shí)施例的打包邊界指示(PBI)字段。
參見圖1，其中示出了用于在H.26L編碼系統(tǒng)10和H.26L解碼系統(tǒng)18之間傳輸字節(jié)流的視頻傳輸網(wǎng)絡(luò)。H.26L編碼系統(tǒng)10包括視頻編碼層(VCL)12和網(wǎng)絡(luò)適配層(NAL)16。如本領(lǐng)域公知的，VCL12包括有效表示視頻數(shù)據(jù)內(nèi)容的唯一語義，而NAL16被定義成格式化該數(shù)據(jù)并以適于由高層系統(tǒng)傳送的方式提供報(bào)頭信息。所述數(shù)據(jù)被組織為數(shù)據(jù)包，其中每個包含整數(shù)個字節(jié)。這些數(shù)據(jù)包然后以由NAL16定義的方式被傳輸。
數(shù)據(jù)分割以這樣一種方式重新安排符號屬于單個片段的一個數(shù)據(jù)類型(例如DC系數(shù)、宏塊報(bào)頭、運(yùn)動矢量)的所有符號被收集在一個開始時字節(jié)對齊的VLC編碼比特流中。通過從正確的分段取回符號，解碼系統(tǒng)18能夠處理這樣被分割的數(shù)據(jù)流。
按照本發(fā)明，VCL12包括數(shù)據(jù)分割系統(tǒng)14，它能夠根據(jù)兩個模式(即模式一(M1)和模式二(M2))之一進(jìn)行分割。包括報(bào)頭對DCT數(shù)據(jù)的模式一，由現(xiàn)有的H.26L規(guī)范在語義上定義，其中VCL中有如下八個語義單元類型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y6- TYPE_COEFF_C7- TYPE_EOS因?yàn)榉指钅Ｊ揭粚ΜF(xiàn)有H.26L規(guī)范保持不變，所以保持向后兼容。加入提供DCT分割的模式二來提供增強(qiáng)的分割靈活性。如以下討論的，NAL打包方案按照在字節(jié)流中所使用的分割模式變化。
在分割模式二(即DCT分割)中，TYPE_COEFF_Y和TYPE_COEFF_C的每個進(jìn)一步被劃分為表示高頻和低頻DCT系數(shù)的兩個新的分段。即，TYPE_COEFF_Y已被分為TYPE_COEFF_Y_L和TYPE_COEFF_Y_H；而TYPE_COEFF_C已被分為TYPE_COEFF_C_L和TYPE_COEFF_C_H。應(yīng)當(dāng)理解，對于這些新類型的命名習(xí)慣的選擇可以在不偏離本發(fā)明范圍的情況下進(jìn)行改變。因此，對于模式二，數(shù)據(jù)分割系統(tǒng)提供如下10個語義單元類型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y_L
6- TYPE_COEFF_C_L7- TYPE_COEFF_Y_H8- TYPE_COEFF_C_H9- TYPE_EOS此外，新字段打包邊界指示(PBI)已被添加入TYPE_HEADER的末尾。示例性的PBI字段結(jié)構(gòu)在圖2中示出。如所示，PBI字段進(jìn)一步被劃分為三個子字段。第一子字段是打包斷點(diǎn)(PBP)(2比特)，指示哪個分段打包應(yīng)當(dāng)斷開。即通過改變PBI，用戶能夠選擇哪個包應(yīng)當(dāng)包括TYPE_CBP和TYPE_2x2DC。第二子字段是分段類型(PT)(1比特)，被設(shè)置為0，1被保留。第三子字段是DCT斷點(diǎn)(DBP)(5比特)，指示TYPE_COEFF_X_H(X是Y或C)中的第一DCT游程VCL對的索引的開始。因此，預(yù)先選定的PBI標(biāo)識高頻和低頻DCT系數(shù)TYPE_COEFF_X_L和TYPE_COEFF_X_H之間的邊界。顯然，也能夠?qū)嵤﹫D2所示以外的PBI結(jié)構(gòu)來實(shí)現(xiàn)同樣的功能，這樣的其它結(jié)構(gòu)落在該如上所指出的，NAL打包處理產(chǎn)生兩個包，其中每個包包括幾個不同類型的分割數(shù)據(jù)。按照本發(fā)明，根據(jù)VCL12實(shí)施的是哪個模式來選擇打包方案。因此，例如分割模式一導(dǎo)致打包方案一被實(shí)施，而分割模式二導(dǎo)致打包方案二被實(shí)施。NAL16能夠根據(jù)TYPE_HEADER分段是否以PBI字段結(jié)束來確定使用哪個方案。
如果不包括PBI字段，則使用打包方案一(P1)，它反映在當(dāng)前H.26L規(guī)范中使用的方案。如所預(yù)期的，所有報(bào)頭和運(yùn)動矢量信息被包含在包一中，所有幀內(nèi)編碼塊模式和DCT數(shù)據(jù)信息被包含在包二中，而所有幀間編碼塊模式(CBP)和DCT信息被包含在包三中。
但是如果TYPE_HEADER分段以PBI字段結(jié)束，則打包在方案二(P2)下操作。此時，最終所得包的內(nèi)容將取決于PBI字段中的值。以下是PBP值為2和PT值為0的例子。
包一TYPE_HEADER(帶有PBI字段)TYPE_MBHEADERTYPE_MVDTYPE_CBP
TYPE_2x2DCTYPE_COEFF_Y_LTYPE_COEFF_C_L包二TYPE_COEFF_Y_HTYPE_COEFF_C_HTYPE_EOS在該方案二示例中，低頻DCT系數(shù)被打包在包一中，而高頻DCT系數(shù)被打包在包二中。因此，實(shí)現(xiàn)了靈活的打包。顯然，改變PBI字段中的PBP值將改變方案二下的包的內(nèi)容。因此，應(yīng)當(dāng)認(rèn)識到，在方案二下能夠?qū)崿F(xiàn)不同的變型。
在圖1中還示出了H.26L解碼系統(tǒng)18，包括解包系統(tǒng)20和解碼器22。在解碼之前，包被解包為8(打包方案一)或10(打包方案二)個分段來解碼。解碼器22從取決于實(shí)施哪個方案(方案一(S1)或方案二(S2))的正確的分段取回?cái)?shù)據(jù)。
可以理解，在此所述的系統(tǒng)、功能、機(jī)制、方法、算法和模塊能夠在硬件、軟件或硬件和軟件的組合中實(shí)現(xiàn)。它們可以由任何類型的計(jì)算機(jī)系統(tǒng)或其它適于執(zhí)行在此所述的方法的設(shè)備實(shí)施。硬件和軟件的典型組合可以是帶有計(jì)算機(jī)程序的通用計(jì)算機(jī)系統(tǒng)，在裝載和執(zhí)行時，所述計(jì)算機(jī)程序控制計(jì)算機(jī)系統(tǒng)從而執(zhí)行在此所述的方法。替換地，可以使用專用計(jì)算機(jī)，它包含執(zhí)行本發(fā)明的一個或更多功能任務(wù)的專用硬件。本發(fā)明還能夠被嵌入計(jì)算機(jī)程序產(chǎn)品中，它包括所有允許實(shí)施在此所述的方法和功能的特征，并且在裝載到計(jì)算機(jī)系統(tǒng)時，所述計(jì)算機(jī)程序產(chǎn)品能夠執(zhí)行這些方法和功能。計(jì)算機(jī)程序、軟件程序、程序、程序產(chǎn)品或軟件在本文中是指用于使具有信息處理能力的系統(tǒng)直接或在以下任一或兩者之后執(zhí)行特定功能的一組指令的以任何語言、代碼或符號的任何表達(dá)(a)轉(zhuǎn)換為另一種語言、代碼或符號；和/或(b)以不同實(shí)體形式再現(xiàn)。
已經(jīng)為了示例和說明的目的提出了前面的對本發(fā)明優(yōu)選實(shí)施例的描述。它們不是用于窮舉或?qū)l(fā)明限制為所公開的精確形式，顯然，能夠根據(jù)以上教導(dǎo)進(jìn)行許多更改和變化。這種對本領(lǐng)域技術(shù)人員顯而易見的更改和變化包括在如所附權(quán)利要求書所限定的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種H.26L編碼系統(tǒng)[10]，包括視頻編碼層(VCL)[12]，具有用于分割視頻數(shù)據(jù)的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT系數(shù)；和網(wǎng)絡(luò)適配層(NAL)[16]，用于將數(shù)據(jù)打包到第一和第二包中，其中在由VCL[12]實(shí)施第二分割模式時，第一包被配置為包含低頻DCT系數(shù)，第二包被配置為包含高頻DCT系數(shù)。
2.按照權(quán)利要求1的H.26L編碼系統(tǒng)[10]，其中第一分割模式包括第一分段，包含編碼宏塊的報(bào)頭符號；第二分段，包含幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)；和第三分段，包含幀間編碼塊的編碼塊模式和DCT數(shù)據(jù)。
3.按照權(quán)利要求2的H.26L編碼系統(tǒng)[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS，并將TYPE_COEFF_Y和TYPE_COEFF_C的每一個劃分為高頻類型和低頻類型。
4.按照權(quán)利要求2的H.26L編碼系統(tǒng)[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS、TYPE_COEFF_Y_L、TYPE_COEFF_C_L、TYPE_COEFF_Y_H和TYPE_COEFF_C_H。
5.按照權(quán)利要求4的H.26L編碼系統(tǒng)[10]，其中在使用第一分割模式時，NAL[16]將TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包為第一包，將TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包為第二包。
6.按照權(quán)利要求4的H.26L編碼系統(tǒng)[10]，其中在使用第二分割模式時，NAL[16]將TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包為第一包，將TYPE_COEFF_Y_H和TYPE_COEFF_C_H打包為第二包。
7.按照權(quán)利要求4的H.26L編碼系統(tǒng)[10]，其中TYPE_HEADER包括一個具有決定高頻和低頻DCT系數(shù)之間斷點(diǎn)的打包邊界指示的字段，并通知NAL[16]分割高頻和低頻DCT系數(shù)。
8.按照權(quán)利要求7的H.26L編碼系統(tǒng)[10]，其中打包邊界指示進(jìn)一步確定哪個包應(yīng)當(dāng)包括TYPE_CBP、TYPE_2x2DC。
9.一種在H.26L環(huán)境中分割和打包視頻數(shù)據(jù)的方法，包括在選擇第一分割模式時，將報(bào)頭數(shù)據(jù)打包為第一包，將幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)打包為第二包，并將幀間編碼塊的編碼塊模式和DCT數(shù)據(jù)打包為第三包；和在選擇第二分割模式時，將報(bào)頭數(shù)據(jù)和低頻DCT系數(shù)打包為第一包并將高頻DCT系數(shù)打包為第二包。
10.按照權(quán)利要求9的方法，進(jìn)一步包括提供用于分割視頻數(shù)據(jù)的視頻編碼層(VCL)[12]；在使用第一模式時，將TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包為第一包，將TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包為第二包；和在使用第二模式時，將TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包為第一包，將TYPE_CORFF_Y_H和TYPE_COEFF_C_H打包為第二包。
11.按照權(quán)利要求10的方法，進(jìn)一步包括步驟在高頻和低頻DCT系數(shù)之間設(shè)置斷點(diǎn)；和將斷點(diǎn)存儲在TYPE_HEADER中的邊界指示字段中。
12.按照權(quán)利要求11的方法，其中在邊界指示字段被包括在TYPE_HEADER中時，TYPE_COEFF_Y_L和TYPE_COEFF_C_L被打包為第一包，TYPE_COEFF_Y_H和TYPE_COEFF_C_H被打包為第二包。
13.按照權(quán)利要求11的方法，其中邊界指示字段進(jìn)一步確定哪個包應(yīng)當(dāng)包括TYPE_CBP和TYPE_2x2DC。
14.一種存儲在可記錄介質(zhì)上的、用于在H.26L環(huán)境中打包和分割視頻數(shù)據(jù)的程序產(chǎn)品，包括一種裝置，用于在選擇第一分割模式時，將報(bào)頭數(shù)據(jù)打包為第一包，將幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)打包為第二包，以及將幀間編碼塊的編碼塊模式和DCT數(shù)據(jù)打包為第三包；和一種裝置，用于在選擇第二分割模式時，將報(bào)頭數(shù)據(jù)和低頻DCT系數(shù)打包為第一包，而將高頻DCT系數(shù)打包為第二包。
15.一種在H.26L環(huán)境中解碼視頻數(shù)據(jù)的解碼系統(tǒng)[18]，其中視頻數(shù)據(jù)以兩種方案之一被打包，包括第一方案，其中報(bào)頭數(shù)據(jù)被打包為第一包類型，幀內(nèi)編碼塊的編碼塊模式和DCT數(shù)據(jù)被打包為第二包類型，并且?guī)g編碼塊的編碼塊模式和DCT數(shù)據(jù)被打包為第三包類型；第二方案，其中報(bào)頭數(shù)據(jù)和低頻DCT系數(shù)被打包為第一包類型，并且高頻DCT系數(shù)被打包為第二包類型；和其中解碼系統(tǒng)包括解包系統(tǒng)[20]，用于確定所使用的是第一和第二方案中的哪一個并從包中解包視頻數(shù)據(jù)；和解碼器[22]，用于解碼視頻數(shù)據(jù)。
全文摘要
一種在H.26L環(huán)境中分割和打包視頻數(shù)據(jù)的方法和系統(tǒng)。公開了一種H.26L編碼系統(tǒng)10，包括視頻編碼層12(VCL)，具有分割視頻數(shù)據(jù)的第一分割模式和第二分割模式，其中第二分割模式分開地分割低頻和高頻DCT系數(shù)；和網(wǎng)絡(luò)適配層16(NAL)，用于將數(shù)據(jù)打包到第一和第二包中，其中在由VCL實(shí)施第二分割模式時，第一包被配置為包含所有低頻DCT系數(shù)，第二包被配置為包含所有高頻DCT系數(shù)。
文檔編號H04N7/30GK1650637SQ03809722
公開日2005年8月3日 申請日期2003年4月23日 優(yōu)先權(quán)日2002年5月1日
發(fā)明者Y·陳, J·C·葉 申請人:皇家飛利浦電子股份有限公司