專利名稱：一種視頻數(shù)據(jù)還原的插幀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理領(lǐng)域，尤其涉及一種視頻數(shù)據(jù)還原的插幀方法。
背景技術(shù)：
在網(wǎng)絡(luò)視頻傳輸系統(tǒng)中，視頻都是先經(jīng)過(guò)壓縮，通過(guò)網(wǎng)絡(luò)傳輸?shù)浇邮辗剑儆山邮辗浇獯a顯示。但是在很多實(shí)際應(yīng)用的場(chǎng)合，由于受網(wǎng)絡(luò)帶寬的限制，現(xiàn)有的視頻編解碼算法無(wú)法滿足人們對(duì)視頻流暢顯示的需求。顯示設(shè)備顯示圖像的質(zhì)量在很大程度上取決于掃描模式和圖像的刷新率，傳統(tǒng)的顯示設(shè)備的掃描模式是隔行掃描，其圖像的刷新率一般為60場(chǎng)/秒。在被顯示圖像從前幀切換到下一幀之前，雖然在同一幀中圖像被連續(xù)顯示，但人眼預(yù)期圖像在下一幀的圖像的顯示，是在前幀圖像上的運(yùn)動(dòng)物體的運(yùn)動(dòng)方向上移動(dòng)的同時(shí)觀看該圖像。換句話說(shuō)，由于眼睛的跟隨運(yùn)動(dòng)是連續(xù)的，且進(jìn)行的取樣比幀間隔更精確，因此人眼觀看兩相鄰幀之間的圖像，看到的是模糊的圖像。為了解決這一問(wèn)題，只能使顯示的幀間隔更短，這樣，可能改善具有少數(shù)目顯示幀的運(yùn)動(dòng)畫(huà)面中都不自然的運(yùn)動(dòng)。插幀方法是在不改變?cè)写a流的情況下，在解碼出來(lái)的每?jī)蓭g插出一幀，使顯示的視頻幀率比原來(lái)提高了將近1倍，有效的改善了視頻流暢性問(wèn)題。插幀算法是基于物體的運(yùn)動(dòng)是平滑連續(xù)的，這個(gè)假設(shè)對(duì)于大多數(shù)視頻序列都是適用的。插幀算法的總體思路如圖1所示。設(shè)當(dāng)前幀的運(yùn)動(dòng)向量為(mVlx，mVly)，插出幀的運(yùn)動(dòng)向量為(mvx = mvlx/2, mvy = mvly/2)。插出幀每個(gè)象素值的計(jì)算公式為F (x，y) = [Flri (x+mvx, y+mvy) +Fn (x-mvx, y-mvy) ] /2 ο其中Flri (χ, y)表示前一幀(x, y)位置的象素值，F(xiàn)n(x，y)表示當(dāng)前幀(x, y)位置的象素值。在實(shí)際應(yīng)用中，根據(jù)上述方法生成的插幀效果并不理想。這主要是由于以下幾個(gè)因素的影響(1)視頻編解碼算法中有I幀和I宏塊，I幀和I宏塊的運(yùn)動(dòng)向量為0，這些運(yùn)動(dòng)向量對(duì)插幀沒(méi)有參考意義。(2) 一幀圖像中雖然大部分物體運(yùn)動(dòng)是連續(xù)的，可能有小部分是不連續(xù)的，這樣插幀的局部效果會(huì)比較差。(3)實(shí)際情況中由于光線變化和攝像機(jī)采集的影響，編碼信息中的一些運(yùn)動(dòng)向量并不是物體的真實(shí)運(yùn)動(dòng)，這些運(yùn)動(dòng)向量不能用來(lái)作為插幀的參考運(yùn)動(dòng)向量。(4)在場(chǎng)景變換和前后兩幀物體運(yùn)動(dòng)變化很大的情況下，插幀的馬賽克現(xiàn)象比較嚴(yán)重?，F(xiàn)有的插幀實(shí)現(xiàn)方法大部分都是針對(duì)特定的編解碼算法，而且復(fù)雜度高，插幀效果也是針對(duì)測(cè)試序列而言，在實(shí)際應(yīng)用中效果并不理想。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷和不足，提供一種對(duì)視頻壓縮圖像進(jìn)行解壓縮的方法，該方法設(shè)計(jì)簡(jiǎn)單，使視頻流顯示的幀數(shù)更加流暢，提高了視頻質(zhì)量。為達(dá)到上述目的，本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的一種視頻數(shù)據(jù)還原的插幀方法，包括如下步驟Sl 將解壓后的相鄰兩幀圖像分別分解為至少包括兩個(gè)像素塊的區(qū)域；S2 判斷第一幀圖像與第二幀圖像相對(duì)應(yīng)像素塊的相關(guān)性；S3 根據(jù)兩幀圖像對(duì)應(yīng)像素塊的相關(guān)性，在相鄰兩幀圖像間插入內(nèi)插幀；S4:顯示內(nèi)插幀。進(jìn)一步的，所述像素塊區(qū)域包括靜止像素區(qū)域、運(yùn)動(dòng)很慢的區(qū)域和快速運(yùn)動(dòng)像素區(qū)域。進(jìn)一步的，所述內(nèi)插幀至少包括兩個(gè)像素塊區(qū)域。進(jìn)一步的，判斷像素塊的運(yùn)動(dòng)矢量相關(guān)性。進(jìn)一步的，根據(jù)像素塊的運(yùn)動(dòng)矢量相關(guān)性生成內(nèi)插幀像素塊。進(jìn)一步的，所述內(nèi)插幀采用OBMC方法來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償產(chǎn)生。進(jìn)一步的，所述步驟Sl中的像素塊可以根據(jù)圖像的特征進(jìn)行區(qū)域大小調(diào)整。本發(fā)明公開(kāi)一種一種對(duì)視頻壓縮圖像進(jìn)行解壓縮的方法，該方法設(shè)計(jì)簡(jiǎn)單，使視頻流顯示的幀數(shù)更加流暢，提高了視頻質(zhì)量，具有廣泛的適用性。


下面根據(jù)附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。圖1為現(xiàn)有技術(shù)中插幀實(shí)現(xiàn)方法；圖2為本發(fā)明視頻數(shù)據(jù)還原的插幀方法的流程圖；圖3為OBMC圖示。圖4為OBMC算法像素塊中的小塊示意圖。
具體實(shí)施例方式圖1為現(xiàn)有技術(shù)中內(nèi)插幀實(shí)現(xiàn)的方法，內(nèi)插幀是通過(guò)幀間預(yù)測(cè)根據(jù)運(yùn)動(dòng)的慣性計(jì)算得到的。采用預(yù)測(cè)編碼的方法消除序列圖像在時(shí)間上的相關(guān)性，即不直接傳送當(dāng)前幀的像素值，而是傳送幀和其前一幀或后一幀的對(duì)應(yīng)像素之間的差值，這稱為幀間預(yù)測(cè)。幀間預(yù)測(cè)編碼是利用視頻圖像幀間的相關(guān)性，即時(shí)間相關(guān)性，來(lái)達(dá)到圖像壓縮的目的。在圖像傳輸技術(shù)中，活動(dòng)圖像特別是電視圖像是關(guān)注的主要對(duì)象?；顒?dòng)圖像是由時(shí)間上以幀周期為間隔的連續(xù)圖像幀組成的時(shí)間圖像序列，它在時(shí)間上比在空間上具有更大的相關(guān)性。大多數(shù)電視圖像相鄰幀間細(xì)節(jié)變化是很小的，即視頻圖像幀間具有很強(qiáng)的相關(guān)性，利用幀所具有的相關(guān)性的特點(diǎn)進(jìn)行幀間編碼，可獲得比幀內(nèi)編碼高得多的壓縮比。對(duì)于靜止圖像或活動(dòng)很慢的圖像，可以少傳一些幀，如隔幀傳輸，未傳輸?shù)膸媒邮斩说膸鎯?chǔ)器中前一幀的數(shù)據(jù)作為該幀數(shù)據(jù)，對(duì)視覺(jué)沒(méi)有什么影響。由于人眼對(duì)圖像中靜止或活動(dòng)慢的部分，要求有較高的空間分辨率，而對(duì)時(shí)間分辨率的要求可低些。
當(dāng)圖像中存在著運(yùn)動(dòng)物體時(shí)，簡(jiǎn)單的預(yù)測(cè)不能收到好的效果，例如在圖2中當(dāng)前幀與前一幀的背景完全一樣，只是圖中像素塊平移了一個(gè)位置，如果簡(jiǎn)單地以第幀像素值作為F幀的預(yù)測(cè)值，則當(dāng)前像素塊與前一幀像素塊的預(yù)測(cè)誤差都不為零。如果已經(jīng)知道了像素塊的方向和速度，可以從像素塊在幀的位置推算出它在F幀中的位置來(lái)，而背景圖像(不考慮被遮擋的部分)仍以前一幀的背景代替，將這種考慮了像素塊位移的而-1幀圖像作為F幀的預(yù)測(cè)值，就比簡(jiǎn)單的預(yù)測(cè)準(zhǔn)確得多，從而可以達(dá)到更高的數(shù)據(jù)壓縮比。這種預(yù)測(cè)方法稱為具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)。本實(shí)施例中提出一種視頻數(shù)據(jù)還原的插幀方法，根據(jù)視頻前后幀之間的相關(guān)性插值出新的一幅視頻圖像。圖2為該方法的流程圖，包括Sl 將解壓后的相鄰兩幀圖像分別分解為至少包括兩個(gè)像素塊的區(qū)域；S2 判斷第一幀圖像與第二幀圖像相對(duì)應(yīng)像素塊的相關(guān)性；S3 根據(jù)兩幀圖像對(duì)應(yīng)像素塊的相關(guān)性，在相鄰兩幀圖像間插入內(nèi)插幀；S4:顯示內(nèi)插幀。圖3為OBMC圖示。從圖3可以看出，內(nèi)插幀像素塊的運(yùn)動(dòng)向量估計(jì)是通過(guò)OBMC (重疊宏塊運(yùn)動(dòng)補(bǔ)償?shù)姆椒?來(lái)計(jì)算得到的，該方法可以有效的防止某一塊運(yùn)動(dòng)量過(guò)大引起的估計(jì)不準(zhǔn)確。圖4為像素塊中的小塊示意圖。一個(gè)宏塊由4個(gè)Block組成，一個(gè)宏塊為16x16象素矩陣，一個(gè)Block為8x8象素矩陣。數(shù)據(jù)編碼以宏塊為單位，運(yùn)動(dòng)預(yù)測(cè)以Block為單位。 I宏塊直接以象素值編碼，不進(jìn)行運(yùn)動(dòng)預(yù)測(cè)。補(bǔ)償塊是通過(guò)前后幀圖像的運(yùn)動(dòng)關(guān)系計(jì)算出中間插幀圖像的一塊。對(duì)所述宏塊的運(yùn)動(dòng)向量進(jìn)行分類取 SAD = Σ blocksize abs [Fn-1 (x+mvx, y+mvy) -Fn (x-mvx, y-mvy)]，其中Σ blocksize表示對(duì)一個(gè)8x8的象素矩陣求和，F(xiàn)n-I (a, b)表示前一幀(a， b)位置的象素值，i^(a，b)表示當(dāng)前幀(a，b)位置的象素值，abs()表示取括號(hào)中數(shù)字的絕對(duì)值；當(dāng)SAD <閾值T (在該方法中T取值切(8x8))時(shí)，運(yùn)動(dòng)向量(mvx，mvy)可以作為插出幀的參考運(yùn)動(dòng)向量。當(dāng)SAD >閾值T時(shí)，取插出幀當(dāng)前Block上方，左方，左上方3個(gè) Block的運(yùn)動(dòng)向量分別計(jì)算SAD值，取其中SAD值最小的運(yùn)動(dòng)向量作為當(dāng)前Block的運(yùn)動(dòng)向量；用OBMC方法生成插出幀的每個(gè)象素每個(gè)補(bǔ)償塊要覆蓋周?chē)?個(gè)Block，區(qū)域A中象素值的計(jì)算公式為
權(quán)利要求
1.一種視頻數(shù)據(jù)還原的插幀方法，其特征在于，包括如下步驟51將解壓后的相鄰兩幀圖像分別分解為至少包括兩個(gè)像素塊的區(qū)域；52判斷第一幀圖像與第二幀圖像相對(duì)應(yīng)像素塊的相關(guān)性；53根據(jù)兩幀圖像對(duì)應(yīng)像素塊的相關(guān)性，在相鄰兩幀圖像間插入內(nèi)插幀；54顯示內(nèi)插幀。
2.根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，所述像素塊區(qū)域包括靜止像素區(qū)域、慢運(yùn)動(dòng)像素區(qū)域和快速運(yùn)動(dòng)像素區(qū)域。
3.根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，所述內(nèi)插幀至少包括兩個(gè)像素塊區(qū)域。
4.根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，判斷步驟S2中像素塊的運(yùn)動(dòng)矢量相關(guān)性。
5.根據(jù)權(quán)利要求4所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，根據(jù)像素塊的運(yùn)動(dòng)矢量相關(guān)性生成內(nèi)插幀像素塊。
6.根據(jù)權(quán)利要求4所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，所述內(nèi)插幀像素塊采用OBMC方法進(jìn)行運(yùn)動(dòng)補(bǔ)償產(chǎn)生。
7.根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)還原的插幀方法，其特征在于，所述步驟Sl中的像素塊可以根據(jù)圖像的特征進(jìn)行區(qū)域大小調(diào)整。
全文摘要
本發(fā)明公開(kāi)一種視頻數(shù)據(jù)還原的插幀方法，根據(jù)視頻前后幀之間的相關(guān)性插值出新的一幅視頻圖像，首先將解壓后的相鄰兩幀圖像分別分解為至少包括兩個(gè)像素塊的區(qū)域；判斷第一幀圖像與第二幀圖像相對(duì)應(yīng)像素塊的相關(guān)性；根據(jù)兩幀圖像對(duì)應(yīng)像素塊的相關(guān)性，在相鄰兩幀圖像間插入內(nèi)插幀；顯示內(nèi)插幀。該方法設(shè)計(jì)簡(jiǎn)單，使視頻流顯示的幀數(shù)更加流暢，提高了視頻質(zhì)量，具有廣泛的適用性。
文檔編號(hào)H04N7/26GK102378010SQ20111036126
公開(kāi)日2012年3月14日 申請(qǐng)日期2011年11月15日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者王芳 申請(qǐng)人:無(wú)錫港灣網(wǎng)絡(luò)科技有限公司