• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き1号特許請求の範囲の減縮 訂正する H04N
管理番号 1303207
審判番号 訂正2015-390052  
総通号数 189 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2015-09-25 
種別 訂正の審決 
審判請求日 2015-06-01 
確定日 2015-07-02 
訂正明細書 有 
事件の表示 特許第5732454号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第5732454号に係る明細書及び特許請求の範囲を本件審判請求書に添付された訂正明細書及び特許請求の範囲のとおり訂正することを認める。 
理由 第1 手続の経緯

本件特許第5732454号の請求項1ないし32に係る発明についての出願(特願2012-519538号)は、2010年7月1日(パリ条約による優先権主張外国庁受理2009年7月6日、米国)を国際出願日とする出願であって、特許請求の範囲の請求項1ないし32に係る発明は、平成27年4月17日にその特許権の設定登録がされ、その後、平成27年6月1日付けで本件審判が請求されたものである。

第2 請求の趣旨

本件審判請求の趣旨は、特許第5732454号の明細書及び特許請求の範囲を本件審判請求書に添付した訂正明細書及び特許請求の範囲のとおり訂正することを認める、との審決を求めるものである。

第3 訂正事項

特許請求の範囲の請求項1ないし12、14ないし16、20ないし22、および25ないし32を削除する。

第4 当審の判断

1 訂正の目的について

上記訂正事項は、訂正前の請求項1ないし12、14ないし16、20ないし22、および25ないし32を削除するものであるから、特許請求の範囲の減縮を目的とするものである。

よって、本件訂正は、特許法第126条第1項ただし書第一号の規定にあげる事項を目的としている。

2 新規事項の有無、特許請求の範囲の拡張・変更について

上記訂正事項は、請求項の削除であるから、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内においてなされたものであり、実質上特許請求の範囲を拡張し、又は変更するものでもない。

よって、本件訂正は、特許法第126条第5項ないし第6項の規定に適合する。

3 独立特許要件について

本件訂正は、請求項を削除する訂正であるから、独立特許要件についての判断を要しない。

第5 むすび

以上、本件審判の請求に係る訂正は、特許法第126条第1項ただし書第一号の規定にあげる事項を目的とし、かつ、同条第5項ないし第6項の規定に適合する。

よって、結論の通り審決する。
 
発明の名称 (54)【発明の名称】
空間変化残差符号化を行う方法および装置
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2009年7月6日出願の米国仮出願第61/223,277号(代理人整理番号第PU090058号)の利益を主張するものである。
【0002】
本発明の原理は、一般に映像の符号化および復号に関し、より詳細には、空間変化残差符号化(Spatially Varying Residue Coding)を行う方法および装置に関する。
【背景技術】
【0003】
ブロックに基づく離散変換は、例えばJoint Photographic Experts Group、International Telecommunication Union、Telecommunication Sector(ITU-T)H.263勧告(以下「H.263勧告」)、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) Moving Picture Experts Group-1(MPEG-1)規格、ISO/IEC MPEG-2規格、ISO/IEC MPEG-4 Part 10 Advanced Video Coding(AVC)規格/ITU-T H.264勧告(以下「MPEG-4 AVC規格」)など、多くの画像およびビデオの圧縮規格の基本的な構成要素であり、幅広い範囲の応用分野で使用されている。
【0004】
離散コサイン変換(DCT)は、最も広く使用されているブロック変換である。DCT方式は、ピクチャを複数のピクセル・ブロック(通常は4×4および8×8)に分割し、DCTを用いて各ブロックを空間領域から周波数領域に変換し、変換係数を量子化することによって、ピクチャの局所的な空間的相関特性を利用する。大抵の画像およびビデオの圧縮規格は、一定の2次元(2D)分離可能DCTブロック変換を使用する。複数のブロック・サイズ(通常は4×4ブロックから16×16ブロック)が許容される場合には、ブロックのサイズに対応するサイズを有するDCTを使用する。ただし、各ブロック・サイズ毎に変換は1つしか存在せず、ブロック内の全てのピクセルが、その変換で処理される。
【0005】
例えばMPEG-4 AVC規格などの画像およびビデオの符号化規格では、各ブロック・サイズ毎に使用するブロック変換の選択肢は1つである。残差(すなわち予測誤差)を符号化する場合には、この符号化は、変換係数を介して実行される。全てのピクセルが変換される。図1を参照すると、MPEG-4 AVC規格のいくつかの変換サイズの全体が、参照番号100で示してある。図示の変換サイズ100では、8×8ブロック110が符号化される。8×8ブロック110は、4×4変換で変換される4つの4×4ブロック121から124に分割される。場合によっては、一部の4×4ブロックについては、変換係数を送信する必要がないこともある。例えば、図示の変換サイズ100では、3つの4×4ブロック121、122および123(斜線無しで示す)については残差(対応する係数で表される)が送信されず、残りの4×4ブロック124(斜線で示す)については残差が送信される。主な欠点は、変換の空間的サポートが一定であるので、残差の符号化の柔軟性がかなり低下する点である。
【0006】
1つの従来技術の手法は、空間変化変換を提案することによって、残差符号化ステップにさらなる柔軟性を導入するものである。図2を参照すると、空間変化変換の全体が、参照番号200で示してある。この場合には、MPEG-4 AVC規格に従って残差を符号化することができるが、空間変化変換も許容されている。空間変化変換は、サブブロック210(斜線で示す)のみに適用され、残差のその他の部分は符号化されないままである。従って、N×Nブロック220のうちのM×M個のピクセルからなるサブブロック210が変換される。エンコーダは、M×Mサブブロック210の位置(すなわち位置xおよびy)を信号伝達しなければならない。しかし、この手法は、依然として柔軟性を欠いている。例えば、この手法は、ブロック220内に変換が1つしかないために柔軟性が欠けており、残差データの一部の符号化を行わず、また、画質を向上させるためのプレフィルタリングも行われない。
【0007】
第2の従来技術の手法は、いわゆる適応型予測誤差符号化(APEC)技術を提案するものである。フレーム間残差は相関性が低く、DCTは相関性の高いデータにしか適切でない。従って、この第2の従来技術の手法は、空間領域および周波数領域において適応型予測誤差符号化を可能にすることを提案する。予測誤差の各ブロック毎に、変換符号化または空間領域符号化を適用する。レート/歪みコストが低い方のアルゴリズムを、当該ブロックに対して選択する。つまり、この第2の従来技術の手法は、ブロックの残差を符号化するために変換を使用するか否かを選択することを提案するものであるが、究極的には、エントロピ符号化の前に全てのピクセルを変換するか、あるいは全てのピクセルを空間領域で直接エントロピ符号化するかという2つの選択肢の一方のみが、各ブロックに適用される。
【発明の概要】
【0008】
空間変化残差符号化を行う方法および装置を対象とする本発明の原理は、従来技術の上記およびその他の欠点および短所に対処するものである。
【0009】
本発明の原理の1つの特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの一部分は、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。
【0010】
本発明の原理の別の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む。前記ブロックの一部分は、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。
【0011】
本発明の原理のさらに別の特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダを含む。1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する。
【0012】
本発明の原理のさらに別の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む。1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する(920)。
【0013】
本発明の原理の追加の特徴によれば、装置が提供される。この装置は、多層残差符号化を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する。
【0014】
本発明の原理の別の追加の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、多層残差符号化を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを符号化するステップを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する。
【0015】
本発明の原理のさらに別の追加の特徴によれば、装置が提供される。この装置は、多層残差復号を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを復号するビデオ・デコーダを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する。
【0016】
本発明の原理のさらに別の追加の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、多層残差復号を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを復号するステップを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する。
【0017】
本発明の原理の上記およびその他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を、添付の図面と関連付けて読めば明らかになるであろう。
【0018】
本発明の原理は、以下の例示的な図面によってよりよく理解することができる。
【図面の簡単な説明】
【0019】
【図1】MPEG-4 AVC規格におけるいくつかの変換サイズを示す図である。
【図2】空間変化変換を示す図である。
【図3】本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・エンコーダを示すブロック図である。
【図4】本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・デコーダを示すブロック図である。
【図5】本発明の原理の一実施例による、空間変化残差符号化の一例を示す図である。
【図6】本発明の原理の一実施例による、2つの完全に重複する変換の組合せを用いる空間変化残差符号化の一例を示す図である。
【図7】本発明の原理の一実施例による、フィルタリングを用いる空間変化残差符号化の一例を示す図である。
【図8】本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する例示的な方法を示す流れ図である。
【図9】本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する例示的な方法を示す流れ図である。
【図10】本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する別の例示的な方法を示す流れ図である。
【図11】本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する別の例示的な方法を示す流れ図である。
【図12】本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法を示す流れ図である。
【図13】本発明の原理の一実施例による、ブロック残差の空間変化復号を実行するさらに別の例示的な方法を示す流れ図である。
【発明を実施するための形態】
【0020】
本発明の原理は、空間変化残差符号化を行う方法および装置を対象とする。
【0021】
本明細書は、本発明の原理を例示するものである。従って、当業者なら、本明細書に明示的には記述または図示していなくても、本発明の原理を実現し、本発明の趣旨および範囲内に含まれる様々な構成を考案することができることを理解されたい。
【0022】
本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に記載した例および条件に限定されるわけではないものと解釈されたい。
【0023】
さらに、本発明の原理、特徴および実施例、ならびに本発明の原理の具体的な例について本明細書に記載する全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する、開発される任意の要素も含まれるものとする。
【0024】
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことを理解されたい。
【0025】
図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するための読取り専用メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)および不揮発性記憶装置(ただしこれらに限定されない)を暗に含むことがある。
【0026】
従来の、且つ/または特注の、その他のハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発者が、前後関係から適宜判断して特定の技術を選択することができる。
【0027】
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、(a)当該機能を実行する回路素子の組合せや、(b)ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。
【0028】
本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその他の変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも1つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはその他の任意の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。
【0029】
例えば「A/B」、「Aおよび/またはB」ならびに「AおよびBの少なくとも1つ」の場合など、「/」、「および/または」ならびに「の少なくとも1つ」の何れかを使用している場合、それは、1番目に挙げた選択肢(A)のみを選択すること、または2番目に挙げた選択肢(B)のみを選択すること、または両方の選択肢(AおよびB)を選択することを含むということであることを理解されたい。さらに別の例として、「A、Bおよび/またはC」ならびに「A、BおよびCの少なくとも1つ」の場合には、この表現は、1番目に挙げた選択肢(A)のみを選択すること、または2番目に挙げた選択肢(B)のみを選択すること、または3番目に挙げた選択肢(C)のみを選択すること、または1番目と2番目に挙げた選択肢(AおよびB)のみを選択すること、または1番目と3番目に挙げた選択肢(AおよびC)のみを選択すること、または2番目と3番目に挙げた選択肢(BおよびC)のみを選択すること、または3つ全ての選択肢(AおよびBおよびC)を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、この解釈は、列挙されている項目の数に応じて拡張することができる。
【0030】
さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用してもよく、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであってもよい。
【0031】
さらに、本明細書で使用する「信号伝達」という用語は、対応するデコーダに対して何かを示すことを指している。例えば、エンコーダは、エンコーダ側で具体的にどのパラメータが使用されたかがデコーダに分かるようにするために、空間変化残差符号化に関する1つまたは複数のパラメータを信号伝達することができる。このようにして、エンコーダ側とデコーダ側の両方で同じパラメータを使用することができる。従って、例えば、エンコーダは、デコーダに特定のパラメータを伝送して、デコーダが同じ特定のパラメータを使用することができるようにすることもできるし、あるいは、デコーダが既に当該特定のパラメータおよびその他のパラメータを有している場合には、信号伝達を(伝送は使用せずに)使用して、単に、デコーダが当該特定のパラメータを知り、これを選択することができるようにすることもできる。いかなるパラメータも実際に伝送することを避けることにより、ビット節約を実現することができる。信号伝達は、様々な方法で実施することができることを理解されたい。例えば、1つまたは複数のシンタックス要素やフラグなどを使用して、対応するデコーダに情報を信号伝達することができる。
【0032】
図3を参照すると、本発明の原理を適用することができる例示的なビデオ・エンコーダの全体を、参照番号300で示してある。ビデオ・エンコーダ300は、結合器385の非反転入力と信号伝達している出力を有するフレーム順序付けバッファ310を含む。結合器385の出力は、変換器/量子化器325の入力、および空間変化技術モジュール311の入力に信号伝達で接続される。空間変化技術モジュール311の出力は、選択モジュール312の第1の入力に信号伝達で接続される。変換器/量子化器325の出力は、選択モジュール312の第2の入力に信号伝達で接続される。選択モジュール312の出力は、エントロピ・コーダ345の第1の入力、逆空間変化技術モジュール313の第1の入力、および逆変換器/逆量子化器350の第1の入力に信号伝達で接続される。エントロピ・コーダ345の出力は、結合器390の第1の非反転入力に信号伝達で接続される。結合器390の出力は、出力バッファ335の第1の入力に信号伝達で接続される。
【0033】
エンコーダ制御装置305の第1の出力は、フレーム順序付けバッファ310の第2の入力、逆空間変化技術モジュール313の第2の入力、逆変換器/逆量子化器350の第2の入力、ピクチャ・タイプ判断モジュール315の入力、マクロブロック・タイプ(MBタイプ)判断モジュール320の第1の入力、イントラ予測モジュール360の第2の入力、デブロッキング・フィルタ365の第2の入力、動き補償器370の第1の入力、動き推定器375の第1の入力、および参照ピクチャ・バッファ380の第2の入力に信号伝達で接続される。
【0034】
エンコーダ制御装置305の第2の出力は、付加拡張情報(SEI)挿入器330の第1の入力、エントロピ・コーダ345の第2の入力、出力バッファ335の第2の入力、およびシーケンス・パラメータ・セット(SPS)/ピクチャ・パラメータ・セット(PPS)挿入器340の入力に信号伝達で接続される。
【0035】
SEI挿入器330の出力は、結合器390の第2の非反転入力に信号伝達で接続される。
【0036】
ピクチャ・タイプ判断モジュール315の第1の出力は、フレーム順序付けバッファ310の第3の入力に信号伝達で接続される。ピクチャ・タイプ判断モジュール315の第2の出力は、マクロブロック・タイプ判断モジュール320の第2の入力に信号伝達で接続される。
【0037】
シーケンス・パラメータ・セット(SPS)/ピクチャ・パラメータ・セット(PPS)挿入器340の出力は、結合器390の第3の非反転入力に信号伝達で接続される。
【0038】
逆量子化器/逆変換器350の出力および逆空間変化技術モジュール313の出力は、結合器319の第1の非反転入力に信号伝達で接続される。結合器319の出力は、イントラ予測モジュール360の第1の入力およびデブロッキング・フィルタ365の第1の入力に信号伝達で接続される。デブロッキング・フィルタ365の出力は、参照ピクチャ・バッファ380の第1の入力に信号伝達で接続される。参照ピクチャ・バッファ380の出力は、動き推定器375の第2の入力および動き補償器370の第3の入力に信号伝達で接続される。動き推定器375の第1の出力は、動き補償器370の第2の入力に信号伝達で接続される。動き推定器375の第2の出力は、エントロピ・コーダ345の第3の入力に信号伝達で接続される。
【0039】
動き補償器370の出力は、スイッチ397の第1の入力に信号伝達で接続される。イントラ予測モジュール360の出力は、スイッチ397の第2の入力に信号伝達で接続される。マクロブロック・タイプ判断モジュール320の出力は、スイッチ397の第3の入力に信号伝達で接続される。スイッチ397の第3の入力は、スイッチの「データ」入力(「データ」入力とは、制御入力すなわち第3の入力に対する呼称)が、動き補償器370またはイントラ予測モジュール360によって与えられるか否かを判定する。スイッチ397の出力は、結合器319の第2の非反転入力および結合器385の反転入力に信号伝達で接続される。
【0040】
フレーム順序付けバッファ310の第1の入力およびエンコーダ制御装置305の入力は、入力ピクチャ301を受信するための、エンコーダ300の入力として利用することができる。さらに、付加拡張情報(SEI)挿入器330の第2の入力は、メタデータを受信するための、エンコーダ300の入力として利用することができる。出力バッファ335の出力は、ビットストリームを出力するための、エンコーダ300の出力として利用することができる。
【0041】
図4を参照すると、本発明の原理を適用することができる例示的なビデオ・デコーダの全体を、参照番号400で示してある。ビデオ・デコーダ400は、エントロピ・デコーダ445の第1の入力に信号伝達で接続された出力を有する入力バッファ410を含む。エントロピ・デコーダ445の第1の出力は、セレクタ412の入力に信号伝達で接続される。セレクタ412の出力は、逆変換器/逆量子化器450の第1の入力および逆空間変化技術モジュール413の第1の入力に信号伝達で接続される。逆変換器/逆量子化器450の出力および逆空間変化技術モジュール413の出力は、結合器425の第2の非反転入力に信号伝達で接続される。結合器425の出力は、デブロッキング・フィルタ465の第2の入力およびイントラ予測モジュール460の第1の入力に信号伝達で接続される。デブロッキング・フィルタ465の第2の出力は、参照ピクチャ・バッファ480の第1の入力に信号伝達で接続される。参照ピクチャ・バッファ480の出力は、動き補償器470の第2の入力に信号伝達で接続される。
【0042】
エントロピ・デコーダ445の第2の出力は、動き補償器470の第3の入力、デブロッキング・フィルタ465の第1の入力、およびイントラ予測器460の第3の入力に信号伝達で接続される。エントロピ・デコーダ445の第3の出力は、デコーダ制御装置405の入力に信号伝達で接続される。デコーダ制御装置405の第1の出力は、エントロピ・デコーダ445の第2の入力に信号伝達で接続される。デコーダ制御装置405の第2の出力は、逆変換器/逆量子化器450の第2の入力に信号伝達で接続される。デコーダ制御装置405の第3の出力は、デブロッキング・フィルタ465の第3の入力に信号伝達で接続される。デコーダ制御装置405の第4の出力は、イントラ予測モジュール460の第2の入力、動き補償器470の第1の入力、および参照ピクチャ・バッファ480の第2の入力に信号伝達で接続される。デコーダ制御装置405の第5の出力は、逆空間変化技術モジュール413の第2の入力に信号伝達で接続される。
【0043】
動き補償器470の出力は、スイッチ497の第1の入力に信号伝達で接続される。イントラ予測モジュール460の出力は、スイッチ497の第2の入力に信号伝達で接続される。エントロピ・デコーダ445の第4の出力は、スイッチ497の第3の入力に信号伝達で接続される。スイッチ497の第3の入力は、スイッチの「データ」入力(「データ」入力とは、制御入力すなわち第3の入力に対する呼称)が、動き補償器470またはイントラ予測モジュール460によって与えられるか否かを判定する。スイッチ497の出力は、結合器425の第1の非反転入力に信号伝達で接続される。
【0044】
入力バッファ410の入力は、入力ビットストリームを受信するための、デコーダ400の入力として利用することができる。デブロッキング・フィルタ465の第1の出力は、出力ピクチャを出力するための、デコーダ400の出力として利用することができる。
【0045】
現在の大抵のビデオ符号化規格では、空間領域の残差の相関を効率的に低減させるために変換を利用している。変換のサイズは、通常は、予測データのサイズによって決まる。また、変換符号化は、残差の変化する特徴を扱うためのその他の符号化技術と組み合わされない。これらの方式では、ブロック・サイズ毎に変換が1つしかなく、ブロック内の全てのピクセルがその変換で処理されるので、制限がある。画像およびビデオ・コンテンツ・データの統計および性質は変化する。従って、各ブロックで複数の変換を使用し、一部の残差データの圧縮にその他の技術を使用できるようにすれば、圧縮利得がある可能性がある。発明者等は、この非効率性を認識し、そのため、本発明の原理によって、1つのブロックで複数の変換を同時に併用するとともに、変換しない残差データの符号化にその他の技術を使用することを可能にする方法および装置を提案する。好ましい実施例では、発明者等は、プレフィルタリングおよびポストフィルタリング技術を使用して画質および効率を改善することにより、この手法を強化する。従って、1つまたは複数の実施例では、本発明の原理は、残差の空間変化変換および符号化方法と相補的なフィルタリング技術とを使用して、画像およびビデオ・データの効率および画質を改善する。
【0046】
残差符号化の空間変化技術
ビデオ符号化技術は、より高い表示解像度および高精細度(HD)コンテンツの使用が増えていることによる要件を満たすようになってきている。高精細度コンテンツ符号化の効率の点では、ブロック単位が大きい方が有利である。従って、予測単位およびその結果生じる残差変換が大きくなる。通常は、ブロック・サイズは、4×4または8×8ブロックから32×32または64×64ブロックに拡大される。128×128ピクセルという大きさの符号化単位を用いる提案もある。
【0047】
一方で、予測技術は急速に改良が進んでおり、残差データが、従来のビデオ符号化規格とは全く異なる低い空間的相関およびスパーシティ(sparsity:希薄)特性を有するようになってきている。
【0048】
この2つの傾向(単位が大きくなっていること、および予測が改良されてきていること)の結果として、DCT手法は、残差符号化を適切に扱うことができなくなっている。残差の空間的変動制に適応することができる新たな技術が必要とされている。
【0049】
本発明の原理によれば、発明者等は、1つのブロックの残差を符号化するために様々な変換およびその他の技術を組み合わせることを提案する。このようにすると、残差データのいくつかの部分で観察される空間的相関を利用すると同時に、同じブロックの残差のその他の部分で観察されるスパーシティも利用することができる。本発明の原理は、小さいブロックを用いる既存のビデオ符号化規格、勧告およびそれらの拡張だけでなく、より大きなブロックおよび改良された予測方法を用いる新たなコーデック・パラダイムにも適していることを理解されたい。すなわち、本発明の原理は、任意のブロック・サイズを用いるビデオ符号化規格、勧告およびそれらの拡張に適用することができる。
【0050】
図5を参照すると、空間変化残差符号化の一例の全体を、参照番号500で示してある。空間変化残差符号化500は、ブロック505を形成するNピクセル×Nピクセルのピクチャ・データを含む。ブロック505は、1つまたは複数の変換を用いて符号化されるが、これらの変換は、必ずしもブロック505の全体をカバーするとは限らない。例えば、ブロック505内のサブブロック511から513(斜線で示す)は、このブロックをカバーしていない。サブブロック511から513は、上記の1つまたは複数の変換によって符号化される。次いで、残りの残差(斜線が施されていない背景)が、別の方法で符号化される。この別の方法(以下、「背景方法」と呼ぶ)は、例えば、上述の第2の従来技術の手法に対応する空間領域符号化であってもよいし、あるいは、当技術分野および関連技術分野の当業者には既知のその他の何らかの代替方法を用いるものであってもよい。別の実施例では、背景方法は、レンペル・ジフ方法であってもよいし、あるいは、マルチスケール回帰パターン、または適応型確率モデルを用いたマルチスケール回帰パターン、またはベクトル量子化などを用いるものであってもよい。本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、残りの残差を符号化する上記およびその他の多くの選択肢を企図できることを理解されたい。さらに、上記の(背景)方法の2つ以上を組み合わせて、残りの残差を符号化することもできることも理解されたい。最後に、エンコーダは、「従来の」変換方式を使用するか、提案する空間変化技術を使用するかを選択することができ、そのため、エンコーダは、ブロック全体に対して変換を使用する選択肢を保持しながら、この新たな技術を利することもできる(後者は、全てではないが多くの状況でうまくいくことが分かっている)。
【0051】
この状況で、エンコーダは、変換の数、それらのサイズおよび位置を示し、また残りの残差を符号化するために選択された背景方法が何であるかを示さなければならない。これらのパラメータは、例えばシーケンス・レベル、フレーム・レベル、スライス・レベル、および/またはその他の何らかのレベルで、意図的に固定することができ、従って、これらのパラメータの一部または全てを必ずしもその都度示す必要がないこともある。
【0052】
ブロック内の変換のセットの位置は、適応的にすることができる。一実施例では、エンコーダは、各変換の位置を明示的に示す。送信するパラメータとしては、例えば、(1)各変換のxおよびy、(2)以前の変換に対するxおよびy、または(3)(相対)位置の角度や係数など、xおよびyと等価なその他の値などが挙げられるが、これらに限定されるわけではない。もちろん、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨および範囲を維持しながら、本発明の原理によって送信することができる上記およびその他のパラメータを企図できるであろう。
【0053】
別の実施例では、デコーダは、以前に再構築したデータおよび符号化における諸選択から、(少なくとも一部の)変換の位置を推定する。例えば、変換の位置および数は、以前のブロックの予測データ、予測モード、以前の残差または動きベクトルなど(ただしこれらに限定されない)によって決まることがある。選択は、エンコーダおよびデコーダの両方で利用可能なデータによって決まるので、それらは同じ判断を下すことができ、従って、同期することができる(従ってこれを支援する付加情報を送信する必要がなくなる)。
【0054】
一般に、提案する方法は、変換が互いに重複しないときにより高い利得をもたらすことができるが、状況によっては、この重複が性能に利することもある。1つまたは複数の実施例では、提案する方法は、変換の位置および背景方法を制限しない、すなわちこれらが重複することができる。
【0055】
この点から、多層残差符号化を用いる別の実施例が得られる。図6を参照すると、完全に重複する2つの変換の組合せを用いる空間変化残差符号化の一例の全体が、参照番号600で示してある。この場合には、最初に、残差を1つの方法で符号化する。次いで、この符号化された残差を、元の残差から減算する。その後、残りの残差を、別の方法で符号化する。この方法のよい例を、以下に挙げる。
1.当該変換手法を用いてブロック(N×N)610を符号化する。
2.当該変換の最大の低周波係数のみを保持する。
3.符号化された残差を元の残差から減算する。
4.別の変換を用いて(1つまたは複数の)サブブロック(例えば斜線で示すM×Mサブブロック620)を符号化する。
【0056】
この多層残差符号化方法は、2レイヤの残差を使用し、空間的に変化する。第1の層は、ブロック610全体の残差の広範な記述を与える。第2の層は、符号化が特に困難な領域または関心領域(例えばサブブロック620)に焦点を当てることができるので、第2の層は、当該特定領域に関して第1の層を洗練することができる。この手法は、スケーラブル・ビデオ符号化(SVC)の信号対雑音比(SNR)のスケーラビリティに容易に拡張することができる。
【0057】
これは、単なる例に過ぎない。従って、本発明の原理は、このような2つ(またはそれ以上)のレイヤが変換符号化に依拠している場合に限定されるわけではないことを理解されたい。例えば、第2のレイヤは、空間領域手法を用いて符号化することもできる。上記およびその他の変形例は、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者によって容易に企図される。
【0058】
残差符号化の空間変化技術のためのフィルタリング
空間変化技術では、近接するデータが様々な方法または変換を用いて再構築されることになるので、多くのビデオ符号化規格で見られるブロッキング・アーティファクトなどのようなアーティファクトが境界に沿って生じる可能性がある。アーティファクトは、フィルタリングを行えば低減または除去することができる。このフィルタリングは、デブロッキング・フィルタ、低域通過フィルタ、非線形フィルタ、ラップ変換(lapped transform)などとすることができる。変換のタイプおよびサイズ、量子化レベル、ならびにその他の符号化パラメータによって、このフィルタリングの最良の選択肢が決定される。
【0059】
図7を参照すると、フィルタリングを用いる空間変化残差符号化の一例の全体が、参照番号700で示してある。図示のように、ブロック705内の境界(例えばサブブロックの境界)を横切るフィルタリングを実行することができる。フィルタリングは、隣接する領域に応じて異なったものとすることができる。例えば、2つの変換サブブロック711と712(斜線で示す)の間(図7では白矢印)ではデブロッキング・フィルタを使用することができ、変換サブブロック711および712(斜線で示す)と背景方法で符号化されるそれらの隣接領域(無地で示す)との間(図7では黒矢印)では低域通過フィルタリングを使用することができる。
【0060】
一実施例では、これらのフィルタは全て、ブロックの再構築後に適用される。しかし、別の実施例では、空間変化技術で符号化する前にデータをプレフィルタリングするという代替方法がある。この場合には、最初に、異なる技術で符号化する領域間にフィルタを適用し、その後、このフィルタリング済みの残差を符号化する。
【0061】
デコーダでは、逆の処理を適用する。最初に、空間変化方法を使用して残差を復号し、次いで、上記の領域間で逆フィルタリングを適用する。
【0062】
このようなフィルタの一例は、以下の線形フィルタFである。
【0063】
【数1】

【0064】
ここで、a、b、c、dは、フィルタのパラメータである。これは、境界の4つのピクセルに適用される1D線形フィルタであり、2つは当該領域範囲の一方側にあり、2つは他方側にある。もちろん、本発明の原理は、上記のフィルタのみに限定されるわけではなく、従って、本発明の原理によれば、本発明の原理の趣旨および範囲を維持しながら、非線形フィルタ、適応型フィルタ、2Dフィルタ、およびその他の多くの様々なフィルタを利用することができることを理解されたい。
【0065】
デコーダ側では、逆フィルタF^(-1)が適用される。
【0066】
つまり、1つまたは複数の実施例では、発明者等は、残差符号化のための空間変化技術と連動するフィルタリングを提案する。一実施例では、(残差符号化の前に)プレフィルタを使用する。別の実施例では、(残差符号化の後で)ポストフィルタを使用する。さらに別の実施例では、プレフィルタおよびポストフィルタの両方を使用する。
【0067】
図8を参照すると、ブロック残差の空間変化符号化を実行する例示的な方法の全体が、参照番号800で示してある。方法800は、制御を機能ブロック810に渡す開始ブロック805を含む。機能ブロック810では、サイズN×Nのブロック残差データを入力し、制御を機能ブロック815および機能ブロック820に渡す。機能ブロック815では、サイズN×Nの変換をブロック残差データに適用し、制御を機能ブロック825に渡す。機能ブロック825では、(サイズN×Nの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック835に渡す。機能ブロック820では、サイズMk×MkのK個の変換および背景方法をブロック残差データに適用し、制御を機能ブロック823に渡す。機能ブロック823では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック830に渡す。機能ブロック830では、(サイズMk×MkのK個の変換および背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック835に渡す。
【0068】
機能ブロック835では、機能ブロック825および830で実行されたそれぞれのレート/歪み解析のそれぞれの結果を相互に比較し、この比較の結果に基づいて適用する変換を選択し、選択した変換を適用して残差を符号化し、制御を機能ブロック840に渡す。機能ブロック840では、選択した変換および符号化された残差を出力し、制御を終了ブロック899に渡す。
【0069】
図9を参照すると、ブロック残差の空間変化復号を実行する例示的な方法の全体が、参照番号900で示してある。方法900は、制御を機能ブロック910に渡す開始ブロック905を含む。機能ブロック910では、符号化された残差を入力し、制御を判断ブロック915に渡す。判断ブロック915では、空間変化残差復号を実行するか否かを判定する(これはエンコーダが行ったことに応じて行う、すなわちエンコーダで下された判断を復号する)。実行する場合には、制御は、機能ブロック920に渡される。そうでない場合には、制御は、機能ブロック925に渡される。機能ブロック920では、符号化された残差に、サイズMk×MkのK個の逆変換および逆背景方法を適用し、制御を機能ブロック923に渡す。機能ブロック923では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック925に渡す。機能ブロック925では、符号化された残差に逆N×N変換を適用し、制御を機能ブロック930に渡す。機能ブロック930では、その結果得られた残差データを出力し、制御を終了ブロック999に渡す。
【0070】
図10を参照すると、ブロック残差の空間変化符号化を実行する別の例示的な方法の全体が、参照番号1000で示してある。方法1000は、制御を機能ブロック1010に渡す開始ブロック1005を含む。機能ブロック1010では、サイズN×Nのブロック残差データを入力し、制御を機能ブロック1020および機能ブロック1040に渡す。機能ブロック1020では、サイズN×Nの変換を適用し、制御を機能ブロック1025に渡す。機能ブロック1025では、符号化された残差を元の残差から減算し、制御を機能ブロック1030に渡す。機能ブロック1030では、サイズM×MのM×M変換を適用し、制御を機能ブロック1050に渡す。機能ブロック1050では、(サイズM×Mの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1060に渡す。機能ブロック1040では、マルチスケール回帰パターン方法に基づいてサイズM×Mの変換および背景方法を適用し、制御を機能ブロック1045に渡す。機能ブロック1045では、変換のサイズMおよび位置を送信し、制御を機能ブロック1055に渡す。機能ブロック1055では、(サイズM×Mの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1060に渡す。機能ブロック1060では、これらのレート/歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック1065に渡す。機能ブロック1065では、符号化における選択および符号化された残差を出力し、制御を機能ブロック1099に渡す。
【0071】
図11を参照すると、ブロック残差の空間変化復号を実行する別の例示的な方法の全体が、参照番号1100で示してある。方法1100は、制御を機能ブロック1110に渡す開始ブロック1105を含む。機能ブロック1110では、符号化された残差を入力し、制御を判断ブロック1115に渡す。判断ブロック1115では、多層復号方法を使用するか否かを判定する。使用する場合には、制御は、機能ブロック1130に渡される。そうでない場合には、制御は、機能ブロック1150に渡される。機能ブロック1130では、変換のサイズMおよび位置を復号し、制御を機能ブロック1140に渡す。機能ブロック1140では、マルチスケール回帰パターン方法に基づいて逆M×M変換および背景方法を適用し、制御を機能ブロック1170に渡す。機能ブロック1150では、サイズM×Mの逆変換を適用し、制御を機能ブロック1155に渡す。機能ブロック1155では、サイズN×Nの逆変換を適用し、制御を機能ブロック1160に渡す。機能ブロック1160では、N×N変換およびM×M変換で得られた残差を加算し、制御を機能ブロック1170に渡す。機能ブロック1170では、符号化された残差を出力し、制御を終了ブロック1199に渡す。
【0072】
図12を参照すると、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法の全体が、参照番号1200で示してある。方法1200は、制御を機能ブロック1205に渡す開始ブロック1202を含む。機能ブロック1205では、元の残差に対応するサイズN×Nのブロック残差データを入力し、制御を機能ブロック1210に渡す。機能ブロック1210では、(元の残差に)N×N変換を適用して(符号化された残差を得)、制御を機能ブロック1215に渡す。機能ブロック1215では、符号化された残差を元の残差から減算し、制御を機能ブロック1220および機能ブロック1230に渡す。機能ブロック1220では、ブロックの一部分に背景方法を適用し、制御を機能ブロック1225に渡す。機能ブロック1225では、(ブロックの一部分に背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1255に渡す。
【0073】
機能ブロック1230では、マルチスケール回帰パターン方法に基づいてM×M変換および背景方法を適用し、制御を機能ブロック1235に渡す。機能ブロック1235では、変換のサイズMおよび位置を送信し、制御を機能ブロック1240に渡す。機能ブロック1240では、(M×M変換および背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1255に渡す。
【0074】
機能ブロック1255では、これらのレート/歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック1260に渡す。機能ブロック1260では、符号化における選択および符号化された残差を出力し、制御を終了ブロック1299に渡す。
【0075】
図13を参照すると、ブロック残差の空間変化復号を実行するさらに別の例示的な方法の全体が、参照番号1300で示してある。方法1300は、制御を機能ブロック1310に渡す開始ブロック1305を含む。機能ブロック1310では、符号化された残差を入力し、制御を判断ブロック1315に渡す。判断ブロック1315では、サイズMの逆変換を適用するか否かを判定する。適用する場合には、制御は、機能ブロック1320に渡される。そうでない場合には、制御は、機能ブロック1330に渡される。機能ブロック1320では、変換のサイズMおよび位置を復号し、制御を機能ブロック1325に渡す。機能ブロック1325では、マルチスケール回帰パターン方法に基づいて逆M×M変換および背景方法を適用し、制御を機能ブロック1335に渡す。機能ブロック1330では、ブロックの一部分に逆背景方法を適用し、制御を機能ブロック1335に渡す。機能ブロック1335では、逆N×N変換を適用し、制御を機能ブロック1340に渡す。機能ブロック1340では、残差を加算し、制御を機能ブロック1345に渡す。機能ブロック1345では、復号された残差を出力し、制御を終了ブロック1399に渡す。
【0076】
以下、一部については既に上述した、本発明の数多くの付随的な利点/特性のうちのいくつかについて説明する。例えば、1つの利点/特性は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを有する装置であって、前記ブロックの一部分が、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域が、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化される、または符号化されない、装置である。
【0077】
別の利点/特性は、前記空間変化符号化方法が多層残差符号化で使用される、上記のビデオ・エンコーダを有する装置である。
【0078】
さらに別の利点/特性は、1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、上記のビデオ・エンコーダを有する装置である。
【0079】
さらに別の利点/特性は、1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する上記のビデオ・エンコーダを有する装置であって、前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される装置である。
【0080】
さらに、別の利点/特性は、前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置である。
【0081】
さらに、別の利点/特性は、前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置である。
【0082】
また、別の利点/特性は、前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置であって、前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である装置である。
【0083】
本発明の原理の上記およびその他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確認することができる。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。
【0084】
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に有形に実施されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、1つまたは複数の中央処理装置(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入出力(「I/O」)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することができる。
【0085】
さらに、添付の図面に示す構成成分のシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことを理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。
【0086】
本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨から逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲内に含まれるものとする。
本発明は以下の態様を含む。
(付記1)
ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する、前記装置。
(付記2)
前記空間変化符号化方法が、多層残差符号化で使用される、付記1に記載の装置。
(付記3)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記1に記載の装置。
(付記4)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、付記3に記載の装置。
(付記5)
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、付記1に記載の装置。
(付記6)
前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、付記1に記載の装置。
(付記7)
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である、付記6に記載の装置。
(付記8)
ビデオ・エンコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む方法であって、
1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する(820)、前記方法。
(付記9)
前記空間変化符号化方法が、多層残差符号化で使用される(1020、1025、1030)、付記8に記載の方法。
(付記10)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(823)、付記8に記載の方法。
(付記11)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(823)、付記10に記載の方法。
(付記12)
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1040)、付記8に記載の方法。
(付記13)
前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の方法のうちの少なくとも1つを含む(1045)、付記8に記載の方法。
(付記14)
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である(820)、付記13に記載の方法。
(付記15)
ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する、前記装置。
(付記16)
前記空間変化復号方法が、多層残差復号で使用される、付記15に記載の装置。
(付記17)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記15に記載の装置。
(付記18)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、付記17に記載の装置。
(付記19)
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、付記15に記載の装置。
(付記20)
前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む、付記15に記載の装置。
(付記21)
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である、付記20に記載の装置。
(付記22)
ビデオ・デコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む方法であって、
1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する(920)、前記方法。
(付記23)
前記空間変化復号方法が、多層残差復号で使用される(1150、1155、1160)、付記22に記載の方法。
(付記24)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(923)、付記22に記載の方法。
(付記25)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(923)、付記24に記載の方法。
(付記26)
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1140)、付記22に記載の方法。
(付記27)
前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む(1130)、付記22に記載の方法。
(付記28)
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である(920)、付記27に記載の方法。
(付記29)
符号化されたビデオ信号データを有する記憶媒体であって、
ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって符号化された、前記ブロックのピクチャ・データを含み、
前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用して、前記ブロックの残りの領域を除く前記ブロックの一部分が変換され、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの前記残りの領域が符号化される、前記記憶媒体。
(付記30)
多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する、前記装置。
(付記31)
ビデオ・エンコーダにおいて、多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する(1210、1215、1220)、前記方法。
(付記32)
前記第1の符号化方法および前記第2の符号化方法が、両方とも変換型である(1025、1030、1035)、付記31に記載の方法。
(付記33)
前記第1の符号化方法または前記第2の符号化方法の一方のみが変換型であり、前記第1の符号化方法または前記第2の符号化方法の他方が非変換型である(1210、1215、1230、1235)、付記31に記載の方法。
(付記34)
前記第1の符号化方法が、前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用する空間変化符号化方法であり、前記1つまたは複数の変換が適用されない前記ブロックの残りの領域が、前記1つまたは複数の変換とは別の代替の方法を用いて符号化され、前記代替の方法が、前記第2の符号化方法または第3の符号化方法である(1210、1215、1230、1235)、付記31に記載の方法。
(付記35)
多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する、前記装置。
(付記36)
ビデオ・デコーダにおいて、多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する(1320、1325、1335、1340)、前記方法。
(57)【特許請求の範囲】
【請求項1】 (削除)
【請求項2】 (削除)
【請求項3】 (削除)
【請求項4】 (削除)
【請求項5】 (削除)
【請求項6】 (削除)
【請求項7】 (削除)
【請求項8】 (削除)
【請求項9】 (削除)
【請求項10】 (削除)
【請求項11】 (削除)
【請求項12】 (削除)
【請求項13】
ビットストリームからビデオ・シーケンス内のピクチャのブロックの残差を復号するために構成されたビデオ・デコーダを含む装置であって、
前記ビデオ・デコーダは、第1の空間変化復号方法を選択して前記ブロックの第1のサブブロックの残差を復号するために構成され、
前記ビデオ・デコーダは、少なくとも1つの代替の復号方法を選択して前記ブロックの少なくとも第2のサブブロックの残差を復号するために構成され、
前記代替の復号方法は前記第1の空間変化復号方法とは異なる、前記装置。
【請求項14】 (削除)
【請求項15】 (削除)
【請求項16】 (削除)
【請求項17】
前記第1の空間変化復号方法の少なくとも1つのパラメータは、前記ビデオ・デコーダによって受信され、前記少なくとも1つのパラメータは、前記第1の空間変化復号方法により適用される少なくとも1つの逆変換の数、前記少なくとも1つの逆変換のサイズ、および前記少なくとも1つの逆変換の位置からなるグループから選択された少なくとも1つを含む、請求項13に記載の装置。
【請求項18】
前記第1の空間変化復号方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項17に記載の装置。
【請求項19】
ビデオ・デコーダにおいて、ビットストリームからのビデオ・シーケンスにおけるピクチャのブロックの残差を復号するステップを含む方法であって、
前記復号するステップは、第1の空間変化復号方法を選択して前記ブロックの第1のサブブロックの残差を復号し、少なくとも1つの代替の復号方法を選択して前記ブロックの少なくとも第2のサブブロックの残差を復号することを含み、
前記代替の復号方法は前記第1の空間変化復号方法とは異なる、前記方法。
【請求項20】 (削除)
【請求項21】 (削除)
【請求項22】 (削除)
【請求項23】
前記第1の空間変化復号方法の少なくとも1つのパラメータは、前記ビデオ・デコーダによって受信され、前記少なくとも1つのパラメータは、前記第1の空間変化復号方法により適用される少なくとも1つの逆変換の数、前記少なくとも1つの逆変換のサイズ、および前記少なくとも1つの逆変換の位置からなるグループから選択された少なくとも1つを含む、請求項19に記載の方法。
【請求項24】
前記第1の空間変化復号方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項23に記載の方法。
【請求項25】 (削除)
【請求項26】 (削除)
【請求項27】 (削除)
【請求項28】 (削除)
【請求項29】 (削除)
【請求項30】 (削除)
【請求項31】 (削除)
【請求項32】 (削除)
 
訂正の要旨 審決(決定)の【理由】欄参照。
審決日 2015-06-23 
出願番号 特願2012-519538(P2012-519538)
審決分類 P 1 41・ 851- Y (H04N)
最終処分 成立  
前審関与審査官 長谷川 素直  
特許庁審判長 清水 正一
特許庁審判官 小池 正彦
渡辺 努
登録日 2015-04-17 
登録番号 特許第5732454号(P5732454)
発明の名称 空間変化残差符号化を行う方法および装置  
代理人 特許業務法人谷・阿部特許事務所  
代理人 特許業務法人 谷・阿部特許事務所  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ