• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き3号明りょうでない記載の釈明 訂正する H04N
管理番号 1286734
審判番号 訂正2014-390014  
総通号数 174 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2014-06-27 
種別 訂正の審決 
審判請求日 2014-01-21 
確定日 2014-02-28 
訂正明細書 有 
事件の表示 特許第5357898号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第5357898号の特許請求の範囲を、本件審判請求書に添付した特許請求の範囲のとおり請求項6?10からなる一群の請求項ごとに訂正することを認める。 
理由 第1 経緯

本件特許第5357898号の請求項1ないし10に係る発明についての出願(特願2010-543123号)は、2009年(平成21年)1月12日(パリ条約による優先権主張外国庁受理2008年(平成20年)1月14日、米国)になされ、特許請求の範囲の請求項1ないし10に係る発明は、平成25年9月6日にその特許権の設定登録がされ、その後、平成26年1月21日付けで本件審判が請求されたものである。

第2 請求

1 請求の趣旨

本件審判請求の趣旨は、特許第5357898号の特許請求の範囲を、本件審判請求書に添付した特許請求の範囲のとおり請求項6?10からなる一群の請求項ごとに訂正することを認める、との審決を求めるものである。

2 訂正事項

特許請求の範囲の請求項6に
「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、
ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、
複数のクラスそれぞれについての閾値を決定するステップと、
ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップと、
係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップと、
少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップと、
を含む、前記方法。」
とあるのを、

「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、
ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップと、
複数のクラスそれぞれについての閾値を決定するステップと、
ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップと、
係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップと、
少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップと、
を含む、前記方法。」
に訂正する。

3 一群の請求項

訂正特許請求の範囲の請求項7,9および10は、上記訂正事項を含む請求項6を引用し、請求項8は、上記訂正事項を含む請求項6を引用する請求項7を引用している。
したがって、訂正特許請求の範囲の請求項6ないし10は、一群の請求項である。

第3 当審の判断

1 訂正の目的

a 訂正前の特許請求の範囲の請求項6の「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、」を、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、」に訂正することについて(以下、訂正事項1という。)

訂正前の特許請求の範囲の請求項6では、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップ」、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含む前記方法であるから、前記が何を指すのかが不明瞭であるものの、6つのステップを含む方法の発明である程度のことは理解できる。
請求項6に係る発明に関連する願書に添付した明細書の記載として、
「【0022】
図3を見ると、方向適応型アーチファクト除去フィルタリングに関する方法が、参照番号300によって全体として示されている。この方法300は、第3の従来の手法に対応する。方法300は、機能ブロック310に制御を渡す、開始ブロック305を含む。機能ブロック310は、副格子画像分解の可能な集合の形および数を設定し、ループ端ブロック315に制御を渡す。ループ端ブロック315は、すべての(副)格子の集合にわたりループjを開始し、機能ブロック320に制御を渡す。機能ブロック320は、画像をダウンサンプルし、副格子jの集合に基づいてN個の副格子に分割し(副格子の総数はすべての集合jによって決まる)、ループ端ブロック325に制御を渡す。ループ端ブロック325は、(総数は集合jによって決まる)副格子ごとにループiを開始し、機能ブロック330に制御を渡す。機能ブロック330は、サンプルを(例えば配列A(j,K)からBに)再配列し、機能ブロック335に制御を渡す。機能ブロック335は、所与の副格子jの集合に関してどの変換を使えるようにするのかを選択し、ループ端ブロック340に制御を渡す。ループ端ブロック340は、許可されたすべての変換(副格子集合jに応じて選択され、例えば一部の変換は所与のjに関して許可されない場合がある)にわたりループiを開始し、機能ブロック345に制御を渡す。機能ブロック345は、変換行列iを用いて変換を行い、機能ブロック350に制御を渡す。機能ブロック350は、係数を雑音除去し、機能ブロック355に制御を渡す。機能ブロック355は、逆変換行列iを用いて逆変換を行い、ループ端ブロック360に制御を渡す。ループ端ブロック360は、ループiを終了し、機能ブロック365に制御を渡す。機能ブロック365は、サンプルを(例えば配列BからA(j,k)に)再配列し、ループ端ブロック370に制御を渡す。ループ端ブロック370は、ループkを終了し、機能ブロック375に制御を渡す。機能ブロック375は、副格子をアップサンプルし、副格子jの集合に基づいてマージし、ループ端ブロック380に制御を渡す。ループ端ブロック380は、ループjを終了し、機能ブロック385に制御を渡す。機能ブロック385は、雑音除去済み係数の画像の様々な逆変換されたバージョン(の例えば局所的に適応する加重和)を結合し、終了ブロック390に制御を渡す。」
「【0105】
典型的なハイブリッド映像符号器内の、時間的に符号化されたブロックは、様々な量子化雑音統計の一因となる多様な局所符号化様式および局所符号化条件に服する。互いに異なる3つのブロック符号化様式またはブロック符号化条件を明らかにすることができ、それらはつまり、(1)イントラ符号化、(2)残留の符号化を伴うインター符号化、および(3)符号化される残留がないインター符号化である。
【0106】
最初の2つの場合は、様々な予測符号化様式、およびその予測符号化様式の量子化効果を使用する。さらに、そのようなブロック間の境界は、様々な強度のブロッキングアーチファクトの影響を受ける。MPEG-4 AVC標準のデブロッキングフィルタのフィルタリング強度の観測に基づいて、符号化される残留がない状態でインター符号化されるブロックの、複数のピクセルのブロック動きの差または別の参照フレームからの動き補償を示す境界も、ブロッキングアーチファクトの影響を受ける。
【0107】
上述の条件は、専用のフィルタリング方策を必要とする画像領域を識別し、隔離するために使用することができる。輝度画像の各ピクセルは、局所符号化条件に従って個々のクラスに分けられる。例示的実施形態では、この条件は徹底的に評価され、選ばれたブロック内のピクセル、またはそのような選ばれたブロックの境界に沿ったピクセルを示す。この実施形態では、あるピクセルがあるブロックのエッジから距離dの範囲内にある場合、そのピクセルはそのブロックの境界に属するとみなすことを指摘しておく。
【0108】
この分類は、異なる量子化効果を受ける画像領域の局所的区別を提供する、フィルタリングマップを生じさせる。ループ内方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、マップ作成モジュールが、上記の分類を実行し、映像シーケンスのフレームごとのフィルタリングマップを生み出す役割を果たす。輝度マップをサブサンプリングすることにより、画像のクロマ成分に関するフィルタリングマップが得られる。
【0109】
図12を見ると、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号1200によって全体として示されている。このフィルタ1200は、(各クラス用の)閾値セレクタ1215の第2の入力、およびフィルタ済み画像コンストラクタ1225の第3の入力と信号通信する出力を有する、方向適応型アーチファクト除去フィルタ1205を含む。閾値セレクタ1215の出力は、フィルタ済み画像コンストラクタ1225の第2の入力に信号通信で接続される。閾値生成器1210の出力は、閾値セレクタ1215の第1の入力、および方向適応型アーチファクト除去フィルタ1205の第2の入力に信号通信で接続される。マップ作成器1220の出力は、閾値セレクタ1215の第4の入力、およびフィルタ済み画像コンストラクタ1225の第1の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ1205の第1の入力は、入力ピクチャを受け取るための、フィルタ1200の入力として利用可能である。閾値生成器1210の入力は、制御データを受け取るための、フィルタ1200の入力として利用可能である。閾値セレクタ1215の第3の入力は、元のピクチャを受け取るための、フィルタ1200の入力として利用可能である。マップ作成器1220の入力は、符号化情報を受け取るための、フィルタ1200の入力として利用可能である。閾値セレクタ1215の出力はさらに、クラスごとの最適閾値を出力するための、フィルタ1200の出力として利用可能である。フィルタ済み画像コンストラクタ1225の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ1200の出力として利用可能である。」
とあり、願書に添付した図面の【図2】、【図3】、【図12】、【図13】の記載も踏まえると、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタ1200にて、入力ピクチャをアーチファクト除去フィルタリングし、アーチファクト除去済みピクチャを生成し、マップ作成モジュールすなわちマップ作成器1220で局所符号化条件に従って個々のクラスに分け、閾値セレクタ1215にて、クラスごとの閾値を選択し、方向適応型アーチファクト除去フィルタ1205内で、入力画像をダウンサンプルし副格子サンプリングを生成し、係数雑音除去を行い、雑音除去済み係数画像の様々な逆変換されたバージョンの加重和を結合して、アーチファクト除去済みピクチャを生成するものである。
そうすると、願書に添付した明細書および願書に添付した図面の記載では、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップ」は、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含むものであるが、訂正前の特許請求の範囲の請求項6は、各ステップの関係が明瞭でなく、願書に添付した明細書および願書に添付した図面の記載との関係で不明瞭な記載となっている。

そこで、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、」を、「・・・該アーチファクト除去フィルタリングするステップは、」と訂正することにより、アーチファクト除去フィルタリングするステップは、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含むことが明瞭となった。

また、訂正前の特許請求の範囲の請求項6の「を含む、前記方法。」の記載の前に「方法」という記載は存在しないことから、訂正前の特許請求の範囲の請求項6には、不明瞭な記載が存在していた。
そして、願書に添付した明細書には、
「【0001】
本原理は、一般に映像の符号化および復号に関し、より詳細には、多格子スパーシティベースフィルタリング(multi-lattice sparsity-based filtering)を使用する、アーチファクト除去(de-artifact)フィルタリングのための方法および装置に関する。」
とあることから、本願では、アーチファクト除去フィルタリングのための方法の発明が開示されているものである。また、訂正前の特許請求の範囲の請求項6が「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップ」、「・・・複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「・・・少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含む方法の発明であり、ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法の発明であるから、「前記方法」の「前記」を指すものとして、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法」と記載することにより、「前記方法」の「前記」を指すものが明瞭となった。

したがって、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、」を、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、」と訂正することは、明瞭でない記載の釈明を目的とするものと認められる。

b 訂正前の特許請求の範囲の請求項6の「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、」を、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップと、」に訂正することについて(以下、訂正事項2という。)

訂正前の特許請求の範囲の請求項6の「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、」において、「・・・符号化条件に従った・・・分類するステップであって、前記符号化条件は、・・・とを含み、」の記載であると、分類するステップを説明する文章が、「前記符号化条件は、・・・」以降どこまでであるのかが明瞭でなかったが、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、」を、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップ」と訂正することにより、分類するステップの説明が、「前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む」までであることが明瞭となった。

したがって、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、」を、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップ」と訂正することは、明瞭でない記載の釈明を目的とするものと認められる。

2 訂正の適合性

(1)訂正の範囲

a 訂正事項1について

願書に添付した明細書の段落【0001】の記載から、本願発明は、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法」についての発明であり、願書に添付した明細書の段落【0022】、【0105】?【0109】の記載、および、願書に添付した図面の【図2】、【図3】、【図12】、【図13】の記載から、「アーチファクト除去フィルタリングするステップは」、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含むものであるから、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、・・・を含む方法」は、願書に添付した明細書および図面に記載した事項であると認められる。

b 訂正事項2について

願書に添付した明細書の段落【0105】?【0109】の記載、および、願書に添付した図面の【図12】、【図13】の記載から、マップ作成モジュールすなわちマップ作成器1220で局所符号化条件に従って個々のクラスに分けること、ブロック符号化条件は、イントラ符号化、残留の符号化を伴うインター符号化、符号化される残留がないインター符号化、符号化される残留がない状態でインター符号化されるブロックの境界であることが記載されているので、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップ」は、願書に添付した明細書および図面に記載した事項であると認められる。

c まとめ

以上より、本件訂正は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内においてするものである。

(2)特許請求の範囲の拡張・変更

a 訂正事項1

訂正前の特許請求の範囲の請求項6の方法発明は、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップ」、「・・・複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「・・・少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含む方法の発明であるから、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法」と訂正することは、実質上特許請求の範囲を拡張し、又は変更するものではない。
また、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップ」は、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップ」、「複数のクラスそれぞれについての閾値を決定するステップ」、「ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップ」、「係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップ」、「少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップ」を含むものであり、明瞭でない記載の釈明を目的として、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、」を、「ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、」に訂正したものであり、請求項に記載した事項をより広い意味を表す表現や、別の意味を表す表現に入れ替える訂正ではなく、実質上特許請求の範囲を拡張し、又は変更するものではない。

b 訂正事項2

訂正事項2は、訂正前の特許請求の範囲の請求項6の「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、」が、分類するステップを説明する文章が、「前記符号化条件は、・・・」以降どこまでであるのかが明瞭でなかったため、明瞭でない記載の釈明を目的として、「ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップと、」に訂正したものであり、請求項に記載した事項をより広い意味を表す表現や、別の意味を表す表現に入れ替える訂正ではなく、実質上特許請求の範囲を拡張し、又は変更するものではない。

c まとめ

以上より、本件訂正は、実質上特許請求の範囲を拡張し、又は変更するものではない。

(3)まとめ

以上によれば、本件訂正は、特許法第126条第5項、第6項の規定に適合する。

第4 むすび

以上、本件審判の請求に係る訂正は、特許法第126条第1項ただし書第3号にあげる事項を目的とし、かつ、同条第5項、第6項の規定に適合する。

よって、結論のとおり審決する。
 
発明の名称 (54)【発明の名称】
多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
【技術分野】
【0001】
本原理は、一般に映像の符号化および復号に関し、より詳細には、多格子スパーシティベースフィルタリング(multi-lattice sparsity-based filtering)を使用する、アーチファクト除去(de-artifact)フィルタリングのための方法および装置に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、参照により本明細書にその全体が組み込まれている、2008年1月14日に出願された米国特許仮出願第61/020,940号明細書(整理番号PU080005)の利益を主張するものである。
【0003】
映像符号化標準は、概して(例えばDCTとも呼ばれる離散コサイン変換などだが、これだけに限定されない)ブロックベース変換、および動き補償を使用して圧縮効率を得る。変換係数を粗く量子化すること、および動き補償予測において近隣ブロックが様々な参照位置または様々な参照ピクチャを使用することは、エッジ、テクスチャ周りの歪みやブロックの不連続性など、視覚的に邪魔なアーチファクト(アーティファクトともいう)を引き起こす可能性がある。
【0004】
圧縮アーチファクトを減少させ、復号映像信号の質を高めるために、映像の符号化においてフィルタリング方策が一般に適用される。ISO/IEC(国際標準化機構/国際電気標準会議)MPEG-4(Moving Picture Experts Group-4)Part10 AVC(高度映像符号化:Advanced Video Coding)標準/ITU-T(国際電気通信連合・電気通信標準化部門)H.264勧告(本明細書では以下「MPEG-4 AVC標準」とする)では、適応デブロッキングフィルタを導入して、第1の従来技術の手法に関して説明した、ブロック境界に沿って生じるアーチファクトを抑制する。より具体的には、第2の従来技術の手法および第3の従来技術の手法に関して説明したような、ブロックの不連続性についてのアーチファクトだけでなく、画像特異点(singularities)(例えばエッジおよび/またはテクスチャ)周りのアーチファクトも、これらのアーチファクトが現れ得る場合はいつでも抑制するために、アーチファクト除去手法が提案されている。しかし、性能を最大限にするために、そして第2の従来技術の手法によれば、アーチファクト除去フィルタは、映像符号化手順によって課せられる局所符号化条件を考慮しなければならない。例えば、単一フレーム内で、MPEG-4 AVC標準は、互いに異なる量子化雑音統計および対応するフィルタリング要求をそれぞれが前提とする、様々な予測モード(イントラ、インター、スキップ等)を提供する。さらに、時間的な信号変動および時系列でみた場合のピクチャコンテンツの変化は、そのピクチャ内に存在する量子化雑音の統計に影響を与える場合がある。
【0005】
したがって、映像の符号化において一般的に適用される、圧縮アーチファクトを減らし、復号映像信号の質を高めるためのこのフィルタリング方策に関して、適用されるフィルタは後処理段階に導入することができ、またはハイブリッド映像符号器/復号器のループ内に統合することができる。後処理段階のとき、このフィルタは符号化ループの外側(ループ外)で機能し、参照フレームに影響を及ぼさない。したがって、復号器は、必要とみなされるときに自由に後処理段階を使用することができる。その一方で、符号化ループの中(ループ内)に適用される場合、このフィルタはピクチャを改善することができ、そのピクチャは後に参照フレームとして使用される。改善された参照フレームは、動き補償に関してより高い質の予測を提供し、より優れた圧縮性能を可能にすることができる。
【0006】
MPEG-4 AVC標準内では、第1の従来技術の手法に関して説明したものとしてのループ内デブロッキングフィルタが採用されている。このフィルタは、ブロック境界に沿って生じるアーチファクトを減らすように機能する。そのようなアーチファクトは、変換(例えばDCT)係数を粗く量子化すること、ならびに動き補償予測によって引き起こされる。ブロックエッジに低域フィルタを適応的に適用することにより、このデブロッキングフィルタは主観的映像品質および客観的映像品質の両方を改善することができる。このフィルタは、ブロックエッジの周りのサンプルの解析を行うことによって動作し、フィルタリングの強度を適応させて、実際の画像コンテンツに関係する、概してより大きい強度差を保ちながら、ブロッキングアーチファクトに起因する小さな強度差を減少させる。いくつかのブロック符号化様式およびブロック符号化条件も、このフィルタを適用する強度を指示する役目を果たす。これらには、インター/イントラ予測の決定、符号化残留の存在、および隣接するブロック間の動きの差分が含まれる。ブロックレベルでの適応性に加え、このデブロッキングフィルタは、スライスレベルおよびサンプルレベルにおいても適応的である。スライスレベルでは、映像シーケンスの個々の特性に応じてフィルタリングの強度を調節することができる。サンプルレベルでは、サンプル値および量子化器ベースの閾値に応じて、フィルタリングを個々のサンプルでオフにすることができる。
【0007】
MPEG-4 AVC標準のデブロッキングフィルタによって除去されるブロッキングアーチファクトだけが、圧縮映像内に存在するアーチファクトではない。粗い量子化は、リンギング、エッジの歪み、および/またはテクスチャの破損などの他のアーチファクトにも関与する。このデブロッキングフィルタは、ブロックの内側に現れる、量子化誤差に起因するアーチファクトは低減することができない。さらに、デブロッキングで使用する低域フィルタリング技法は、平滑な画像モデルを想定しており、エッジやテクスチャなどの画像特異点を処理するのに適していない。
【0008】
MPEG-4 AVC標準のデブロッキングフィルタの制約を克服するために、例えば第2の従来技術の手法に関して説明したような雑音除去型非線形ループ内フィルタが最近提案されている。この非線形雑音除去フィルタは、1組の過完備線形変換および閾値処理操作を使用して、スパース画像モデルを利用する非定常画像統計に適応する。この非線形雑音除去フィルタは、自らが動作する領域に応じて高域フィルタ、低域フィルタ、または帯域フィルタ等に自動的になる。この非線形雑音除去フィルタは広範囲に適用可能であり、画像特異点を含む領域にロバストな解決策を提供する。
【0009】
第2の従来技術の手法に関して説明した雑音除去ループ内フィルタは、1組の過完備変換によってもたらされる1組の雑音除去推定値(denoised estimates)を使用する。この実装形態は、ウェーブレットやDCTなど、所与の2次元(2D)正規直交変換Hのすべての可能な移動(translation)H_(i)を使用することにより、1組の過完備変換を生成する。したがって、画像Iを所与として、この様々な変換H_(i)を適用することにより、画像Iの一連の様々な変換バージョンY_(i)が作成される。次いで、各変換バージョンY_(i)は、典型的には閾値処理操作を含む雑音除去手順にかけられ、一連のY’_(i)がもたらされる。次いで、この変換され閾値処理された係数Y’_(i)は、空間領域に再び逆変換され、雑音除去推定値I’_(i)を生じさせる。過完備の設定では、雑音除去推定値の一部は他の雑音除去推定値より優れた性能を提供し、最終フィルタ済みバージョンI’は、そのような雑音除去推定値を平均化することによる組合せから利益を受けることが予想される。第2の従来技術の手法に関して説明した雑音除去フィルタは、雑音除去推定値I’_(i)を重み付け平均化することを提案し、その重みは、最良の雑音除去推定値に重点を置くように最適化される。重み付けの手法は様々なものとすることができ、フィルタしようとするデータ、使用される変換、および雑音に関する統計的仮定に依拠することができる。ブロック変換を使用する場合、第2の従来技術の手法は、そのような変換がもたらす分解(decomposition)のスパースネス測定に基づく実用的な計量手法を提供する。さらに、第2の従来技術の手法に関して説明した方式は、選択したピクセルをフィルタリングにかける対象外とするマスク機能を適用し、符号化条件およびコーデックの量子化パラメータ(QP)に従ってフィルタリング閾値を局所的に決定することにより、時間的に符号化されるフレームに対応する。
【0010】
第2の従来技術の手法の雑音除去フィルタは、その広範な適用可能性にもかかわらず、3つの主要な制約を示す。第1に、所与の正規直交変換の移動バージョンH_(i)を使用することは、1組の過完備変換の解析方向を垂直成分および水平成分のみに制約する。構造解析の方向についてのこの制約は、垂直または水平以外の向きを有する信号構造を適切にフィルタリングすることを妨げる可能性がある。第2に、一部の変換H_(i)は、映像符号化プロセスにおいて残留信号を符号化するために使用する変換と同様であり、または等しい。符号化において使用する変換は、多くの場合、復元に使用可能な係数の数を減らすことに関与する。この減らすことは、第2の従来技術の手法において、雑音除去推定値の組合せのための最適な重みを計算するために使用する、スパースネス測定を変える可能性があり、フィルタリングの後にアーチファクトがあることを許す。第3に、時間的に符号化されるフレームに対応するための機構(マスク機能および空間的に局在する閾値)にもかかわらず、閾値の選択が、信号構造、符号化モデル、および/または量子化雑音統計に時間的に適応できるわけではない。
【0011】
第3の従来技術の手法の方向適応型アーチファクト除去フィルタは、ブロッキングアーチファクト、ならびにブロック内にまたは画像特異点の周りに生じるアーチファクトを含む様々な種類のアーチファクトの低減を行う、高性能の非線形ループ内フィルタである。このフィルタは、1組の過完備変換によってもたらされる雑音除去推定値の重み付き組合せに基づく。ただし、第2の従来技術の手法の雑音除去フィルタとは異なり、この第3の従来技術の手法の方向適応型アーチファクト除去フィルタは、解析の方向を垂直成分および水平成分を超えて拡張するために、フィルタしようとするピクチャの様々な副格子(sub-lattice)サンプリングを活用する。さらに、この方向適応型アーチファクト除去フィルタは、残留の符号化で使用する変換と同様の変換から生じ、または近接して並んだ変換から生じる雑音除去推定値を重み付き組合せから除去する。
【0012】
このフィルタの方向適応性は、所与の変換Hの移動H_(i)を、画像の様々なサブサンプリングにわたって適用することによって実現される。向きをつけられたサブサンプリングパターンは、変換の分解の方向に適応することができる。例えば図1を見ると、直交グリッドを2つの相補的な五点形格子に分解することが、参照番号100によって全体として示されている。この2つの相補的な五点形格子を、1組の黒い点および1組の白い点によってそれぞれ示す。直交グリッドに適した任意の変換を、格子のサブサンプルされた信号に適用し、解析の方向を垂直および水平を超えて拡張することができる。雑音除去推定値I’_(i)は、変換、閾値処理、逆変換の手法に従い、相補的なサブサンプリングからの結果を元の格子に再び再配列することによって得ることができる。第3の従来技術の手法に関して説明したように、2つの五点形サブサンプリング格子とともに元のサンプリンググリッドを使用する、多格子処理が提案されている。この複数の格子のそれぞれから生じる雑音除去推定値は、重み付け組合せによって組み合わせられる。スパースネスがより大きい変換分解に関する雑音除去推定値の重みは、より高い値を有するとみなされる。この考えは、よりスパースな分解は最低量の雑音を含むという想定から来る。
【0013】
図2を見ると、方向適応型アーチファクト除去フィルタが、参照番号200によって全体として示されている。このフィルタ200は、第3の従来の手法に対応する。係数雑音除去モジュール212、214、および216は、フィルタリング閾値の知識を必要とすることに留意すべきである。
【0014】
ダウンサンプルおよびサンプル再配列モジュール202の出力は、(1組の冗長な変換Bを用いる)順変換モジュール208の入力に信号通信で接続される。ダウンサンプルおよびサンプル再配列モジュール204の出力は、(1組の冗長な変換Bを用いる)順変換モジュール210の入力に信号通信で接続される。
【0015】
(1組の冗長な変換Aを用いる)順変換モジュール206の出力は、係数雑音除去モジュール212に信号通信で接続される。(1組の冗長な変換Bを用いる)順変換モジュール208の出力は、係数雑音除去モジュール214に信号通信で接続される。(1組の冗長な変換Bを用いる)順変換モジュール210の出力は、係数雑音除去モジュール216に信号通信で接続される。
【0016】
係数雑音除去モジュール212の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール226の入力、および(1組の冗長な変換Aを用いる)逆変換モジュール218の入力に信号通信で接続される。係数雑音除去モジュール214の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール230の入力、および(1組の冗長な変換Bを用いる)逆変換モジュール220の入力に信号通信で接続される。係数雑音除去モジュール216の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール232の入力、および(1組の冗長な変換Bを用いる)逆変換モジュール222の入力に信号通信で接続される。
【0017】
(1組の冗長な変換Aを用いる)逆変換モジュール218の出力は、結合モジュール236の第1の入力に信号通信で接続される。(1組の冗長な変換Bを用いる)逆変換モジュール220の出力は、アップサンプル、サンプル再配列、および剰余類(cosets)マージモジュール224の第1の入力に信号通信で接続される。(1組の冗長な変換Bを用いる)逆変換モジュール222の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール224の第2の入力に信号通信で接続される。
【0018】
変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール230の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール228の第1の入力に信号通信で接続される。変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール232の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール228の第2の入力に信号通信で接続される。
【0019】
アップサンプル、サンプル再配列、および剰余類マージモジュール228の出力は、一般組合せ重み計算モジュール234の第1の入力に信号通信で接続される。各ピクセルに影響する非ゼロ係数の数の計算226の出力は、一般組合せ重み計算モジュール234の第2の入力に信号通信で接続される。一般組合せ重み計算モジュール234の出力は、結合モジュール236の第2の入力に信号通信で接続される。
【0020】
アップサンプル、サンプル再配列、および剰余類マージモジュール224の出力は、結合モジュール236の第3の入力に信号通信で接続される。
【0021】
(1組の冗長な変換Aを用いる)順変換モジュール206の入力、ダウンサンプルおよびサンプル再配列モジュール202の入力、ならびにダウンサンプルおよびサンプル再配列モジュール204の入力は、入力画像を受け取るための、フィルタ200の入力としてそれぞれ利用可能である。結合モジュール236の出力は、出力画像を提供するための、このフィルタの出力として利用可能である。
【0022】
図3を見ると、方向適応型アーチファクト除去フィルタリングに関する方法が、参照番号300によって全体として示されている。この方法300は、第3の従来の手法に対応する。方法300は、機能ブロック310に制御を渡す、開始ブロック305を含む。機能ブロック310は、副格子画像分解の可能な集合の形および数を設定し、ループ端ブロック315に制御を渡す。ループ端ブロック315は、すべての(副)格子の集合にわたりループjを開始し、機能ブロック320に制御を渡す。機能ブロック320は、画像をダウンサンプルし、副格子jの集合に基づいてN個の副格子に分割し(副格子の総数はすべての集合jによって決まる)、ループ端ブロック325に制御を渡す。ループ端ブロック325は、(総数は集合jによって決まる)副格子ごとにループiを開始し、機能ブロック330に制御を渡す。機能ブロック330は、サンプルを(例えば配列A(j,K)からBに)再配列し、機能ブロック335に制御を渡す。機能ブロック335は、所与の副格子jの集合に関してどの変換を使えるようにするのかを選択し、ループ端ブロック340に制御を渡す。ループ端ブロック340は、許可されたすべての変換(副格子集合jに応じて選択され、例えば一部の変換は所与のjに関して許可されない場合がある)にわたりループiを開始し、機能ブロック345に制御を渡す。機能ブロック345は、変換行列iを用いて変換を行い、機能ブロック350に制御を渡す。機能ブロック350は、係数を雑音除去し、機能ブロック355に制御を渡す。機能ブロック355は、逆変換行列iを用いて逆変換を行い、ループ端ブロック360に制御を渡す。ループ端ブロック360は、ループiを終了し、機能ブロック365に制御を渡す。機能ブロック365は、サンプルを(例えば配列BからA(j,k)に)再配列し、ループ端ブロック370に制御を渡す。ループ端ブロック370は、ループkを終了し、機能ブロック375に制御を渡す。機能ブロック375は、副格子をアップサンプルし、副格子jの集合に基づいてマージし、ループ端ブロック380に制御を渡す。ループ端ブロック380は、ループjを終了し、機能ブロック385に制御を渡す。機能ブロック385は、雑音除去済み係数の画像の様々な逆変換されたバージョン(の例えば局所的に適応する加重和)を結合し、終了ブロック390に制御を渡す。
【0023】
この方向適応型アーチファクト除去フィルタは、これらの変換の合計16個の可能な移動を生じさせる、4×4DCTまたは整数MPEG-4 AVC標準変換を使用することを考慮する。元のサンプリンググリッドにわたって適用するとき、移動された変換のうちのいくつかは、残留の符号化で使用する変換と重複しまたはほぼ重複する可能性がある。この場合、量子化雑音/アーチファクトおよび信号の両方が、基底関数の同じ部分空間に含まれ、不自然に大きいスパースネス測定をもたらすことが起こり得る。これらの不測の事態を避けるために、第3の従来技術の手法は、残留の符号化で使用する変換に並んだまたはほぼ並んだ変換(例えば水平方向または垂直方向のうちの1つ以下におけるずれが1ピクセルの変換)から、雑音除去推定値を除去することを提案する。この第3の従来技術の手法の原理は、8×8DCTやMPEG-4 AVC標準の整数8×8変換などの他の変換にも当てはまる。
【0024】
第2の従来技術の手法および第3の従来技術の手法で開示したような、雑音除去推定値の重み付き組合せに基づくフィルタリング手法では、フィルタリング閾値の選択が極めて重要である。適用される閾値は、フィルタの雑音除去能力を制御することにおいてだけでなく、より優れた雑音除去推定値に重点を置くために使用する平均化重みを計算することにおいて重要な役割を担う。不適当な閾値を選択することは、過度に平滑化された復元ピクチャをもたらす可能性があり、またはアーチファクトが残る原因となることがある。第3の従来技術の手法のアーチファクト除去構想では、すべての変換係数の雑音除去および重み計算に関連するスパースネス測定に、共通の閾値が適用される。図2のブロック図の中で、これらのフィルタリング閾値は、係数雑音除去モジュール212、214、および216、ならびに各ピクセルに影響する非ゼロ係数の数の計算モジュール226、230、および232に直接関与する。
【0025】
この第3の従来技術の手法に関する方向適応型アーチファクト除去フィルタの結果は、多格子解析の有効性を示すが、固有のかつ均一な閾値の値を使用することはフィルタリングの潜在力を限定する可能性がある。例えば、この閾値の値は信号特性に依存し、その信号特性は空間および時間とともに変化し得る。閾値の適応性に関する方法を考慮すれば、イントラ符号化様式でさえ、複数の映像フレームを処理することはこの問題を引き起こすはずである。さらに、この第3の従来技術の手法は、時間的に符号化されたコンテンツについての閾値の選択を扱わない。単一フレーム内に様々な予測モード(イントラ、インター、スキップ等)が共存できるものとして、このシナリオは非常に重要であり、新たな課題を提起する。これらのモードのそれぞれは、固有の量子化雑音統計を示し、専用のフィルタリング方策を必要とする。要約すれば、第2の従来技術の手法も第3の従来技術の手法も、フィルタリングプロセスにおける量子化雑音統計の時空双方の変動を償うことができない。
【0026】
図4を見ると、MPEG-4 AVC標準に従って映像符号化を実行できる映像符号器が、参照番号400によって全体として示されている。
【0027】
この映像符号器400は、結合器485の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ410を含む。結合器485の出力は、変換器(transformer)および量子化器425の第1の入力に信号通信で接続される。変換器および量子化器425の出力は、エントロピ符号器445の第1の入力、ならびに逆変換器および逆量子化器450の第1の入力に信号通信で接続される。エントロピ符号器445の出力は、結合器490の第1の非反転入力に信号通信で接続される。結合器490の出力は、出力バッファ435の第1の入力に信号通信で接続される。
【0028】
符号器コントローラ405の第1の出力は、フレーム順序付けバッファ410の第2の入力、逆変換器および逆量子化器450の第2の入力、ピクチャタイプ決定モジュール415の入力、マクロブロックタイプ(MBタイプ)決定モジュール420の第1の入力、イントラ予測モジュール460の第2の入力、デブロッキングフィルタ465の第2の入力、動き補償器470の第1の入力、動き推定器475の第1の入力、ならびに参照ピクチャバッファ480の第2の入力に信号通信で接続される。
【0029】
符号器コントローラ405の第2の出力は、SEI(付加拡張情報:Supplemental Enhancement Information)インサータ430の第1の入力、変換器および量子化器425の第2の入力、エントロピ符号器445の第2の入力、出力バッファ435の第2の入力、ならびにSPS(シーケンスパラメータセット)およびPPS(ピクチャパラメータセット)インサータ440の入力に信号通信で接続される。
【0030】
SEIインサータ430の出力は、結合器490の第2の非反転入力に信号通信で接続される。
【0031】
ピクチャタイプ決定モジュール415の第1の出力は、フレーム順序付けバッファ410の第3の入力に信号通信で接続される。ピクチャタイプ決定モジュール415の第2の出力は、マクロブロックタイプ決定モジュール420の第2の入力に信号通信で接続される。
【0032】
シーケンスパラメータセットおよびピクチャパラメータセットインサータ440の出力は、結合器490の第3の非反転入力に信号通信で接続される。
【0033】
逆量子化器および逆変換器450の出力は、結合器419の第1の非反転入力に信号通信で接続される。結合器419の出力は、イントラ予測モジュール460の第1の入力、およびデブロッキングフィルタ465の第1の入力に信号通信で接続される。デブロッキングフィルタ465の出力は、参照ピクチャバッファ480の第1の入力に信号通信で接続される。参照ピクチャバッファ480の出力は、動き推定器475の第2の入力、および動き補償器470の第3の入力に信号通信で接続される。動き推定器475の第1の出力は、動き補償器470の第2の入力に信号通信で接続される。動き推定器475の第2の出力は、エントロピ符号器445の第3の入力に信号通信で接続される。
【0034】
動き補償器470の出力は、スイッチ497の第1の入力に信号通信で接続される。イントラ予測モジュール460の出力は、スイッチ497の第2の入力に信号通信で接続される。マクロブロックタイプ決定モジュール420の出力は、スイッチ497の第3の入力に信号通信で接続される。スイッチ497のこの第3の入力は、このスイッチの「データ」入力が、(制御入力、すなわち第3の入力に照らして)動き補償器470またはイントラ予測モジュール460によって提供されるべきかどうかを決定する。スイッチ497の出力は、結合器419の第2の非反転入力、および結合器485の反転入力に信号通信で接続される。
【0035】
フレーム順序付けバッファ410の第1の入力、および符号器コントローラ405の入力は、入力ピクチャを受け取るための、符号器400の入力として利用可能である。さらに、SEI(付加拡張情報)インサータ430の第2の入力は、メタデータを受け取るための、符号器400の入力として利用可能である。出力バッファ435の出力は、ビットストリームを出力するための、符号器400の出力として利用可能である。
【0036】
図5を見ると、MPEG-4 AVC標準に従って映像復号を実行できる映像復号器が、参照番号500によって全体として示されている。
【0037】
この映像復号器500は、エントロピ復号器545の第1の入力に信号通信で接続される出力を有する、入力バッファ510を含む。エントロピ復号器545の第1の出力は、逆変換器および逆量子化器550の第1の入力に信号通信で接続される。逆変換器および逆量子化器550の出力は、結合器525の第2の非反転入力に信号通信で接続される。結合器525の出力は、デブロッキングフィルタ565の第2の入力、およびイントラ予測モジュール560の第1の入力に信号通信で接続される。デブロッキングフィルタ565の第2の出力は、参照ピクチャバッファ580の第1の入力に信号通信で接続される。参照ピクチャバッファ580の出力は、動き補償器570の第2の入力に信号通信で接続される。
【0038】
エントロピ復号器545の第2の出力は、動き補償器570の第3の入力、およびデブロッキングフィルタ565の第1の入力に信号通信で接続される。エントロピ復号器545の第3の出力は、復号器コントローラ505の入力に信号通信で接続される。復号器コントローラ505の第1の出力は、エントロピ復号器545の第2の入力に信号通信で接続される。復号器コントローラ505の第2の出力は、逆変換器および逆量子化器550の第2の入力に信号通信で接続される。復号器コントローラ505の第3の出力は、デブロッキングフィルタ565の第3の入力に信号通信で接続される。復号器コントローラ505の第4の出力は、イントラ予測モジュール560の第2の入力、動き補償器570の第1の入力、および参照ピクチャバッファ580の第2の入力に信号通信で接続される。
【0039】
動き補償器570の出力は、スイッチ597の第1の入力に信号通信で接続される。イントラ予測モジュール560の出力は、スイッチ597の第2の入力に信号通信で接続される。スイッチ597の出力は、結合器525の第1の非反転入力に信号通信で接続される。
【0040】
入力バッファ510の入力は、入力ビットストリームを受け取るための、復号器500の入力として利用可能である。デブロッキングフィルタ565の第1の出力は、出力ピクチャを出力するための、復号器500の出力として利用可能である。
【発明の概要】
【0041】
従来技術のこれらのおよび他の欠点ならびに不利点を、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる本原理によって対処する。
【0042】
本原理の一態様によれば、装置が提供される。この装置は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
【0043】
本原理の別の態様によれば、方法が提供される。この方法は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタリングのためのスパーシティベースフィルタリング閾値は時間的に変えられる。
【0044】
本原理のこれらのおよび他の態様、特徴ならびに利点は、添付図面に関連して読むべき、例示的実施形態についての以下の詳細な説明から明らかになろう。
【0045】
本原理は、以下の例示的図面により、よりよく理解することができる。
【図面の簡単な説明】
【0046】
【図1】従来技術による、直交グリッドを2つの相補的な五点形格子に分解することを示す図である。
【図2】従来技術による方向適応型アーチファクト除去フィルタのブロック図である。
【図3】従来技術による、方向適応型アーチファクト除去フィルタリングに関する方法の流れ図である。
【図4】映像符号化を実行できる例示的符号器のブロック図である。
【図5】映像復号を実行できる例示的復号器のブロック図である。
【図6】本原理の一実施形態による、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。
【図7】本原理の一実施形態による、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図8】本原理の一実施形態による、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。
【図9】本原理の一実施形態による、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図10】本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる例示的映像符号器のブロック図を示す図である。
【図11】本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる例示的映像復号器のブロック図を示す図である。
【図12】本原理の一実施形態による、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。
【図13】本原理の一実施形態による、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図を示す図である。
【図14】本原理の一実施形態による、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。
【図15】本原理の一実施形態による、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。
【図16】本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる別の例示的映像符号器のブロック図である。
【図17】本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる別の例示的映像復号器のブロック図を示す図である。
【発明を実施するための形態】
【0047】
本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
【0048】
この記載は本原理について説明する。したがって、本明細書に明示的に記載されまたは示されていないが、本原理を実施し、本原理の趣旨および範囲に含まれる様々な配置を当業者は考案できることが理解されよう。
【0049】
本明細書に記載するすべての例および条件つきの表現は、当技術分野の進歩に対して本発明者が貢献する、本原理および概念を読者が理解することを助けるための教育的な目的を意図し、具体的に記載するそれらの例および条件に限定されることなく解釈されるべきである。
【0050】
さらに、本原理の原理、態様、および実施形態、ならびに本原理の具体例について述べる本明細書のすべての記述は、本原理の構造的等価物および機能的等価物のいずれをも含むことを意図する。さらにそのような等価物は、現在知られている等価物だけでなく将来開発される等価物、すなわち構造に関係なく同じ機能を実行する、開発される任意の要素のいずれをも含むことを意図する。
【0051】
したがって、例えば本明細書に示すブロック図は、本原理を実施する例示的回路の概念図を表すことを当業者は理解されよう。同様に、任意の流れ作業図、流れ図、状態遷移図、擬似符号等が、コンピュータ可読媒体で実質的に表すことができる様々なプロセスを表し、そのためコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているか否かを問わず、実行されることが理解されよう。
【0052】
図中に示す様々な要素の機能は、専用ハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行できるハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、またはその一部が共用され得る複数の個別のプロセッサにより、提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的使用は、ソフトウェアを実行できるハードウェアを排他的に指すものと解釈すべきでなく、「DSP」(デジタル信号プロセッサ)ハードウェア、ソフトウェアを記憶するための「ROM」(読出し専用メモリ)、「RAM」(ランダムアクセスメモリ)、および不揮発性記憶機構を限定することなく暗に含むことができる。
【0053】
他の従来のおよび/または慣例のハードウェアを含むこともできる。同様に、図中に示す任意のスイッチは概念的であるに過ぎない。それらの機能は、プログラム論理の演算、専用論理、プログラム制御と専用論理との相互作用、または手動でさえも実行することができ、文脈からより詳細に理解されるように、実装者は特定の技法を選択することができる。
【0054】
添付の特許請求の範囲では、指定の機能を果たすための手段として表す任意の要素は、例えば、a)その機能を果たす回路要素の組合せ、またはb)その機能を果たすために、ソフトウェアを実行するための適切な回路と組み合わせられる、ファームウェア、マイクロコード等を含む任意の形態のソフトウェアを含む、その機能を果たす任意の方法を含むことを意図する。そのような特許請求の範囲によって定義されるものとしての本原理は、記載する様々な手段が提供する機能を、特許請求の範囲が要求する方法で組み合わせ、まとめることにある。したがって、それらの機能を提供することができる任意の手段は、本明細書に示す手段と等価であるとみなす。
【0055】
本明細書における、本原理の「一実施形態」または「ある実施形態」という記載ならびにその記載の他の改変形態は、その実施形態に関して説明する特定の特徴、構造、特性等が、本原理の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたり様々な箇所で登場する慣用句「一実施形態では」、または「ある実施形態では」、ならびに他の任意の改変形態は、必ずしもすべてが同じ実施形態を指すとは限らない。
【0056】
次の「/」、「および/または」、および「の少なくとも1つ」のうちのいずれかを、例えば「A/B」、「Aおよび/またはB」、および「AおよびBの少なくとも1つ」について使用することは、最初に記載したオプション(A)のみの選択、または2番目に記載したオプション(B)のみの選択、または両方のオプション(AおよびB)の選択を含むことを意図することを理解すべきである。さらなる例として、「A、B、および/またはC」、および「A、B、およびCの少なくとも1つ」の場合、そのような表現は、最初に記載したオプション(A)のみの選択、または2番目に記載したオプション(B)のみの選択、または3番目に記載したオプション(C)のみの選択、または最初と2番目とに記載したオプション(AおよびB)のみの選択、または最初と3番目とに記載したオプション(AおよびC)のみの選択、または2番目と3番目とに記載したオプション(BおよびC)のみの選択、または3つのオプションすべて(AとBとCと)の選択を含むことを意図する。このことは、記載する多くの項目に関して、当業者により容易に明らかなように拡張することができる。
【0057】
本明細書で使用するとき、用語「ピクチャ」は、静止画映像および動画映像に関係する画像ならびに/またはピクチャを含む、画像および/またはピクチャを指す。
【0058】
さらに、本明細書で使用するとき、用語「スパーシティ」は、信号が変換領域において非ゼロ係数をほとんど有さない場合を指す。一例として、5個の非ゼロ係数を伴う変換表現の信号は、同じ変換フレームワークを使用する10個の非ゼロ係数を伴う別の信号よりもスパースな表現を有する。
【0059】
さらに、本明細書で使用するとき、用語「格子」または「格子ベース」をピクチャのサブサンプリングに関して使用するとき、および同様の意味合いで「副格子サンプリング」は、空間的に連続的なかつ/または空間的に非連続的なサンプルの所与の構造化パターンに従って、サンプルを選択するサブサンプリングを指す。一例では、そのようなパターンは、矩形パターンなどの幾何学的パターンとすることができる。
【0060】
また、本明細書で使用するとき、用語「局所(local)」は、ピクセル位置レベル、および/またはピクチャ内のあるピクセル、もしくはピクセルの局所的近隣に対応する関心項目に対する(平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない)関心項目の関係を指す。
【0061】
さらに、本明細書で使用するとき、用語「広域(global)」は、ピクチャレベル、および/またはピクチャもしくはシーケンスのピクセル全体に対応する関心項目に対する(平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない)関心項目の関係を指す。
【0062】
加えて、本明細書で使用するとき、「高レベル構文」は、マクロブロック層の上に階層的にあるビットストリーム内に存在する構文を指す。例えば本明細書で使用するとき、高レベル構文は、スライスヘッダレベル、SEI(付加拡張情報)レベル、PPS(ピクチャパラメータセット)レベル、SPS(シーケンスパラメータセット)レベル、およびNAL(ネットワーク抽象化層:Network Abstraction Layer)ユニットヘッダレベルにおける構文を指すことができるが、これだけに限定されない。
【0063】
さらに、本明細書では本原理の1つまたは複数の実施形態をMPEG-4 AVC標準に関して説明するが、本原理は、この標準のみに限定されず、したがって本原理の趣旨を保ちながら他の映像符号化標準、勧告、およびMPEG-4 AVC標準の拡張を含むその拡張に関して利用できることを理解すべきである。
【0064】
上述のように、本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
【0065】
有利には、本原理の実施形態は、時空的に適応性があるフィルタリング用の閾値を使用する、ピクチャの様々な副格子サンプリングに対するスパーシティベースフィルタリングに基づく、高性能のアーチファクト除去フィルタリングに向けられる。例えば一実施形態では、フィルタリングは、フィルタしようとするピクチャの様々な副格子サンプリングに適用される、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。このスパーシティベースフィルタリングステップのための閾値は、量子化雑音統計および/または他のパラメータに最良適合するために、空間的および時間的に適応される。例えば、本原理は、次のものに限定されないが、信号特性、符号化構成(ループ内フィルタリングおよび/またはループ外フィルタリング)、予測モード、量子化雑音統計、復号ピクチャおよび原信号の局所符号化様式、圧縮パラメータ、圧縮要件、符号化性能、ユーザ選択(例えば、より鮮明な画像またはより平滑な画像)、ならびに質の測度および/または符号化コストの測度のうちの少なくとも1つに応じてフィルタリング閾値を適応させる。当然、フィルタリング閾値が適応される元になる上記のパラメータは単に説明するためのものに過ぎず、本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、フィルタリング閾値が適応される元になるこれらのおよび他の様々なパラメータを思いつくであろう。
【0066】
本原理は、復号映像ピクチャのアーチファクトを除去するためのスパーシティベースフィルタの適用可能性を拡張し、性能を向上させる。過完備変換を使用するスパーシティベースフィルタリング技法は、とりわけエッジ、テクスチャ、および他の特異点周りの量子化雑音を減らすためのロバストな機構を提供する。しかし、これらの技法の性能は、広範な信号特性、符号化特性、およびフィルタリング特性を熟考する必要がある、適切なフィルタリング閾値を選択することに大きく依存する。有利には、本原理は、それらの技法をループ内フィルタ構成、ならびにポストフィルタリング構成および/またはループ外フィルタ構成として実装することができるという点で柔軟性をもたらす。選択した閾値は符号化され、サイド情報として復号器に伝送することができる。本原理を使用することは、大幅なビットレートの節約および表示品位の向上をもたらす。
【0067】
ループ外フィルタリング
復号映像信号を向上させるために、ポストフィルタリング方策が一般に適用されている。「ループの外側」または「ループ外」と呼ばれるポストフィルタは、ハイブリッド映像符号化ループの外側に置かれる。本原理は、第3の従来技術の手法の方向適応型アーチファクト除去フィルタを、復号映像のループ外フィルタリングに修正する。このために、映像シーケンスを効率的に符号化することは、フィルタリング閾値を適応的に選択することを必要とする。本原理によれば、本発明者らはフィルタリング閾値を空間的および/または時間的に適応させる。
【0068】
ループ外フィルタは映像符号化ループに関与しないので、時間的予測で使用する参照フレームは、フィルタリングの結果によっても変わらないままである。MPEG-4 AVC標準にあるようなループ内フィルタリング方策とは異なり、ループ外フィルタリングは、符号化ループの処理遅延を低減することを可能にする。事実、後に符号化されるフレームを復号するために、参照フレームに対してフィルタリング操作を行う必要はない。典型的な符号化シナリオでは、イントラモードで符号化される第1のフレームは、雑音および圧縮アーチファクトを免れない。その後のフレームの符号化では、動き補償予測のために、雑音が多くアーチファクトの傾向があるデータを使用する。したがって、イントラ符号化によってもたらされ、または破損した参照データを反復することによって継承されるアーチファクトが、符号化様式に関係なく、復号映像シーケンスの各フレームの全体にわたって蔓延する。
【0069】
第3の従来技術の手法の方向適応型アーチファクト除去フィルタは、イントラ符号化フレームに関して効率的に動作することが実証されている。前述したように、ループ内フィルタリングが抑制される場合、イントラフレーム内の量子化雑音およびアーチファクトの存在に関する想定は、時間的に符号化されるフレームに拡張することができる。そのような状況の下では、ループ外フィルタリングに適応される場合のこの方向適応型アーチファクト除去フィルタは、復号映像シーケンスの各フレーム内の圧縮アーチファクトを成功裏に除去する潜在力を備える。
【0070】
ループ外方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、非定常信号特性を考慮に入れる。例えば、経時的なシーンコンテンツの変化は、性能を維持するために別個のフィルタリング閾値を必要とすることがある。したがって、符号化中に閾値を生成し、フレームごとに別個に選択する。
【0071】
図6を見ると、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号600によって全体として示されている。このフィルタ600は、方向適応型アーチファクト除去フィルタ605の第1の入力、および閾値セレクタ615の第1の入力に信号通信で接続される出力を有する、閾値生成器610を含む。方向適応型アーチファクト除去フィルタ605の出力は、閾値セレクタ615の第2の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ605の第2の入力は、入力ピクチャを受け取るための、フィルタ600の入力として利用可能である。閾値生成器610の入力は、制御データを受け取るための、フィルタ600の入力として利用可能である。閾値セレクタ615の第3の入力は、元のピクチャを受け取るための、フィルタ600の入力として利用可能である。閾値セレクタ615の出力は、最適閾値を出力するための、フィルタ600の出力として利用可能である。
【0072】
図7を見ると、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号700によって全体として示されている。この方法700は、機能ブロック710に制御を渡す、開始ブロック705を含む。機能ブロック710は、現在のフレームに関する1組のフィルタリング閾値を設定し、ループ端ブロック715に制御を渡す。ループ端ブロック715は、フィルタリング閾値ごとにループ(th)を実行し、機能ブロック720に制御を渡す。機能ブロック720は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック725に制御を渡す。機能ブロック725は、最適閾値(例えば最大のピーク信号対雑音比(PSNR))を選択し、アーチファクト除去済みピクチャを更新し、ループ端ブロック730に制御を渡す。ループ端ブロック730は、フィルタリング閾値ごとのループを終了し、機能ブロック735に制御を渡す。機能ブロック735は、最適閾値をビットストリームに出力し、終了ブロック799に制御を渡す。
【0073】
図6を再び参照すると、閾値生成器610は、制御データを使用して、例えば符号化品質の測度、符号化コスト、または符号化品質/符号化コスト双方のうちの少なくとも1つを最大限にすることにより、最適閾値がそこから選択される組を規定する。制御データは、圧縮パラメータ(例えばQP)、ユーザプリファレンス、ならびに/または信号の構造および統計とみなすことができるが、これだけに限定されない場合もある。制御データに関して検討した上記の項目は単に説明するためのものに過ぎず、したがって本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、制御データに関係するこれらのおよび他の様々な項目を思いつくことを理解すべきである。閾値セレクタ615は、符号器側でしか入手できない情報(元の画像I)を使用するため、選択した閾値を映像符号化方式のビットストリーム内で伝送する。次いで、復号器は、適切なループ外フィルタを用いて復号信号のアーチファクトを除去するために、ビットストリームからこの情報を抽出する。
【0074】
図8を見ると、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号800によって全体として示されている。このフィルタ800は、方向適応型アーチファクト除去フィルタ805を含む。方向適応型アーチファクト除去フィルタ805の第1の入力は、入力ピクチャを受け取るための、フィルタ800の入力として利用可能である。方向適応型アーチファクト除去フィルタ805の第2の入力は、最適閾値を受け取るための、フィルタ800の入力として利用可能である。方向適応型アーチファクト除去フィルタ805の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ800の出力として利用可能である。
【0075】
図9を見ると、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号900によって全体として示されている。
【0076】
この方法900は、機能ブロック910に制御を渡す、開始ブロック905を含む。機能ブロック910は、最適フィルタリング閾値を取り出し、機能ブロック915に制御を渡す。機能ブロック915は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック920に制御を渡す。機能ブロック920は、アーチファクト除去済みピクチャを出力し、終了ブロック999に制御を渡す。
【0077】
フィルタリング閾値の符号化、伝送、および復号は、映像ストリームのデータ単位の様々なレベルにおいて行うことができる。閾値は、ピクチャ領域、ピクチャ、および/またはシーケンス全体に適用することができる。これを規定するための機構を、例えばこれだけに限定されないが1つまたは複数の高レベル構文要素を使用して、ビットストリーム内に取り入れることができる。
【0078】
一実施形態では、スライス当たりの閾値を符号化することができる。この閾値は、単純な均一符号を用いて符号化することができるが、そのような方法だけに限定されない。例えばそれらの閾値は、前のスライスおよび/または映像フレームを基準にして差動的に符号化することができる。また、例えばこれだけに限定されないが符号化設定、符号化プロファイル、および/または量子化パラメータに依存する平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および/または差分値(differential values)を、例えばこれだけに限定されないが均一符号、可変長符号(VLC)、および/または算術符号化(例えばコンテキスト適応型2値算術符号化方式(CABAC))を使用して符号化することができる。一実施形態では、各スライス/フレーム/シーケンスについて選択した閾値に関する情報を、付加拡張情報データおよび/または他の何らかの1つもしくは複数の高レベル構文要素として、符号化映像ビットストリーム内で伝送する。
【0079】
一実施形態では、復元データに対するポストフィルタを、MPEG-4 AVC標準に適用することができる。そのような実施形態では、図4および図5に関してそれぞれ図示し説明した標準的な符号器および復号器内のMPEG-4 AVC標準のデブロッキングフィルタを、このループ外方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
【0080】
図10を見ると、本原理とともに使用するために拡張され、MPEG-4 AVC標準に従って映像符号化を実行できる例示的映像符号器が、参照番号1000によって全体として示されている。映像符号器1000に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【0081】
この映像符号器1000は、結合器1085の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ1010を含む。結合器1085の出力は、変換器および量子化器1025の第1の入力に信号通信で接続される。変換器および量子化器1025の出力は、エントロピ符号器1045の第1の入力、ならびに逆変換器および逆量子化器1050の第1の入力に信号通信で接続される。エントロピ符号器1045の出力は、結合器1090の第1の非反転入力に信号通信で接続される。結合器1090の出力は、出力バッファ1035の第1の入力に信号通信で接続される。
【0082】
(ループ外方向適応型アーチファクト除去フィルタ1047を制御するように)拡張された符号器コントローラ1005の第1の出力は、フレーム順序付けバッファ1010の第2の入力、逆変換器および逆量子化器1050の第2の入力、ピクチャタイプ決定モジュール1015の入力、マクロブロックタイプ(MBタイプ)決定モジュール1020の第1の入力、イントラ予測モジュール1060の第2の入力、動き補償器1070の第1の入力、動き推定器1075の第1の入力、参照ピクチャバッファ1080の第2の入力、ならびにループ外方向適応型アーチファクト除去フィルタ1047の第3の入力に信号通信で接続される。
【0083】
(ループ外方向適応型アーチファクト除去フィルタ1047を制御するように)拡張された符号器コントローラ1005の第2の出力は、SEI(付加拡張情報)インサータ1030の第1の入力、変換器および量子化器1025の第2の入力、エントロピ符号器1045の第2の入力、出力バッファ1035の第2の入力、ならびにSPS(シーケンスパラメータセット)およびPPS(ピクチャパラメータセット)インサータ1040の入力に信号通信で接続される。
【0084】
SEIインサータ1030の出力は、結合器1090の第2の非反転入力に信号通信で接続される。
【0085】
ピクチャタイプ決定モジュール1015の第1の出力は、フレーム順序付けバッファ1010の第3の入力に信号通信で接続される。ピクチャタイプ決定モジュール1015の第2の出力は、マクロブロックタイプ決定モジュール1020の第2の入力に信号通信で接続される。
【0086】
シーケンスパラメータセットおよびピクチャパラメータセットインサータ1040の出力は、結合器1090の第3の非反転入力に信号通信で接続される。
【0087】
逆量子化器および逆変換器1050の出力は、結合器1019の第1の非反転入力に信号通信で接続される。結合器1019の出力は、イントラ予測モジュール1060の第1の入力、ループ外方向適応型アーチファクト除去フィルタ1047の第1の入力、および参照ピクチャバッファ1080の第1の入力に信号通信で接続される。参照ピクチャバッファ1080の出力は、動き推定器1075の第2の入力、および動き補償器1070の第3の入力に信号通信で接続される。動き推定器1075の第1の出力は、動き補償器1070の第2の入力に信号通信で接続される。動き推定器1075の第2の出力は、エントロピ符号器1045の第3の入力に信号通信で接続される。ループ外方向適応型アーチファクト除去フィルタ1047の第2の出力は、SEIインサータ1030の第3の入力に信号通信で接続される。
【0088】
動き補償器1070の出力は、スイッチ1097の第1の入力に信号通信で接続される。イントラ予測モジュール1060の出力は、スイッチ1097の第2の入力に信号通信で接続される。マクロブロックタイプ決定モジュール1020の出力は、スイッチ1097の第3の入力に信号通信で接続される。スイッチ1097のこの第3の入力は、このスイッチの「データ」入力が、(制御入力、すなわち第3の入力に照らして)動き補償器1070またはイントラ予測モジュール1060によって提供されるべきかどうかを決定する。スイッチ1097の出力は、結合器1019の第2の非反転入力、および結合器1085の反転入力に信号通信で接続される。
【0089】
フレーム順序付けバッファ1010の第1の入力、(ループ外方向適応型アーチファクト除去フィルタ1047を制御するように)拡張された符号器コントローラ1005の入力、およびループ外方向適応型アーチファクト除去フィルタ1047の第2の入力は、入力ピクチャを受け取るための、符号器1000の入力として利用可能である。さらに、SEI(付加拡張情報)インサータ1030の第2の入力は、メタデータを受け取るための、符号器1000の入力として利用可能である。出力バッファ1035の出力は、ビットストリームを出力するための、符号器1000の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ1047の第1の出力は、フィルタされたピクチャを出力するための、符号器1000の出力として利用可能である。
【0090】
図11を見ると、本原理とともに使用するために拡張され、MPEG-4 AVC標準に従って映像復号を実行できる例示的映像復号器が、参照番号1100によって全体として示されている。映像復号器1100に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【0091】
この映像復号器1100は、エントロピ復号器1145の第1の入力、およびループ外方向適応型アーチファクト除去フィルタ1147の第3の入力に信号通信で接続される出力を有する、入力バッファ1110を含む。エントロピ復号器1145の第1の出力は、逆変換器および逆量子化器1150の第1の入力に信号通信で接続される。逆変換器および逆量子化器1150の出力は、結合器1125の第2の非反転入力に信号通信で接続される。結合器1125の出力は、イントラ予測モジュール1160の第1の入力、および参照ピクチャバッファ1180の第1の入力に信号通信で接続される。参照ピクチャバッファ1180の出力は、動き補償器1170の第2の入力に信号通信で接続される。
【0092】
エントロピ復号器1145の第2の出力は、動き補償器1170の第3の入力、およびループ外方向適応型アーチファクト除去フィルタ1147の第1の入力に信号通信で接続される。エントロピ復号器1145の第3の出力は、(ループ外方向適応型アーチファクト除去フィルタ1147を制御するように)拡張された復号器コントローラ1105の入力に信号通信で接続される。(ループ外方向適応型アーチファクト除去フィルタ1147を制御するように)拡張された復号器コントローラ1105の第1の出力は、エントロピ復号器1145の第2の入力に信号通信で接続される。(ループ外方向適応型アーチファクト除去フィルタ1147を制御するように)拡張された復号器コントローラ1105の第2の出力は、逆変換器および逆量子化器1150の第2の入力に信号通信で接続される。(ループ外方向適応型アーチファクト除去フィルタ1147を制御するように)拡張された復号器コントローラ1105の第3の出力は、ループ外方向適応型アーチファクト除去フィルタ1147の第2の入力に信号通信で接続される。(ループ外方向適応型アーチファクト除去フィルタ1147を制御するように)拡張された復号器コントローラ1105の第4の出力は、イントラ予測モジュール1160の第2の入力、動き補償器1170の第1の入力、および参照ピクチャバッファ1180の第2の入力に信号通信で接続される。
【0093】
動き補償器1170の出力は、スイッチ1197の第1の入力に信号通信で接続される。イントラ予測モジュール1160の出力は、スイッチ1197の第2の入力に信号通信で接続される。スイッチ1197の出力は、結合器1125の第1の非反転入力に信号通信で接続される。
【0094】
入力バッファ1110の入力は、入力ビットストリームを受け取るための、復号器1100の入力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ1147の出力は、ピクチャを出力するための、復号器1100の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ1147の第3の入力は、SEIデータからの最適閾値を受け取るための、復号器1100の入力として利用可能である。
【0095】
図8および図9にそれぞれ関係する符号器コントローラ805および復号器コントローラ905は、ループ外方向適応型フィルタ(すなわちフィルタ1047およびフィルタ1147それぞれ)を制御するように拡張された符号器コントローラ1005および復号器コントローラ1105を得るために、どちらも修正される。この修正は、このループ外フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および/または高レベル構文の可能な要件に関して影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表1は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表2は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。一実施形態では、復号器側でフィルタを適切に設定するために、スライスヘッダ内に符号化された閾値を埋め込むことができる。
【0096】
【表1】

【0097】
【表2】

【0098】
次に、表1および表2に示す構文要素のいくつかを、一実施形態に従って説明する。
【0099】
deart_filter_present_flag:1に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する1組の構文要素が、スライスヘッダ内に存在することを指定する。0に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する1組の構文要素が、スライスヘッダ内に存在せず、それらの構文要素の推定値が効力をもつことを指定する。
【0100】
selection_filter_type:アーチファクトの除去で使用するフィルタ構成を指定する。0に等しい場合、方向適応型アーチファクト除去フィルタリングを無効にすべきであることを指定する。1に等しい場合、ループ外方向適応型アーチファクト除去フィルタリングを使用することを指定する。2に等しい場合、ループ内方向適応型アーチファクト除去フィルタリングを使用することを指定する。
【0101】
enable_threshold_generation_type、enable_threshold_selection_type:検索することができる高レベル構文の値、例えばこれだけに限定されないが、シーケンスパラメータセットレベルおよび/またはピクチャパラメータセットレベルである。一実施形態では、これらの値はフィルタのタイプ、閾値生成形式、および閾値選択方法に関する省略時値を変更する実現性を可能にする。
【0102】
threshold_generation_type:方向適応型アーチファクト除去において、どの組の閾値を使用するのか指定する。例えば一実施形態では、この組は、圧縮パラメータ、ユーザプリファレンス、および/または信号特性に依存し得る。
【0103】
threshold_selection_type:この方向適応型アーチファクト除去フィルタを用いて符号化する際、どの最適閾値選択方法を使用するのか指定する。例えば一実施形態では、符号化品質、符号化コスト、または符号化品質/符号化コスト双方を最大限にすることができる。
【0104】
ループ内フィルタリング
ループ内フィルタリングの1つの利点は、映像符号器が、動きを推定し補償するためにフィルタ済み参照フレームを使用できることである。ループ外フィルタリング代替策と比較した場合、このフィルタリング構成は、映像ストリームの客観的品質および主観的品質の両方を改善することができる。とは言え、無差別なフィルタリングは、前にフィルタした参照フレームから繰り返される画像領域を巻き込む。そのような領域の、起こり得るオーバーフィルタリングを回避するために、この方向適応型アーチファクト除去フィルタのループ内実装は、ブロックレベルならびにピクセルレベルでの符号化の違いについて局所的に適応的でなければならない。
【0105】
典型的なハイブリッド映像符号器内の、時間的に符号化されたブロックは、様々な量子化雑音統計の一因となる多様な局所符号化様式および局所符号化条件に服する。互いに異なる3つのブロック符号化様式またはブロック符号化条件を明らかにすることができ、それらはつまり、(1)イントラ符号化、(2)残留の符号化を伴うインター符号化、および(3)符号化される残留がないインター符号化である。
【0106】
最初の2つの場合は、様々な予測符号化様式、およびその予測符号化様式の量子化効果を使用する。さらに、そのようなブロック間の境界は、様々な強度のブロッキングアーチファクトの影響を受ける。MPEG-4 AVC標準のデブロッキングフィルタのフィルタリング強度の観測に基づいて、符号化される残留がない状態でインター符号化されるブロックの、複数のピクセルのブロック動きの差または別の参照フレームからの動き補償を示す境界も、ブロッキングアーチファクトの影響を受ける。
【0107】
上述の条件は、専用のフィルタリング方策を必要とする画像領域を識別し、隔離するために使用することができる。輝度画像の各ピクセルは、局所符号化条件に従って個々のクラスに分けられる。例示的実施形態では、この条件は徹底的に評価され、選ばれたブロック内のピクセル、またはそのような選ばれたブロックの境界に沿ったピクセルを示す。この実施形態では、あるピクセルがあるブロックのエッジから距離dの範囲内にある場合、そのピクセルはそのブロックの境界に属するとみなすことを指摘しておく。
【0108】
この分類は、異なる量子化効果を受ける画像領域の局所的区別を提供する、フィルタリングマップを生じさせる。ループ内方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、マップ作成モジュールが、上記の分類を実行し、映像シーケンスのフレームごとのフィルタリングマップを生み出す役割を果たす。輝度マップをサブサンプリングすることにより、画像のクロマ成分に関するフィルタリングマップが得られる。
【0109】
図12を見ると、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号1200によって全体として示されている。このフィルタ1200は、(各クラス用の)閾値セレクタ1215の第2の入力、およびフィルタ済み画像コンストラクタ1225の第3の入力と信号通信する出力を有する、方向適応型アーチファクト除去フィルタ1205を含む。閾値セレクタ1215の出力は、フィルタ済み画像コンストラクタ1225の第2の入力に信号通信で接続される。閾値生成器1210の出力は、閾値セレクタ1215の第1の入力、および方向適応型アーチファクト除去フィルタ1205の第2の入力に信号通信で接続される。マップ作成器1220の出力は、閾値セレクタ1215の第4の入力、およびフィルタ済み画像コンストラクタ1225の第1の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ1205の第1の入力は、入力ピクチャを受け取るための、フィルタ1200の入力として利用可能である。閾値生成器1210の入力は、制御データを受け取るための、フィルタ1200の入力として利用可能である。閾値セレクタ1215の第3の入力は、元のピクチャを受け取るための、フィルタ1200の入力として利用可能である。マップ作成器1220の入力は、符号化情報を受け取るための、フィルタ1200の入力として利用可能である。閾値セレクタ1215の出力はさらに、クラスごとの最適閾値を出力するための、フィルタ1200の出力として利用可能である。フィルタ済み画像コンストラクタ1225の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ1200の出力として利用可能である。
【0110】
図13を見ると、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号1300によって全体として示されている。この方法1300は、機能ブロック1310に制御を渡す、開始ブロック1305を含む。機能ブロック1310は、現在のフレームに関する1組のフィルタリング閾値およびフィルタリングマップを設定し、ループ端ブロック1315に制御を渡す。ループ端ブロック1315は、フィルタリング閾値ごとにループ(th)を実行し、機能ブロック1320に制御を渡す。機能ブロック1320は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、ループ端ブロック1325に制御を渡す。ループ端ブロック1325は、フィルタリングマップのクラスごとにループを実行し、機能ブロック1330に制御を渡す。機能ブロック1330は、最適閾値(例えば最大PSNR)を選択し、各クラス内のフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック1335に制御を渡す。ループ端ブロック1335は、クラスごとのループを終了し、ループ端ブロック1340に制御を渡す。ループ端ブロック1340は、フィルタリング閾値ごとのループ(th)を終了し、機能ブロック1345に制御を渡す。機能ブロック1345は、クラスごとの最適閾値をビットストリームに出力し、アーチファクト除去済みピクチャを出力し、終了ブロック1399に制御を渡す。
【0111】
フィルタリングマップを用いて、一実施形態では、指示クラスそれぞれの中のピクセルのアーチファクトを除去する際、専用のフィルタリング閾値を適用する。図12を再び参照すると、閾値生成器1210は、制御データを使用して、画像を方向適応型アーチファクト除去することに関して符号化手順の間に適用する、1組の閾値を規定する。制御データは、圧縮パラメータ(例えば量子化パラメータ(QP))、ユーザプリファレンス、局所および/もしくは広域信号特性、ならびに/または局所および/もしくは広域雑音/歪み特性とみなすことができるが、これだけに限定されない。閾値は、例えばこれだけに限定されないが、映像品質測度、符号化コスト測度のうちの少なくとも1つなどに適応的に設定することができ、双方の品質が最適化される。例えば、あるクラス内のフィルタ済みピクセルと元のピクセルとの間のPSNRが最大になるように、クラスごとに最適閾値が選択される。この様々な閾値の下でのフィルタリング操作は、並列に実施できることを理解すべきである。一実施形態では、ピクチャの様々なフィルタ済みバージョンを生成するために、各クラスに適用できる可能な閾値のうちの1つをそれぞれが使用する、いくつかの独立したフィルタリング操作を使用することができる。そのような場合のフィルタは、フィルタしようとするピクチャの様々な副格子サンプリングに対する、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。一実施形態では、(例えばフィルタ済み画像コンストラクタ1225により)クラスごとに最適にフィルタされたデータを含む合成画像を構築し、残りの符号化モジュールに提供する。閾値セレクタ1215は、符号器でしか入手できない情報(元の画像)を使用するため、クラスごとに選択した閾値を映像符号化方式のビットストリーム内で伝送する。
【0112】
一実施形態では、スライス当たりの選択閾値を符号化することができる。これらの閾値は、単純な均一符号を用いた符号化とすることができるが、それだけに限定されない。例えば、それらの閾値は、前のスライスおよび/または映像フレームを基準にして差動的に符号化することができる。また、例えば符号化設定、符号化プロファイル、および/または量子化パラメータに依存するいくつかの平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および/または差分値を、例えばこれだけに限定されないが均一符号、可変長符号(VLC)、および/または算術符号化(例えばコンテキスト適応型2値算術符号化方式(CABAC))を使用して符号化することができる。一実施形態では、各スライス/フレーム/シーケンスについて選択した閾値に関する情報を、SEI(付加拡張情報)データとして、符号化映像ビットストリーム内で伝送する。当業者は、閾値を伝送するために、任意の高レベル構文パラメータセットおよび/またはヘッダなどの他のデータ単位(例えば、スライスパラメータセット、ピクチャパラメータセット、シーケンスパラメータセット等)も使用できることを理解されよう。
【0113】
この復号器もフィルタリングマップを構築し、ビットストリームから最適閾値情報を抽出した状態で、次に各クラス内のピクセルのアーチファクトをしかるべく除去する。方向適応型アーチファクト除去フィルタリングの結果は、フィルタ済み画像を生み出すために使用し、各クラス内のピクセルは個別のフィルタリング閾値に従う。
【0114】
図14を見ると、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号1400によって全体として示されている。このフィルタ1400は、フィルタ済み画像コンストラクタ1415の第3の入力に信号通信で接続される出力を有する、方向適応型アーチファクト除去フィルタ1405を含む。マップ作成器1410の出力は、フィルタ済み画像コンストラクタ1415の第1の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ1405の入力は、入力ピクチャを受け取るための、フィルタ1400の入力として利用可能である。方向適応型アーチファクト除去フィルタ1405の第2の入力、およびフィルタ済み画像コンストラクタ1415の第2の入力は、クラスごとの最適閾値を受け取るための、フィルタ1400の入力として利用可能である。マップ作成器1410の入力は、符号化情報を受け取るための、フィルタ1400の入力として利用可能である。フィルタ済み画像コンストラクタ1415の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ1400の出力として利用可能である。
【0115】
図15を見ると、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号1500によって全体として示されている。この方法1500は、機能ブロック1510に制御を渡す、開始ブロック1505を含む。機能ブロック1510は、最適フィルタリング閾値を取り出し、現在のフレームに関するフィルタリングマップを設定し、ループ端ブロック1515に制御を渡す。ループ端ブロック1515は、フィルタリング閾値ごとにループ(th)を実行し、機能ブロック1520に制御を渡す。機能ブロック1520は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック1525に制御を渡す。機能ブロック1525は、フィルタリングマップの各クラスのフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック1530に制御を渡す。ループ端ブロック1530は、フィルタリング閾値(th)ごとのループを終了し、機能ブロック1535に制御を渡す。機能ブロック1535は、アーチファクト除去済みピクチャを出力し、終了ブロック1599に制御を渡す。
【0116】
時空的に適応性がある閾値を用いる、このループ内方向適応型アーチファクト除去フィルタは、ハイブリッド映像符号器/復号器のループ内に組み込まれる。その映像符号器/復号器は、例えばMPEG-4 AVC標準の映像符号器/復号器の拡張とすることができる。この場合、このループ内方向適応型アーチファクト除去フィルタが動作している間、MPEG-4 AVC標準のデブロッキングフィルタを置換し、補完し、かつ/または無効にすることができる。フレーム内の各クラスについて選択した閾値に関する情報を、例えばこれだけに限定されないがSEI(付加拡張情報)データとして、符号化映像ビットストリーム内で伝送する。
【0117】
一実施形態では、復元データに対するループ内フィルタを、MPEG-4 AVC標準に適用することができる。そのような場合、図8および図9に示す標準的な符号器および復号器内のMPEG-4 AVC標準のデブロッキングフィルタを、このループ内方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
【0118】
図16を見ると、本原理とともに使用するために拡張され、MPEG-4 AVC標準に従って映像符号化を実行できる別の例示的映像符号器が、参照番号1600によって全体として示されている。映像符号器1600に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【0119】
この映像符号器1600は、結合器1685の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ1610を含む。結合器1685の出力は、変換器および量子化器1625の第1の入力に信号通信で接続される。変換器および量子化器1625の出力は、エントロピ符号器1645の第1の入力、ならびに逆変換器および逆量子化器1650の第1の入力に信号通信で接続される。エントロピ符号器1645の出力は、結合器1690の第1の非反転入力に信号通信で接続される。結合器1690の出力は、出力バッファ1635の第1の入力に信号通信で接続される。
【0120】
(ループ内方向適応型アーチファクト除去フィルタ1647を制御するように)拡張された符号器コントローラ1605の第1の出力は、フレーム順序付けバッファ1610の第2の入力、逆変換器および逆量子化器1650の第2の入力、ピクチャタイプ決定モジュール1615の入力、マクロブロックタイプ(MBタイプ)決定モジュール1620の第1の入力、イントラ予測モジュール1660の第2の入力、ループ内方向適応型アーチファクト除去フィルタ1647の第2の入力、動き補償器1670の第1の入力、動き推定器1675の第1の入力、ならびに参照ピクチャバッファ1680の第2の入力に信号通信で接続される。
【0121】
(ループ内方向適応型アーチファクト除去フィルタ1647を制御するように)拡張された符号器コントローラ1605の第2の出力は、SEI(付加拡張情報)インサータ1630の第1の入力、変換器および量子化器1625の第2の入力、エントロピ符号器1645の第2の入力、出力バッファ1635の第2の入力、ならびにSPS(シーケンスパラメータセット)およびPPS(ピクチャパラメータセット)インサータ1640の入力に信号通信で接続される。
【0122】
SEIインサータ1630の出力は、結合器1690の第2の非反転入力に信号通信で接続される。
【0123】
ピクチャタイプ決定モジュール1615の第1の出力は、フレーム順序付けバッファ1610の第3の入力に信号通信で接続される。ピクチャタイプ決定モジュール1615の第2の出力は、マクロブロックタイプ決定モジュール1620の第2の入力に信号通信で接続される。
【0124】
SPS(シーケンスパラメータセット)およびPPS(ピクチャパラメータセット)インサータ1640の出力は、結合器1690の第3の非反転入力に信号通信で接続される。
【0125】
逆量子化器および逆変換器1650の出力は、結合器1619の第1の非反転入力に信号通信で接続される。結合器1619の出力は、イントラ予測モジュール1660の第1の入力、およびループ内方向適応型アーチファクト除去フィルタ1647の第1の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ1665の第1の出力は、参照ピクチャバッファ1680の第1の入力に信号通信で接続される。参照ピクチャバッファ1680の出力は、動き推定器1675の第2の入力、および動き補償器1670の第3の入力に信号通信で接続される。動き推定器1675の第1の出力は、動き補償器1670の第2の入力に信号通信で接続される。動き推定器1675の第2の出力は、エントロピ符号器1645の第3の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ1647の第2の出力は、SEIインサータ1630の第3の入力に信号通信で接続される。
【0126】
動き補償器1670の出力は、スイッチ1697の第1の入力に信号通信で接続される。イントラ予測モジュール1660の出力は、スイッチ1697の第2の入力に信号通信で接続される。マクロブロックタイプ決定モジュール1620の出力は、スイッチ1697の第3の入力に信号通信で接続される。スイッチ1697のこの第3の入力は、このスイッチの「データ」入力が、(制御入力、すなわち第3の入力に照らして)動き補償器1670またはイントラ予測モジュール1660によって提供されるべきかどうかを決定する。スイッチ1697の出力は、結合器1619の第2の非反転入力、および結合器1685の反転入力に信号通信で接続される。
【0127】
フレーム順序付けバッファ1610の第1の入力、(ループ内方向適応型アーチファクト除去フィルタ1647を制御するように拡張された)符号器コントローラ1605の入力、およびループ内方向適応型アーチファクト除去フィルタ1647の第3の入力は、入力ピクチャを受け取るための、符号器1600の入力として利用可能である。さらに、SEI(付加拡張情報)インサータ1630の第2の入力は、メタデータを受け取るための、符号器1600の入力として利用可能である。出力バッファ1635の出力は、ビットストリームを出力するための、符号器1600の出力として利用可能である。
【0128】
図17を見ると、本原理とともに使用するために拡張され、MPEG-4 AVC標準に従って映像復号を実行できる別の例示的映像復号器が、参照番号1700によって全体として示されている。映像復号器1700に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
【0129】
この映像復号器1700は、エントロピ復号器1745の第1の入力、およびループ内方向適応型アーチファクト除去フィルタ1747の第4の入力に信号通信で接続される出力を有する、入力バッファ1710を含む。エントロピ復号器1745の第1の出力は、逆変換器および逆量子化器1750の第1の入力に信号通信で接続される。逆変換器および逆量子化器1750の出力は、結合器1725の第2の非反転入力に信号通信で接続される。結合器1725の出力は、ループ内方向適応型アーチファクト除去フィルタ1747の第2の入力、およびイントラ予測モジュール1760の第1の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ1747の第2の出力は、参照ピクチャバッファ1780の第1の入力に信号通信で接続される。参照ピクチャバッファ1780の出力は、動き補償器1770の第2の入力に信号通信で接続される。
【0130】
エントロピ復号器1745の第2の出力は、動き補償器1770の第3の入力、およびループ内方向適応型アーチファクト除去フィルタ1747の第1の入力に信号通信で接続される。エントロピ復号器1745の第3の出力は、復号器コントローラ1705の入力に信号通信で接続される。復号器コントローラ1705の第1の出力は、エントロピ復号器1745の第2の入力に信号通信で接続される。復号器コントローラ1705の第2の出力は、逆変換器および逆量子化器1750の第2の入力に信号通信で接続される。復号器コントローラ1705の第3の出力は、ループ内方向適応型アーチファクト除去フィルタ1747の第3の入力に信号通信で接続される。復号器コントローラ1705の第4の出力は、イントラ予測モジュール1760の第2の入力、動き補償器1770の第1の入力、および参照ピクチャバッファ1780の第2の入力に信号通信で接続される。
【0131】
動き補償器1770の出力は、スイッチ1797の第1の入力に信号通信で接続される。イントラ予測モジュール1760の出力は、スイッチ1797の第2の入力に信号通信で接続される。スイッチ1797の出力は、結合器1725の第1の非反転入力に信号通信で接続される。
【0132】
入力バッファ1710の入力は、入力ビットストリームを受け取るための、復号器1700の入力として利用可能である。ループ内方向適応型アーチファクト除去フィルタ1747の第1の出力は、出力ピクチャを出力するための、復号器1700の出力として利用可能である。
【0133】
図8および図9にそれぞれ関係する符号器コントローラ805および復号器コントローラ905は、ループ外方向適応型フィルタ(すなわちフィルタ1647およびフィルタ1747それぞれ)を制御するように拡張された符号器コントローラ1605および復号器コントローラ1705を得るために、どちらも修正される。この修正は、このループ内フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および/または高レベル構文の可能な要件に影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表1は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表2は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。
【0134】
次に、表1および表2に示す構文要素のいくつかを、一実施形態に従って説明する。
【0135】
enable_map_creation_type:例えばシーケンスパラメータセットレベルおよび/またはピクチャパラメータセットレベルに位置することができる高レベル構文要素である。一実施形態では、この要素の値は、フィルタリングマップのタイプに関する省略時値を変更する実現性を可能にする。
【0136】
map_creation_type:ループ内方向適応型アーチファクト除去フィルタリングで使用する、フィルタリングマップのタイプを指定する。例えば一実施形態では、この構文要素は、クラスの数およびフィルタリングマップの境界サイズを設定するために使用することができる。
【0137】
次に、一部は上記に記載した、本発明に付随する多くの利点/特徴のいくつかについて説明する。例えば1つの利点/特徴は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備える装置である。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
【0138】
別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は空間的に変えられる。
【0139】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも1つに応じて変えられる。
【0140】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、複数のクラスに対応するクラスマップが作成され、その複数のクラスのそれぞれに関して個々の閾値が選択される。その複数のクラスのそれぞれは、1組の特定の符号化条件に対応する。
【0141】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも1つを使用して符号化される。その平均閾値の値は、少なくとも1つの符号化設定、少なくとも1つの符号化プロファイル、および少なくとも1つの量子化パラメータのうちの少なくとも1つに依存する。均一符号化値および差分値のうちの少なくとも1つは、均一符号、可変長符号、および算術符号のうちの少なくとも1つを使用して符号化される。
【0142】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、少なくとも1つの高レベル構文要素を使用して、フィルタリング閾値情報が符号化映像ビットストリーム内で伝送される。
【0143】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、ピクチャデータのループ内処理およびループ外処理のうちの少なくとも1つに備えて構成される。
【0144】
また、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、映像符号器および映像復号器のうちの少なくとも1つに含まれる。
【0145】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値はピクチャデータまたはそのピクチャデータの一部分に対応しているピクチャ全体に選択的に適用される。
【0146】
さらに、別の利点/特徴は、スパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は上述したように選択的に適用され、独立にまたは一緒に適応される。
【0147】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタが行うスパーシティベースフィルタリング操作は、結合、適応化、有効化、無効化のうちの少なくとも1つが可能である。
【0148】
また、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像符号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも1つであるかどうかが、少なくとも1つの高レベル構文要素を使用して、対応する復号器に信号で伝えられる。
【0149】
さらに、別の利点/特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像復号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも1つであるかどうかが、少なくとも1つの高レベル構文要素から明らかにされる。
【0150】
本原理のこれらのおよび他の特徴/利点は、本明細書の教示に基づいて当業者は容易に確かめることができる。本原理の教示は、様々な形のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組合せに実装できることを理解すべきである。
【0151】
本原理の教示をハードウェアとソフトウェアとの組合せとして実装することが最も好ましい。さらに、そのソフトウェアは、プログラム記憶ユニット上に有形に実施されるアプリケーションプログラムとして実装することができる。そのアプリケーションプログラムは、任意の適切なアーキテクチャを含む機械にアップロードし、その機械によって実行することができる。好ましくは、その機械は、1つまたは複数の「CPU」(中央処理装置)、「RAM」(ランダムアクセスメモリ)、「I/O」(入出力)インタフェースなどのハードウェアを備えるコンピュータプラットフォーム上に実装される。そのコンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをさらに含むことができる。本明細書に記載した様々な処理および機能は、CPUが実行できるマイクロ命令コードの一部、またはアプリケーションプログラムの一部、またはそれらの任意の組合せとすることができる。さらに、追加データ記憶ユニットや印刷ユニットなど、他の様々な周辺装置をこのコンピュータプラットフォームに接続することができる。
【0152】
添付図面に示す構成システムのコンポーネントおよび方法の一部はソフトウェアに実装することが好ましいので、このシステムのコンポーネント間または処理機能ブロック間の実際の接続は、本原理をプログラムする方法によって異なる場合があることをさらに理解すべきである。本明細書の教示を所与として、当業者は本原理のこれらのおよび同様の実装形態または構成を思いつくことができるであろう。
【0153】
例示的実施形態を、添付図面を参照して本明細書で説明したが、本原理はそれらの厳密な実施形態に限定されず、本原理の範囲または趣旨から逸脱することなく、当業者は様々な変更および修正を加えることができることを理解すべきである。そのような変更および修正はすべて、添付の特許請求の範囲に記載する本原理の範囲に含まれるものとする。
(57)【特許請求の範囲】
【請求項1】
ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備え、
前記アーチファクト除去フィルタリングは、
ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類することであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、
複数のクラスそれぞれについての閾値を決定することと、
ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成することと、
係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成することと、
少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成することと、
を含むよう最適化された、装置。
【請求項2】
前記スパーシティベースフィルタリング閾値は、空間的に変えられる、請求項1に記載の装置。
【請求項3】
前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも1つに応じて変えられる、請求項2に記載の装置。
【請求項4】
前記スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも1つを使用して符号化され、前記平均閾値の値は、少なくとも1つの符号化設定、少なくとも1つの符号化プロファイル、および少なくとも1つの量子化パラメータのうちの少なくとも1つに依存し、前記均一符号化値および前記差分値のうちの少なくとも1つは、均一符号、可変長符号、および算術符号のうちの少なくとも1つを使用して符号化される、請求項1に記載の装置。
【請求項5】
前記スパーシティベースフィルタは、映像符号器および映像復号器のうちの少なくとも1つに含まれる、請求項1に記載の装置。
【請求項6】
ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む方法であって、該アーチファクト除去フィルタリングするステップは、
ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含む、前記分類するステップと、
複数のクラスそれぞれについての閾値を決定するステップと、
ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップと、
係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも2つの雑音除去推定値を生成するステップと、
少なくとも2つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップと、
を含む、前記方法。
【請求項7】
前記スパーシティベースフィルタリング閾値は、空間的に変えられる、請求項6に記載の方法。
【請求項8】
前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも1つに応じて変えられる、請求項7に記載の方法。
【請求項9】
前記スパーシティベースフィルタリング閾値を、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも1つを使用して符号化するステップをさらに含み、前記平均閾値の値は、少なくとも1つの符号化設定、少なくとも1つの符号化プロファイル、および少なくとも1つの量子化パラメータのうちの少なくとも1つに依存し、前記均一符号化値および前記差分値のうちの少なくとも1つは、均一符号、可変長符号、および算術符号のうちの少なくとも1つを使用して符号化される、請求項6に記載の方法。
【請求項10】
前記スパーシティベースフィルタリングは、映像符号器および映像復号器のうちの少なくとも1つにおいて行われる、請求項6に記載の方法。
 
訂正の要旨 審決(決定)の【理由】欄参照。
審決日 2014-02-20 
出願番号 特願2010-543123(P2010-543123)
審決分類 P 1 41・ 853- Y (H04N)
最終処分 成立  
前審関与審査官 横田 有光  
特許庁審判長 渡邊 聡
特許庁審判官 千葉 輝久
渡辺 努
登録日 2013-09-06 
登録番号 特許第5357898号(P5357898)
発明の名称 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置  
復代理人 窪田 郁大  
復代理人 窪田 郁大  
代理人 特許業務法人谷・阿部特許事務所  
代理人 特許業務法人 谷・阿部特許事務所  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ