• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き1号特許請求の範囲の減縮 訂正する H04N
審判 訂正 ただし書き3号明りょうでない記載の釈明 訂正する H04N
管理番号 1303210
審判番号 訂正2015-390058  
総通号数 189 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2015-09-25 
種別 訂正の審決 
審判請求日 2015-06-09 
確定日 2015-07-09 
訂正明細書 有 
事件の表示 特許第5616562号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第5616562号の明細書及び特許請求の範囲を本件審判請求書に添付された訂正明細書及び特許請求の範囲のとおり一群の請求項ごとに訂正することを認める。 
理由 第1 経緯
本件特許第5616562号に係る発明は、2012年(平成24年)4月26日(パリ条約による優先権主張外国庁受理2011年6月30日、米国)を国際出願日とし出願されたものであって、平成26年9月19日に特許権の設定登録がなされ、その後、平成26年11月18日付けで訂正審判(訂正2014-390175)が請求され、平成26年12月17日付けで審決され(平成26年12月26日確定)、平成27年6月9日付けで本件審判が請求されたものである。

第2 請求
1 請求の趣旨
本件審判請求の趣旨は、特許第5616562号の明細書及び特許請求の範囲を本件審判請求書に添付した訂正明細書及び特許請求の範囲のとおり一群の請求項ごとに訂正することを認める、との審決を求めるものである。

2 訂正事項
(1)請求項5?9及び11?20からなる一群の請求項に係る訂正
ア 訂正事項1
特許請求の範囲の請求項5を削除する。

イ 訂正事項2
特許請求の範囲の請求項6に「請求項1、2、4または5に記載の方法」とあるのを「請求項1、2、4に記載の方法」に訂正する(請求項6の記載を引用する請求項7?9、11?20も同様に訂正する)。

ウ 訂正事項3
特許請求の範囲の請求項7に「請求項5または6に記載の方法」とあるのを「請求項6に記載の方法」に訂正する(請求項7の記載を引用する請求項8?9、11?20も同様に訂正する)。

エ 訂正事項4
特許請求の範囲の請求項8に「請求項1、2、および4乃至7のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6および7のいずれか1項に記載の方法」に訂正する(請求項8の記載を引用する請求項9、11?20も同様に訂正する)。

オ 訂正事項5
特許請求の範囲の請求項9に「請求項1、2、および4乃至8のいずれか1項に記載の方法」とあるのを「請求項1、2、4、および6乃至8のいずれか1項に記載の方法」に訂正する(請求項9の記載を引用する請求項11?20も同様に訂正する)。

カ 訂正事項6
特許請求の範囲の請求項11に「請求項1、2、および4乃至9のいずれか1項に記載の方法」とあるのを「請求項1、2、4、および6乃至9のいずれか1項に記載の方法」に訂正する(請求項11の記載を引用する請求項12?20も同様に訂正する)。

キ 訂正事項7
特許請求の範囲の請求項15に「請求項1、2、4乃至9、および11乃至14のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6乃至9、および11乃至14のいずれか1項に記載の方法」に訂正する(請求項15の記載を引用する請求項16?20も同様に訂正する)。

ク 訂正事項8
特許請求の範囲の請求項16に「請求項1、2、4乃至9、および11乃至15のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6乃至9、および11乃至15のいずれか1項に記載の方法」に訂正する(請求項16の記載を引用する請求項17?20も同様に訂正する)。

ケ 訂正事項9
特許請求の範囲の請求項17に「請求項1、2、4乃至9、および11乃至16のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6乃至9、および11乃至16のいずれか1項に記載の方法」に訂正する(請求項17の記載を引用する請求項18?20も同様に訂正する)。

コ 訂正事項10
特許請求の範囲の請求項18に「請求項1、2、4乃至9、および11乃至17のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6乃至9、および11乃至17のいずれか1項に記載の方法」に訂正する(請求項18の記載を引用する請求項19?20も同様に訂正する)。

サ 訂正事項11
特許請求の範囲の請求項20に「請求項1、2、4乃至9、および11乃至19のいずれか1項に記載の方法」とあるのを「請求項1、2、4、6乃至9、および11乃至19のいずれか1項に記載の方法」に訂正する。

(2)請求項25?29及び31?38からなる一群の請求項に係る訂正
ア 訂正事項12
特許請求の範囲の請求項25を削除する。

イ 訂正事項13
特許請求の範囲の請求項26に「請求項21、22、24または25に記載の復号器」とあるのを「請求項21、22、24に記載の復号器」に訂正する(請求項26の記載を引用する請求項27?29、31?38も同様に訂正する)。

ウ 訂正事項14
特許請求の範囲の請求項27に「請求項25または26に記載の復号器」とあるのを「請求項26に記載の復号器」に訂正する(請求項27の記載を引用する請求項28、29、31?38も同様に訂正する)。

エ 訂正事項15
特許請求の範囲の請求項28に「請求項21、22、および24乃至27のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、26および27のいずれか1項に記載の復号器」に訂正する(請求項28の記載を引用する請求項29、31?38も同様に訂正する)。

オ 訂正事項16
特許請求の範囲の請求項29に「請求項21、22、および24乃至28のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、および26乃至28のいずれか1項に記載の復号器」に訂正する(請求項29の記載を引用する請求項31?38も同様に訂正する)。

カ 訂正事項17
特許請求の範囲の請求項31に「請求項21、22、および24乃至29のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、および26乃至29のいずれか1項に記載の復号器」に訂正する(請求項31の記載を引用する請求項32?38も同様に訂正する)。

キ 訂正事項18
特許請求の範囲の請求項35に「請求項21、22、24乃至29、および31乃至34のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、26乃至29、および31乃至34のいずれか1項に記載の復号器」に訂正する(請求項35の記載を引用する請求項36?38も同様に訂正する)。

ク 訂正事項19
特許請求の範囲の請求項36に「請求項21、22、24乃至29、および31乃至35のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、26乃至29、および31乃至35のいずれか1項に記載の復号器」に訂正する(請求項36の記載を引用する請求項37?38も同様に訂正する)。

ケ 訂正事項20
特許請求の範囲の請求項37に「請求項21、22、24乃至29、および31乃至36のいずれか1項に記載の復号器」とあるのを「請求項21、22、24、26乃至29、および31乃至36のいずれか1項に記載の復号器」に訂正する(請求項37の記載を引用する請求項38も同様に訂正する)。

コ 訂正事項21
特許請求の範囲の請求項38に「請求項21、22、24乃至29、および31乃至37のいずれか1項に記載の復号器(400)」とあるのを「請求項21、22、24、26乃至29、および31乃至37のいずれか1項に記載の復号器(400)」に訂正する。

第3 当審の判断
1 請求項5?9及び11?20からなる一群の請求項に係る訂正
(1)訂正の目的について
ア 訂正事項1について
当該訂正事項は、特許請求の範囲の請求項5を削除するものであって、特許請求の範囲の減縮を目的としたものであると認められる。

イ 訂正事項2?11について
訂正事項2?11は、訂正事項1により特許請求の範囲の請求項5が削除されたことに伴い、同請求項6?9、11、15?18、20で引用する請求項から請求項5の記載を削除し、特許請求の範囲の記載を整合させるものであるから、明瞭でない記載の釈明を目的としたものであると認められる。

(2)訂正の適合性について
訂正事項1?11は、上記(1)のとおりのものであるから、願書に添付した明細書に記載した事項の範囲内においてするものであり、実質上特許請求の範囲を拡張し、又は変更するものでないことは明らかである。
なお、訂正事項1は、特許請求の範囲の請求項5を削除するものであるから、特許法第126条第7項の規定に適合するか否かの判断を要しない。

(3)一群の請求項について
請求項5?9及び11?20は、特許法施行規則第46条の2第4項に記載する関係を有しており、一群の請求項と認められる。

(4)まとめ
請求項5?9及び11?20からなる一群の請求項に係る訂正は、特許法第126条第1項ただし書き第1号及び第3号に掲げる事項を目的とし、同条第3項、第5項及び第6項の規定に適合する。

2 請求項25?29及び31?38からなる一群の請求項に係る訂正
(1)訂正の目的について
ア 訂正事項12について
当該訂正事項は、特許請求の範囲の請求項25を削除するものであって、特許請求の範囲の減縮を目的としたものであると認められる。

イ 訂正事項13?21について
訂正事項13?21は、訂正事項12により特許請求の範囲の請求項25が削除されたことに伴い、同請求項26?29、31、35?38で引用する請求項から請求項25の記載を削除し、特許請求の範囲の記載を整合させるものであるから、明瞭でない記載の釈明を目的としたものであると認められる。

(2)訂正の適合性について
訂正事項12?21は、上記(1)のとおりのものであるから、願書に添付した明細書に記載した事項の範囲内においてするものであり、実質上特許請求の範囲を拡張し、又は変更するものでないことは明らかである。
なお、訂正事項12は、特許請求の範囲の請求項25を削除するものであるから、特許法第126条第7項の規定に適合するか否かの判断を要しない。

(3)一群の請求項について
請求項25?29及び31?38は、特許法施行規則第46条の2第4項に記載する関係を有しており、一群の請求項と認められる。

(4)まとめ
請求項25?29及び31?38からなる一群の請求項に係る訂正は、特許法第126条第1項ただし書き第1号及び第3号に掲げる事項を目的とし、同条第3項、第5項及び第6項の規定に適合する。

第4 むすび
以上、本件審判の請求に係る訂正は、特許法第126条第1項ただし書き第1号及び第3号に揚げる事項を目的とし、同条第3項、第5項及び第6項の規定に適合する。

よって、結論のとおり審決する。
 
発明の名称 (54)【発明の名称】
参照ピクチャ信号伝送
【技術分野】
【0001】
本発明の実施形態は、概してビデオの符号化及び復号に関連した参照ピクチャ管理に関し、特に参照ピクチャ信号伝送及びバッファ管理に関する。
【背景技術】
【0002】
MPEG-4(Moving Picture Experts Group-4)高度映像符号化(AVC:Advanced Video Coding)とも呼ばれるH.264は、最先端の映像符号化基準である。H.264は、時間及び空間予測を利用するブロックベースのハイブリッド映像符号化方式で構成される。
【0003】
高効率映像符号化(HEVC:High Efficiency Video Coding)は、映像符号化共同研究部会(JCT-VC:Joint Collaborative Team-Video Coding)において現在開発されている新しいビデオ符号化基準である。JCT-VCは、MPEGと国際電気通信連合-電気通信標準化部門(ITU-T:International Telecommunication Union Telecommunication standardization sector)との共同プロジェクトである。現在、大きなマクロブロック(最大符号化単位はLCUと省略される)及び複数の他の新しいツールを含むために、H.264/AVCよりかなり効率的なワーキングドラフト(WD:Working Draft)が規定されている。
【0004】
受信機において、復号器は、ピクチャ、即ち圧縮データのビデオデータパケットを示すビットストリームを受信する。圧縮データは、ペイロード及び制御情報を含む。制御情報は、復号ピクチャバッファ(DPB:decoded picture buffer)とも呼ぶ参照ピクチャバッファに参照ピクチャが格納されるべきであるという情報等を含む。該情報は、以前に受信したピクチャについての相対的な参照である。さらに復号器は、受信したビットストリームを復号し、復号ピクチャを表示する。また、復号ピクチャは、制御情報に従って復号ピクチャバッファに格納される。復号器は、後続のピクチャを復号する際に格納されたこれらの参照ピクチャを使用する。
【0005】
HEVCのワーキングドラフトにおける復号ピクチャバッファ操作の処理についての作業仮定は、それらが大部分はH.264/AVCから継承されることである。方式がH.264/AVCで設計された時の方式の簡略化されたフローチャートを図1に示す。
【0006】
ピクチャを実際に復号する前に、スライスヘッダにおけるframe_numは、シーケンスパラメータセット(SPS:Sequence Parameter Set)構文要素gaps_in_frame_num_value_allowed_flagが1の場合にframe_numの起こり得る欠落を検出するように構文解析される。frame_numは復号順序を示す。frame_numの欠落が検出される場合、「存在していない」フレームが作成されて、復号ピクチャバッファ(DPB)に挿入される。
【0007】
frame_numに欠落があったか否かに関係なく、次の工程は現在のピクチャを実際に復号することである。ピクチャのスライスヘッダがメモリ管理制御動作(MMCO:Memory Management Control Operations)コマンドを含む場合、復号ピクチャバッファに格納されるピクチャについての相対的な参照を取得するためにピクチャを復号した後に適応メモリ制御処理が適用され、ピクチャのスライスヘッダがMMCOコマンドを含まない場合、復号ピクチャバッファに格納されるピクチャについての相対的な参照を取得するためにスライドウィンドウ処理が適用される。最終工程として、ピクチャを正確な順序で配信するために「バンプ」処理が適用される。
【0008】
H.264/AVCに関する問題は、以下の表1において開示されるようなタイプ2、3、4、5又は6のMMCOを含むピクチャの損失に対する脆弱性である。
【0009】
【表1】

H.264/AVCに係るメモリ管理制御動作値
【0010】
MMCOを含まないピクチャ又はタイプ0又は1のMMCOを含むピクチャの損失は、当然、復号処理にとって深刻である。損失ピクチャの画素値は使用可能にはならないため、正確でないインター予測のために長期間にわたり将来のピクチャに影響を及ぼすだろう。例えばある短期参照ピクチャを「参照に使用しない」ものとしてマーク付けしない場合に、後続するピクチャの参照ピクチャリストに含まれる短期参照ピクチャを「参照に使用しない」ものとしてマーク付けしたMMCOを損失ピクチャが含んでいた場合、損失ピクチャに後続する少数のピクチャについての参照ピクチャリストが間違っている危険性もある。しかしながら、復号処理は、一般的には、条件付きのイントラブロック、イントラスライスを使用して、あるいは他の手段によりこのような損失を回復できる。
【0011】
しかしながら、タイプ2、3、4、5又は6のMMCOを含むピクチャが損失される場合、DPBにおける長期ピクチャの数がピクチャが受信された場合のものとは異なる危険性があり、その結果、全ての後続のピクチャに対して「正確でない」スライドウィンドウ処理が行わる。即ち、符号化器及び復号器が異なる数の短期ピクチャを含む結果、スライドウィンドウ処理の非同期の挙動が生じる。条件付きのイントラブロック、イントラスライス又は同様の技術を使用しても該損失を回復できない(オープンピクチャ群(GOP:Group Of Picture)イントラピクチャ)でさえ回復できない)。このような損失からの回復を保証する唯一の方法は、瞬時復号リフレッシュ(IDR:Instantaneous Decoder Refresh)ピクチャ又は損失MMCOの影響を相殺するMMCOを介することである。状況をさらに悪化させているのは、スライドウィンドウ処理が同期していないために、問題を符号化器に報告できないこと、あるいはフィードバックチャネルが使用可能である適応例においてでさえIDRピクチャを要求できないことを復号器が必ずしも認識していないことである。
【0012】
重要なMMCO情報を損失する危険性を低下させる1つの方法は、dec_ref_pic_marking_repetition付加拡張情報(SEI:Supplementary Enhancement Information)メッセージを使用することである。しかしながら、符号化器は、復号器がdec_ref_pic_marking_repetition SEIメッセージを利用できるかが分からない。また、dec_ref_pic_marking_repetition SEIメッセージも失われる危険性がある。
【0013】
従って、従来技術の解決策の欠点及び制限による影響を受けない効率的な参照ピクチャ信号伝送及びバッファ管理が必要である。
【発明の概要】
【0014】
ビデオの符号化及び復号に関連する、効率的な参照ピクチャの信号伝送及びバッファ管理を提供することが全体的な目標である。
【0015】
このこと及び他の目標は、本明細書に記載された実施形態により満たされる。
【0016】
実施形態の一態様は、ビデオストリームの複数のピクチャのうちの1つのピクチャの符号化表現を復号する方法に関する。方法は、ピクチャの符号化表現から少なくとも1つの参照ピクチャを定義するバッファ記述情報を取得する工程を有する。少なくとも1つの参照ピクチャのうちの参照ピクチャの各々を示す少なくとも1つのピクチャ識別子は、バッファ記述情報に基づいて決定される。各参照ピクチャはピクチャの復号参照として用いられる。復号されたピクチャバッファは、少なくとも1つのピクチャ識別子に基づいて更新される。
【0017】
実施形態の関連する態様は、ビデオストリームの複数のピクチャのうちの1つのピクチャの符号化表現を復号する復号器を規定する。復号器は、ピクチャの符号化表現から少なくとも1つの参照ピクチャを定義するバッファ記述情報を取得するデータ取得器を有する。復号器のピクチャ識別子決定器は、バッファ記述情報に基づいて、少なくとも1つの参照ピクチャのうちの参照ピクチャの各々を示す少なくとも1つのピクチャ識別子を、ピクチャの復号参照として決定する。また復号器は、少なくとも1つのピクチャ識別子に基づいて、復号されたピクチャバッファを更新するバッファマネージャを有する。
【0018】
実施形態の他の関連する態様は、ビデオストリームの複数のピクチャの符号化表現を受信する入力部を有する復号器を規定する。また復号器は、メモリに格納されたコンピュータプログラムのコード手段を処理するプロセッサを有する。コード手段は、該プロセッサにおいて実行された場合に、ピクチャの符号化表現から少なくとも1つの参照ピクチャを定義するバッファ記述情報をプロセッサに取得させる。またプロセッサは、バッファ記述情報に基づいて、少なくとも1つの参照ピクチャの各々を示す少なくとも1つのピクチャ識別子を、ピクチャの復号参照として決定させられる。さらにコード手段はプロセッサに、少なくとも1つのピクチャ識別子に基づいて、復号されたピクチャバッファを更新させられる。復号器の出力部は、ビデオストリームの復号されたピクチャを出力する。
【0019】
実施形態の他の態様は、ビデオストリームの複数のピクチャのうちの1つのピクチャを符号化する方法に関する。方法は、複数のピクチャのうちの少なくとも1つの参照ピクチャを、ピクチャの符号化参照として決定する工程を有する。また方法は、少なくとも1つの参照ピクチャの各々について、参照ピクチャを示すピクチャ識別子を提供する工程を有する。少なくとも1つの参照ピクチャを定義するバッファ記述情報は、少なくとも1つのピクチャ識別子に基づいて生成される。バッファ記述情報は、ピクチャの符号化表現内に挿入される。
【0020】
実施形態の関連する態様は、ビデオストリームの複数のピクチャのうちの1つのピクチャを符号化する符号化器を規定する。符号化器は、複数のピクチャのうちの少なくとも1つの参照ピクチャを、ピクチャの符号化参照として決定する参照ピクチャ決定器を有する。また符号化器は、少なくとも1つの参照ピクチャの各々について、参照ピクチャを示すピクチャ識別子を提供するピクチャ識別子提供器を有する。バッファ記述情報生成器は、少なくとも1つのピクチャ識別子に基づいてバッファ記述情報を生成する。バッファ記述情報は、データ挿入器によりピクチャの符号化表現内に挿入される。
【0021】
実施形態の他の関連する態様は、ビデオストリームの複数のピクチャを受信する入力部と、メモリに格納されたコンピュータプログラムのコード手段を処理するプロセッサとを有する符号化器を規定する。コード手段は、該プロセッサにおいて実行された場合に、ビデオストリームの1つのピクチャについて、複数のピクチャの少なくとも1つの参照ピクチャを、該ピクチャの符号化参照としてプロセッサに決定させる。またプロセッサは、参照ピクチャの各々について、該参照ピクチャを示すピクチャ識別子を提供させられ、少なくとも1つのピクチャ識別子に基づいてバッファ記述情報を生成させられる。さらにコード手段はプロセッサに、ピクチャの符号化表現にバッファ記述情報を挿入させる。さらに符号化器は、ピクチャの符号化表現を出力する出力部を有する。
【0022】
参照ピクチャを修正する従来技術の解決策との明確に対比すると、以前の符号化ピクチャが正しく受信されて復号されることとは管理は独立しており、実施形態は相対的あるいは暗黙的な方法に代わり、絶対的かつ明白な方法で参照ピクチャが用いられるバッファ記述情報を提供する。従って、ピクチャの符号化表現は、復号の際に参照に用いるための、ビデオストリームにおいて以前のピクチャの符号化表現とは独立した、参照ピクチャについての情報を含む。
【0023】
従って、復号器が、以前のピクチャにおいて正しくもたらされ解釈されたバッファ操作を信頼する代わりに、現在のピクチャの参照ピクチャ管理について、現在のピクチャに含まれる情報のみを信頼するため実施形態は参照ピクチャ管理及びエラーに対する脆弱性が低い信号伝達をもたらす。
【0024】
添付の図面と共に以下の説明を参照することにより、本発明は本発明の更なる目的及び利点と共に最適に理解されるだろう。
【図面の簡単な説明】
【0025】
【図1】H.264/AVC参照バッファ方式を示す簡略化されたフローチャート。
【図2】2つの時間層を有する符号化構造の一例を示す図。
【図3】一実施形態に係るピクチャを符号化する方法を示すフローチャート。
【図4】一実施形態に係る複数のピクチャのビデオストリームを示す図。
【図5】一実施形態に係るピクチャの符号化表現を示す図。
【図6】図3の方法の更なるオプションのステップを示すフローチャート。
【図7】図3の方法の更なるオプションのステップ及び図3のバッファ記述情報を生成する一実施形態を示すフローチャート。
【図8】(サブ)GOPサイズ8を有する符号化構造の一例を示す図。
【図9】一実施形態に係るピクチャの符号化表現を復号する方法を示すフローチャート。
【図10】図9のピクチャ識別子を決定する一実施形態を示すフローチャート。
【図11】図9のバッファ記述情報を取得する一実施形態を示すフローチャート。
【図12】図9のピクチャ識別子を決定する別の実施形態を示すフローチャート。
【図13】図9の方法の更なるオプションのステップを示すフローチャート。
【図14】図9の方法の更なるオプションのステップを示すフローチャート。
【図15】符号化構造の一例を示す図。
【図16】一実施形態に係る参照バッファ方式を示す簡略化されたフローチャート。
【図17】一実施形態に係る送信機を示す概略ブロック図。
【図18】一実施形態に係る符号化器を示す概略ブロック図。
【図19】別の実施形態に係る符号化器を示す概略ブロック図。
【図20】一実施形態に係る受信機を示す概略ブロック図。
【図21】一実施形態に係る復号器を示す概略ブロック図。
【図22】別の実施形態に係る復号器を示す概略ブロック図。
【発明を実施するための形態】
【0026】
図中、同一の、あるいは対応する要素に対して同一の参照番号が使用される。
【0027】
本発明の実施形態は、一般的にはビデオストリームの当該技術分野においてフレームとも呼ぶピクチャの符号化及び復号に関する。特に、実施形態は、ビデオの符号化及び復号と関連した参照ピクチャの管理、並びに符号化器から復号器へのこのような参照ピクチャの信号伝送に関する。
【0028】
例えばH.264/MPEG-4 AVC及びHEVCにより示されるビデオ符号化は、現在のピクチャの画素データの符号化及び復号のための予測又は参照として参照ピクチャを利用する。一般的には、これを当技術分野においてインター符号化と呼ぶ。インター符号化において、ピクチャは、このような参照ピクチャに対して符号化及び復号される。符号化ピクチャを復号できるためには、復号器は、現在の符号化ピクチャに対してどの参照ピクチャを使用するかを認識し、且つこれらの参照ピクチャへアクセスできなければならない。一般的には、復号器は、参照ピクチャを格納するために、本明細書において参照ピクチャバッファとも示される復号ピクチャバッファ(DPB)を使用する。従って、復号ピクチャバッファに格納された参照ピクチャが符号化ピクチャを復号する際に実際に正確な参照ピクチャであることが重要である。そうでない場合、復号器は、復号処理の間に間違った参照ピクチャを使用することになり、その結果、提示されるビデオの品質が低下する。
【0029】
従来技術の手法は、MMCO情報を搬送するピクチャが偶然損失される場合に、背景技術において説明した、正確でない参照ピクチャを使用することに係る問題の影響を受ける可能性がある。従来技術の該問題は、以下のH.264により実現される例により示されうる。復号ピクチャバッファは、ピクチャ識別子300、302及び303を有する3つの短期ピクチャ、並びにピクチャ識別子0及び3を有する2つの長期ピクチャを格納すると仮定する。そして符号化器は、長期ピクチャ0が参照に使用しないべきことを示すMMCOタイプ2を有する新しい符号化ピクチャを生成してもよい。該符号化ピクチャが復号器において正確に受信されていれば、長期ピクチャ0は参照に使用しないものとしてマーク付けされており、参照ピクチャリストは{300,302,303,3}となっているだろう。しかしながら、MMCOタイプ2コマンドを有する符号化ピクチャが損失される場合、復号器は、長期ピクチャ0が参照に使用しないものとしてマーク付けされるべきであること、及び故に参照ピクチャリストが代わりに{300,302,303,0,3}となることを通知されない。参照ピクチャリストの位置3における参照ピクチャがピクチャにおけるマクロブロックについての予測として使用されるという情報を復号器において受信された次の符号化ピクチャが含む場合、MMCOタイプ2コマンドが損失される場合に問題となる。MMCOタイプ2コマンドが復号器において正確に受信されていた場合、参照ピクチャリストの位置3における参照ピクチャは、該参照ピクチャが参照ピクチャリストの位置3(0から開始する場合)を占有する時に長期ピクチャ3に対応する。しかしながら、MMCOタイプ2コマンドを損失した状態では、参照ピクチャリストの位置3は、代わりに長期ピクチャ0により占有される。これは、長期ピクチャ0からの画素データが長期ピクチャ識別子3からの正確な画素データの代わりに予測基準として使用されることを意味する。
【0030】
従って、従来技術の解決策は、以前に復号ピクチャが正確に受信及び復号されているということに正確な参照ピクチャ管理が依存するという問題がある。
【0031】
本発明の実施形態は、従来技術と比較して根本的に異なる参照ピクチャを信号伝送する方法を使用することにより、従来技術の手法のこれらの問題がなくなる。代わりに、本発明の実施形態は、相対的又は黙示的な方法ではなく、絶対的又は明示的な方法で参照ピクチャに対してどの符号化ピクチャを使用するかを特定する。換言すると、現在のピクチャについての符号化表現、即ちビットストリームは、先行のピクチャの符号化表現に関係なく、参照のためにどんなピクチャを使用するか、即ち参照ピクチャに関する情報を含む。従って、正確な復号ピクチャバッファを維持する論理的な信頼性は、復号器からビットストリームに移ったと言える。その1つの見方は、ピクチャについてのインター予測及び動きベクトル予測のためにどんな参照ピクチャを使用するかに関する情報がピクチャの制御情報に含まれると言うことである。従って、復号ピクチャバッファの状態は、他のピクチャに対して符号化及び復号される全てのピクチャに対して信号伝送される。
【0032】
実施形態の一態様によれば、例えば参照ピクチャに対して使用されるピクチャ、即ち後続の符号化のために使用される復号ピクチャバッファ(参照ピクチャバッファとも呼ぶ)に格納されるピクチャに関する絶対情報を含む一般的なテーブル等のデータ構造であるバッファ記述情報を作成する方法が提供される。バッファ記述情報の少なくとも一部は、符号化器により符号化されたビットストリームに挿入される。
【0033】
図3は、一実施形態に係るピクチャを符号化する方法を示すフローチャートである。一般的には方法は、ステップS1から開始し、複数のピクチャのビデオストリームの少なくとも1つの参照ピクチャは、符号化参照として決定される。一実施形態において、ステップS1は、符号化される現在のピクチャについての符号化参照として使用される1つ以上の参照ピクチャを決定する。従って、次に、現在のピクチャの画素データは、1つ以上の参照ピクチャを参照して符号化される。あるいは又はさらに、ステップS1で決定された少なくとも1つの参照ピクチャは、ビデオストリームの後続のピクチャ、即ち現在のピクチャの後に符号化及び復号されるピクチャについての符号化参照として使用されてよい。その結果、該後続のピクチャは、復号順序(及び符号化順序)に従って現在のピクチャの後である。特定の一実施形態において、S1は、現在のピクチャに対して、ビデオストリームのいずれかの参照ピクチャを現在のピクチャについての符号化参照として決定し、ビデオストリームのいずれかの参照ピクチャを後続のピクチャについての符号化参照として決定する。従って、特定の一実施形態において、ステップS1は、復号順序で現在のピクチャに先行し、且つ現在のピクチャ又は復号順序に従って現在のピクチャに後続するいずれかのピクチャについてのインター予測のために使用されてもよい全ての参照ピクチャを決定する。
【0034】
図4は、複数のピクチャ10、40、42、50のビデオストリーム1を示すことで該概念を概略的に示す。現在のピクチャ10は、復号されるツリーブロックとも呼ぶマクロブロック等の画素ブロック30を含む1つ以上のスライス20、22、即ち符号化ユニットを含んでもよい。ピクチャ10、40、42、50の下の矢印は、復号の関係を示す。現在のピクチャ10は、先行の参照ピクチャ40及び後続の参照ピクチャ42に関連して復号される。出力順序に従って現在のピクチャ10に関して、先行の参照ピクチャ40は先行しており、後続の参照ピクチャ42は後続しているが、双方とも復号順序に従って現在のピクチャ10に先行している。該後続の参照ピクチャ42は、ビデオストリーム1における後続のピクチャ50についての参照ピクチャとしても使用される。従って、特定の一実施形態において、ステップS1は、参照ピクチャを図4のピクチャ40、42として決定できる。
【0035】
図3の次のステップS2は、ステップS1で決定された少なくとも1つの参照ピクチャの各参照ピクチャについてのそれぞれのピクチャ識別子を提供する。ピクチャ識別子は、参照ピクチャを明確に識別するために、場合によっては他のデータと共に使用される。従って、ピクチャ識別子は、参照ピクチャとして使用されるピクチャについての絶対参照であると考えられうる。これは、ピクチャ識別子及び選択的に他のデータを与えられれば適切な参照ピクチャを正確に識別できることを意味する。
【0036】
実施形態に係るピクチャ識別子として使用可能な使用可能な種々の代替例がある。例えばピクチャ識別子は、復号順序番号、表示順序番号、出力順序番号又は表示順序番号と更なる識別子との組合せ、あるいは実際にはピクチャを明確に識別するために使用可能な他のいずれかの情報であってよい。
【0037】
このようなピクチャ識別子の例には、ピクチャ順序カウント(POC:Picture Order Count)、フレーム番号(frame_num)又はPOC及び更なる識別子(additional_picture_id)を含む。
【0038】
特定の一実施形態において、ピクチャ識別子の実際値は、適切な参照ピクチャを明確に識別するために、更なる情報又は他のデータ、例えばステップS3で生成されるバッファ記述情報におけるピクチャ識別子の位置と共に使用される。従って、バッファ記述情報により識別又は取得されたバッファ記述により、適切な参照ピクチャを明確に識別できるようになる。一実施形態において、POCあるいはPOC及び更なる識別子等のピクチャ識別子自体は、参照ピクチャを明確に識別するために使用可能である。
【0039】
参照ピクチャを明確に識別することは、本明細書では、ピクチャ識別子が単独で又はバッファ記述情報がピクチャ識別子を規定する順序等のバッファ記述情報の他の情報と共に参照ピクチャを明示的に識別するために使用されることを示すために使用される。従って、ピクチャ識別子又はピクチャ識別子及び他の情報を与えられることにより、ビデオストリームのピクチャの中から適切な参照ピクチャを識別できるようになる。
【0040】
ステップS1の特定の一実施形態において、現在のピクチャに対して決定された参照ピクチャの総数は、符号化器から復号器に信号伝送可能なパラメータ、例えばmax_num_ref_framesで示されたパラメータにより制限されうる。
【0041】
ステップS2は、ステップS1で決定された各参照ピクチャに対して実行されることが好ましく、これは線L1により概略的に示される。
【0042】
ステップS2で提供されたピクチャ識別子は、ステップS1で決定された参照ピクチャのヘッダ部分から読み出されてよく、あるいはステップS1からの参照ピクチャを示すデータから取得されてよい。
【0043】
次のステップS3は、参照ピクチャセット(RPS:Reference Picture Set)とも呼ぶバッファ記述の情報を生成する。該情報は、本明細書においてバッファ記述情報で示される。バッファ記述情報は、ステップS2で提供されたピクチャ識別子に基づいて生成される。該バッファ記述情報は、ステップS1で決定された少なくとも1つの参照ピクチャを規定、好ましくは明確に規定する。従って、バッファ記述情報から少なくとも1つの参照ピクチャのそれぞれのピクチャ識別子を導出できる。
【0044】
生成されたバッファ記述情報は、ステップS4で現在のピクチャの符号化表現に挿入される。従って、符号化ピクチャは、ビデオストリームの現在のピクチャ及び/又はいずれかの後続のピクチャを復号するのに必要とされる参照ピクチャを規定且つ識別するために復号器において使用可能なバッファ記述情報を搬送する。
【0045】
従って、バッファ記述情報は、符号化器から復号器に提供された符号化ピクチャの制御情報において提供される。最低でも、バッファ記述情報は、復号ピクチャバッファにおいて使用される参照ピクチャを識別するために復号器により必要とされる情報を含む。
【0046】
従って、バッファ記述情報は、現在のピクチャと関連付けられた参照ピクチャのセットであるバッファ記述を識別する情報であると考えられうる。バッファ記述情報は、復号順序で現在のピクチャに先行し、且つ現在のピクチャ又は復号順序で現在のピクチャに後続するいずれかのピクチャのインター予測のために使用されてもよい全ての参照ピクチャから構成される。
【0047】
一実施形態において、インター予測又は動きベクトル予測、あるいは他のいずれかの予測のためにピクチャが使用されない場合でも、バッファ記述情報は、復号処理において復号器により使用される各ピクチャに関する情報を含む、あるいは規定する。このような情報は、復号順序、表示順序、時間層情報及びビュー情報を含んでよいが、それらに限定されない。
【0048】
上述したように、バッファ記述情報により信号伝送可能な参照ピクチャの数は、パラメータmax_num_ref_framesにより制限されうる。しかしながら、バッファ記述情報は、該ピクチャの最大数より少ないピクチャを規定してもよく、その場合、残りのピクチャは「空」として解釈される。
【0049】
ステップS1?S4を有する図3の方法は、復号ピクチャバッファをリフレッシュさせるいかなる瞬時復号リフレッシュ(IDR)ピクチャも除くビデオストリームにおける各ピクチャに対して実行されることが好ましいため、いかなるバッファ記述情報も必要ない。これは線L2により概略的に示される。従って、符号化器により生成された各符号化表現は、ビデオストリームにおける現在のピクチャ及び/又はいずれかの後続のピクチャを符号化及び復号するために使用された参照ピクチャを規定するバッファ記述情報を搬送することが好ましい。
【0050】
実施形態のこのアプローチは、MMCOコマンドを使用する従来技術の相対的な参照ピクチャ信号伝送よりかなり有利である。ビデオストリームにおけるピクチャの各符号化表現におけるバッファ記述情報を介した参照ピクチャの明示的な信号伝送により、参照ピクチャ管理が誤差による影響をあまり受けないようにし、復号器の誤差ロバスト性レベルを向上させる。従って、復号器は、先行のピクチャにおいて正確に配信及び解釈されたバッファ動作に依存するのではなく、現在のピクチャの符号化表現に含まれた情報のみに依存すればよい。
【0051】
特定の一実施形態において、ステップS4でピクチャの符号化表現に挿入されたバッファ記述情報は、実際にはバッファ記述情報そのものである。従って、バッファ記述情報は、ステップS2で提供されたピクチャ識別子のリスト又はステップS2で提供されたピクチャ識別子の算出を可能にするデータを含む。図6に関連して、後者のケースが以下においてさらに開示される。
【0052】
例えばバッファ記述は、ピクチャ識別子3、5及び6を有するリストを現在のピクチャについての参照ピクチャとして規定できる。そして、ステップS4で符号化表現に挿入されたバッファ記述情報は、これらのピクチャ識別子3、5及び6を含む。
【0053】
一般的によりビット効率がよい、即ち一般的にピクチャ識別子を規定するためにより少ない数のビット又は記号を必要とする別のアプローチは、現在のピクチャに対して信号伝送された時にこれらの特性の値に対して参照ピクチャの特性、即ちピクチャ識別子を信号伝送することである。例えば、現在のピクチャがピクチャ識別子7を有する場合、識別子3、5及び6を有する参照ピクチャのリストは、特にピクチャ識別子に対して可変長符号化が採用される場合に一般的には3、5及び6と比較してより少ないビットで示されうる-1、-2及び-4として規定されうる。
【0054】
図6は、本アプローチを概略的に示している。方法は、図3のステップS2から継続する。次のステップS10において、ステップS2で提供された各ピクチャ識別子に対して、ピクチャ識別子と現在のピクチャを識別するピクチャ識別子との差分が算出される。該計算の結果、差分、デルタ識別子又は値が得られる。その後、図3のステップS3に進み、算出された差分又はデルタ識別子に基づいてバッファ記述情報が生成される。
【0055】
従って、このケースでは、バッファ記述情報は、デルタ識別子3、5及び6ではなく、-1、-2及び-4を含むことができる。
【0056】
一実施形態において、デルタ表示順序情報又はdeltaPOCは、可変長コード(VLC:variable length code)で符号化されたバッファ記述に含まれる。特定の一実施形態において、deltaPOCは、absolute_delta_POC_minus_one及びフラグ、即ち単一のビットに対して、number_of_reorder_frames>0の場合にのみ信号伝送されたdeltaPOC_signに対してVLCで符号化され、そうでない場合符号は負であると推測される。
【0057】
ピクチャ識別子、即ちピクチャ識別子自体又はデルタ識別子の明示的な信号伝送を提供する上述の実施形態において、バッファ記述情報は、実際には現在のピクチャのバッファ記述を構成する。そして、該バッファ記述情報はピクチャの符号化表現に挿入される。
【0058】
バッファ記述情報は、適切な位置における制御情報として符号化表現に含まれうる。図5は、ピクチャの符号化表現60の一例を概略的に示す。符号化表現60は、スライスにおける画素ブロックの符号化画素データを示すビデオペイロードデータ66を含む。符号化表現60は、制御情報を搬送するスライスヘッダ65も含む。スライスヘッダ65は、ビデオペイロード及びネットワーク抽象化層(NAL:Network Abstraction Layer)ヘッダ64と共に、符号化器から出力されるエンティティであるNALユニットを形成する。リアルタイムトランスポートプロトコル(RTP:Real-time Transport Protocol)ヘッダ63、ユーザデータグラムプロトコル(UDP:User Datagram Protocol)ヘッダ62及びインターネットプロトコル(IP:Internet Protocol)ヘッダ61等の更なるヘッダを該NALユニットに追加して、符号化器から復号器に送信可能なデータパケットを形成できる。この形態のNALユニットのパケット化は、ビデオ転送と関連した一例を構成するにすぎない。例えばファイル形式、MPEG-2トランスポートストリーム、MPEG-2プログラムストリーム等のNALユニットを処理する他の方法が可能である。
【0059】
そしてバッファ記述情報は、符号化器及び復号器が準拠する基準により規定されたスライスヘッダ65、別のピクチャヘッダ又は別のデータ構造に含まれうる。
【0060】
別の実施形態において、ピクチャの符号化表現60に挿入されたバッファ記述情報は、必ずしも現在のピクチャのバッファ記述と同一でなくてもよく、バッファ記述の識別及び取得を可能にする。従って、本実施形態において、ピクチャの符号化表現60に挿入されたバッファ記述情報は、ピクチャ識別子を算出できるようにするピクチャ識別子又はデルタ識別子等のデータを搬送するバッファ記述の方向を指し示すことにより、ステップS1で決定された少なくとも1つの参照ピクチャを間接的に規定する。
【0061】
このようなケースでは、バッファ記述は、ピクチャの符号化表現60に関連付けられたデータ構造により搬送されうる。このようなデータ構造の例には、ピクチャパラメータセット(PPS:Picture Parameter Set)67及びシーケンスパラメータセット(SPS:Sequence Parameter Set)68が含まれる。PPS67及び/又はSPS68は、符号化表現60に直接含まれてよいが、一般的にはPPS識別子及び/又はSPS識別子を符号化表現60に含むことでそれらと関連付けられる。例えば各スライスヘッダ65は、現在のピクチャに対してどのPPS67を適用するかを通知するPPS識別子を含むことができる。その結果、適切なPPS67は、PPS67、即ち現在のピクチャに対してどのSPS68を適用するかを通知するSPS識別子を含んでもよい。
【0062】
そしてバッファ記述は、現在のピクチャに割り当てられたPPS67又はSPS68に挿入されうる。このようなケースでは、符号化表現60に挿入されるPPS識別子又はSPS識別子は、符号化表現60に挿入されるバッファ記述情報を構成する。該PPS識別子又はSPS識別子により、参照ピクチャのピクチャ識別子を規定するバッファ記述を取得できるようになるため、PPS識別子又はSPS識別子はピクチャ識別子を間接的に規定する。
【0063】
PPS67及びSPS68は、符号化表現60に関連付けられ且つ実施形態に係るバッファ記述情報を搬送するために使用可能なデータ構造の例を構成するにすぎない。
【0064】
図7は、複数のピクチャに対して同一のバッファ記述を使用できるように、データ構造において1つ以上のバッファ記述が信号伝送される別の一実施形態を示す。
【0065】
方法はステップS20から開始し、テーブル等のデータ構造が生成される。データ構造は、各々が少なくとも1つの参照ピクチャを規定する複数の予め定義されたバッファ記述を含む。
【0066】
生成されたデータ構造の各バッファ記述は、ピクチャ識別子を直接規定でき、即ちピクチャ識別子のリストを含むことができる。しかしながら、一般的にはこのような方法は、データ構造におけるかなり複数の予め定義されたバッファ記述を必要とする。より効率的な方法は、複数の予め定義されたバッファ記述の使用を上述したようなデルタ識別子の信号伝送と組み合わせることである。このようなケースでは、予め定義されたバッファ記述の各々は、予め定義されたバッファ記述のピクチャ識別子を算出するために、現在のピクチャのピクチャ識別子と共に復号器において使用される少なくとも1つのそれぞれのデルタ識別子を含む。
【0067】
以下の表1は、図8に示されるようなビデオストリームに対して使用可能なデルタ識別子を有するこのようなデータ構造の一例を示す。図8のビデオストリームは、IDRピクチャの前に送信されたデータへの全ての依存を除去するイントラ(I)フレームであるIDRピクチャから開始する。即ち、図8のビデオストリームは、全ての参照ピクチャを「参照に使用しない」ものとしてマーク付けする。IDRピクチャは、復号ピクチャバッファを空にするためにバッファ記述を必要としない。図8のビデオストリームは、図8の時間識別子(temporal_id)n、n+1及びn+2により識別された異なる時間層におけるピクチャを提供する階層ビデオの形態である。
【0068】
【表1】

予め定義されたバッファ記述を有するデータ構造
【0069】
表1は、deltaPOC(dP)及びtemporal_id(tld)が示されるバッファ記述テーブルの一例を示す。表は、最も近い2つの参照ピクチャ(POC(current)-1及びPOC(current)-2)、並びにPOC(current)-3?POC(current)-10で最も低い時間層からの2つの参照ピクチャを含む方式を使用して構成される。
【0070】
符号化器による該表の使用の一例は、POC=nのピクチャの場合にテーブルエントリ(n%4)、即ち4を法とするnを復号器に信号伝送することである。この例において、復号ピクチャバッファは、4つのピクチャ(ピクチャバッファ1?ピクチャバッファ4)から構成される。いずれのピクチャが現在のピクチャのPOCに依存するか、及びどのようなエントリが使用されるか。例えば、POC=7のピクチャがエントリ3を使用する場合、復号ピクチャバッファにおける参照ピクチャは、POC{6,5,4,0}のピクチャから構成される。
【0071】
ステップS20で生成されたデータ構造は、符号化器から復号器に信号伝送される。該信号伝送は、種々の実施形態に従って実行可能である。データ構造は、PPS、SPS、新規なパラメータセット、あるいは符号化器及び復号器が準拠する基準により規定された別のデータ構造において実行可能である。これは、データ構造がビデオストリームの符号化表現と関連付けられたPPS又はSPSに挿入されるステップS21により概略的に示される。このようなケースでは、ステップS22は、PPS識別子又はSPS識別子をスライスヘッダ等のピクチャの符号化表現に挿入することが好ましい。そして、該PPS識別子又はSPS識別子により、現在のピクチャを復号する際に使用可能なデータ構造を識別できるようになる。
【0072】
図7のステップS1及びS2に進み、参照ピクチャが決定され、現在のピクチャに対してピクチャ識別子が提供される。次のステップS23は、ステップS2で提供された少なくとも1つのピクチャ識別子に基づいて、ステップS20で生成されたデータ構造からバッファ記述を選択する。
【0073】
表1におけるエントリ等のこのようなバッファ記述が選択されると、ステップS24は、選択されたバッファ記述のエントリ番号等の識別子を含むバッファ記述情報を生成する。ステップS4に進み、バッファ記述情報はピクチャの符号化表現に挿入される。
【0074】
従って、現在のピクチャに対してどのバッファ記述を使用するかを特定するために、識別子が現在のピクチャに対して信号伝送されうる。このような識別子の一例は、バッファ記述が信号伝送される順序でバッファ記述の番号を示す現在のピクチャのスライスヘッダにおいて信号伝送された非負整数である。
【0075】
一般的な一実現例において、ステップS20は、ビデオストリームに対して1回又はビデオストリームの複数のピクチャのセットに対して1回実行される。これは、次に単一のこのようなデータ構造がビデオストリーム又は複数のピクチャのセットに対して生成されることを意味する。図7の以下のステップS21?S24は、ビデオストリームにおける各ピクチャ又は複数のピクチャのセットに対して実行されることが好ましい。
【0076】
従って、表等のデータ構造は、符号化器において作成されて復号器に送信されてもよい。符号化ビットストリームの制御情報において、使用されるエントリ番号が提供される。このような表を使用することにより、復号器は、復号ビットストリームにおいてエントリ番号を検出し且つ表においてエントリを参照するために該エントリ番号を使用することにより、どのピクチャが参照ピクチャとして使用されるかに関する絶対情報を取得できる。そしてエントリは、どのピクチャが復号ピクチャバッファに格納されるかを決定するために使用される。
【0077】
SPS等にバッファ記述エントリを導入することにより、スライスヘッダにおいて明示的にバッファ記述に信号伝送する付加ビットが減少する。これらのバッファ記述は、同一のシーケンス、即ちビデオストリームにおける複数のスライス/ピクチャに対して使用可能であるため、ピクチャ毎に必要とされるビット数が減少する。
【0078】
PPSにおけるバッファ記述エントリ毎に、全ての参照ピクチャのdelta_POC及びtemporal_idが一実施形態において存在しうる。オプションのadditional_picture_idは、PPSにおけるエントリにより記述されたピクチャに対して0であると推測されることが好ましい。
【0079】
更なる一実施形態によれば、複数の予め定義されたバッファ記述を有する一般的なデータ構造におけるエントリ、例えば上記の表におけるエントリに対する参照信号伝送と、バッファ記述の明示的な信号伝送とが組み合わせ可能である。このようなケースでは、これらは、現在のピクチャについての最終的なバッファ記述を形成するように、復号器により組み合わせ可能である。明示的な信号伝送と参照信号伝送とを組み合わせる1つの方法は、明示的な信号伝送により記述された参照ピクチャのセットを参照信号伝送により記述された参照ピクチャのセットと結合して、参照ピクチャのジョイントセットを形成することである。
【0080】
このようなケースでは、図3のステップS3は、ステップS23で選択されたバッファ記述の識別子を含み且つ少なくとも1つの参照ピクチャを規定する情報を含むようにバッファ記述情報を生成することを含むことが好ましい。少なくとも1つの参照ピクチャを規定する該情報は、参照ピクチャ自体のピクチャ識別子又はピクチャ識別子を算出できるデルタ識別子であってよい。
【0081】
長期間参照のために使用されるピクチャ(長期参照ピクチャ)は、それが参照のために使用可能なピクチャのスライスヘッダにおいて明示的な記述により示されることが好ましい。その理由は、PPS又はSPSにおいて信号伝送された予め定義されたバッファ記述内にPOC番号における全ての間隔を含めることは不都合だからである。
【0082】
特定の一実施形態において、ピクチャの符号化表現は、バッファ記述情報の明示的な信号伝送及び/又はバッファ記述情報の黙示的な信号伝送が現在のピクチャに対して選択されているかを示すフラグを含むことが好ましい。例えば該フラグは、ピクチャの符号化表現のスライスヘッダ又は他の何らかの制御情報フィールドに含まれうる。
【0083】
特定の一実施形態において、ピクチャ10は、図4に示されるような1つ又は複数のスライス20、22によって構成されうる。このようなケースでは、スライス20、22は、ピクチャ10の個別に復号可能な部分である。換言すると、符号化スライスは、同一のピクチャ10の別の符号化スライスのデータが損失する場合でも復号されうる。
【0084】
このような方法において、図3のステップS1は、ピクチャにおける各スライスに対してビデオストリームの少なくとも1つの参照ピクチャを決定することが好ましい。そして、第1のスライスが1つ以上の参照ピクチャの第1のセットを使用し且つ第2のスライスが1つ以上の参照ピクチャの第2のセットを使用することが可能でありうる。第2のセットは、第1のセットと同一でも異なっていてもよい。参照ピクチャの少なくとも1つが第1のセット及び第2のセットに対して共通である可能性もある。
【0085】
ステップS2は、ピクチャにおける少なくとも1つのスライス、好ましくは全てのスライスに対してステップS1で決定された全ての参照ピクチャについてのピクチャ識別子を決定することが好ましい。そしてバッファ記述情報は、これらのピクチャ識別子に基づいてステップS3で生成されることにより、参照ピクチャを規定する。一実施形態において、ステップS3で生成されたバッファ記述は、各スライスについてのピクチャの符号化表現のそれぞれのスライスヘッダに挿入される。従って、ピクチャの符号化表現の各スライスヘッダは、バッファ記述情報のそれぞれのインスタンスを搬送することが好ましい。ピクチャの第1のスライスのスライスヘッダにおいて搬送されたバッファ記述情報は、ピクチャの第2のスライスのスライスヘッダにおいて搬送されたバッファ記述情報に等しいことがより好ましい。
【0086】
ビデオの符号化及び復号は、いわゆるスケーラブルビデオ又は階層ビデオにも適用可能である。例えば時間スケーラビリティは、部分列の定義、スケーラブルビデオ符号化(SVC:Scalable Video Coding)におけるtemporal_idの使用及び「存在していない」フレームの挿入により、H.264/MPEG-4 AVC及びSVCにおいてサポートされる。しかしながら、時間スケーラビリティをサポートするために、上位時間層におけるピクチャは、MMCOの使用に関しては制限される。符号化器は、時間層が取り除かれ、「存在していない」ピクチャが挿入され、且つスライドウィンドウ処理が適用される場合と比較して異なる方法で、ある時間層におけるMMCOが下位時間層のピクチャに影響を及ぼさないことを保証することに応答する。
【0087】
これは、符号化構造及び参照ピクチャの使用の選択について符号化器に制限を課す。例えば、図2の例を考える。各ピクチャはインター予測のために2つの参照ピクチャしか使用しないが、復号ピクチャバッファにおける参照フレームの最大数(max_num_ref_frames)は3であると仮定する。その理由は、各ピクチャが次のピクチャによるインター予測のために使用される他の時間層から余分に1つのピクチャを保持しなければならないからである。
【0088】
ピクチャPOC=4を復号する際に使用可能なピクチャPOC=0及びピクチャPOC=2を有するために、ピクチャPOC=3は、ピクチャ1を使用不可能なものとしてマーク付けする明示的な参照ピクチャマーク付けコマンド(MMCO)を有さなければならない。
【0089】
しかしながら、時間層1が除去される(例えば、ネットワークノードにより)場合、全ての奇数の番号を付けられたピクチャに対してframe_numに欠落がある。これらのピクチャに対して「存在していない」ピクチャが作成され、スライドウィンドウ処理が適用される。その結果、ピクチャPOC=0を使用不可能なものとしてマーク付けする「存在していない」ピクチャPOC=3を有することとなる。従って、ピクチャPOC=4が復号される場合、それは予測のために使用不可能となる。符号化器が2つのケースに対して復号処理を同一にできないため、全てのピクチャが復号される場合及び最下位層のみが復号される場合、従来術に係る時間スケーラビリティに対して図2の符号化構造の例を使用できない。
【0090】
従って、参照ピクチャ情報が相対的に信号伝送される時に現在のピクチャについての参照ピクチャに関する情報がビットストリームから先行のピクチャを除去することによる影響を受けるため、従来技術の解決策は、特定の符号化構造に対する時間スケーラビリティに関する問題がある。実施形態を使用することにより、参照ピクチャ情報が絶対的に信号伝送されるために現在のピクチャについての参照ピクチャがビットストリームから先行のピクチャを除去することによる影響を受けないため、時間スケーラビリティは従来技術におけるように制限されない。
【0091】
複数の層にグループ化されたピクチャを有するスケーラブルビデオストリームのケースでは、図3のステップS2は、複数の層の中から参照ピクチャが属する層を識別する時間層情報及びピクチャ識別子を提供することを含むことが好ましい。そしてバッファ記述情報は、少なくとも1つのピクチャ識別子及び時間層情報に基づいてステップS3で生成される。これは、バッファ記述情報が少なくとも1つのピクチャ識別子及び時間層情報をそのように規定することを意味する。
【0092】
例えば、temporal_id等の時間層情報は、temporal_idの信号伝送のためにceil(log2(max_temporal_layers_minus1))ビットを使用して信号伝送されたバッファ記述における各ピクチャに対して含まれる。時間スケーラビリティは、実施形態が適用可能な多層ビデオの一例にすぎない。他の種類は、各ピクチャがピクチャ識別子及びビュー識別子を有する多層ビデオを含む。スケーラビリティの更なる例には、空間スケーラビリティ、信号対雑音比(SNR:signal-to-noise ratio)スケーラビリティ、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティが含まれる。
【0093】
実施形態は、時間ダウンスイッチングが常に可能であることを示す。各時間層は、下位層と共に部分列を構成する。このような部分列は、明示的な信号伝送を必要としない。
【0094】
概して、符号化器は、どのピクチャをバッファ記述に含むかを自由に選択し、その選択を表示順序で最も近いピクチャ等のいずれかの態様に基づかせてもよい。一般的には、符号化器は、側面拘束のセットに準拠しつつ最大圧縮を実現しようとバッファ記述を選択する。このような制約の一例は、メモリサイズによる参照ピクチャの最大数である。別の例は、ビットストリームにおける特定の符号化ピクチャが復号前にビットストリームから除去される場合もビデオストリームが復号可能であるべきことである。更なる例は、復号ピクチャバッファにおいて参照するために使用可能なピクチャだけが参照ピクチャとして選択されうることである。
【0095】
従って、一実施形態において、図3のステップS1は、少なくとも1つの側面拘束に準拠しつつ、ピクチャの符号化表現の圧縮効率を最大限にすることで現在のピクチャについての少なくとも1つの参照ピクチャを決定することを含む。そして少なくとも1つの側面拘束は、参照ピクチャの予め定義された最大数から選択され、且つピクチャの少なくとも1つの符号化表現がビデオストリームの符号化表現から除去される場合もビデオストリームの復号可能な符号化表現を生成することが好ましい。
【0096】
実施形態に別の態様によれば、符号化ビデオ又はデータストリームが受信され、バッファ記述情報が符号化ビデオストリームにおいて検出され、且つ現在のピクチャを復号するために参照ピクチャとして又は更なる復号のために参照ピクチャとして使用されるピクチャについての絶対参照がバッファ記述情報に基づいて決定される方法が提供される。参照ピクチャとして使用されるピクチャは、復号ピクチャバッファに格納される。
【0097】
図9は、一実施形態に係るピクチャの符号化表現を復号する方法を示すフローチャートである。方法はステップS30から開始し、少なくとも1つの参照ピクチャを規定するバッファ記述情報は、ピクチャの符号化表現から取得される。バッファ記述情報は、それぞれの参照ピクチャをピクチャについての復号参照として好ましくは明確に識別する少なくとも1つのピクチャ識別子を決定するために、ステップS31で使用される。ステップS31で決定された少なくとも1つの参照ピクチャ識別子は、復号ピクチャバッファを更新するためにステップS32で使用される。
【0098】
ピクチャを復号するために必要とされる正確な参照ピクチャを含むように復号ピクチャバッファが更新されると、一般的にはステップS33に進み、ピクチャは、ピクチャの符号化表現と、並びに復号ピクチャバッファに含まれるか、存在するかあるいは格納される参照ピクチャのうちの少なくとも1つとに基づいて復号され、バッファ記述情報に基づいて識別される。
【0099】
好適な一実施形態において、復号ステップS33は、図9に示されるように復号ピクチャバッファを更新した後で実行される。
【0100】
ステップS32での復号ピクチャバッファの更新は、決定されたピクチャ識別子により識別された参照ピクチャが「参照に使用する」ものとしてマーク付けされる、あるいは「予測に使用する」ものとしてマーク付けされて、該参照ピクチャが現在のピクチャ及び/又はいずれかの後続のピクチャについての復号参照又は予測として使用されることを示すことを意味することが好ましい。好適な一実施形態において、参照ピクチャは、短期参照に使用するもの又は長期参照に使用するものとしてマーク付けされうる。
【0101】
特定の一実施形態において、ステップS30は、複数の参照ピクチャを規定するバッファ記述情報をピクチャの符号化表現から取得する。このような一実施形態において、ステップS31は、バッファ記述情報に基づいて、i)それぞれの参照ピクチャをピクチャについての復号参照として識別する少なくとも1つのピクチャ識別子、及びii)それぞれの参照ピクチャを復号順序に従ってビデオストリームの後続のピクチャについての復号参照として識別する少なくとも1つのピクチャ識別子を決定できる。別の実施形態において、バッファ記述情報は、それぞれの参照ピクチャの1つ以上のピクチャ識別子を現在のピクチャについての復号参照として識別し、且つ/あるいはそれぞれの参照ピクチャの1つ以上のピクチャ識別子を復号順序に従ってビデオストリームの後続のピクチャについての復号参照として識別する。
【0102】
ステップS32は、ステップS31で決定された少なくとも1つのピクチャ識別子により識別されたそれぞれの参照ピクチャを含むように復号ピクチャバッファを更新することが好ましい。
【0103】
本明細書において上述したように、バッファ記述情報は、ピクチャの符号化表現の別の制御情報フィールド又はスライスヘッダにおいて提供されうる。このようなケースでは、図9のステップS30は、ピクチャの符号化表現のスライスヘッダからバッファ記述情報を取得することを含む。一般的には、マルチスライスピクチャは複数のスライスヘッダを含む。このようなケースでは、各スライスヘッダは、同一のバッファ記述情報を含むことが好ましい。従って、ピクチャのいずれかの残りのスライスヘッダが同一のバッファ記述情報を含むため、ステップS30でピクチャの第1のスライスヘッダからバッファ記述情報を取得すれば十分である。そして、第1のスライスが損失される場合、他のスライスヘッダにおけるバッファ記述情報は、誤り耐性のために使用可能である。
【0104】
バッファ記述情報は、参照ピクチャのピクチャ識別子を明示的に含むことができる。このようなケースでは、ステップS30は、単にバッファ記述情報から少なくとも1つのピクチャ識別子を取得する。
【0105】
別の一実施形態において、バッファ記述情報は、デルタ値又はデルタ識別子を含む。図10は、このようなケースに対する図9のステップS31の一実施形態を示すフローチャートである。方法は、図9のステップS30から継続する。次のステップS40は、バッファ記述情報に基づいてそれぞれのデルタ識別子を取得する。デルタ識別子は、参照ピクチャのピクチャ識別子を算出するために、現在のピクチャのピクチャ識別子と共にステップS41で使用される。その後、図10のステップS32に進む。
【0106】
従って、本実施形態において、現在のピクチャに対して使用可能な情報は、信号伝送されたバッファ記述情報から現在のピクチャについての最終的なバッファ記述を構成するために復号器により使用される。このような情報は、信号伝送されたdeltaPOCと共に参照ピクチャ(POC(ref))のPOCをPOC(ref)=POC(curr)+deltaPOCとして計算するために使用可能である現在のPOC(POC(curr))を含むが、それに限定されない。
【0107】
別の実施形態は、複数の予め定義されたバッファ記述を使用することに関する。図11は、このような方法を概略的に示す。第1のステップS50において、複数の予め定義されたバッファ記述を含むデータ構造が取得される。好適な一実施形態において、データ構造は、ピクチャの符号化表現において搬送された情報に基づいて取得される。例えばデータ構造は、ピクチャの符号化表現のPPS又はSPSの一部として符号化器側から復号器側に信号伝送されてよい。このようなケースでは、データ構造は、スライスヘッダ等のピクチャの符号化表現におけるバッファ記述情報の一部として使用されたPPS識別子又はSPS識別子に基づいて、ステップS50でPPS又はSPSから取得される。あるいは、PPS識別子はスライスヘッダから取得され、その結果、PPSは、データ構造がSPSの一部として信号伝送される場合に使用可能なSPS識別子を含む。
【0108】
次のステップS51は、スライスヘッダ等のピクチャの符号化表現からバッファ記述情報の一部としてバッファ記述の識別子を取得する。該識別子は、ステップS50で取得されたデータ構造からのどの予め定義されたバッファ記述を現在のピクチャに対して使用するかをステップS52で識別するために採用される。その後、図1のステップS31に進み、識別された予め定義されたバッファ記述からピクチャ識別子が決定される。
【0109】
実施形態を使用することにより、オーバヘッドが殆どない任意の符号化構造に対しても最適なバッファ方式を適用することが可能である。スライスヘッダにおいて必要とされるものは、単にPPS等における正確なバッファ記述についての参照である。なお、バッファ記述は、ピクチャヘッダ等又はピクチャにおける全てのスライスの間で共有されたパラメータセットにも入力されうる。重要な特性は、特定のピクチャを復号するために使用されるバッファ記述がピクチャと共に送出され、従来技術におけるような復号順序で先行のピクチャと共には送出されないことである。また、単一のデータパケットが偶然損失される場合に符号化器側と復号器側との間で長期の不一致を引き起こしうるデルタ情報を信号伝送するのではなく、ビデオストリームにおいて各ピクチャを復号するために維持されるべき復号ピクチャバッファにおける全ての参照ピクチャを信号伝送するために、バッファ記述情報が使用される。
【0110】
本明細書において上述したように、ピクチャの符号化表現におけるバッファ記述の明示的な信号伝送と、データ構造における予め定義されたバッファ記述についての参照信号伝送とが組み合わせ可能である。明示的な信号伝送と参照信号伝送とを組み合わせる1つの方法は、明示的な信号伝送により記述された参照ピクチャのセットを参照信号伝送により記述された参照ピクチャのセットと結合して、参照ピクチャのジョイントセットを形成することである。その後、参照信号伝送により記述された参照ピクチャのセットに含まれるが、明示的な信号伝送には含まれない1つ以上の参照ピクチャは、参照ピクチャの最大数(max_num_ref_frames)しか含まない最終的なバッファ記述を有するために、場合によっては参照ピクチャのジョイントセットから除去される。ピクチャは、進行する最後のピクチャから開始する一般的なバッファ記述、即ち予め定義されたバッファ記述において一覧表示されるような順序で除去されることが好ましい。
【0111】
図12は、このような方法を示すフローチャートである。方法は、図9のステップ30及び図S31のステップS52から継続する。従って、本実施形態において、バッファ記述情報は、図11のステップS51で取得されたバッファ記述の識別子及び図9のステップS30で取得された少なくとも1つの参照ピクチャを規定する情報の双方を含む。ステップS30で取得された該情報は、実際のピクチャ識別子又は上述のデルタ識別子でよい。
【0112】
次のステップS60は、図11のステップS52で識別された予め定義されたバッファ記述からそれぞれの参照ピクチャを識別する少なくとも1つのピクチャ識別子の第1のセットを決定する。同様に、それぞれの参照ピクチャを識別する少なくとも1つのピクチャ識別子の第2のセットは、図9のステップS30で取得された情報からステップS61で決定される。ステップS60及びS61は、いずれかの順序で逐次的に又は少なくとも部分的に並列に実行されてよい。
【0113】
後続のステップS62は、ステップS60で決定された第1のセット及びステップS61で決定された第2のセットに基づいてピクチャ識別子のジョイントセットを形成する。
【0114】
選択的であるが好適な後続のステップS63は、ジョイントセットにおけるピクチャ識別子の総数(IDS:total number of picture identifiers)を参照ピクチャの最大数(MAX)、即ち一般的にはSPSにおいて信号伝送されたパラメータmax_num_ref_framesと比較する。ジョイントセットにおけるピクチャ識別子の総数が復号ピクチャバッファに格納可能な参照ピクチャの総数を超える場合、ステップS64に継続する。ジョイントセットにおけるピクチャ識別子の総数が参照ピクチャの最大数を超えなくなるまで、該ステップS64は、第1のセットに含まれるが第2のセットには含まれない1つ以上のピクチャ識別子を除去する。従って、ジョイントセットは、ステップS60で決定されたピクチャ識別子を除去することで更新される。ピクチャ識別子は、最後のピクチャ識別子から開始して進行する図11のステップS52で識別された予め定義されたバッファ記述において一覧表示されるような順序で除去されることが好ましい。
【0115】
特定の一実施形態において、ピクチャの符号化表現は、バッファ記述情報の明示的な信号伝送及び/又はバッファ記述情報の黙示的な信号伝送が現在のピクチャに対して選択されているかを示すフラグを含むことが好ましい。このようなケースでは、復号器は、どの種類のバッファ記述情報の信号伝送が現在のピクチャに対して使用されているかを決定するために、ピクチャの符号化表現、例えばスライスヘッダ又は他の何らかの制御情報フィールドからフラグを取得する。
【0116】
図13は、図9の方法の更なるステップを示すフローチャートである。ステップS32で更新された復号ピクチャバッファは、復号の目的のために使用される。
【0117】
復号ピクチャバッファがステップS32で更新されると、ピクチャは、復号ピクチャバッファにおいて使用可能であってもよいが、バッファ記述には含まれない。従って、一実施形態において、復号ピクチャバッファにおいて使用可能であるがバッファ記述には含まれないピクチャは、復号器により、復号ピクチャバッファから除去される、あるいは「参照に使用されない」のもの又は「予測に使用されない」のものとしてマーク付けされる。従って、本実施形態において、復号ピクチャバッファから参照ピクチャを除去すること又はピクチャを「参照に使用されない」のものとしてマーク付けすることは、バッファ記述を含むピクチャのピクチャ復号処理の前に復号器により実行される。
【0118】
ステップS70は、復号ピクチャバッファに格納され、且つバッファ記述情報から決定された少なくとも1つのピクチャ識別子のいずれとも関連付けられない任意の参照ピクチャを復号ピクチャバッファから除去することにより、該手順を示す。該ステップS70の別の一実施形態において、参照ピクチャは、必ずしも復号ピクチャバッファから除去されなくてもよい。ステップS70の本実施形態は、復号ピクチャバッファに格納され、且つバッファ記述情報から決定された少なくとも1つのピクチャ識別子のいずれとも関連付けられない任意の参照ピクチャを参照に使用しないもの又は予測に使用しないものとしてマーク付けする。これは、マーク付けされた参照ピクチャがビデオストリームにおける現在のピクチャ又はいずれの後続のピクチャに対しても予測基準として使用されないことを意味する。従って、復号器は、復号ピクチャバッファにおいて使用可能な位置を得る必要がある場合にマーク付けされた参照ピクチャを出力できる。特定の一実施形態において、参照に使用しないものとしてマーク付けされたピクチャをバッファ記述に含んで参照に使用するものとして再度マーク付けすることはできない。
【0119】
特定の一実施形態において、復号ピクチャバッファに存在し且つバッファ記述情報に基づいて決定されたピクチャ識別子のうちのいずれかと関連付けられたいずれかの参照ピクチャは、参照に使用するものとしてステップS70でマーク付けされることが好ましい。一実施形態において、参照ピクチャは、短期参照に使用するもの又は長期参照に使用するものとしてマーク付けされうる。これらの2つの特定の代替例は、バッファ記述情報に基づいて選択されることが好ましい。
【0120】
ステップS71は、更なるオプションの一実施形態を示す。本実施形態は、復号器により表示するためにバッファ記述に従って復号器により参照に使用しないものとしてマーク付けされるゼロ以上のピクチャを出力する。出力の1つのこのような処理の例は、H.264/MPEG-4 AVCからのバンプ処理である。本明細書において、出力は、表示するために出力することを示す。参照ピクチャとしてどのようなピクチャを使用するか及びどのようなピクチャを出力、即ち表示するかは、H.264及びHEVCにおいて区別される。これは、ピクチャが参照ピクチャとして除去される、即ち参照に使用しないものとしてマーク付けされる前に出力されうること、又はピクチャが出力される前にピクチャを参照に使用しないものとしてマーク付けすることで参照フレームとして除去されうることを意味する。
【0121】
復号処理の間、使用不可能であるために参照ピクチャに対して使用できないピクチャ(フレームとも呼ぶ)に関する情報をバッファ記述が含むことが生じる可能性がある。一実施形態において、バッファ記述が復号ピクチャバッファにおいて使用不可能なピクチャに関する情報を含む場合、複数の「存在していない」ピクチャは復号器により生成される。このようなピクチャの各々は、ピクチャがインター予測又は動きベクトル予測のために使用されない場合でも復号処理において復号器により使用される情報を保持する変数についての所定の値であってよい。このような情報は、復号順序番号、表示順序番号、時間層情報、ビュー情報、即ちframe_num、POC、temporal_id及びview_id等のパラメータを含んでよいが、それに限定されない。
【0122】
一実施形態において、存在していないピクチャは、バッファ記述情報を含むピクチャのピクチャ復号処理の前に復号器により生成される。
【0123】
ステップS72及びS73は、このような一実施形態を示す。ステップS72は、バッファ記述情報から決定された少なくとも1つのピクチャ識別子を復号ピクチャバッファに既に格納されている参照ピクチャと関連付けられたピクチャ識別子と比較する。決定されたピクチャ識別子が復号ピクチャバッファに格納された参照ピクチャのピクチャ識別子の中で見つけられない場合、決定されたピクチャ識別子と関連付けられたピクチャは、紛失している又は存在していないと決定される。一実施形態において、存在していないピクチャは、選択的に、ステップS73で生成され、復号ピクチャバッファに格納される。そして、該存在していないピクチャは、該特定のピクチャに関するバッファ記述情報から取得されたピクチャ識別子等のいずれかのパラメータを割り当てられる。その後、図9のステップS33に進み、復号処理が開始されうる。
【0124】
バッファ記述において信号伝送されるが復号ピクチャバッファには存在しないピクチャは、「存在していない」ものとしてマーク付けされることが好ましい。しかしながら、このようなピクチャのPOC及びtemporal_idがバッファ記述に含まれるため、参照ピクチャの明示的な信号伝送の変形は必要とされない。「存在していない」ピクチャが参照のために使用されない場合、復号処理は、余分な信号伝送なしで(及び参照ピクチャリストの変形の明示的な信号伝送と共に含まれるオーバヘッドなしで)正確に進む。
【0125】
一実施形態において、ステップS70でゼロ以上のピクチャをマーク付けすることは、第1の工程で復号器により実行される。第2の工程において、ゼロ以上のピクチャはステップS71で復号器により出力される。第3の工程において、ゼロ以上の「存在していない」ピクチャは、ステップS73で復号器により生成される。
【0126】
別の一実施形態において、ゼロ以上のピクチャをマーク付けすることは、ステップS70の第1の工程で復号器により実行される。その後、ピクチャを出力し(S71)且つ存在していないピクチャを生成する(S73)反復過程は、復号ピクチャバッファにおいて使用不可能なバッファ記述において記述されたピクチャ毎に復号器により実行される。
【0127】
実施形態は、現在のピクチャのピクチャ復号の前にピクチャマーク付け処理等のバッファ動作を適用することにより、即ち明示的なバッファ記述を現在のピクチャに適用させることによりさらに補強される。これにより、参照ピクチャ管理が誤差による影響をあまり受けないようにし、時間スケーラビリティの可能性を向上させ、参照ピクチャリストの変形の信号伝送により生じたオーバヘッドを減少する。
【0128】
一実施形態において、バッファ記述は、参照ピクチャリストの初期化又は参照ピクチャリストの変形、あるいは参照ピクチャリストの合成において復号器により使用される情報を含んでもよい。一例は、ピクチャがバッファ記述において一覧表示される順序が参照ピクチャリストの初期化において参照ピクチャリストのうちの1つに対する初期の順序として使用可能なことである。従って、バッファ記述情報は、参照ピクチャリストが作成される際に使用可能である。
【0129】
図14は、このような方法を示すフローチャートである。方法は、図9のステップS32から継続する。次のステップS80は、バッファ記述情報に基づいて参照ピクチャリストの初期化を実行する。ステップS80の特定の一実施形態において、参照ピクチャリストの初期化は、バッファ記述情報が図9のステップS31で決定された少なくとも1つのピクチャ識別子を規定する順序に従って参照ピクチャリストにおいて参照ピクチャを順序付けすることにより、バッファ記述情報に基づいて実行される。
【0130】
一実施形態において、制限は、バッファ記述に含まれたピクチャに対して特定される。制限の一例は、temporal_id tld(B)を有するピクチャBについてのバッファ記述において記述されたtemporal_id tld(A)を有するピクチャAが、tld(A)<tld(B)の場合に存在していないピクチャでなくてもよいことである。
【0131】
一実施形態において、バッファ記述を通して復号ピクチャバッファにおけるピクチャの特性に変更を信号伝送することも可能である。一例は、バッファ記述における時間層及び/又は表示順序に対して新しい値を信号伝送することにより、ピクチャの時間層及び/又は表示順序を変更することである。
【0132】
図16は、一実施形態に係る参照バッファ方式を示す簡略化されたフローチャートである。この方式において、全ての復号ピクチャバッファは、図16に示されるような復号ピクチャバッファの記述を使用して、ピクチャの第1のスライスヘッダを構文解析した後ではあるがピクチャ復号の前に適用される。例えばバッファ記述は、明示的に又はPPSにおいて信号伝送された予め定義された構造を参照することにより、スライスヘッダにおいて信号伝送される。
【0133】
それにより、実施形態は、復号処理を概念的に大きく変更する。従来のH.264/MPEG-4 AVC及びHEVCの現在の設計において、相対動作は、黙示的に、即ちスライドウィンドウ又は明示的に、即ちMMCOに与えられ、復号器は、これらの相対動作を適用し且つ参照ピクチャ、即ちいずれのピクチャが参照のために使用可能であるかを追跡する信頼性を有する。提案された方式において、参照ピクチャ、即ちいずれのピクチャが参照のために使用可能であるかが現在のピクチャ内で、例えばスライスヘッダにおいて信号伝送されることにより、黙示的且つ明示的に信号伝送された相対動作の必要性を除去する。
【0134】
これは、デルタ情報がMMCO又はスライドウィンドウ処理を使用することから取得されるH.264/MPEG-4 AVCのように、各ピクチャが参照ピクチャ記述の相対記述ではなく、絶対記述を有することを意味する。
【0135】
特定の一実施形態によれば、バッファ記述は、参照ピクチャとして使用されるピクチャについての絶対参照を提供するために、復号ピクチャバッファにおける全ての参照ピクチャのdelta_POC、temporal_id及びadditional_picture_idを含む。delta_POCは、参照ピクチャのPOCをPOC(ref)=POC(current)+delta_POCとして計算するために使用される。ピクチャは、一実施形態において、POCとadditional_picture_idとの対により識別される。temporal_idは、時間スケーラビリティ等の損失又は除去されたピクチャの場合に正確な参照ピクチャリストの変形を可能にするようにバッファ記述に含まれる。しかしながら、方式は、コードワードのdelta_POC、temporal_id及びadditional_picture_idに制限されない。ピクチャと関連付けられ且つ参照ピクチャ処理において使用されるいずれかのコードワードは、ピクチャ識別子として使用可能であり、POC及びdelta_POC等の現在のピクチャの値に対して相対的、あるいはtemporal_id等の現在のピクチャに対して絶対的なバッファ記述に含まれてもよい。
【0136】
バッファ記述の一部ではない復号ピクチャバッファにおける全てのピクチャは、参照に使用しないものとしてマーク付けされることが好ましい。
【0137】
H.264/MPEG-4 AVCにおいて、出力のためにピクチャを配信する処理(図1において「バンプ」処理と呼ぶ)は、復号の前に、即ちframe_numに欠落があった場合に実行されることもある。「バンプ」処理は、復号及びピクチャマーク付けの後にも実行される。
【0138】
図16の提案された方式において、「バンプ」処理は復号の前に適用される。これにより、出力のためにピクチャを配信する前に復号処理が必要以上に遅延することが示されうる。しかしながら、表示するための第1のピクチャは、復号ピクチャバッファにおける表示されていないピクチャの数がnum_reorder_frames以上になるとすぐに、復号処理工程の後に既に一意に規定されている。従って、復号器は、復号処理工程の直後に表示するために該ピクチャを配信できる。従って、提案された方式の遅延は、現在のHEVC方式の遅延に等しい。
【0139】
H.264/MPEG-4 AVCにおいて、構文要素frame_numは、復号ピクチャバッファにおけるピクチャを識別し且つframe_numの欠落を検出するために使用される。gaps_in_frame_num_allowedが1に等しい場合、復号器は、スライドウィンドウ処理が正確に動作するように「存在していない」フレームを復号ピクチャバッファに挿入するべきである。
【0140】
図16に示される提案された方式において、POCとadditional_picture_idとの組合せは、復号ピクチャバッファにおけるピクチャを識別するために使用可能である。提案された方式は、スライドウィンドウ処理を含む必要はない。従って、構文要素frame_num及びgaps_in_frame_num_allowedを除去することが提案される。
【0141】
図15は、実施形態を適用できる符号化構造の一例を示す。図15の例において、復号順序における第2のピクチャがPOC0をバッファ記述に含む一方で、復号順序における第3のピクチャは、POC0及びPOC4をバッファ記述に含む。復号順序における第4のピクチャは、将来参照のために使用されるため、POC0及びPOC2だけではなくPOC4もバッファ記述に含まなければならない。復号順序における第5のピクチャは、将来参照のために使用されることがない限り、POC0をバッファ記述に含む必要はない。POC0は、バッファ記述に含まれない場合に参照に使用しないとされる。
【0142】
図15の例において、additional_picture_id(即ち、additional_id)は、全てのピクチャに対して0である。POCラップアラウンドのために同一のPOCと共に参照するために使用可能な2つの異なるピクチャがない限り、additional_picture_idを0に設定することが推奨される。POCが2つの異なるピクチャに対して同一である場合、additional_picture_idは、より古いピクチャをより新しいピクチャで無条件に置換しないように異なることが好ましい。additional_picture_idは、H.264/MPEG-4 AVCにおいて長期ピクチャにより提供される全ての機能性及び可能性を提供するために使用可能である。従って、特定の一実施形態において、ピクチャ識別子の一部を構成するadditional_picture_idは、参照ピクチャが長期参照又は短期参照のために使用されるかを信号伝送するために使用可能である。
【0143】
符号化器がPOC14を有するピクチャA及び0に設定されたadditional_picture_idを「長期ピクチャ」として使用したい例について考える。このとき符号化器は、ピクチャAを参照のために使用可能にしたければ、Aに後続する全てのピクチャのスライスヘッダにおけるバッファ記述にピクチャAが含まれることを保証しなければならない。符号化器は、Aが参照のために依然として使用可能である間にPOC14を有する別のピクチャ(POCラップアラウンドのために)を符号化したい場合、additional_picture_idの別の値、例えば1を選択してAが参照ピクチャとして置換されることを回避すべきである。
【0144】
短期間の参照のために使用されるピクチャ(短期参照ピクチャ)の場合、ビットオーバヘッドを最小限にするためにadditional_picture_idを0に設定することが推奨される。長期間の参照のために使用されるピクチャ(長期ピクチャ)の場合、同一のPOC及び同一のadditional_picture_idを有する2つのピクチャが同時に予測のために使用可能ではないことを符号化器が保証することが推奨される。
【0145】
実施形態の更なる態様は、どのピクチャが参照ピクチャに対して使用されるか、即ち後続の復号のために使用される復号ピクチャバッファに格納されるかを規定するバッファ記述情報を作成するように構成された符号化器を規定する。バッファ記述情報の少なくとも一部は、符号化器により符号化されたビットストリームに挿入される。
【0146】
図18は、符号化器100の一実施形態を示す概略ブロック図である。符号化器100は、複数のピクチャを含むビデオストリームのピクチャを符号化するように構成される。符号化器100は、ビデオストリームの複数のピクチャのうちの現在のピクチャに対して少なくとも1つの参照ピクチャを決定するように構成された参照ピクチャ決定器110を備える。少なくとも1つの参照ピクチャは、現在のピクチャについての符号化参照として使用される。符号化器100のピクチャ識別子提供器120は、参照ピクチャ決定器110により決定された各参照ピクチャのそれぞれのピクチャ識別子を提供するように構成される。ピクチャ識別子提供器120により提供されたピクチャ識別子は、関連付けられた参照ピクチャを識別する。ピクチャ識別子提供器120により提供されたピクチャ識別子は、現在のピクチャを符号化及び復号するために必要とされる参照ピクチャ、並びに選択的に更にはビデオストリームの後続のピクチャを符号化及び復号するために必要とされるビデオストリームのいずれかの先行の参照ピクチャのピクチャ識別子を一覧表示することにより、現在のピクチャについてのバッファ記述をセットで構成する。
【0147】
符号化器100は、参照ピクチャ決定器110により決定された少なくとも1つの参照ピクチャを規定するバッファ記述の情報、即ちバッファ記述情報を生成するように構成されたバッファ記述情報生成器130も備える。バッファ記述情報生成器130は、ピクチャ識別子提供器120からの少なくとも1つのピクチャ識別子に基づいて該バッファ記述情報を生成するように構成される。
【0148】
データ挿入器140は、バッファ記述情報生成器130により生成されたバッファ記述情報を現在のピクチャの符号化表現に挿入するように符号化器100において実現される。従って、現在のピクチャについてのビデオストリームの符号化ビットストリームは、バッファ記述情報を搬送する。これは、現在のピクチャについての復号ピクチャバッファを更新することでピクチャの符号化表現を復号できるようにするために復号器により必要とされる関連情報、即ちピクチャ識別子を規定するバッファ記述情報をピクチャの符号化表現が搬送することを意味する。
【0149】
本明細書において上述したように、参照ピクチャ決定器110は、復号順序で現在のピクチャの前にビデオストリームに存在することが好ましい現在のピクチャだけではなくいかなる参照ピクチャにも対する符号化参照として、復号順序に従って1つ以上の後続のピクチャについての符号化参照としてビデオストリームのいずれかの参照ピクチャを決定するように構成されることが好ましい。
【0150】
特定の一実施形態において、各ピクチャは1つ以上のスライスから構成されうる。そして、このようなスライスの各々は、同一のピクチャの他のスライスに関係なく符号化及び復号されてもよい。従って、参照ピクチャ決定器110は、少なくとも1つのスライスに対して、即ち好ましくはピクチャの各スライスに対して、特定のスライスを符号化及び復号するために使用される少なくとも1つの参照ピクチャを決定することが好ましい。ピクチャ識別子提供器120は、現在のピクチャに対して、即ちその全てのスライスに対して参照ピクチャ決定器110により決定された全ての参照ピクチャについてのそれぞれのピクチャ識別子を提供することが好ましい。これにより、バッファ記述情報は、これらの提供されたピクチャ識別子に基づいてバッファ記述情報生成器130により生成される。好適な一実施形態において、データ挿入器140は、バッファ記述情報をピクチャの符号化表現のそれぞれのスライスヘッダに挿入するように構成される。このようなケースでは、現在のピクチャの各スライスヘッダは、同一のバッファ記述情報を搬送することが好ましい。これにより、ピクチャの別のスライスが偶然損失された場合であっても、所定のスライスを復号できるようになる。
【0151】
ピクチャの符号化表現における制御情報のうちの他の位置も、本明細書において上述したようにバッファ記述情報を搬送するために可能である。
【0152】
実施形態のバッファ記述は、参照ピクチャのピクチャ識別子を含むことができる。あるいは、バッファ記述は、参照ピクチャのピクチャ識別子を算出するための現在のピクチャのピクチャ識別子と共に使用可能な上述のデルタ識別子を含む。
【0153】
このようなケースでは、符号化器100は、ピクチャ識別子提供器120により提供されたピクチャ識別子毎に、ピクチャ識別子と現在のピクチャのピクチャ識別子との差分を算出するように構成される識別子計算器150を備えることが好ましい。該差分は、参照ピクチャについてのデルタ識別子に対応する。そしてバッファ記述情報生成器130は、識別子計算器150により算出された少なくとも1つの差分/デルタ識別子に基づいてバッファ記述情報を生成するように構成される。それにより、バッファ記述情報は、現在のピクチャのピクチャ識別子についての参照ピクチャの少なくとも1つのピクチャ識別子を規定する。
【0154】
ピクチャの符号化表現は、ピクチャ識別子提供器120により提供されたピクチャ識別子又は識別子計算器150により算出されたデルタ識別子を例えばスライスヘッダにおけるバッファ記述情報として搬送できる。これにより、ピクチャの符号化表現におけるバッファ記述の明白な信号伝送を提供する。
【0155】
別の一実施形態において、符号化器100は、複数の予め定義されたバッファ記述を含むデータ構造を生成するように構成されたデータ構造生成器160を備える。それにより、このような予め定義されたバッファ記述の各々は、少なくとも1つの参照ピクチャを規定する。それにより、データ構造は、ピクチャの復号の間に使用されるバッファ記述を提供するために、ビデオストリームにおける複数のピクチャに対して使用可能である。それにより、バッファ記述情報生成器130は、現在のピクチャに対してピクチャ識別子提供器120により提供された少なくとも1つのピクチャ識別子に基づいて、データ構造のバッファ記述を選択するように構成される。それにより、少なくとも参照ピクチャ識別子を正確に一致させるバッファ記述が選択され、バッファ記述情報生成器130により生成されたバッファ記述情報は、選択されたバッファ記述の識別子を含む。
【0156】
そして、データ構造生成器160により生成されたデータ構造は、PPS又はSPS等のビデオストリームの符号化表現と関連付けられた制御情報フィールドに挿入されうる。関連制御情報の識別子、即ちPPS識別子又はSPS識別子(ひいては適切なSPSについてのSPS識別子を含むPPSについてのPPS識別子の形態でありうる)は、スライスヘッダ等の現在のピクチャの符号化表現の制御情報に含まれることが好ましい。一実施形態において、それにより、スライスヘッダ又は他の制御情報フィールドは、制御情報識別子及び選択されたバッファ記述の識別子をバッファ記述情報として搬送する。
【0157】
ピクチャ識別子の明示的な信号伝送の上述の実施形態と、ピクチャ識別子の参照信号伝送の上述の実施形態とが組み合わせ可能である。このようなケースでは、バッファ記述情報生成器130は、選択されたバッファ記述の識別子、好ましくは制御情報識別子も含み、且つ参照ピクチャのピクチャ識別子を規定するデルタ識別子又は明示的なピクチャ識別子等の情報を含むバッファ記述情報を生成するように構成される。
【0158】
符号化器100は、ピクチャ識別子の上述の例、例えば参照ピクチャを明確に識別するPOC値又はPOC値及び更なる識別子のうちのいずれを使用してもよい。
【0159】
ビデオストリームは、ピクチャが複数の層にグループ化されるスケーラブルビデオストリームであってよい。このようなケースでは、ピクチャ識別子提供器120は、ピクチャ識別子及び時間層情報又は参照ピクチャが属する層を識別する識別子を各参照ピクチャに提供するように構成される。そしてバッファ記述情報生成器130は、少なくとも1つのピクチャ識別子及び時間層情報に基づいてバッファ記述情報を生成する。従って、バッファ記述情報は、少なくとも1つのピクチャ識別子及び時間層情報を規定することが好ましい。
【0160】
参照ピクチャ決定器110は、現在のピクチャについてのインター予測及び/又は動きベクトル予測のために、少なくとも1つの参照ピクチャを符号化参照として決定するように構成されることが好ましい。少なくとも1つの参照ピクチャは、ピクチャの符号化表現の圧縮又は符号化の効率を最大限にすること、即ち符号化表現を示すために必要とされるビット等の記号の数を最小限にすることで決定されうる。参照ピクチャの予め定義された最大数を有することから選択された少なくとも1つの側面拘束に準拠し、且つピクチャの少なくとも1つの符号化表現がビデオストリームの符号化表現から除去される場合にもビデオストリームの復号可能な表現を生成している間に、この圧縮最大化が実行されることが好ましい。更なる別の又は追加の側面拘束は、選択された参照ピクチャが復号ピクチャバッファにおける参照及び予測のために使用可能でなければならないことである。
【0161】
符号化器は、ソフトウェアで少なくとも部分的に実現可能である。図19に示されるようなこのような一実施形態において、符号化器300は、ビデオストリームの複数のピクチャを入力するように構成された入力部310を備える。符号化器300は、メモリ340に格納されたコンピュータプログラムのコード手段を処理するように構成されたプロセッサ330も備える。コード手段は、プロセッサ330上で実行された時に、ビデオストリームの少なくとも1つの参照ピクチャをピクチャについての符号化参照としてビデオストリームのピクチャに対してプロセッサ330に決定させる。さらにプロセッサ330は、参照ピクチャを識別するピクチャ識別子を各参照ピクチャに提供し、且つ少なくとも1つの参照ピクチャを規定するバッファ記述情報を少なくとも1つのピクチャ識別子に基づいて生成するようにされる。またプロセッサ330は、バッファ記述情報をピクチャの符号化表現に挿入するようにされる。符号化器300は、ピクチャの符号化表現を出力するように構成された出力部320も備える。
【0162】
プロセッサ330は、中央処理装置(CPU:central processing unit)等の汎用又は専用のコンピュータ、プロセッサ又はマイクロプロセッサであってよい。ソフトウェアは、少なくとも図18の参照ピクチャ決定器110、ピクチャ識別子提供器120、バッファ記述情報生成器130及びデータ挿入器140の動作を実施するコンピュータプログラムコード要素又はソフトウェアコード部分を含む。
【0163】
プログラムは、RAM等の1つ以上の適切な揮発性コンピュータ可読媒体又はデータ格納手段、あるいは磁気ディスク、CD-ROM、DVDディスク、ハードディスク等の1つ以上の不揮発性コンピュータ可読媒体又はデータ格納手段上あるいはそれらに、ROM又はフラッシュメモリに全てあるいは部分的に格納されてもよい。データ格納手段は、ローカルデータ格納手段であってよく、あるいはデータサーバ等にリモートで提供される。従って、ソフトウェアは、コンピュータの動作メモリ又はプロセッサにより実行するための同等の処理システムにロードされてもよい。コンピュータ/プロセッサは、上述の機能を実行することだけに専念する必要はなく、他のソフトウェアタスクも実行してもよい。符号化器300を規定するために使用されたプログラムコードの例は単一命令多重データ(SIMD:single instruction multiple data)コードを含むが、それに限定されない。
【0164】
あるいは、符号化器はハードウェアで実現されてよい。図18における符号化器100のユニット110?160の機能を実現するために使用及び組み合わせ可能な回路網素子の多くの変形例がある。このような変形例は実施形態により含まれる。符号化器100のハードウェアの実現例の特定の例は、デジタル信号プロセッサ(DSP:digital signal processor)ハードウェア、並びに汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術において実現される。
【0165】
実施形態の一態様によれば、図17に示されるような送信機200が提供される。送信機200は、ビデオストリームの複数のピクチャ10を受信するように構成された入力部210を備える。ピクチャ10は、複数のピクチャ10を符号化して複数のピクチャのそれぞれの符号化表現を生成するように構成される図18又は図19に示されるような符号化器100に転送される。送信機200の出力部220は、複数のピクチャのそれぞれの符号化表現を実施形態のバッファ記述情報を搬送する符号化ビットストリームとして出力するように構成される。
【0166】
実施形態の一態様は、バッファ記述情報を検出し、且つ検出されたバッファ記述に基づいて復号するために参照ピクチャとして使用されるピクチャについての絶対参照を決定する復号器、並びに参照ピクチャとして使用されるピクチャを格納するバッファに関する。
【0167】
図21は、一実施形態に係る復号器400を示す概略ブロック図である。復号器400は、複数のピクチャを含むビデオストリームのピクチャの符号化表現を復号するように構成される。復号器400は、ピクチャの符号化表現から少なくとも1つの参照ピクチャを規定するバッファ記述情報を取得するように構成されたデータ取得器410を備える。バッファ記述情報は、それぞれの参照ピクチャをピクチャについての符号化参照として識別する少なくとも1つのピクチャ識別子を決定するように構成されるピクチャ識別子決定器420により使用される。復号器400は、ピクチャ識別子決定器420により決定された少なくとも1つのピクチャ識別子に基づいて、復号器400のあるいは復号器400に関連付けられた復号ピクチャバッファを更新するように構成されたバッファマネージャ430も備える。
【0168】
特定の一実施形態において、データ取得器410は、ピクチャの符号化表現から複数のピクチャ識別子を規定するバッファ記述情報を取得するように構成される。そしてピクチャ識別子決定器420は、取得されたバッファ記述情報に基づいて、それぞれの参照ピクチャをピクチャについての復号参照として識別する少なくとも1つのピクチャ識別子及びそれぞれの参照ピクチャを復号順序に従ってビデオストリームの後続のピクチャについての復号参照として識別する少なくとも1つのピクチャ識別子を決定するように構成される。
【0169】
バッファマネージャ430は、復号ピクチャバッファを更新して少なくとも1つのピクチャ識別子により識別されたそれぞれの参照ピクチャを含むように構成されることが好ましい。
【0170】
従って、ピクチャの符号化表現により搬送されたバッファ記述情報は、現在のピクチャ及びビデオストリームの後続のピクチャを復号するために復号ピクチャバッファに格納される必要のあるのはどの参照ピクチャであるかを識別するために使用される。それにより、バッファ記述情報は、正確な参照ピクチャを格納するように復号ピクチャバッファを更新することを必要とされる復号器400に情報を提供する。
【0171】
バッファマネージャ430が復号ピクチャバッファを更新すると、復号器400は、ピクチャの符号化表現に基づくピクチャ及び更新された復号ピクチャバッファに格納された少なくとも1つの参照ピクチャを復号できる。
【0172】
バッファ記述情報は、ピクチャの符号化表現の制御情報において提供されることが好ましい。例えばデータ取得器410は、ピクチャの符号化表現のスライスヘッダからバッファ記述情報を取得するように構成されてよい。このようなケースでは、ピクチャのいずれかの残りのスライスヘッダが同一のバッファ記述情報を搬送することが好ましいため、バッファ記述情報は、現在のピクチャに対して受信された第1のスライスヘッダから取得されることが好ましい。
【0173】
取得されたバッファ記述情報は、復号ピクチャバッファに格納される参照ピクチャの明示的なピクチャ識別子を含みうる。別の一実施形態において、バッファ記述情報は、参照ピクチャについてのそれぞれのデルタ識別子を規定する。そしてピクチャ識別子決定器420は、バッファ記述情報から少なくとも1つのデルタ識別子を取得し、且つ好ましくは現在のピクチャのデルタ識別子とピクチャ識別子の和として、現在のピクチャのピクチャ識別子及びそれぞれのデルタ識別子に基づいて少なくとも1つのピクチャ識別子を算出するように構成される。
【0174】
ピクチャの符号化表現におけるピクチャ識別子又はデルタ識別子の明示的な信号伝送の代わりに、参照信号伝送が使用されてよい。データ取得器410は、本実施形態においてピクチャの符号化表現からバッファ記述の識別子を取得するように構成される。復号器400は、取得されたバッファ記述の識別子を使用して複数の予め定義されたバッファ記述を含むデータ構造からバッファ記述を識別するように構成されたバッファ記述識別器480を備えることが好ましい。
【0175】
データ取得器410は、本実施形態において、PPS又はSPS等のビデオストリームの符号化表現のあるいはそれと関連付けられた制御情報フィールドから複数の予め定義されたバッファ記述を規定するデータ構造を取得するようにさらに構成されることが好ましい。
【0176】
特定の一実施形態において、スライスヘッダ等のピクチャの符号化表現の制御情報フィールドは、データ構造を搬送するPPS又はSPS等の制御情報フィールドの識別子を含むことが好ましい。それにより、データ取得器410は、該識別子を取得して、データ構造を有する関連制御情報フィールドを識別するためにそれを使用する。
【0177】
別の実施形態において、バッファ記述情報は、少なくとも1つのピクチャ識別子を識別するピクチャ識別子又はデルタ識別子等のバッファ記述及び情報の識別子を含む。そしてピクチャ識別子決定器420は、識別されたバッファ記述、好ましくはデータ構造から少なくとも1つのピクチャ識別子の第1のセットを決定するように構成される。ピクチャ識別子決定器420は、少なくとも1つのピクチャ識別子を規定する情報から少なくとも1つのピクチャ識別子の第2のセットも決定する。この場合、該情報は、例えばピクチャ識別子又はデルタ識別子の形態でピクチャの符号化表現において明示的に信号伝送されている。そして、ピクチャ識別子の結合信号は、ピクチャ識別子決定器420により第1のセット及び第2のセットから形成される。
【0178】
特定の一実施形態において、復号器400は、ジョイントセットにおけるピクチャ識別子の総数を復号ピクチャバッファに格納可能な参照ピクチャの最大数と比較するように構成された数比較器440を備える。ジョイントセットにおけるピクチャ識別子の総数が参照ピクチャの最大数を超える場合、ジョイントセットにおけるピクチャ識別子の総数が参照ピクチャの最大数を超えなくなるまで、ピクチャ識別子決定器420は、第1のセットに含まれるが第2のセットには含まれない1つ以上のピクチャ識別子を除去するように構成される。
【0179】
復号器400のバッファマネージャ430は、特定の一実施形態において、復号ピクチャバッファに存在するがバッファ記述情報から決定された少なくとも1つのピクチャ識別子のいずれとも関連付けられないいずれかの参照ピクチャを除去するように構成される。従って、復号ピクチャバッファに格納されるがバッファ記述情報から識別されない任意の参照ピクチャは、バッファマネージャ430により復号ピクチャバッファから除去されることが好ましい。
【0180】
別の好適なアプローチにおいて、バッファマネージャ430は、復号ピクチャバッファに格納されるが、バッファ記述情報からの少なくとも1つのピクチャ識別子のいずれにも関連付けられていない全ての参照ピクチャを、予測に使用しないものとも呼ぶ、参照に使用しないものとしてマーク付けするように構成される。
【0181】
特定の一実施形態において、復号ピクチャバッファに存在し且つバッファ記述情報に基づいて決定されたピクチャ識別子のいずれかと関連付けられたいずれかの参照ピクチャは、参照に使用するものとしてバッファマネージャ430によりマーク付けされることが好ましい。一実施形態において、参照ピクチャは、短期参照に使用するもの又は長期参照に使用するものとしてマーク付けされうる。これらの2つの特定の代替例は、バッファ記述情報に基づいて選択されることが好ましい。
【0182】
復号器400のバッファマネージャ430は、復号器400が現在のピクチャを復号する前にいずれかの参照ピクチャをマーク付けするように構成されることが好ましい。
【0183】
特定の一実施形態において、復号器400は、復号器400が現在のピクチャを復号する前に表示するために復号ピクチャバッファからゼロ以上のピクチャを出力するように構成された出力部450を備える。特定の一実施形態において、出力部450は、バッファマネージャ430により参照に使用しないものとしてマーク付けされたいずれかの参照ピクチャを出力する。
【0184】
復号器400のオプションの一実施形態は、ピクチャ識別子決定器420により決定された少なくとも1つのピクチャ識別子を復号ピクチャバッファに格納された参照ピクチャのピクチャ識別子と比較するように構成された識別子比較器460を備える。バッファ記述情報により規定された少なくとも1つのピクチャ識別子のいずれも復号ピクチャバッファにおいて一致する参照ピクチャを有さない場合、所定のピクチャ識別子と関連付けられたピクチャは、ピクチャ識別子決定器420により存在していない又は紛失していると決定される。
【0185】
オプションの一実施形態において、ピクチャ識別子決定器420は、いずれかの存在していないピクチャを生成し、且つそのように生成されたピクチャを復号ピクチャバッファに格納するように構成される。ピクチャ識別子及び存在していないピクチャに関するバッファ記述情報から取得可能な他のいずれかの情報は、ピクチャ識別子決定器420により生成されたピクチャに割り当てられることが好ましい。
【0186】
復号器400は、バッファ記述情報に基づいて参照ピクチャリストの初期化を実行するように構成されたリストマネージャ470も備えてもよい。特定の一実施形態において、リストマネージャ470は、バッファ記述情報が少なくとも1つのピクチャ識別子を規定する順序に従って参照ピクチャリストにおいて参照ピクチャを順序付けすることにより、参照ピクチャリストの初期化を実行するように構成される。従って、バッファ記述情報は、参照ピクチャのピクチャ識別子だけではなく、これらがバッファ記述情報において規定される順序も規定し、参照ピクチャリストを形成することに関する命令をリストマネージャ470にさらに提供する。
【0187】
復号器は、ソフトウェアで少なくとも部分的に実現可能である。図22に示されるようなこのような一実施形態において、復号器600は、ビデオストリームの複数のピクチャの符号化表現を入力するように構成された入力部610を備える。復号器600は、メモリ640に格納されたコンピュータプログラムのコード手段を処理するように構成されたプロセッサ630も備える。コード手段は、プロセッサ630上で実行された時に、ピクチャの符号化表現から少なくとも1つの参照ピクチャを規定するバッファ記述情報をプロセッサ630に取得させる。さらにコード手段は、バッファ記述情報からそれぞれの参照ピクチャを識別する少なくとも1つのピクチャ識別子をプロセッサ630に決定させる。それぞれの参照ピクチャは、ピクチャについての符号化参照として使用される。またプロセッサ630は、少なくとも1つのピクチャ識別子に基づいて復号ピクチャバッファ650を更新するようにされる。復号器600は、ビデオストリームの復号ピクチャを出力するように構成された出力部620も備える。
【0188】
プロセッサ630は、中央処理装置(CPU)等の汎用又は専用のコンピュータ、プロセッサ又はマイクロプロセッサであってよい。ソフトウェアは、少なくとも図21のデータ検出器410、ピクチャ識別子決定器420及びバッファマネージャ430の動作を実施するコンピュータプログラムコード要素又はソフトウェアコード部分を含む。
【0189】
プログラムは、RAM等の1つ以上の適切な揮発性コンピュータ可読媒体又はデータ格納手段、あるいは磁気ディスク、CD-ROM、DVDディスク、ハードディスク等の1つ以上の不揮発性コンピュータ可読媒体又はデータ格納手段上あるいはそれらに、ROM又はフラッシュメモリに全てあるいは部分的に格納されてもよい。データ格納手段は、ローカルデータ格納手段であってよく、あるいはデータサーバ等にリモートで提供される。従って、ソフトウェアは、コンピュータの動作メモリ又はプロセッサにより実行するための同等の処理システムにロードされてもよい。コンピュータ/プロセッサは、上述の機能を実行することだけに専念する必要はなく、他のソフトウェアタスクも実行してもよい。復号器600を規定するために使用されたプログラムコードの例は単一命令多重データ(SIMD)コードを含むが、それに限定されない。
【0190】
あるいは、復号器はハードウェアで実現されてよい。図21における復号器400のユニット410?480の機能を実現するために使用及び組み合わせ可能な回路網素子の多くの変形例がある。このような変形例は実施形態により含まれる。復号器400のハードウェアの実現例の特定の例は、デジタル信号プロセッサ(DSP)ハードウェア、並びに汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術において実現される。
【0191】
実施形態の一態様によれば、図20に示されるような受信機500が提供される。受信機500は、ビデオストリームの複数のピクチャの符号化表現を入力するように構成された入力部510を備える。符号化表現は、実施形態に係るバッファ記述情報を搬送する。符号化表現は、複数のピクチャの符号化表現を復号するように構成される図21又は図22に示されるような復号器400に転送される。受信機500の出力部520は、ビデオストリームの復号ピクチャを出力するように構成される。受信機500は、ピクチャを復号する際に復号器400により使用される参照ピクチャを格納する復号ピクチャバッファ530も備える。
【0192】
付録
本発明の付録は、提案された一実施形態の構文を提示する。付録において、従来技術のHEVCの提案に対して追加された構文要素は、下線を引くことでマーク付けされ、除去された構文要素は取り消し線でマーク付けされる。
【0193】
スライスヘッダ


【0194】
ピクチャパラメータセット

【0195】
提案されたセマンティクス
バッファ記述の適応例に対する復号処理
該処理は、ピクチャの第1のスライスにおける第1の符号化ユニットの復号の前及び参照ピクチャリストを構成するための復号処理の前に、I、P又はBの各ピクチャについての復号処理の開始時に呼び出される。
【0196】
処理の結果、1つ以上のピクチャを「参照に使用しない」ものとしてマーク付けしてもよい。
【0197】
処理の結果、存在していないピクチャの作成において開示されるような「存在していない」ピクチャが構成されてもよい。
【0198】
参照ピクチャは、変数POC及びadditional_picture_idによる復号処理において使用するために識別される。
【0199】
0からnumber_pictures_in_buffer_descriptionまでのいずれかのiに対して、POC(r)=POC(curr)+delta_POC(i)及びadditional_picture_id(r)=additional_picture_id(i)の場合かつその場合に限り、復号ピクチャバッファにおける参照ピクチャrはバッファ記述の一部であると言われる。
【0200】
バッファ記述の適応例に対する動作の手順
バッファ記述の適応例は、以下の順序付けされた工程で進行する
1.現在のピクチャがIDRピクチャであるかに応じて、以下が適用される。
-現在のピクチャがIDRピクチャである場合、全ての参照ピクチャは参照に使用しないものとしてマーク付けされる。
-そうでない場合(現在のピクチャがIDRピクチャではない)、以下の順序付けされた工程が適用される。
I.現在のピクチャの第1のスライスのスライスヘッダにおけるバッファ記述情報は、バッファ記述の作成において開示されるようなバッファ記述とも呼ぶ参照ピクチャのリストを作成するために使用される。
II.バッファ記述の一部ではない全ての参照ピクチャ(復号ピクチャバッファにおける)は、「参照に使用しない」ものとしてマーク付けされる。
III.バッファ記述に含まれる1以上のピクチャが参照のために使用可能ではない(即ち、「参照に使用する」ものとしてマーク付けされた参照バッファに存在する)場合、存在していないピクチャの作成において開示された処理が呼び出される。
2.現在のピクチャのスライスが復号される。
【0201】
バッファ記述の作成
buffer_description_reference_flagが1の場合、0からnumber_of_pictures_in_buffer_description-1までの各ピクチャiに対して、deltaPOCをbuffer_description_idにより識別されたPPSバッファ記述エントリのdeltaPOC、temporal_idをbuffer_description_idにより識別されたPPSバッファ記述エントリのtemporal_id及びadditional_picture_idを0に設定してバッファ記述情報が作成される。
【0202】
buffer_description_reference_flagが0の場合、0からnumber_of_explicitly_signaled_pictures-1までの各ピクチャiに対して、deltaPOCを明示的に信号伝送されたバッファ記述のdeltaPOC、temporal_idを明示的に信号伝送されたバッファ記述のtemporal_id及びadditional_picture_idを明示的に信号伝送されたバッファ記述のadditional_picture_idに設定してバッファ記述が作成される。
【0203】
存在していないピクチャの作成
該処理は、現在のピクチャのバッファ記述に含まれるが復号ピクチャバッファにおいては使用可能ではない各ピクチャに対して呼び出されることが好ましい。即ち、現在のピクチャのバッファ記述がエントリiを含む場合、POC(i)及びadditional_picture_id(i)を有するため、POC(j)==POC(i)及びadditional_picture_id(j)==additional_picture_id(i)の場合に「参照に使用する」ものとしてマーク付けされた復号ピクチャバッファにおけるピクチャjはない。
【0204】
このような記述の各々に対して、「存在していない」ピクチャは、POC(i)に設定されたPOC、additional_picture_id(i)に設定されたadditional_picture_id、temporal_id(i)に設定されたtemporal_idで用いて生成され、「存在していない」もの及び「参照に使用する」ものとしてマーク付けされる。生成されたフレームのサンプル値は、いかなる値に設定されてもよい。「存在していない」ものとしてマーク付けされるこれらの生成されたフレームは、インター予測処理では参照されるべきではない。
【0205】
上述の実施形態は、本発明のいくつかの説明的な例として理解されるべきである。本発明の範囲から逸脱せずに、種々の変形、組合せ及び変更が実施形態に対して行なわれてもよいことは、当業者には理解されるだろう。特に、異なる実施形態における異なる部分の解決策は、技術的に可能な場合には他の構成で組み合わせ可能である。しかしながら、本発明の範囲は、添付の特許請求の範囲により規定される。
(57)【特許請求の範囲】
【請求項1】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)のうちの1つのピクチャ(10)の符号化表現(60)を復号する方法であって、
前記ピクチャ(10)の符号化表現(60)から少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を取得する工程(S30)と、
前記バッファ記述情報に基づいて、前記少なくとも1つの参照ピクチャ(40、42)のうちの参照ピクチャ(40、42)の各々を示す少なくとも1つのピクチャ識別子を、前記ピクチャ(10)の復号参照として決定する工程(S31)と、
前記少なくとも1つのピクチャ識別子に基づいて、復号されたピクチャバッファ(530、650)を更新する工程(S32)と、を有する
ことを特徴とする方法。
【請求項2】
前記復号されたピクチャバッファ(530、650)を更新する前記工程(S32)は、前記少なくとも1つのピクチャ識別子により示される前記参照ピクチャ(40、42)の各々を含むように前記復号されたピクチャバッファ(530、650)を更新する工程(S32)を有することを特徴とする請求項1に記載の方法。
【請求項3】
(削除)
【請求項4】
前記ピクチャ(10)の符号化表現(60)及び前記復号されたピクチャバッファ(530、650)に含まれる少なくとも1つの参照ピクチャ(40、42)に基づいて前記ピクチャ(10)を復号する工程(S33)をさらに有し、
前記ピクチャ(10)を復号する前記工程は、前記復号されたピクチャバッファ(530、650)の更新する工程の後に行われる
ことを特徴とする請求項1または2に記載の方法。
【請求項5】
(削除)
【請求項6】
前記復号されたピクチャバッファ(530、650)を更新する前記工程(S32)は、前記復号されたピクチャバッファに含まれる参照ピクチャであって、前記バッファ記述情報に基づいて決定された前記少なくとも1つのピクチャ識別子のうちの1つのピクチャ識別子が関連づけられたピクチャを、参照に用いるものとして、好ましくは短期参照または長期参照に用いるものとしてマークする工程(S70)を有することを特徴とする請求項1、2、4に記載の方法。
【請求項7】
参照ピクチャのいずれかをマークする前記工程は、前記ピクチャ(10)を復号する前記工程に先立って実行されることを特徴とする請求項6に記載の方法。
【請求項8】
前記ピクチャ(10)を復号する前記工程に先立って、表示用の前記復号されたピクチャバッファ(530、650)から0以上のピクチャを出力する工程(S71)をさらに有することを特徴とする請求項1、2、4、6および7のいずれか1項に記載の方法。
【請求項9】
前記バッファ記述情報を取得する前記工程(S30)は、前記ピクチャ(10)の符号化表現(60)のスライスヘッダ(65)から前記バッファ記述情報を取得する工程を有することを特徴とする請求項1、2、4、および6乃至8のいずれか1項に記載の方法。
【請求項10】
(削除)
【請求項11】
前記バッファ記述情報を取得する前記工程(S30)は、
前記少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述を示す前記バッファ記述情報を、前記ピクチャ(10)の符号化表現(60)から取得する工程(S51)と、
前記バッファ記述情報に基づいて、各々が少なくとも1つの参照ピクチャ(40、42)を定義する複数の予め定義されたバッファ記述を含む1つのデータ構造から、前記バッファ記述を同定する工程(S52)と、を有する
ことを特徴とする請求項1、2、4、および6乃至9のいずれか1項に記載の方法。
【請求項12】
前記ビデオストリーム(1)の1つの符号化表現に関連づけられた、1つのピクチャパラメータセット(67)または1つのシーケンスパラメータセットから前記データ構造を取得する工程(S50)をさらに有することを特徴とする請求項11に記載の方法。
【請求項13】
前記バッファ記述情報は、前記バッファ記述を示す識別子及び少なくとも1つの参照ピクチャ(40、42)を定義する情報を含み、
前記少なくとも1つのピクチャ識別子を決定する前記工程(S31)は、
前記バッファ記述に基づいて、参照ピクチャの各々を示す少なくとも1つの参照ピクチャ(40、42)の第1のセットを決定する工程(S60)と、
前記少なくとも1つのピクチャ識別子を定義する情報に基づいて、参照ピクチャの各々を示す少なくとも1つのピクチャ識別子の第2のセットを決定する工程(S61)と、
前記第1のセット及び前記第2のセットに基づいて、ピクチャ識別子のジョイントセットを形成する工程(S62)と、を有する
ことを特徴とする請求項11または12に記載の方法。
【請求項14】
前記ジョイントセット内のピクチャ識別子の総数と参照ピクチャの最大数とを比較する工程(S63)と、
前記ピクチャ識別子の総数が前記参照ピクチャの最大数を上回る場合に、前記第1のセットに含まれ、かつ前記第2のセットに含まれない1以上のピクチャ識別子を、前記ジョイントセット内のピクチャ識別子の総数が前記参照ピクチャの最大数を超えない数まで前記ジョイントセットから削除する工程(S64)と、をさらに有する
ことを特徴とする請求項13に記載の方法。
【請求項15】
前記復号されたピクチャバッファ(530、650)を更新する前記工程(S32)は、前記復号されたピクチャバッファ(530、650)内に存在し、前記バッファ記述情報から決定される前記少なくとも1つのピクチャ識別子のいずれかに関連付けられていない全ての参照ピクチャを、前記復号されたピクチャバッファ(530、650)から削除する工程(S70)を有することを特徴とする請求項1、2、4、6乃至9、および11乃至14のいずれか1項に記載の方法。
【請求項16】
前記決定された少なくとも1つのピクチャ識別子と、前記復号されたピクチャバッファ(530、650)内に存在する参照ピクチャが関連付けられたピクチャ識別子とを比較する工程(S72)と、
所定のピクチャを示すピクチャ識別子が前記決定された少なくとも1つのピクチャ識別子から発見され、前記所定のピクチャが前記復号されたピクチャバッファ(530、650)に存在しない場合に、所定のピクチャが存在しないと決定する工程(S73)と、をさらに有する
ことを特徴とする請求項1、2、4、6乃至9、および11乃至15のいずれか1項に記載の方法。
【請求項17】
前記バッファ記述情報に基づいて、参照ピクチャリストの初期化を行う工程(S80)をさらに有することを特徴とする請求項1、2、4、6乃至9、および11乃至16のいずれか1項に記載の方法。
【請求項18】
前記少なくとも1つのピクチャ識別子を決定する前記工程(S31)は、前記バッファ記述情報に基づいて、前記参照ピクチャ(40、42)の各々を示す少なくとも1つのピクチャオーダカウント(POC)値を、前記ピクチャ(10)の復号参照として決定する工程(S31)を有することを特徴とする請求項1、2、4、6乃至9、および11乃至17のいずれか1項に記載の方法。
【請求項19】
前記少なくとも1つのPOC値を決定する前記工程(S31)は、前記バッファ記述情報に基づいて、前記少なくとも1つのピクチャオーダカウント(POC)値と、前記参照ピクチャ(40、42)の各々を示す少なくとも1つの追加識別子とを、前記ピクチャ(10)の復号参照として決定する工程(S31)を有することを特徴とする請求項18に記載の方法。
【請求項20】
前記ビデオストリーム(1)は、複数のレイヤにグループ化されたピクチャ(10、40、42、50)を有するスケーラブルビデオストリームであり、
前記バッファ記述情報を取得する前記工程(S30)は、前記少なくとも1つのピクチャ識別子を定義する前記バッファ記述情報と、前記参照ピクチャ(40、42)の各々が所属する前記複数のレイヤの各レイヤを定義するレイヤ情報とを取得する工程(S30)を有する
ことを特徴とする請求項1、2、4、6乃至9、および11乃至19のいずれか1項に記載の方法。
【請求項21】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)のうちの1つのピクチャ(10)の符号化表現(60)を復号する復号器(400)であって、
前記ピクチャ(10)の符号化表現(60)から少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を取得するデータ取得器(410)と、
前記バッファ記述情報に基づいて、前記少なくとも1つの参照ピクチャ(40、42)のうちの参照ピクチャ(40、42)の各々を示す少なくとも1つのピクチャ識別子を、前記ピクチャ(10)の復号参照として決定するピクチャ識別子決定器(420)と、
前記少なくとも1つのピクチャ識別子に基づいて、復号されたピクチャバッファ(530)を更新するバッファマネージャ(430)と、を有する
ことを特徴とする復号器。
【請求項22】
前記バッファマネージャ(430)は、前記少なくとも1つのピクチャ識別子により示される前記参照ピクチャ(40、42)の各々を含むように前記復号されたピクチャバッファ(530)を更新することを特徴とする請求項21に記載の復号器。
【請求項23】
(削除)
【請求項24】
前記復号器(400)は、前記バッファマネージャ(430)が前記復号されたピクチャバッファ(530)を更新した後に、前記ピクチャ(10)の符号化表現(60)及び前記復号されたピクチャバッファ(530)に含まれる少なくとも1つの参照ピクチャ(40、42)に基づいて前記ピクチャ(10)を復号することを特徴とする請求項21または22に記載の復号器。
【請求項25】
(削除)
【請求項26】
前記バッファマネージャ(430)は、前記復号されたピクチャバッファに含まれる参照ピクチャであって、前記バッファ記述情報に基づいて決定された前記少なくとも1つのピクチャ識別子のうちの1つのピクチャ識別子が関連づけられたピクチャを、参照に用いるものとして、好ましくは短期参照または長期参照に用いるものとしてマークすることを特徴とする請求項21、22、24に記載の復号器。
【請求項27】
前記バッファマネージャ(430)は、前記復号器(400)が前記ピクチャ(10)を復号することに先立って実行されることを特徴とする請求項26に記載の復号器。
【請求項28】
前記復号器(400)が前記ピクチャ(10)を復号することに先立って、表示用の前記復号されたピクチャバッファ(530)から0以上のピクチャを出力する出力部(450)をさらに有することを特徴とする請求項21、22、24、26および27のいずれか1項に記載の復号器。
【請求項29】
前記データ取得器(410)は、前記ピクチャ(10)の符号化表現(60)のスライスヘッダ(65)から前記バッファ記述情報を取得することを特徴とする請求項21、22、24、および26乃至28のいずれか1項に記載の復号器。
【請求項30】
(削除)
【請求項31】
前記データ取得器(410)は、前記少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述を示す前記バッファ記述情報を、前記ピクチャ(10)の符号化表現(60)から取得し、
前記復号器(400)は、前記バッファ記述情報に基づいて、各々が少なくとも1つの参照ピクチャ(40、42)を定義する複数の予め定義されたバッファ記述を含む1つのデータ構造から、前記バッファ記述を同定するバッファ記述同定器(480)をさらに有する
ことを特徴とする請求項21、22、24、および26乃至29のいずれか1項に記載の復号器。
【請求項32】
前記データ取得器(410)は、前記ビデオストリーム(1)の1つの符号化表現に関連づけられた、1つのピクチャパラメータセット(67)または1つのシーケンスパラメータセットから前記データ構造を取得することを特徴とする請求項31に記載の復号器。
【請求項33】
前記バッファ記述情報は、前記バッファ記述を示す識別子及び少なくとも1つの参照ピクチャ(40、42)を定義する情報を含み、
前記ピクチャ識別子決定器(420)は、i)前記バッファ記述に基づいて、参照ピクチャの各々を示す少なくとも1つのピクチャ識別子の第1のセットを決定し、ii)前記少なくとも1つのピクチャ識別子を定義する情報に基づいて、参照ピクチャの各々を示す少なくとも1つのピクチャ識別子の第2のセットを決定し、iii)前記第1のセット及び前記第2のセットに基づいて、ピクチャ識別子のジョイントセットを形成する
ことを特徴とする請求項31または32に記載の復号器。
【請求項34】
前記ジョイントセット内のピクチャ識別子の総数と参照ピクチャの最大数とを比較する数値比較器(440)をさらに有し、
前記ピクチャ識別子決定器(420)は、前記ピクチャ識別子の総数が前記参照ピクチャの最大数を上回る場合に、前記第1のセットに含まれ、かつ前記第2のセットに含まれない1以上のピクチャ識別子を、前記ジョイントセット内のピクチャ識別子の総数が前記参照ピクチャの最大数を超えない数まで前記ジョイントセットから削除する
ことを特徴とする請求項33に記載の復号器。
【請求項35】
前記バッファマネージャ(430)は、前記復号されたピクチャバッファ(530)内に格納され、前記バッファ記述情報から決定される前記少なくとも1つのピクチャ識別子のいずれかに関連付けられていない全ての参照ピクチャを、前記復号されたピクチャバッファ(530)から削除することを特徴とする請求項21、22、24、26乃至29、および31乃至34のいずれか1項に記載の復号器。
【請求項36】
前記決定された少なくとも1つのピクチャ識別子と、前記復号されたピクチャバッファ(530)内に存在する参照ピクチャが関連付けられたピクチャ識別子とを比較する識別子比較器(460)をさらに有し、
前記ピクチャ識別子決定器(420)は、所定のピクチャを示すピクチャ識別子が前記決定された少なくとも1つのピクチャ識別子から発見され、前記所定のピクチャが前記復号されたピクチャバッファ(530)に存在しない場合に、所定のピクチャが存在しないと決定する
ことを特徴とする請求項21、22、24、26乃至29、および31乃至35のいずれか1項に記載の復号器。
【請求項37】
前記バッファ記述情報に基づいて、参照ピクチャリストの初期化を行うリストマネージャ(470)をさらに有することを特徴とする請求項21、22、24、26乃至29、および31乃至36のいずれか1項に記載の復号器。
【請求項38】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)の符号化表現(60)を受信する入力部(510)と、
前記複数のピクチャ(10、40、42、50)の符号化表現を復号する、請求項21、22、24、26乃至29、および31乃至37のいずれか1項に記載の復号器(400)と、
前記ビデオストリーム(1)の復号されたピクチャを出力する出力部(520)と、を有する
ことを特徴とする受信機(500)。
【請求項39】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)の符号化表現(60)を受信する入力部(610)と、
メモリ(640)に格納されたコンピュータプログラムのコード手段を処理するプロセッサ(630)であって、前記コード手段が該プロセッサ(630)において実行された場合に、
ピクチャ(10)の符号化表現(60)から少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を取得し、
前記バッファ記述情報に基づいて、前記少なくとも1つの参照ピクチャ(40、42)の各々を示す少なくとも1つのピクチャ識別子を、前記ピクチャ(10)の復号参照として決定し、
前記少なくとも1つのピクチャ識別子に基づいて、復号されたピクチャバッファ(650)を更新するプロセッサ(630)と、
前記ビデオストリーム(1)の復号されたピクチャを出力する出力部(620)と、を有する
ことを特徴とする復号器(600)。
【請求項40】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)のうちの1つのピクチャ(10)を符号化する方法であって、
前記複数のピクチャ(10、40、42、50)のうちの少なくとも1つの参照ピクチャを、前記ピクチャ(10)の符号化参照として決定する工程(S1)と、
前記少なくとも1つの参照ピクチャ(40、42)の各々について、前記参照ピクチャ(40、42)を示すピクチャ識別子を提供する工程(S2)と、
前記少なくとも1つのピクチャ識別子に基づいて、前記少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を生成する工程(S3)と、
前記ピクチャ(10)の符号化表現(60)内に前記バッファ記述情報を挿入する工程(S4)と、を有する
ことを特徴とする方法。
【請求項41】
前記少なくとも1つの参照ピクチャ(40、42)を決定する工程(S1)は、前記ピクチャ(10)に対し、前記複数のピクチャ(10、40、42、50)のうちの参照ピクチャ(40、42)のいずれかを前記ピクチャ(10)の符号化参照として決定し、前記複数のピクチャ(10、40、42、50)のうちの参照ピクチャ(42)のいずれかを、前記ビデオストリーム(1)の復号順に係り後続するピクチャ(50)の符号化参照として決定する工程(S1)を有することを特徴とする請求項40に記載の方法。
【請求項42】
前記ピクチャ(10)は、少なくとも1つのスライス(20、22)を含み、
前記少なくとも1つの参照ピクチャ(40、42)を決定する工程(S1)は、前記複数のピクチャ(10、40、42、50)のうちの少なくとも1つの参照ピクチャ(40、42)を、前記ピクチャ(10)の少なくとも1つのスライス(20、22)用に決定する工程を有し、
前記バッファ記述情報を挿入する工程(S4)は、前記ピクチャ(60)の符号化表現(60)のスライスヘッダ(65)の各々に含まれる前記バッファ記述情報を、前記ピクチャ(10)のスライス(20、22)の各々に挿入する工程を有する
ことを特徴とする請求項40または41に記載の方法。
【請求項43】
前記少なくとも1つのピクチャ識別子の各々について、前記少なくとも1つの参照ピクチャ(40、42)の参照ピクチャを示すピクチャ識別子と前記ピクチャ(10)を示すピクチャ識別子との差を算出する工程(S10)をさらに有し、
前記バッファ記述情報を生成する工程(S3)は、前記少なくとも1つの差に基づいて、前記ピクチャ(10)を示すピクチャ識別子に関連した前記少なくとも1つのピクチャ識別子を定義する前記バッファ記述情報を生成する工程を有する
ことを特徴とする請求項40乃至42のいずれか1項に記載の方法。
【請求項44】
各々が少なくとも1つの参照ピクチャ(40、42)を定義する複数の所定のバッファ記述を含むデータ構造を生成する工程(S20)をさらに有し、
前記バッファ記述情報を生成する工程(S3)は、
前記少なくとも1つのピクチャ識別子に基づいて、前記データ構造のバッファ記述を選択する工程(S23)と、
前記選択されたバッファ記述の識別子を含む前記バッファ記述情報を生成する工程(S24)と、を有する
ことを特徴とする請求項40乃至43のいずれか1項に記載の方法。
【請求項45】
前記ビデオストリーム(1)の符号化表現に関連付けられた、ピクチャパラメータセット(67)またはシーケンスパラメータセット(68)に前記データ構造を挿入する工程(S21)と、
前記バッファ記述情報の一部として、前記ピクチャ(10)の符号化表現(60)のスライスヘッダ(65)に前記ピクチャパラメータセット(67)または前記シーケンスパラメータセット(68)の識別子を挿入する工程(S22)と、を有する
ことを特徴とする請求項44に記載の方法。
【請求項46】
前記バッファ記述情報を生成する工程(S23)は、前記選択されたバッファ記述の識別子と、前記少なくとも1つの参照ピクチャ(40、42)の参照ピクチャを定義する情報とを含む前記バッファ記述情報を生成する工程を有することを特徴とする請求項44または45に記載の方法。
【請求項47】
前記少なくとも1つの参照ピクチャ(40、42)を決定する工程(S1)は、
少なくとも1つの側面拘束に従って、前記ピクチャ(10)に対し、前記ピクチャ(10)の符号化表現(60)の圧縮効率を最大化することにより前記少なくとも1つの参照ピクチャ(40、42)を決定する工程であって、
前記側面拘束は、
i)参照ピクチャの所定の最大数、および
ii)ピクチャの少なくとも1つの符号化表現が前記ビデオストリーム(1)の符号化表現から削除された場合にも、前記ビデオストリーム(1)の復号可能な符号化表現を生成すること、
から選択される
ことを特徴とする請求項40乃至46のいずれか1項に記載の方法。
【請求項48】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)のうちの1つのピクチャ(10)を符号化する符号化器(100)であって、
前記複数のピクチャ(40、42、50)のうちの少なくとも1つの参照ピクチャを、前記ピクチャ(10)の符号化参照として決定する参照ピクチャ決定器(110)と、
前記少なくとも1つの参照ピクチャ(40、42)の各々について、前記参照ピクチャ(40、42)を示すピクチャ識別子を提供するピクチャ識別子提供器(120)と、
前記少なくとも1つのピクチャ識別子に基づいて、前記少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を生成するバッファ記述情報生成器(130)と、
前記ピクチャ(10)の符号化表現(60)内に前記バッファ記述情報を挿入するデータ挿入器(140)と、を有する
ことを特徴とする符号化器。
【請求項49】
前記参照ピクチャ決定器(110)は、前記ピクチャ(10)に対し、前記複数のピクチャ(10、40、42、50)のうちの参照ピクチャ(40、42)のいずれかを前記ピクチャ(10)の符号化参照として決定し、前記複数のピクチャ(10、40、42、50)のうちの参照ピクチャ(42)のいずれかを、復号順に係り後続するピクチャ(50)の符号化参照として決定することを特徴とする請求項48に記載の符号化器。
【請求項50】
前記ピクチャ(10)は、少なくとも1つのスライス(20、22)を含み、
前記参照ピクチャ決定器(110)は、前記複数のピクチャ(10、40、42、50)の少なくとも1つの参照ピクチャ(40、42)を、前記ピクチャ(10)の少なくとも1つのスライス(20、22)用に決定し、
前記データ挿入器(140)は、前記ピクチャ(10)の符号化表現(60)のスライスヘッダ(65)の各々に含まれる前記バッファ記述情報を、前記ピクチャ(10)のスライス(20、22)の各々に挿入する
ことを特徴とする請求項48または49に記載の符号化器。
【請求項51】
前記少なくとも1つのピクチャ識別子の各々について、前記少なくとも1つの参照ピクチャ(40、42)の参照ピクチャを示すピクチャ識別子と前記ピクチャ(10)を示すピクチャ識別子との差を算出する識別子算出器(150)をさらに有し、
前記バッファ記述情報生成器(130)は、前記少なくとも1つの差に基づいて、前記ピクチャ(10)を示すピクチャ識別子に関連した前記少なくとも1つのピクチャ識別子を定義する前記バッファ記述情報を生成する
ことを特徴とする請求項48乃至50のいずれか1項に記載の符号化器。
【請求項52】
各々が少なくとも1つのピクチャ識別子を定義する複数の所定のバッファ記述を含むデータ構造を生成するデータ構造生成器(160)をさらに有し、
前記バッファ記述情報生成器(130)は、i)前記少なくとも1つのピクチャ識別子に基づいて、前記データ構造のバッファ記述を選択し、ii)前記選択されたバッファ記述の識別子を含む前記バッファ記述情報を生成する
ことを特徴とする請求項48乃至51のいずれか1項に記載の符号化器。
【請求項53】
前記データ挿入器(140)は、i)前記ビデオストリーム(1)の符号化表現に関連付けられた、ピクチャパラメータセット(67)またはシーケンスパラメータセット(68)に前記データ構造を挿入し、ii)前記バッファ記述情報の一部として、前記ピクチャ(10)の符号化表現(60)のスライスヘッダ(65)に前記ピクチャパラメータセット(67)または前記シーケンスパラメータセット(68)の識別子を挿入することを特徴とする請求項52に記載の符号化器。
【請求項54】
前記バッファ記述情報生成器(130)は、前記選択されたバッファ記述の識別子と、前記少なくとも1つの参照ピクチャ(40、42)のうちの1つの参照ピクチャを定義する情報とを含む前記バッファ記述情報を生成することを特徴とする請求項52または53に記載の符号化器。
【請求項55】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)を受信する入力部(210)と、
前記複数のピクチャ(10、40、42、50)の符号化表現(60)の各々を生成するために、前記複数のピクチャ(10、40、42、50)を符号化する、請求項48乃至54のいずれか1項に記載の符号化器(100)と、
前記複数のピクチャ(10、40、42、50)の符号化表現(60)の各々を出力する出力部(220)と、を有する
ことを特徴とする送信機(200)。
【請求項56】
ビデオストリーム(1)の複数のピクチャ(10、40、42、50)を受信する入力部(310)と、
メモリ(340)に格納されたコンピュータプログラムのコード手段を処理するプロセッサ(330)であって、前記コード手段が該プロセッサ(330)において実行された場合に、
前記ビデオストリーム(1)の1つのピクチャ(10)について、前記複数のピクチャ(10、40、42、50)の少なくとも1つの参照ピクチャ(40、42)を、該ピクチャ(10)の符号化参照として決定し、
前記少なくとも1つの参照ピクチャ(40、42)の各々について、前記参照ピクチャ(40、42)を示すピクチャ識別子を提供し、
前記少なくとも1つのピクチャ識別子に基づいて、前記少なくとも1つの参照ピクチャ(40、42)を定義するバッファ記述情報を生成し、
前記ピクチャ(10)の符号化表現(60)に前記バッファ記述情報を挿入するプロセッサ(330)と、
ピクチャ(10)の符号化表現(60)を出力する出力部(320)と、を有する
ことを特徴とする符号化器(300)。
 
訂正の要旨 審決(決定)の【理由】欄参照。
審決日 2015-07-01 
出願番号 特願2014-518486(P2014-518486)
審決分類 P 1 41・ 853- Y (H04N)
P 1 41・ 851- Y (H04N)
最終処分 成立  
前審関与審査官 坂東 大五郎  
特許庁審判長 渡邊 聡
特許庁審判官 豊島 洋介
小池 正彦
登録日 2014-09-19 
登録番号 特許第5616562号(P5616562)
発明の名称 参照ピクチャ信号伝送  
代理人 渡邉 未央子  
代理人 大塚 康弘  
代理人 高柳 司郎  
代理人 大塚 康弘  
代理人 坂田 恭弘  
代理人 高柳 司郎  
代理人 大塚 康徳  
代理人 渡邉 未央子  
代理人 坂田 恭弘  
代理人 大塚 康徳  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ