• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き2号誤記又は誤訳の訂正 訂正する H04N
管理番号 1319414
審判番号 訂正2016-390075  
総通号数 203 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2016-11-25 
種別 訂正の審決 
審判請求日 2016-06-15 
確定日 2016-08-04 
訂正明細書 有 
事件の表示 特許第5021083号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第5021083号の明細書、特許請求の範囲を本件審判請求書に添付された訂正明細書、特許請求の範囲のとおり訂正することを認める。 
理由 第1 経緯
本件特許第5021083号に係る発明は、平成18年9月22日に出願した特願2007-536577号(優先権主張平成17年9月26日)の一部を、平成23年2月18日に新たな特許出願としたものであって、平成24年6月22日に特許権の設定登録がなされ、その後、平成28年6月15日付けで本件審判が請求されたものである。

第2 請求
1 請求の趣旨
本件審判請求の趣旨は、特許第5021083号の明細書、特許請求の範囲を本件審判請求書に添付された訂正明細書、特許請求の範囲のとおり訂正することを求めるものである。

2 訂正事項
(1)訂正事項1
特許請求の範囲の請求項1について、
「前記矩形領域サイズ決定手段」
とあるのを、
「前記矩形領域サイズ決定ステップ」
と訂正する。

(2)訂正事項2
特許明細書の段落【0011】について、
「前記矩形領域サイズ決定手段」
とあるのを、
「前記矩形領域サイズ決定ステップ」
と訂正する。

第3 当審の判断

1 訂正の目的
(1)訂正事項1について検討する。
訂正前の特許請求の範囲の請求項1は、
「動画像を矩形領域に分割して、前記矩形領域を単位として符号化を行うビットストリーム生成方法において、
複数の連続するフレームの集合であるシーケンス単位に前記矩形領域のサイズを決定する矩形領域サイズ決定ステップと、
前記入力画像を、前記矩形領域サイズ決定手段によって決められたサイズの矩形領域に分割する矩形領域分割ステップと」
と記載されており、「前記矩形領域サイズ決定手段」の前に「矩形領域サイズ決定手段」の記載はなく、「矩形領域サイズ決定ステップ」の記載があるのみであるから、上記「前記矩形領域サイズ決定手段」の記載は「前記矩形領域サイズ決定ステップ」の誤記であることは明白である。

また、訂正事項2についても訂正事項1と同様である。

したがって、訂正事項1、訂正事項2における、「前記矩形領域サイズ決定手段」を「前記矩形領域サイズ決定ステップ」に訂正することは、本来その意であることが、明細書、特許請求の範囲又は図面の記載などから明らかな字句・語句の誤りを、その意味内容の字句・語句に正すことであるから、誤記の訂正と認められる。

2 訂正の適合性
(1)訂正の範囲
願書に最初に添付した明細書、特許請求の範囲又は図面(以下、「当初明細書等」ともいう。)には、矩形領域のサイズを決定する処理を行う構成が記載されており、上記処理を「矩形領域サイズ決定ステップ」と称してもよいことは明白であるから、「矩形領域サイズ決定ステップ」が記載されていることは明らかである。

したがって、訂正前の「前記矩形領域サイズ決定手段」を「前記矩形領域サイズ決定ステップ」とする訂正は、当初明細書等に記載した事項の範囲内においてしたものであることから、訂正事項1、訂正事項2は、願書に最初に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内においてしたものであることは明らかである。

(2)特許請求の範囲の拡張・変更
訂正事項1、訂正事項2における、訂正前の「前記矩形領域サイズ決定手段」の記載は、訂正後の「前記矩形領域サイズ決定ステップ」の誤記であることが明らかであることは、上記のとおりである。

したがって、訂正事項1、訂正事項2は、いずれも、実質上特許請求の範囲を拡張し、又は変更するものではない。

(3)独立特許要件
本件訂正が誤記の訂正を目的とするものであることは前記のとおりであるところ、訂正後における特許請求の範囲の請求項に記載される事項により特定される発明について、特許出願の際独立して特許を受けることができないとする理由を発見しない。

したがって、訂正後における特許請求の範囲に記載されている事項により特定される発明は、特許出願の際独立して特許を受けることができるものである。

(4)まとめ
以上によれば、本件訂正は、特許法第126条第5項ないし第7項までの規定に適合する。

第4 むすび
以上、本件審判の請求に係る訂正は、特許法第126条第1項ただし書き第2号に揚げる事項を目的とし、かつ、同条第5項ないし第7項までの規定に適合する。

よって、結論のとおり審決する。
 
発明の名称 (54)【発明の名称】
ビットストリーム生成方法
【技術分野】
【0001】
この発明は、動画像を矩形領域に分割して、矩形領域単位で符号化を行うビットストリーム生成方法に関するものである。
【背景技術】
【0002】
従来の画像信号を符号化または復号する方式として、MPEG-4(Moving Picture Experts Group Phase-4)ビジュアル(ISO/IEC 14496-2)がある。MPEG-4は、動画像シーケンスを時間/空間的に任意の形状をとる動画像オブジェクトの集合体としてとらえ、各動画像オブジェクトを単位として符号化・復号化を行う方式である。
【0003】
MPEG-4では時間軸を含めた動画像オブジェクトをVideo Objectと呼び、Video Objectの構成要素をVideo Object Layer(VOL)と呼び、VOLの構成要素をGroup of Video Object Plane(GOV)と呼び、GOVの各時刻の状態を表し符号化の単位となる画像データをVideo Object Plane(VOP)と呼ぶ。矩形形状のオブジェクトを扱う場合には、VOPはフレームに相当する。VOPは被符号化領域の単位であるマクロブロックごとに符号化される。マクロブロックは16画素×16ライン固定の矩形ブロックである。マクロブロックはさらに8画素×8ラインのブロックに分割され、マクロブロック単位または8画素×8ラインサイズのブロック単位での動き補償予測を行う。
【0004】
動き補償予測のブロックサイズの選択はマクロブロック単位に切り替えることができる。また、対象とするマクロブロックの符号化を行うかどうかをマクロブロック単位に選択することができる。対象とするマクロブロックの符号化を行わない場合(非符号化モード)には、1フレーム前の同位置(真裏)のマクロブロックの復号データが用いられる。対象とするマクロブロックの符号化を行う場合には、動き補償予測を行うか(インター符号化モード)、あるいは動き補償予測によるフレーム間予測を行わずにフレーム内の情報のみで符号化を行うか(イントラ符号化モード)をマクロブロック単位に選択することができる。
【0005】
また、符号化処理におけるブロック分割において、複数のサイズのマクロブロックに分割できるようにし、画像の中の画質の重要度が高い部分ではそのサイズを小さくし、重要度が低い部分ではそのサイズを大きくするようにしたものがあった(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】
特開平11-146367号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
このような従来の画像符号化・復号化方式では、マクロブロックサイズが固定であるため、画像の解像度や画像の内容(絵柄の細かさ、動きの激しさ等)に応じてマクロブロックサイズを適応的に切り替えることができないという問題点があった。特に画像の解像度が高くなった場合には、従来の画像符号化・復号化方式で採用されている固定のマクロブロックサイズでは、マクロブロックがカバーする領域が局所化し、周辺マクロブロックで同じ符号化モードになったり、同じ動きベクトルをもつケースが発生する。このようなケースでは予測効率が上がらないにもかかわらず、マクロブロックごとに符号化される符号化モード情報や動きベクトル情報などのオーバーヘッドが増えるため、符号化効率全体としては低下する。
【0008】
解像度が低い画像であっても、動きの少ない画像やフレーム内で動きが一定の画像の場合には、周辺マクロブロックで同じ符号化モード(非符号化モードが)になったり、同じ動きベクトルをもつケースが発生する。また、一般にマクロブロックのサイズが大きい場合には、符号化モード等のマクロブロック単位に必要なオーバーヘッドに関わる情報量を少なくすることができる。しかしながら、マクロブロックサイズより小さなサイズの領域単位での符号化モードの切り替えができないため、動きが激しい領域、動きが異なる(人物と背景など)領域の境界付近での予測効率が低下し、符号化効率が低下する。逆にマクロブロックのサイズが小さい場合には、マクロブロック数が増え、符号化モード等のオーバーヘッドの情報量は増えるが、動きが激しい領域、動きが異なる(人物と背景など)領域の境界付近では適応的に符号化モードの切り替えができるため、予測効率が向上し、符号化効率が向上する。
【0009】
また、上記の従来の特許文献1に記載された技術では、フレーム内で適応的にサイズを切り替えるため、矩形サイズ情報の符号量が多いという問題点があった。
【0010】
この発明は上記のような課題を解決するためになされたもので、画像の解像度や画像の内容によって、適応的に矩形領域サイズを切り替えて符号化することができ、かつ、これによる符号化画像へ矩形サイズ情報の増加を抑えることのできる動画像符号化装置及び動画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【0011】
この発明に係るビットストリーム生成方法は、動画像を矩形領域に分割して、前記矩形領域を単位として符号化を行うビットストリーム生成方法において、
複数の連続するフレームの集合であるシーケンス単位に前記矩形領域のサイズを決定する矩形領域サイズ決定ステップと、
前記入力画像を、前記矩形領域サイズ決定ステップによって決められたサイズの矩形領域に分割する矩形領域分割ステップと、
前記矩形領域毎に符号化モードを決定し、当該決定した符号化モードにより前記矩形領域内の画素値を符号化する矩形領域符号化ステップと、
前記矩形領域サイズ決定ステップで決定された矩形領域のサイズの情報と、矩形領域符号化ステップから出力された符号化モード情報と、後記変換量子化ステップで求められた係数データをビットストリームに多重化する多重化ステップとを備え、
前記矩形領域符号化ステップは、
前記決定された符号化モードがイントラ符号化モードの場合、前記矩形領域を、前記矩形領域のサイズに応じて、イントラ予測の単位となる矩形ブロックに分割するとともに、該矩形ブロックのサイズの情報であるイントラ予測ブロックサイズ情報を生成する画面内予測ブロック分割ステップと、
前記分割されたイントラ予測ブロック単位に画面内予測を行い予測画像を得る画面内予測ステップと、
前記予測画像と前記矩形領域内の画素値との差分を、前記矩形領域単位の予測誤差画像として取得すると共に、前記予測誤差画像の矩形領域をブロックサイズ指示情報に基づいて予め定められたサイズの矩形ブロックに分割するブロック分割ステップと、
前記分割された矩形ブロック単位に量子化および直交変換処理を行い係数データを出力する変換量子化ステップと、
を備えたものである。
【発明の効果】
【0012】
この発明のビットストリーム生成方法は、決定された符号化モードがイントラ符号化モードの場合、前記矩形領域を、前記矩形領域のサイズに応じて、イントラ予測の単位となる矩形ブロックに分割するとともに、該矩形ブロックのサイズの情報であるイントラ予測ブロックサイズ情報を生成する画面内予測ブロック分割ステップを有することにより、ビットストリーム生成を行うことはできる。
【図面の簡単な説明】
【0013】
【図1】 この発明の実施の形態1による動画像符号化装置を示す構成図である。
【図2】 この発明の実施の形態1の動画像符号化装置における動き補償の単位となる領域分割例(その1)を示す説明図である。
【図3】 この発明の実施の形態1の動画像符号化装置における動き補償の単位となる領域分割例(その2)を示す説明図である。
【図4】 この発明の実施の形態1の動画像符号化装置における動きベクトル検出の説明図である。
【図5】 この発明の実施の形態1の動画像符号化装置におけるイントラ予測の説明図である。
【図6】 この発明の実施の形態1の動画像符号化装置におけるマクロブロックサイズ情報の変更をスライス単位とした場合の説明図である。
【図7】 この発明の実施の形態2による動画像復号装置を示す構成図である。
【発明を実施するための形態】
【0014】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による動画像符号化装置を示す構成図である。
図において、動画像符号化装置は、マクロブロックサイズ決定部(矩形領域サイズ決定手段)1、マクロブロック分割部(矩形領域分割手段)2、マクロブロック符号化部(矩形領域符号化手段)3、エントロピー符号化部(矩形領域サイズ情報多重化手段)4を備えている。また、マクロブロック符号化部3は、符号化モード決定部(符号化モード決定手段)5、動き補償領域分割部(動き補償領域分割手段)6、動き検出部(動き検出手段)7、動き補償部(動き補償手段)8、減算器9、ブロック分割部(ブロック分割手段)10、変換量子化部(変換量子化手段)11、逆量子化逆変換部12、加算器13、参照画像メモリ14、イントラ予測ブロック分割部(画面内予測ブロック分割手段)15、イントラ予測部(画面内予測手段)16を備えている。
【0015】
マクロブロックサイズ決定部1は、フレーム単位にマクロブロックのサイズを決定し、これをマクロブロックサイズ指示情報(矩形領域サイズ情報)102として出力する機能部である。マクロブロック分割部2は、マクロブロックサイズ決定部1で決められたサイズのマクロブロックに入力画像101を分割する機能部である。マクロブロック符号化部3は、マクロブロック毎に符号化モードを決定し、その決定した符号化モードにより、マクロブロック内の画素値を符号化する機能を有している。エントロピー符号化部4は、マクロブロックサイズ決定部1で決定されたマクロブロックサイズ指示情報102と、ブロックサイズ指示情報108と、符号化モード決定部5から出力された符号化モード情報106と、変換量子化部11で求められた係数データ109と、動き検出部7で求められた動きベクトル情報107とをビットストリーム103に多重化する機能を有している。
【0016】
符号化モード決定部5は、マクロブロック毎に符号化モードを決定する機能部である。動き補償領域分割部6は、マクロブロック内を、符号化モード決定部5が定める領域に分割する機能部である。動き検出部7は、動き補償領域分割部6によって分割された領域単位に動き検出を行う機能部である。動き補償部8は、動き検出部7によって得られる動きベクトル情報107を用いて動き補償予測を行い、予測画像を得る機能部である。減算器9は、動き補償部8で得られた予測画像と入力画像との画素値の差分を得るための減算器である。ブロック分割部10は、減算器9で得られた画素値の差分を、マクロブロック単位の予測誤差画像として取得すると共に、入力画像または予測誤差画像のマクロブロック内を、ブロックサイズ指示情報108に基づいて、予め決められたサイズの矩形ブロックに分割する機能部である。
【0017】
変換量子化部11は、ブロック分割部10で分割されたブロック単位に直交変換処理および量子化を行い、係数データ109を出力する機能部である。逆量子化逆変換部12は、変換量子化部11から出力された係数データ109に基づいて、逆量子化逆変換を行い、復号予測誤差画像を得るための機能部である。加算器13は、逆量子化逆変換部12で得られた復号予測誤差画像と動き補償部8で求めた予測画像とを加算し、復号画像を得るための加算器である。参照画像メモリ14は、加算器13から出力された復号画像を参照画像として格納するメモリである。
【0018】
次に、実施の形態1の動作について説明する。
先ず、入力画像101がマクロブロック分割部2へ入力され、フレーム単位で決定されるマクロブロックサイズ指示情報102に基づき、所定のマクロブロックサイズに分割される。マクロブロックサイズ指示情報102は、例えば、16画素×16ライン、32画素×32ラインのいずれかのサイズを選択可能な情報であり、これについては後述する。ここで指定されたマクロブロックサイズ指示情報102は、エントロピー符号化部4へ入力され、エントロピー符号化され、ビットストリーム103へ多重化される。
【0019】
マクロブロックサイズ指示情報102はマクロブロックサイズ決定部1から出力される。マクロブロックサイズ決定部1では、フレーム間差分を算出してフレーム間差分が小さい場合には、32画素×32ラインのマクロブロックを採用し、フレーム間差分が大きい場合には16画素×16ラインのマクロブロックを採用する。また、第2の方法としては、32画素×32ライン単位での動き検出と、16画素×16ライン単位での動き検出を行い、それぞれ予測誤差を算出し、予測誤差が小さいサイズをマクロブロックサイズとして採用する。更に、第3の方法としては、32画素×32ライン単位および16画素×16ライン単位で画素値の分散を算出し、分散のフレーム内平均が小さいサイズをマクロブロックサイズとして採用する。またこれら複数の方法を組み合わせて決定しても良い。
【0020】
また、第4の方法としては、所定の解像度よりも高い解像度の場合には32画素×32ラインを採用し、所定の解像度よりも低い解像度の場合には16画素×16ラインを採用するなど、画像の解像度に応じて自動的に決定しても良い。この場合、解像度によって、マクロブロックサイズが決まるので、マクロブロックサイズ指示情報102をビットストリーム103に多重化する必要がない。
【0021】
また、利用形態によって利用可能な符号化パラメータの組み合わせを予め定めた情報(プロファイルと呼ぶ)によって、予めマクロブロックサイズを決めておき、選択したプロファイルによって自動的にマクロブロックサイズを決定してもよい。
【0022】
マクロブロックに分割された入力画像101は、マクロブロック毎に決定される符号化モードに応じて、マクロブロック符号化部3内の動き補償領域分割部6、イントラ予測ブロック分割部15、ブロック分割部10のいずれかへ入力される。
【0023】
マクロブロック毎に決定される符号化モードには、マクロブロックタイプ情報、動き補償領域形状情報104、イントラ予測ブロックサイズ情報105が含まれる。マクロブロックタイプ情報とは、画面間予測符号化を行うモード(インターモード)、画面内符号化を行うモード(イントラモード)、画面内予測符号化を行うモード(イントラ予測モード)を選択可能な情報である。これらのモードの選択は、符号化モード決定部5にて行われるが、これらのモードの選択方法については、本発明の特徴点とは直接関係がないため、ここでの説明は省略する。
【0024】
符号化モード決定部5では、上記符号化モードのそれぞれについて、更に詳細な符号化モードが決定される。即ち、インターモードのときには、動き補償を行う単位を示す動き補償領域形状情報104、イントラ予測モードのときには、イントラ予測を行う単位を示すイントラ予測ブロックサイズ情報105が決定される。尚、それぞれの情報の内容については後述する。また、符号化モード決定部5で決定された各種符号化モードは、符号化モード情報106としてエントロピー符号化部4に与えられ、エントロピー符号化部4にて、マクロブロック毎に符号化されビットストリームに多重化される。
【0025】
先ず、インターモードが選択された場合について説明する。
マクロブロック分割部2でマクロブロックに分割された入力画像は、動き補償領域分割部6に入力され、符号化モード決定部5にて選択された動き補償領域形状情報104に基づき、動き補償の単位となる領域形状に分割される。
【0026】
図2および図3に動き補償の単位となる領域分割例を示す。
マクロブロックサイズが16画素×16ラインの場合には、図2に示す(a)から(d)の領域のいずれか(16画素×16ライン、8画素×16ライン、16画素×8ライン、8画素×8ライン)に分割され、(d)の領域に分割された場合には8画素×8ラインの各ブロックは、図2の(e)から(h)のいずれか(8画素×8ライン、4画素×8ライン、8画素×4ライン、4画素×4ライン)に分割することもできる。マクロブロックサイズが32画素×32ラインの場合には、16画素×16ラインのマクロブロックサイズのときと同様に、図2に示す(a)から(d)の領域のいずれかに分割してもよいが、別の例として、図3に示す(j)から(k)のいずれか(32画素×32ライン、16画素×32ライン、32画素×16ライン、16画素×16ライン)に分割し、(k)の領域に分割された場合には、16画素×16ラインの各ブロックを図2の(a)から(d)のいずれかに分割することもできる。これらの分割方法を指示する情報が動き補償領域形状情報104である。上述したように、動き補償領域形状情報104は、マクロブロックサイズによって選択可能な領域形状を切り替えてもよい。
【0027】
動き補償の単位となる領域形状に分割された入力画像は、動き検出部7に入力され、参照画像メモリ14に格納されている1枚以上の参照画像を用いて動き検出が行われる。動き検出部7では、動き補償領域分割部6にて決定された領域単位に参照画像の所定の範囲を探索し、最適な動きベクトルを検出する。図4は、このような動きベクトル検出の説明図である。尚、動きベクトル検出動作については、公知であるため、ここでの詳細な説明は省略する。
【0028】
動き検出部7から得られる動きベクトル情報107は、エントロピー符号化部4に入力され、エントロピー符号化されてビットストリーム103に多重化されると共に、動き補償部8へ入力される。動き補償部8では、参照画像メモリ14に格納されている参照画像と、動き検出部7からの動きベクトル情報107を用いて予測画像の生成を行う。動き補償部8から得られる予測画像は、減算器9によって、マクロブロックに分割された入力画像との差分が求められ、この差分が予測誤差画像として、ブロック分割部10へ入力される。ブロック分割部10では、ブロックサイズ指示情報108に基づいて、変換(DCTのような直交変換)および量子化の単位となるブロックに分割する。
【0029】
ブロックサイズ指示情報108は、例えば、8画素×8ライン、4画素×4ラインのいずれかを選択可能な情報である。また、他の例としては、選択可能なブロックサイズ指示情報108をマクロブロックサイズによって切り替えても良い。例えば16画素×16ラインのマクロブロックの場合、ブロックサイズ指示情報108は、8画素×8ライン、4画素×4ラインを選択可能な情報とし、32画素×32ラインのマクロブロックの場合、ブロックサイズ指示情報108は、16画素×16ライン、8画素×8ラインを選択可能な情報とする。選択したブロックサイズ指示情報108は、エントロピー符号化部4へ入力され、エントロピー符号化されてビットストリーム103に多重化される。
【0030】
更に他の例としては、ブロックサイズはマクロブロックサイズに応じて決めてもよい。例えば16画素×16ラインのマクロブロックの場合には、ブロックサイズを4画素×4ラインとし、32画素×32ラインのマクロブロックの場合には、ブロックサイズを8画素×8ラインとする。この場合、マクロブロックサイズに応じて、ブロックサイズが決まるので、ブロックサイズ指示情報をビットストリーム103に多重化する必要がない。
【0031】
ブロックに分割された予測誤差画像は変換量子化部11へ入力され、直交変換および量子化が行われる。直交変換および量子化処理の結果得られる係数データ109は、エントロピー符号化部4にてエントロピー符号化され、ビットストリーム103に多重化される。変換量子化部11から得られる係数データ109は、更に、逆量子化逆変換部12へ入力され、逆量子化・逆変換が行われ、復号予測誤差画像が得られる。復号予測誤差画像は、動き補償部8から得られる予測画像と加算器13で加算され、復号画像として出力される。復号画像は以降の入力画像の符号化において、参照画像として使用されるため、参照画像メモリ14に格納される。
【0032】
次に、イントラモードが選択された場合について説明する。
マクロブロック分割部2にてマクロブロックに分割された入力画像は、ブロック分割部10へ入力される。ブロック分割部10の動作は、インターモードのときと同様である。ブロックに分割された入力画像は変換量子化部11にて直交変換および量子化が行われる。直交変換および量子化処理の結果得られる係数データ109は、エントロピー符号化部4でエントロピー符号化され、ビットストリーム103に多重化される。変換量子化部11から得られる係数データ109は、更に、逆量子化逆変換部12へ入力され、逆量子化・逆変換が行われ、復号画像が得られる。復号画像は以降の入力画像の符号化において参照画像として使用されるため、参照画像メモリ14に格納される。
【0033】
次に、イントラ予測モードが選択された場合について説明する。
マクロブロック分割部2にてマクロブロックに分割された入力画像は、イントラ予測ブロック分割部15へ入力される。イントラ予測ブロック分割部15では、イントラ予測ブロックサイズ情報105に基づいて、イントラ予測の単位となるブロックに分割する。イントラ予測ブロックサイズ情報105は、16画素×16ライン、4画素×4ラインのいずれかを選択可能な情報である。他の例としては、選択可能なイントラ予測ブロックサイズ情報105をマクロブロックサイズによって切り替えても良い。例えば16画素×16ラインのマクロブロックの場合、イントラ予測ブロックサイズ情報105は、16画素×16ライン、4画素×4ラインを選択可能な情報とし、32画素×32ラインのマクロブロックの場合、イントラ予測ブロックサイズ情報105は、32画素×32ライン、8画素×8ラインを選択可能な情報とする。
【0034】
イントラ予測ブロック分割部15にてブロックに分割された入力画像はイントラ予測部16へ入力され、イントラ予測が行われる。イントラ予測については公知であるため、ここでは詳細な説明は省略するが、図5に示すように、符号化対象ブロック内の各画素値を符号化済みの周辺ブロック(図5のAからD)の画素値から予測した予測画像を生成する。イントラ予測部16から得られた予測画像と、マクロブロックに分割された入力画像との差分を減算器9で求め、この差分が予測誤差画像として、ブロック分割部10へ入力される。ブロック分割部10の動作はインターモードのときと同様である。
【0035】
ブロックに分割された予測誤差画像は変換量子化部11へ入力され、直交変換および量子化が行われる。直交変換および量子化処理の結果得られる係数データ109は、エントロピー符号化部4にてエントロピー符号化され、ビットストリーム103に多重化される。変換量子化部11から得られる係数データ109は、更に逆量子化逆変換部12へ入力され、逆量子化・逆変換が行われ、復号予測誤差画像が得られる。復号予測誤差画像は、イントラ予測部16から得られる予測画像と加算器13で加算され、復号画像として出力される。復号画像は以降の入力画像の符号化において、参照画像として使用されるため、参照画像メモリ14に格納される。
【0036】
以上の実施の形態では、フレーム単位でマクロブロックサイズ情報を変更できるようにしたが、図6に示す例のように1フレーム内を複数のマクロブロックの集合(スライスと呼ぶ)に分割した単位で変更できるようにしてもよい。符号化処理については、1スライスを1フレームとみなし、以上の実施の形態で述べたように行えばよい。このときにはマクロブロックサイズ指示情報102はスライス単位にビットストリーム103に多重化される。
【0037】
また、複数の連続するフレームの集合であるシーケンス単位にマクロブロックサイズ情報を変更できるようにしてもよい。このときにはマクロブロックサイズ指示情報102はシーケンス単位にビットストリーム103に多重化される。
【0038】
更に、変形例としては、フレーム単位に変更するか、あるいはシーケンス単位に変更するかを選択してもよい。このときにはフレーム単位に変更するかどうかの情報をシーケンス単位にビットストリーム103に多重化し、フレーム単位に変更することが選択された場合にフレーム単位にマクロブロックサイズ指示情報102をビットストリーム103に多重化し、シーケンス単位に変更することが選択された場合にはシーケンス単位にマクロブロックサイズ指示情報102をビットストリーム103に多重化する。
【0039】
以上のように、実施の形態1の動画像符号化装置によれば、動画像を矩形領域に分割して、矩形領域単位で符号化を行う動画像符号化装置において、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域サイズ決定手段によって決められたサイズの矩形領域に入力画像を分割する矩形領域分割手段と、矩形領域毎に符号化モードを決定し、決定した符号化モードにより矩形領域内の画素値を符号化する矩形領域符号化手段とを備えたので、画像の内容(動きの激しさや絵柄の細かさ等)や解像度、プロファイルに応じて適切な矩形領域サイズを選択することができ、符号化効率を向上させることができると共に、矩形サイズ情報の符号量として、例えば、1フレームまたは1シーケンスに対して数ビットの符号量しかかからない等、矩形サイズ情報の追加による符号量の増加を小さくすることができる。
【0040】
また、実施の形態1の動画像符号化装置によれば、矩形領域サイズ決定手段によって定められた矩形領域サイズ情報をビットストリームに多重化する矩形領域サイズ情報多重化手段を備えたので、矩形領域サイズを画像の特徴などによって適応的に切り替えることができる。
【0041】
また、実施の形態1の動画像符号化装置によれば、矩形領域サイズ決定手段は、入力画像の解像度に応じて矩形領域サイズを決定するようにしたので、矩形領域サイズ情報をビットストリームに多重化する必要がなく、処理のオーバーヘッドを減らすことができる。
【0042】
また、実施の形態1の動画像符号化装置によれば、矩形領域符号化手段は、矩形領域毎に符号化モードを決定する符号化モード決定手段と、矩形領域内を、符号化モード決定手段が定める領域に分割する動き補償領域分割手段と、動き補償領域分割手段によって分割された領域単位に動き検出を行う動き検出手段と、動き検出手段によって得られる動きベクトル情報を用いて動き補償予測を行い、予測画像を得る動き補償手段と、予測画像と、矩形領域内の画素値の差分を、矩形領域単位の予測誤差画像として取得すると共に、入力画像または予測誤差画像の矩形領域内を予め定められたサイズの矩形ブロックに分割するブロック分割手段と、ブロック分割手段で分割されたブロック単位に直交変換処理および量子化を行う変換量子化手段とを備えたので、矩形領域サイズ毎に決定される符号化モードとして画面間予測符号化を行うインターモードの場合も対応することができる。
【0043】
また、実施の形態1の動画像符号化装置によれば、矩形領域符号化手段は、矩形領域内を符号化モードが定める矩形ブロックに分割する画面内予測ブロック分割手段と、画面内予測ブロック分割手段によって分割された矩形ブロック単位に画面内予測を行い予測画像を得る画面内予測手段と、予測画像と矩形領域内の画素値の差分として、矩形領域単位の予測誤差画像を取得すると共に、入力画像または予測誤差画像の矩形領域内を予め定められたサイズの矩形ブロックに分割するブロック分割手段と、ブロック分割手段によって分割されたブロック単位に量子化および直交変換処理を行う変換量子化手段とを備えたので、矩形領域サイズ毎に決定される符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も対応することができる。
【0044】
実施の形態2.
実施の形態2は、フレーム単位で異なるマクロブロックサイズを選択して符号化されたビットストリームを復号する動画像復号装置である。
【0045】
図7は、実施の形態2による動画像復号装置の構成図である。
図において、動画像復号装置は、エントロピー復号部21とマクロブロック復号部(矩形領域復号手段)22とを備えている。ここで、エントロピー復号部21は、入力ビットストリーム201に対してエントロピー復号を行う処理部であり、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域単位に定められる符号化モードを復号する符号化モード復号手段と、動き補償領域単位に動きベクトル情報を復号する動きベクトル情報復号手段と、逆量子化・逆直交変換を行う単位となる矩形ブロックサイズを決定するブロックサイズ決定手段とを実現している。
【0046】
また、マクロブロック復号部22は、符号化モード切替部23、動き補償領域分割部(動き補償領域分割手段)24、動き補償部(動き補償手段)25、参照画像メモリ26、逆量子化逆変換部(逆量子化逆変換手段)27、加算器28、イントラ予測ブロック分割部29、イントラ予測部(画面内予測手段)30からなる。
【0047】
符号化モード切替部23は、マクロブロックタイプ情報204に基づいて、符号化モードを切り替えるための機能部である。動き補償領域分割部24は、マクロブロック内を、動き補償領域形状情報206が定める領域に分割する機能部である。動き補償部25は、動きベクトル情報207を用いて動き補償予測を行い、予測画像を得るための機能部である。逆量子化逆変換部27は、ブロックサイズ指示情報203に基づいて、係数データ208をマクロブロック単位に、逆量子化および逆直交変換処理を行い、予測誤差画像を求めるための機能部である。加算器28は、逆量子化逆変換部27から出力された予測誤差画像と動き補償部25から出力された予測画像とを加算し、復号画像209を得るための加算器である。また、参照画像メモリ26は、復号画像209を参照画像として格納するためのメモリである。
【0048】
次に、実施の形態2の動作について説明する。
先ず、入力ビットストリーム201がエントロピー復号部21へ入力され、マクロブロックサイズ指示情報202、ブロックサイズ指示情報203、符号化モード(マクロブロックタイプ情報204、イントラ予測ブロックサイズ情報205、動き補償領域形状情報206)、動きベクトル情報207、係数データ208が復号される。尚、マクロブロックサイズ指示情報202はフレーム単位に復号される情報であり、符号化モードはマクロブロックサイズ指示情報202で決定されるサイズのマクロブロック単位に復号される情報である。また、動きベクトル情報207は復号した動き補償領域形状情報206単位に復号される情報である。
【0049】
次に、マクロブロックサイズ指示情報202によって、マクロブロックサイズが決定され、以降の復号は、決定されたサイズのマクロブロック単位にマクロブロック復号部22にて行われる。マクロブロックタイプがインターモードのときには、動き補償予測が行われ、イントラ予測モードのときには、イントラ予測が行われる。
【0050】
先ず、マクロブロックタイプがインターモードのときについて説明する。
動き補償領域分割部24では、エントロピー復号部21で復号された動き補償領域形状情報206に基づき、指定サイズのマクロブロック内を動き補償を行う単位の領域に分割する。動き補償領域形状情報206の内容は、実施の形態1の動き補償領域形状情報104と同様である。動き補償部25は、動き補償領域分割部24で決定された領域単位に、復号された動きベクトル情報207と参照画像メモリ26に含まれる参照画像を用いて予測画像を生成する。また、動きベクトル情報207についても、実施の形態1の動きベクトル情報107と同様である。
【0051】
エントロピー復号部21にて復号された係数データ208は、逆量子化逆変換部27へ入力される。逆量子化逆変換部27では、復号されたブロックサイズ指示情報203に基づき、逆量子化逆変換処理を行う。即ち、ブロックサイズ指示情報203が、例えば4画素×4ラインならば、4画素×4ライン単位の逆量子化、逆変換を行い、その結果予測誤差画像が復号される。
【0052】
動き補償部25で生成された予測画像と、逆量子化逆変換部27で復号された予測誤差画像は加算器28で加算され、復号画像209が得られる。復号画像209は以降の復号に用いられるため、参照画像メモリ26に格納される。
【0053】
次に、符号化モードがイントラモードのときについて説明する。
復号した係数データ208は、逆量子化逆変換部27へ入力される。逆量子化逆変換部27の動作は、インターモードのときと同様である。逆量子化逆変換の結果は復号画像209として出力される。復号画像209はインターモードのときと同様、参照画像メモリ26に格納される。
【0054】
次に、符号化モードがイントラ予測モードのときについて説明する。
イントラ予測ブロック分割部29では、エントロピー復号部21で復号されたイントラ予測ブロックサイズ情報205に基づき、マクロブロック内をイントラ予測を行う単位のブロックに分割する。イントラ予測ブロックサイズ情報205の内容は、実施の形態1のイントラ予測ブロックサイズ情報105と同様である。イントラ予測部30は、イントラ予測ブロック分割部29で決定されたブロック単位に、イントラ予測を行う。イントラ予測については公知であるため、ここでの詳細な説明は省略するが、実施の形態1のイントラ予測部16と同様、復号済みの周辺ブロックの画素値を用いて、符号化対象ブロックの予測値(予測画像)を生成する。
【0055】
一方、エントロピー復号部21で復号された係数データ208は、逆量子化逆変換部27へ入力される。逆量子化逆変換部27の動作は、インターモードのときと同様である。逆量子化逆変換の結果は予測誤差画像として出力される。イントラ予測部30で生成された予測画像と逆量子化逆変換部27で復号された予測誤差画像は加算器28にて加算され、復号画像209が得られる。復号画像209は以降の復号に用いられるため、参照画像メモリ26に格納される。
【0056】
尚、上記実施の形態2においては、フレーム単位にマクロブロックサイズ指示情報を復号し、フレーム単位にマクロブロックサイズを切り替えて復号するようにしたが、複数マクロブロックの集合であるスライス単位にマクロブロックサイズ指示情報を復号し、スライス単位にマクロブロックサイズを切り替えて復号するようにしてもよい。
【0057】
また、他の例では、複数フレームの集合であるシーケンス単位にマクロブロックサイズ指示情報を復号し、シーケンス単位にマクロブロックサイズを切り替えて復号するようにしてもよい。
【0058】
更に他の例では、フレーム単位でマクロブロックサイズを切り替えるか、またはシーケンス単位でマクロブロックサイズを切り替えるかを指示する情報をシーケンス単位に復号し、フレーム単位に切り替えることが選択された場合にはフレーム単位にマクロブロックサイズ指示情報を復号し、シーケンス単位に切り替えることが選択された場合にはシーケンス単位にマクロブロックサイズ指示情報を復号するようにしてもよい。
【0059】
また、エントロピー復号部21は、ビットストリームに多重化されたマクロブロックサイズ指示情報を復号するようにしたが、例えば、所定の解像度よりも高い解像度の場合には32画素×32ラインを採用し、所定の解像度よりも低い解像度の場合には16画素×16ラインを採用するなど、復号対象画像の解像度に応じて自動的に決定しても良い。
【0060】
以上のように、実施の形態2の動画像復号装置によれば、動画像を矩形領域に分割して、矩形領域単位で復号を行う動画像復号装置において、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域単位に定められる符号化モードを復号する符号化モード復号手段と、符号化モード復号手段によって復号された符号化モードにより矩形領域内の画素値を復号する矩形領域復号手段とを備えたので、フレームまたはシーケンス単位で矩形領域サイズを変更して効率よく符号化した動画像を復号することができる。また、矩形領域サイズの変更は、フレームまたはシーケンス単位であるため、例えばフレーム内で矩形領域サイズを切り替える場合等に比べて、矩形領域サイズ切替のための処理量が小さくて済む効果がある。
【0061】
また、実施の形態2の動画像復号装置によれば、矩形領域サイズ決定手段は、ビットストリームにフレーム単位または複数の連続するフレームの集合であるシーケンス単位に多重化された矩形領域サイズ情報を復号し、復号結果に基づき、矩形領域サイズを決定するようにしたので、矩形領域サイズを、画像の特徴などによって容易かつ適応的に切り替えることができる。
【0062】
また、実施の形態2の動画像復号装置によれば、矩形領域サイズ決定手段は、復号対象画像の解像度に応じて矩形領域サイズを決定するようにしたので、別途に矩形領域サイズ情報を復号する必要がなく、処理のオーバーヘッドを減らすことができる。
【0063】
また、実施の形態2の動画像復号装置によれば、符号化モード復号手段によって復号された符号化モードには、動き補償領域の単位となる領域形状を示す動き補償領域形状情報を含み、矩形領域復号手段は、矩形領域内を動き補償領域形状情報が定める領域に分割する動き補償領域分割手段と、動き補償領域単位に動きベクトル情報を復号する動きベクトル情報復号手段と、動きベクトル復号手段によって得られる動きベクトル情報を用いて動き補償予測を行い、予測画像を得る動き補償手段と、逆量子化・逆直交変換を行う単位となる矩形ブロックサイズを決定するブロックサイズ決定手段と、矩形ブロック単位に逆量子化および逆直交変換処理を行う逆量子化逆変換手段とを備えたので、符号化モードとして画面間予測符号化を行うインターモードの場合も復号装置として対応することができる。
【0064】
また、実施の形態2の動画像復号装置によれば、符号化モード復号手段によって復号された符号化モードには、画面内予測の単位となる領域形状を示すイントラ予測ブロックサイズ情報を含み、矩形領域復号手段は、イントラ予測ブロックサイズ情報が定める矩形ブロック単位に画面内予測を行い予測画像を得る画面内予測手段を備えたので、符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も復号装置として対応することができる。
【0065】
また、実施の形態2の動画像復号装置によれば、動き補償領域形状情報は、矩形領域サイズ毎に設定される動き補償領域形状を復号したものであるようにしたので、矩形領域サイズ毎に決定される符号化モードとして画面間予測符号化を行うインターモードの場合も対応することができる。
【0066】
また、実施の形態2の動画像復号装置によれば、イントラ予測ブロックサイズ情報は、矩形領域サイズ毎に設定されるイントラ予測ブロックサイズを復号したものであるようにしたので、矩形領域サイズ毎に決定される符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も対応することができる。
【0067】
以上のように、この発明に係る、動画像の解像度や内容(動きが激しい領域や動きが異なる(人物と背景など)領域の境界付近)によって、適応的に矩形領域サイズを切り替えて符号化することができ、かつ、これによる符号化画像へ矩形サイズ情報の増加を抑えることのできる動画像符号化装置及び動画像復号装置は、ディジタル動画像を送受信可能な装置(例えば、テレビ電話機能付き携帯端末)などに用いるのに適している。
(57)【特許請求の範囲】
【請求項1】
動画像を矩形領域に分割して、前記矩形領域を単位として符号化を行うビットストリーム生成方法において、
複数の連続するフレームの集合であるシーケンス単位に前記矩形領域のサイズを決定する矩形領域サイズ決定ステップと、
前記入力画像を、前記矩形領域サイズ決定ステップによって決められたサイズの矩形領域に分割する矩形領域分割ステップと、
前記矩形領域毎に符号化モードを決定し、当該決定した符号化モードにより前記矩形領域内の画素値を符号化する矩形領域符号化ステップと、
前記矩形領域サイズ決定ステップで決定された矩形領域のサイズの情報と、矩形領域符号化ステップから出力された符号化モード情報と、後記変換量子化ステップで求められた係数データをビットストリームに多重化する多重化ステップとを備え、
前記矩形領域符号化ステップは、
前記決定された符号化モードがイントラ符号化モードの場合、前記矩形領域を、前記矩形領域のサイズに応じて、イントラ予測の単位となる矩形ブロックに分割するとともに、該矩形ブロックのサイズの情報であるイントラ予測ブロックサイズ情報を生成する画面内予測ブロック分割ステップと、
前記分割されたイントラ予測ブロック単位に画面内予測を行い予測画像を得る画面内予測ステップと、
前記予測画像と前記矩形領域内の画素値との差分を、前記矩形領域単位の予測誤差画像として取得すると共に、前記予測誤差画像の矩形領域をブロックサイズ指示情報に基づいて予め定められたサイズの矩形ブロックに分割するブロック分割ステップと、
前記分割された矩形ブロック単位に量子化および直交変換処理を行い係数データを出力する変換量子化ステップと、
を備えたことを特徴とするビットストリーム生成方法。
 
訂正の要旨 審決(決定)の【理由】欄参照。
審理終結日 2016-07-08 
結審通知日 2016-07-12 
審決日 2016-07-26 
出願番号 特願2011-33302(P2011-33302)
審決分類 P 1 41・ 852- Y (H04N)
最終処分 成立  
前審関与審査官 岩井 健二  
特許庁審判長 藤井 浩
特許庁審判官 戸次 一夫
渡邊 聡
登録日 2012-06-22 
登録番号 特許第5021083号(P5021083)
発明の名称 ビットストリーム生成方法  
代理人 田澤 英昭  
代理人 田澤 英昭  
代理人 中島 成  
代理人 中島 成  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ