• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 1項3号刊行物記載 特許、登録しない(前置又は当審拒絶理由) H04N
管理番号 1353731
審判番号 不服2017-15583  
総通号数 237 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2019-09-27 
種別 拒絶査定不服の審決 
審判請求日 2017-10-20 
確定日 2019-07-24 
事件の表示 特願2015-521531「多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置」拒絶査定不服審判事件〔平成26年 1月16日国際公開、WO2014/010820、平成27年 9月17日国内公表、特表2015-527804〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、2013年(平成25年)5月3日(パリ条約による優先権主張外国庁受理2012年7月10日、米国、2012年9月11日、韓国)を国際出願日とする出願であって、その手続の経緯は以下のとおりである。

平成28年 1月18日:拒絶理由通知
平成28年 4月26日:意見書、手続補正書
平成28年 9月27日:拒絶理由通知(最後)
平成29年 1月 4日:意見書、手続補正書
平成29年 6月19日:平成29年1月4日付けの手続補正についての
補正の却下の決定
平成29年 6月19日:拒絶査定
平成29年10月20日:拒絶査定不服審判請求
平成29年10月20日:手続補正書
平成30年10月25日:拒絶理由通知(当審)(最後)
平成31年 1月29日:意見書、手続補正書

第2 当審の拒絶の理由
平成30年10月25日付けで当審が通知した拒絶の理由のうちの、理由1、理由2、理由4は、概略、以下のとおりである。

理由1.(サポート要件)この出願は、請求項1?13の記載が特許法第36条第6項第1号に規定する要件を満たしていない。
理由2.(明確性)この出願は、請求項13の記載が特許法第36条第6項第2号に規定する要件を満たしていない。
理由4.(新規性)この出願の請求項1?3、5?9、11?13に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第29条第1項第3号に該当し、特許を受けることができない。


1.特開2011-223493号公報

第3 平成31年1月29日付けの手続補正の適否
1 本件補正の内容
平成31年1月29日付けの手続補正(以下、「本件補正」という。)は、平成29年10月20日付けの手続補正により補正された特許請求の範囲の請求項1ないし13を、本件補正による特許請求の範囲の請求項1ないし11に補正する、以下のとおりのものである(下線は補正箇所を示す。)。

(補正前の特許請求の範囲)
【請求項1】
多視点映像を処理する方法において、
第1視点及び第2視点の映像間の視差情報を抽出する段階と、
前記抽出された視差情報によって、第1視点または第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点及び第2視点の各々において推定された動き情報を補正する段階と、
前記推定された動き情報によって、前記第1視点及び第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記視差情報により示される視差と同じになるようにする、段階と、
を含むことを特徴とする多視点映像処理方法。
【請求項2】
前記動きを推定する段階は、
前記抽出された視差情報を利用して、第1視点映像及び第2視点映像の対応領域を獲得する段階と、
第1視点及び第2視点において、時間的に連続した2映像間の前記対応領域の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点及び第2視点の各々において推定された前記対応領域の動き情報を補正する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項3】
前記動きを推定する段階は、
第1視点または第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点または第2視点において、時間的に連続した2映像間の推定された動き情報を補正する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項4】
前記動きを推定する段階は、
第1視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報、及び前記第1視点で推定された動き情報を利用して、第2視点において、時間的に連続した2映像間の動きを推定する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項5】
前記動きを推定する段階は、
前記第1視点及び第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報、または前記第1視点で推定された動き情報を利用して、前記第2視点で推定された動き情報を補正する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項6】
前記動きを推定する段階は、
前記第1視点及び第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報、または前記第2視点で推定された動き情報を利用して、前記第1視点で推定された動き情報を補正する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項7】
多視点映像を保存するメモリと、
前記多視点映像で、第1視点及び第2視点の映像間の視差情報を抽出して、前記抽出された視差情報によって、第1視点または第2視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報を利用して、前記第1視点及び第2視点の各々において推定された動き情報を補正し、前記推定された動き情報によって、前記第1視点及び第2視点の各々において時間的に連続した2映像間の中間映像を生成し、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記視差情報により示される視差と同じになるようにするプロセッサと、を含むことを特徴とする多視点映像処理装置。
【請求項8】
前記プロセッサは、
前記抽出された視差情報を利用して、第1視点映像及び第2視点映像の対応領域を獲得し、第1視点及び第2視点において、時間的に連続した2映像間の前記対応領域の動きを推定し、前記抽出された視差情報を利用して、前記第1視点及び第2視点の各々において推定された前記対応領域の動き情報を補正することを特徴とする請求項7に記載の多視点映像処理装置。
【請求項9】
前記プロセッサは、
第1視点または第2視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報を利用して、前記第1視点または第2視点において、時間的に連続した2映像間の推定された動き情報を補正することを特徴とする請求項7に記載の多視点映像処理装置。
【請求項10】
前記プロセッサは、
第1視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報、及び前記第1視点で推定された動き情報を利用して、第2視点において、時間的に連続した2映像間の動きを推定することを特徴とする請求項7に記載の多視点映像処理装置。
【請求項11】
前記プロセッサは、
前記第1視点及び第2視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報、または前記第1視点で推定された動き情報を利用して、前記第2視点で推定された動き情報を補正することを特徴とする請求項7に記載の多視点映像処理装置。
【請求項12】
前記プロセッサは、
前記第1視点及び第2視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報、または前記第2視点で推定された動き情報を利用して、前記第1視点で推定された動き情報を補正することを特徴とする請求項7に記載の多視点映像処理装置。
【請求項13】
装置にビデオ信号を処理する方法を実行させるプログラムにおいて、前記方法は、
第1視点及び第2視点の映像間の視差情報を抽出する段階と、
前記抽出された視差情報によって、第1視点または第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点及び第2視点の各々において推定された動き情報を補正する段階と、
前記推定された動き情報によって、前記第1視点及び第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記視差情報により示される視差と同じになるようにする、段階と、
を含むことを特徴とする記録媒体。

(補正後の特許請求の範囲)
【請求項1】
多視点映像を処理する方法において、
第1視点及び第2視点の映像間の視差情報を抽出する段階と、
前記第1視点及び前記第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された動き情報を補正する段階と、
前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする、段階と、
を含むことを特徴とする多視点映像処理方法。
【請求項2】
前記動きを推定する段階前に、
前記抽出された視差情報を利用して、前記第1視点の映像及び前記第2視点の映像の対応領域を獲得する段階を有し、
前記動きを推定する段階は、前記第1視点及び前記第2視点において、時間的に連続した2映像間の前記対応領域の動きを推定し、
前記動き情報を補正する段階は、前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された前記対応領域の動き情報を補正する、ことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項3】
前記動きを推定する段階後に、
前記抽出された視差情報、及び前記第1視点で推定された動き情報を利用して、前記第2視点において、時間的に連続した2映像間の動きを推定する段階と、を含むことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項4】
前記動き情報を補正する段階は、前記抽出された視差情報、または前記第1視点で推定された動き情報を利用して、前記第2視点で推定された動き情報を補正する、ことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項5】
前記動き情報を補正する段階は、前記抽出された視差情報、または前記第2視点で推定された動き情報を利用して、前記第1視点で推定された動き情報を補正する、ことを特徴とする請求項1に記載の多視点映像処理方法。
【請求項6】
多視点映像を保存するメモリと、
前記多視点映像で、第1視点及び第2視点の映像間の視差情報を抽出して、前記第1視点または前記第2視点において、時間的に連続した2映像間の動きを推定し、前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された動き情報を補正し、前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成し、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにするプロセッサと、を含むことを特徴とする多視点映像処理装置。
【請求項7】
前記プロセッサは、
前記抽出された視差情報を利用して、前記第1視点の映像及び前記第2視点の映像の対応領域を獲得し、前記動きを推定することは、前記第1視点及び前記第2視点において、時間的に連続した2映像間の前記対応領域の動きを推定することであり、前記動き情報を補正することは、前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された前記対応領域の動き情報を補正することである、請求項6に記載の多視点映像処理装置。
【請求項8】
前記プロセッサは、
前記抽出された視差情報、及び前記第1視点で推定された動き情報を利用して、前記第2視点において、時間的に連続した2映像間の動きを推定することを特徴とする請求項6に記載の多視点映像処理装置。
【請求項9】
前記動き情報を補正することは、前記抽出された視差情報、または前記第1視点で推定された動き情報を利用して、前記第2視点で推定された動き情報を補正することである、請求項6に記載の多視点映像処理装置。
【請求項10】
前記動き情報を補正することは、前記抽出された視差情報、または前記第2視点で推定された動き情報を利用して、前記第1視点で推定された動き情報を補正することである、請求項7に記載の多視点映像処理装置。
【請求項11】
装置にビデオ信号を処理する方法を実行させるプログラムにおいて、前記方法は、
第1視点及び第2視点の映像間の視差情報を抽出する段階と、
前記第1視点及び前記第2視点において、時間的に連続した2映像間の動きを推定する段階と、
前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された動き情報を補正する段階と、
前記推定された動き情報によって、前記第1視点及び第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする、段階と、
を含むことを特徴とするプログラム。

2 補正の適合性
(1)補正の目的について
請求項1?11に係る補正は、明りょうでない記載の釈明を目的とするものであって、平成30年10月25日付けの拒絶理由通知に係る拒絶の理由に示す事項についてするものであるから、特許法第17条の2第5項第4号の規定に該当するものである。

(2)補正の範囲及び単一性について
請求項1?11に係る補正は、国際出願日における国際特許出願の明細書若しくは図面(図面の中の説明に限る。)の翻訳文、国際出願日における国際特許出願の請求の範囲の翻訳文又は国際出願日における国際特許出願の図面(図面の中の説明を除く。)(以下、翻訳文等という。)の段落0029、0039、図4、図9等の記載に基づくものである。
よって、請求項1?11に係る補正は、翻訳文等に記載した事項の範囲内においてするものであり、特許法第17条の2第3項の規定に適合するものである。

また、請求項1?11に係る補正は、上記のとおり、明りょうでない記載の釈明を目的とする補正であるから、本件補正前の請求項1?13に記載された発明と、本件補正後の請求項1?11に記載された発明は、発明の単一性の要件を満たすものといえ、請求項1?11に係る補正は、特許法第17条の2第4項の規定に適合するものである。

(3)まとめ
以上によれば、本件補正は、特許法第17条の2第3項ないし第5項の規定に適合する。

第4 本願発明
本願の請求項1に係る発明(以下、「本願発明」という。)は、平成31年1月29日付けの手続補正書により補正された特許請求の範囲の請求項1に記載された事項により特定される、次のとおりのものである。
なお、本願発明の各構成の符号は、説明のために当審において付与したものであり、以下、構成A?構成E2と称する。

(本願発明)
(A)多視点映像を処理する方法において、
(B)第1視点及び第2視点の映像間の視差情報を抽出する段階と、
(C)前記第1視点及び前記第2視点において、時間的に連続した2映像間の動きを推定する段階と、
(D)前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された動き情報を補正する段階と、
(E)(E1)前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、
(E2)前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする、段階と、
(A)を含むことを特徴とする多視点映像処理方法。

第5 引用文献の記載及び引用発明
1 引用文献1
(1)引用文献1の記載事項
当審の拒絶の理由に引用された引用文献1である特開2011-223493号公報には、「画像処理装置および画像処理方法」(発明の名称)に関し、図面とともに次に掲げる事項が記載されている。
なお、下線は、強調のために当審で付したものである。

ア「【技術分野】
【0001】
本発明は右眼用の映像と左眼用の映像を表示して立体映像を得る画像処理装置および画像処理方法に関するものである。」

イ「【0012】
<実施例1>
本発明の実施例1に係る画像処理装置およびその画像処理装置により実行される画像処理方法について図面を参照して説明する。本実施例の画像処理装置は、立体映像を構成する第1映像と第2映像のそれぞれのフレーム間に補間フレームを生成する。
(全体構成)
まず、実施例1に係る画像処理装置の全体構成について説明する。図1は実施例1に係る画像処理装置の機能構成を示すブロック図である。図1に示すように、実施例1に係る画像処理装置は、フレームメモリ101と補間フレーム生成部102を有する。本実施例では、画像処理装置に入力される映像(入力映像信号)のフレームをF(n,p)、入力映像信号のフレーム間を補間する補間フレームをAF(n’,p)の形式で表記する。画像表示装置に入力される映像は、立体映像を構成する第1映像(例えば、右眼用の映像)と第2映像(例えば、左眼用の映像)である。ここでnはフレーム番号、pは左右どちらの眼用の映像に属しているかを表す。p=Lの場合、そのフレームが左眼用の映像のフレームであることを意味し、p=Rの場合、そのフレームが右眼用の映像のフレームであることを意味する。また、補間フレームAF(n’,p)は、n番目のフレームとn+1番目のフレームの間を補間する補間フレームを意味する。
【0013】
入力映像信号は、INからフレームメモリ101に入力される。入力映像信号では、図2に示すように、左眼用のフレームと右眼用のフレームが時間方向に交互に並んでいる(フレームシーケンシャル方式)。
フレームメモリ101は、入力映像信号を1フレームずつ記憶する。フレームメモリ101は、フレームF(n,L),F(n+1,L),F(n,R),F(n+1,R)を記憶すると、それらのフレームを補間フレーム生成部102に入力する。
【0014】
補間フレーム生成部102は、フレームF(n,L),F(n+1,L),F(n,R),F(n+1,R)から補間フレームAF(n’,L),AF(n’,R)を生成する。補間フレームの生成方法については後述する。生成された補間フレームAF(n’,L),AF(n’,R)は、フレームメモリ101に入力される。
フレームメモリ101は、入力された補間フレームAF(n’,L),AF(n’,R)を記憶する。そして、フレームメモリ101は、図3に示すように、入力映像信号のフレーム間に補間フレームが挿入された出力映像信号を出力する。」

ウ「【0015】
(補間フレーム生成部の詳細)
次に、実施例1の補間フレーム生成部102の詳細について説明する。
図4は、補間フレーム生成部102の機能構成を示すブロック図である。図4に示すように、補間フレーム生成部102は、動きベクトル検出部401,402、視差ベクトル検出部403,404、動きベクトル補正部405,406,407,408、補間処理部409,410を有する。
【0016】
本実施例では、映像の動きを表す動きベクトルを{V(n,p)}及び{W(n,p)}、右目用の映像と左目用の映像の視差を表す視差ベクトルを{PV(n,p)}、補正後の動きベクトルを{AV(n,p)}及び{AW(n,p)}の形式で表記する。本実施例では、フレームを複数の分割領域に分割して、分割領域毎に動きベクトルや視差ベクトルを検出するものとするが、動きベクトルや視差ベクトルの検出方法はこれに限らない。例えば、画素位置毎に動きベクトルや視差ベクトルを検出してもよい。動きベクトル{V(n,p)},{W(n,p)},{PV(n,p)},{AV(n,p)},{AW(n,p)}は、p眼用のn番目のフレームを複数のブロックに分割して検出したブロック毎の動きベクトルを全て含むものとする。ブロック毎の動きベクトルの検出方法については後述する。各動きベクトルは、任意のブロックをblkとして、V(n,p,blk),W(n,p,blk),PV(n,p,blk),AV(n,p,blk),AW(n,p,blk)と記述する。視差ベクトルについても同様である。」

エ「【0017】
動きベクトル検出部401,402は、第1映像と第2映像のフレームから、それぞれ、動きベクトルを検出する(動きベクトル検出手段)。本実施例では、時間的に連続する2つのフレームA,Bを用いて、フレームA内の位置からフレームB内の対応する位置までのベクトルと、フレームB内の位置からフレームA内の対応する位置までのベクトルが、動きベクトルとして検出されるものとする。
動きベクトル検出部401は、フレームF(n,L)とフレームF(n+1,L)から、ブロックマッチング法により、動きベクトル{V(n,L)},{W(n+1,L)}を検出する。
具体的には、図5に示すようにn番目のフレームを複数のブロックに分割する。本実施例では、1つのブロックのサイズを16ピクセル×16ピクセル(垂直方向のピクセル数×水平方向のピクセル数)とする。次に、ブロック毎に、n+1番目のフレームから、ブロック内の画素値との差分絶対値和(Sum of Absolute Differences:SAD)が最小となる領域の位置を探索する。例えば、ブロック毎に、n+1番目のフレームにおける、ブロックの位置と同じ位置を基準とする所定の範囲(探索範囲)内で、選択する領域(ブロックと同じサイズの領域)を1ピクセルずつ移動させることにより、上記位置の探索を行う。本実施例では、探索範囲を160ピクセル×48ピクセルとする(図6)。そして、探索した位置でのSADが予め設けた閾値より小さい場合に、探索した位置とブロックの位置との差(ブロックの位置から探索した位置までのベクトル)を、そのブロックの動きベクトルとする。SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定する。なお、ブロックの位置は、ブロックの中心位置など、ブロックの位置を特定することのできる位置であればどのような位置であってもよい。
この処理をn番目のフレームの全てのブロックに対して行い、ブロック毎の動きベクトルを検出する。これをV(n,L)と表記する。
同様に、動きベクトル検出部401は、n+1番目のフレームを複数のブロックに分割し、ブロック毎に、n番目のフレームからSADが最小となる領域の位置を探索して、ブロック毎の動きベクトルを検出する。これをW(n+1,L)と表記する。
【0018】
動きベクトル検出部402は、動きベクトル検出部401と同様の処理を行い、フレームF(n,R),F(n+1,R)から、動きベクトル{V(n,R)},{W(n+1,R)}を検出する。」

オ「【0019】
視差ベクトル検出部403は、フレームF(n,L),F(n,R)から、それらのフレーム間の視差を表す視差ベクトルを検出する(視差ベクトル検出手段)。視差ベクトルも動きベクトルと同様にブロックマッチング法を用いて検出する。
具体的には、フレームF(n,L)を複数のブロック(サイズが16ピクセル×16ピクセルのブロック)に分割し、ブロック毎に、フレームF(n,R)から、ブロック内の画素値とのSADが最小となる領域の位置を探索する。ただし、視差ベクトルは基本的に垂直方向成分を持たないため、探索範囲は水平方向のみ広がりを有していればよい(例えば、160ピクセル×16ピクセル)。そして、動きベクトルと同様に閾値を設け、探索した位置でのSADが閾値より小さい場合には、探索した位置とブロックの位置との差を、そのブロックの視差ベクトルとし、SADが閾値よりも大きい場合には、そのブロックに対し“視差ベクトル無し”と判定する。
この処理を全てのブロックに対して行い、ブロック毎の視差ベクトルを検出する。これをPV(n,L)と表記する。
同様に、視差ベクトル検出部403は、フレームF(n,R)を複数のブロックに分割し、ブロック毎に、フレームF(n,L)からSADが最小となる領域の位置を探索して、ブロック毎の視差ベクトルを検出する。これをPV(n,R)と表記する。
【0020】
視差ベクトル検出部404は、視差ベクトル検出部403と同様に処理を行い、フレームF(n+1,L),F(n+1,R)から、n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}を検出する。
なお、本実施例では、動きベクトル検出部401,402でのブロックのサイズと、視差ベクトル検出部403,404でのブロックのサイズを等しいものとしたが、それらは互いに異なっていてもよい。例えば、動きベクトル検出部401,402でのブロックのサイズを8ピクセル×8ピクセルとし、視差ベクトル検出部403,404でのブロックのサイズを16ピクセル×16ピクセルとしてもよい。また、動きベクトルの有無、視差ベクトルの有無を判定するための閾値は、互いに等しくてもよいし、異なっていてもよい。」

カ「【0021】
動きベクトル補正部405?408は、第1映像と第2映像のうちの一方の映像のフレームにおいて動きベクトルが検出されない非検出位置が存在する場合に、視差ベクトルを用いて、該非検出位置に対応する対応位置を他方の映像のフレームから検出する。そして、上記非検出位置に対し対応位置で検出された動きベクトルを設定する補正を行う。動きベクトル補正部405?408が、本発明の補正手段に相当する。
【0022】
動きベクトル補正部405は、動きベクトル検出部401で検出した動きベクトル{V(n,L)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行う。具体的には、フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトルに置き換える。即ち、動きベクトルV(n,L,blk1)を動きベクトルV(n,R,blk2)に置き換える。
【0023】
さらに詳しく説明すると、フレームF(n,L)とフレームF(n,R)の間には視差があるため、同じ位置のブロックに同じ物体があるとは限らない。そこで、視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}を使用して、フレームF(n,L)のブロックがフレームF(n,R)のどのブロックに対応するかを求める。具体的には、フレームF(n,R)において、フレームF(n,L)のブロックblk1の位置から、視差ベクトルPV(n,L,blk1)分移動した位置に存在するブロックblk2が、ブロックblk1に対応するブロックとなる。
なお、移動先の位置がフレームF(n,R)のブロックの位置と完全に一致しない場合(移動先の位置を基準とするブロックと同じ大きさの領域が複数のブロックを跨いでいる場合)には、移動先の位置に応じて動きベクトルが算出される。具体的には、移動先の位置を基準とする領域が跨いでいる各ブロックの動きベクトルを該領域が重なっている面積の比で重み付け平均したものが対応するブロックの動きベクトルとされる。
また、動きベクトル補正部405は、動きベクトルも視差ベクトルも無いブロックに対して、0ベクトル(大きさが0のベクトル)を割り当てる。
【0024】
このようにして、“動きベクトル無し”と判定されたブロックの動きベクトルが補正され、動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}とされる。また、動きベクトル{AV(n,L)}において、動きベクトル{V(n,R)}から取得した動きベクトルで置換された動きベクトルに対しては“補正有り”、そうでない動きベクトルに対しては“補正なし”の情報が付加される。
【0025】
動きベクトル補正部406は、動きベクトル補正部405と同様に、動きベクトル検出部401で検出した動きベクトル{W(n+1,L)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行う。そして、動きベクトル{W(n+1,L)}を動きベクトル{AW(n+1,L)}とする。
動きベクトル補正部407は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{V(n,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行う。そして、動きベクトル{V(n,R)}を動きベクトル{AV(n,R)}とする。
動きベクトル補正部408は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{W(n+1,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行う。そして、動きベクトル{W(n+1,R)}を動きベクトル{AW(n+1,R)}とする。」

キ「【0026】
補間処理部409,410は、補正後の動きベクトルを用いて第1映像と第2映像のそれぞれに対しフレーム間を補間する補間フレームを生成する(補間フレーム生成手段)。本実施例では、フレーム内(フレームA,B内)の各画素を動きベクトルに基づいて補間フレーム内の位置に対応づけた後、補間フレーム内の位置毎に対応付けられた画素を用いて補間フレームの各画素が生成されるものとする。また、複数の画素が対応付けられた補間フレーム位置に対しては、複数の画素のうち、動きベクトルの検出結果が補正された位置の画素のみを用いて画素を生成するものとする。
【0027】
補間処理部409は、フレームF(n,L),F(n+1,L)と、補正後の動きベクトル{AV(n,L)},{AW(n+1,L)}を用いて補間フレームAF(n’,L)を生成する。
具体的には、補間フレームF(n’,L)に対し、フレームF(n,L)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置に生成する。同様に、補間フレームF(n’,L)に対し、フレームF(n+1,L)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,L,blk)の1/2だけ移動した位置に生成する。生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,L)の画素値とする(平均化処理)。ただし、重複するブロックに、動きベクトル補正部405?408で動きベクトルが補正された位置のブロックが含まれる場合には、上記平均化処理は行わず、該ブロックの画素値を優先して補間フレームF(n’,L)の画素値とする。動きベクトルが補正された位置のブロック同士が重複する場合には、重複するそれらのブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,L)の画素値とする。
補間フレームAF(n’,L)において、フレームF(n,L),F(n+1,L)のブロックが生成されなかった部分については、該部分と同じ位置のフレームF(n,L)とフレームF(n+1,L)の画素値の平均値を画素値とする。
【0028】
補間処理部410は、補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成する。
以上のようにして、実施例1では補間フレームが生成される。」

(2)引用文献1に記載された発明
引用文献1に記載された発明を以下に認定する。

ア 画像処理方法について
上記(1)アによれば、「本発明は右眼用の映像と左眼用の映像を表示して立体映像を得る画像処理装置および画像処理方法に関するものである」と記載されている。
また、上記(1)イによれば、「画像処理装置」は、「補間フレーム生成部102を有する」と記載されている。
また、上記(1)イによれば、「画像処理装置に入力される映像(入力映像信号)のフレームをF(n,p)、入力映像信号のフレーム間を補間する補間フレームをAF(n’,p)の形式で表記」し、「入力される映像は、立体映像を構成する第1映像(例えば、右眼用の映像)と第2映像(例えば、左眼用の映像)」であり、「ここでnはフレーム番号、pは左右どちらの眼用の映像に属しているか」を表し、「補間フレームAF(n’,p)は、n番目のフレームとn+1番目のフレームの間を補間する補間フレームを意味する」と記載されている。
また、上記(1)イによれば、「補間フレーム生成部102は、フレームF(n,L),F(n+1,L),F(n,R),F(n+1,R)から補間フレームAF(n’,L),AF(n’,R)を生成する」と記載されている。

以上によれば、引用文献1には、『右眼用の映像と左眼用の映像を表示して立体映像を得る画像処理装置における画像処理方法であって、画像処理装置は、補間フレーム生成部を有し、画像処理装置に入力される映像(入力映像信号)のフレームをF(n,p)、入力映像信号のフレーム間を補間する補間フレームをAF(n’,p)とし、入力される映像は、立体映像を構成する第1映像(例えば、右眼用の映像)と第2映像(例えば、左眼用の映像)であり、ここでnはフレーム番号、pは左右どちらの眼用の映像に属しているかを表し、補間フレームAF(n’,p)は、n番目のフレームとn+1番目のフレームの間を補間する補間フレームを意味し、補間フレーム生成部は、フレームF(n,L),F(n+1,L),F(n,R),F(n+1,R)から補間フレームAF(n’,L),AF(n’,R)を生成する方法』の発明が記載されている。

イ 視差ベクトルの検出について
上記(1)ウによれば、「補間フレーム生成部102」は、「視差ベクトル検出部403,404」を有することが記載されている。
また、上記(1)オによれば、「視差ベクトル検出部403は、フレームF(n,L),F(n,R)から、それらのフレーム間の視差を表す視差ベクトルを検出する」と記載されている。
また、上記(1)オによれば、「具体的には、フレームF(n,L)を複数のブロック(サイズが16ピクセル×16ピクセルのブロック)に分割し、ブロック毎に、フレームF(n,R)から、ブロック内の画素値とのSADが最小となる領域の位置を探索」し、「探索した位置でのSADが閾値より小さい場合には、探索した位置とブロックの位置との差を、そのブロックの視差ベクトル」とし、「これをPV(n,L)と表記する」と記載されている。
また、上記(1)オによれば、「視差ベクトル検出部403は、フレームF(n,R)を複数のブロックに分割し、ブロック毎に、フレームF(n,L)からSADが最小となる領域の位置を探索して、ブロック毎の視差ベクトルを検出」し、「これをPV(n,R)と表記する」と記載されている。
また、上記(1)オによれば、「視差ベクトル検出部404は、視差ベクトル検出部403と同様に処理を行い、フレームF(n+1,L),F(n+1,R)から、n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}を検出する」と記載されている。

以上によれば、引用文献1には、『補間フレーム生成部の視差ベクトル検出部403が、フレームF(n,L),F(n,R)から、それらのフレーム間の視差を表す視差ベクトルを検出することであって、フレームF(n,L)を複数のブロックに分割し、ブロック毎に、フレームF(n,R)から、ブロック内の画素値とのSADが最小となる領域の位置を探索し、探索した位置でのSADが閾値より小さい場合には、探索した位置とブロックの位置との差を、そのブロックの視差ベクトルとし、これをPV(n,L)と表記し、フレームF(n,R)を複数のブロックに分割し、ブロック毎に、フレームF(n,L)からSADが最小となる領域の位置を探索して、ブロック毎の視差ベクトルを検出し、これをPV(n,R)と表記することと、
補間フレーム生成部の視差ベクトル検出部404が、視差ベクトル検出部403と同様に処理を行い、フレームF(n+1,L),F(n+1,R)から、n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}を検出すること』が記載されている。

ウ 動きベクトルの検出について
上記(1)ウによれば、「補間フレーム生成部102」は、「動きベクトル検出部401,402」を有することが記載されている。
また、上記(1)エによれば、「動きベクトル検出部401,402は、第1映像と第2映像のフレームから、それぞれ、動きベクトルを検出」し、「本実施例では、時間的に連続する2つのフレームA,Bを用いて、フレームA内の位置からフレームB内の対応する位置までのベクトルと、フレームB内の位置からフレームA内の対応する位置までのベクトルが、動きベクトルとして検出される」と記載されている。
また、上記(1)エによれば、「動きベクトル検出部401は、フレームF(n,L)とフレームF(n+1,L)から、ブロックマッチング法により、動きベクトル{V(n,L)},{W(n+1,L)}を検出」し、具体的には、「n番目のフレームを複数のブロックに分割」し、「ブロック毎に、n+1番目のフレームから、ブロック内の画素値との差分絶対値和(Sum of Absolute Differences:SAD)が最小となる領域の位置を探索」し、「探索した位置でのSADが予め設けた閾値より小さい場合に、探索した位置とブロックの位置との差(ブロックの位置から探索した位置までのベクトル)を、そのブロックの動きベクトル」とし、「SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定」し、「ブロック毎の動きベクトル」を「V(n,L)と表記する」ことが記載されている。
また、上記(1)エによれば、「同様に、動きベクトル検出部401は、n+1番目のフレームを複数のブロックに分割し、ブロック毎に、n番目のフレームからSADが最小となる領域の位置を探索して、ブロック毎の動きベクトルを検出」し、「これをW(n+1,L)と表記する」と記載されている。
また、上記(1)エによれば、「動きベクトル検出部402は、動きベクトル検出部401と同様の処理を行い、フレームF(n,R),F(n+1,R)から、動きベクトル{V(n,R)},{W(n+1,R)}を検出する」と記載されている。

以上によれば、引用文献1には、『補間フレーム生成部の動きベクトル検出部401,402が、第1映像と第2映像のフレームから、それぞれ、動きベクトルを検出することであって、時間的に連続する2つのフレームA,Bを用いて、フレームA内の位置からフレームB内の対応する位置までのベクトルと、フレームB内の位置からフレームA内の対応する位置までのベクトルが、動きベクトルとして検出され、
ここで、動きベクトル検出部401は、フレームF(n,L)とフレームF(n+1,L)から、ブロックマッチング法により、動きベクトル{V(n,L)},{W(n+1,L)}を検出し、具体的には、n番目のフレームを複数のブロックに分割し、ブロック毎に、n+1番目のフレームから、ブロック内の画素値との差分絶対値和(Sum of Absolute Differences:SAD)が最小となる領域の位置を探索し、探索した位置でのSADが予め設けた閾値より小さい場合に、探索した位置とブロックの位置との差(ブロックの位置から探索した位置までのベクトル)を、そのブロックの動きベクトルとし、SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定し、ブロック毎の動きベクトルをV(n,L)と表記するとともに、n+1番目のフレームを複数のブロックに分割し、ブロック毎に、n番目のフレームからSADが最小となる領域の位置を探索して、ブロック毎の動きベクトルを検出し、これをW(n+1,L)と表記し、
動きベクトル検出部402は、動きベクトル検出部401と同様の処理を行い、フレームF(n,R),F(n+1,R)から、動きベクトル{V(n,R)},{W(n+1,R)}を検出すること』が記載されている。

エ 動きベクトルの補正について
上記(1)ウによれば、「補間フレーム生成部102」は、「動きベクトル補正部405,406,407,408」を有することが記載されている。
また、上記(1)カによれば、「動きベクトル補正部405?408は、第1映像と第2映像のうちの一方の映像のフレームにおいて動きベクトルが検出されない非検出位置が存在する場合に、視差ベクトルを用いて、該非検出位置に対応する対応位置を他方の映像のフレームから検出する」と記載されている。
また、上記(1)カによれば、「動きベクトル補正部405」は、「フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトルに置き換える」ことが記載されている。
また、上記(1)カによれば、「動きベクトル補正部405」について、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}を使用して、フレームF(n,L)のブロックがフレームF(n,R)のどのブロックに対応するか」を求め、「具体的には、フレームF(n,R)において、フレームF(n,L)のブロックblk1の位置から、視差ベクトルPV(n,L,blk1)分移動した位置に存在するブロックblk2が、ブロックblk1に対応するブロックとなる」と記載されている。
また、上記(1)カによれば、「“動きベクトル無し”と判定されたブロックの動きベクトルが補正され、動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}とされる」と記載されている。
また、上記(1)カによれば、「動きベクトル補正部406は、動きベクトル補正部405と同様に、動きベクトル検出部401で検出した動きベクトル{W(n+1,L)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正」を行い、「動きベクトル{W(n+1,L)}を動きベクトル{AW(n+1,L)}とする」ことが記載されている。
また、上記(1)カによれば、「動きベクトル補正部407は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{V(n,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正」を行い、「動きベクトル{V(n,R)}を動きベクトル{AV(n,R)}とする」ことが記載されている。
また、上記(1)カによれば、「動きベクトル補正部408は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{W(n+1,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正」を行い、「動きベクトル{W(n+1,R)}を動きベクトル{AW(n+1,R)}とする」ことが記載されている。

以上によれば、引用文献1には、『補間フレーム生成部の動きベクトル補正部405?408が、第1映像と第2映像のうちの一方の映像のフレームにおいて動きベクトルが検出されない非検出位置が存在する場合に、視差ベクトルを用いて、該非検出位置に対応する対応位置を他方の映像のフレームから検出することであって、
動きベクトル補正部405は、フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトルに置き換え、ここで、視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}を使用して、フレームF(n,L)のブロックがフレームF(n,R)のどのブロックに対応するかを求め、具体的には、フレームF(n,R)において、フレームF(n,L)のブロックblk1の位置から、視差ベクトルPV(n,L,blk1)分移動した位置に存在するブロックblk2が、ブロックblk1に対応するブロックとなり、これにより、“動きベクトル無し”と判定されたブロックの動きベクトルが補正され、動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}とされ、
動きベクトル補正部406は、動きベクトル補正部405と同様に、動きベクトル検出部401で検出した動きベクトル{W(n+1,L)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{W(n+1,L)}を動きベクトル{AW(n+1,L)}とし、
動きベクトル補正部407は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{V(n,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{V(n,R)}を動きベクトル{AV(n,R)}とし、
動きベクトル補正部408は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{W(n+1,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{W(n+1,R)}を動きベクトル{AW(n+1,R)}とする』ことが記載されている。

オ 補間処理について
上記(1)ウによれば、「補間フレーム生成部102」は、「補間処理部409,410」を有することが記載されている。
また、上記(1)キによれば、「補間処理部409,410は、補正後の動きベクトルを用いて第1映像と第2映像のそれぞれに対しフレーム間を補間する補間フレームを生成する」と記載されている。
また、上記(1)キによれば、「補間処理部409は、フレームF(n,L),F(n+1,L)と、補正後の動きベクトル{AV(n,L)},{AW(n+1,L)}を用いて補間フレームAF(n’,L)を生成する」と記載されている。
また、上記(1)キによれば、「具体的には、補間フレームF(n’,L)に対し、フレームF(n,L)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置に生成」し、「同様に、補間フレームF(n’,L)に対し、フレームF(n+1,L)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,L,blk)の1/2だけ移動した位置に生成」し、「生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,L)の画素値」とし、「ただし、重複するブロックに、動きベクトル補正部405?408で動きベクトルが補正された位置のブロックが含まれる場合には、上記平均化処理は行わず、該ブロックの画素値を優先して補間フレームF(n’,L)の画素値とする」と記載されている。
また、上記(1)キによれば、「補間処理部410は、補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成する」と記載されている。

以上によれば、引用文献1には、『補間フレーム生成部の補間処理部409,410が、補正後の動きベクトルを用いて第1映像と第2映像のそれぞれに対しフレーム間を補間する補間フレームを生成することであって、
補間処理部409は、フレームF(n,L),F(n+1,L)と、補正後の動きベクトル{AV(n,L)},{AW(n+1,L)}を用いて補間フレームAF(n’,L)を生成し、具体的には、補間フレームF(n’,L)に対し、フレームF(n,L)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置に生成し、同様に、補間フレームF(n’,L)に対し、フレームF(n+1,L)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,L,blk)の1/2だけ移動した位置に生成し、生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,L)の画素値とし、ただし、重複するブロックに、動きベクトル補正部405?408で動きベクトルが補正された位置のブロックが含まれる場合には、上記平均化処理は行わず、該ブロックの画素値を優先して補間フレームF(n’,L)の画素値とし、
補間処理部410は、補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成する』ことが記載されている。

カ まとめ
以上によれば、引用文献1には、次の発明(以下、「引用発明」という。)が記載されていると認められる。引用発明の各構成については、以下、構成a?構成e2と称する。

(引用発明)
(a)右眼用の映像と左眼用の映像を表示して立体映像を得る画像処理装置における画像処理方法であって、画像処理装置は、補間フレーム生成部を有し、画像処理装置に入力される映像(入力映像信号)のフレームをF(n,p)、入力映像信号のフレーム間を補間する補間フレームをAF(n’,p)とし、入力される映像は、立体映像を構成する第1映像(例えば、右眼用の映像)と第2映像(例えば、左眼用の映像)であり、ここでnはフレーム番号、pは左右どちらの眼用の映像に属しているかを表し、補間フレームAF(n’,p)は、n番目のフレームとn+1番目のフレームの間を補間する補間フレームを意味し、補間フレーム生成部は、フレームF(n,L),F(n+1,L),F(n,R),F(n+1,R)から補間フレームAF(n’,L),AF(n’,R)を生成する方法において、
(b1)補間フレーム生成部の視差ベクトル検出部403が、フレームF(n,L),F(n,R)から、それらのフレーム間の視差を表す視差ベクトルを検出することであって、フレームF(n,L)を複数のブロックに分割し、ブロック毎に、フレームF(n,R)から、ブロック内の画素値とのSADが最小となる領域の位置を探索し、探索した位置でのSADが閾値より小さい場合には、探索した位置とブロックの位置との差を、そのブロックの視差ベクトルとし、これをPV(n,L)と表記し、フレームF(n,R)を複数のブロックに分割し、ブロック毎に、フレームF(n,L)からSADが最小となる領域の位置を探索して、ブロック毎の視差ベクトルを検出し、これをPV(n,R)と表記することと、
(b2)補間フレーム生成部の視差ベクトル検出部404が、視差ベクトル検出部403と同様に処理を行い、フレームF(n+1,L),F(n+1,R)から、n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}を検出することと、
(c)補間フレーム生成部の動きベクトル検出部401,402が、第1映像と第2映像のフレームから、それぞれ、動きベクトルを検出することであって、時間的に連続する2つのフレームA,Bを用いて、フレームA内の位置からフレームB内の対応する位置までのベクトルと、フレームB内の位置からフレームA内の対応する位置までのベクトルが、動きベクトルとして検出され、
(c1)ここで、動きベクトル検出部401は、フレームF(n,L)とフレームF(n+1,L)から、ブロックマッチング法により、動きベクトル{V(n,L)},{W(n+1,L)}を検出し、具体的には、n番目のフレームを複数のブロックに分割し、ブロック毎に、n+1番目のフレームから、ブロック内の画素値との差分絶対値和(Sum of Absolute Differences:SAD)が最小となる領域の位置を探索し、探索した位置でのSADが予め設けた閾値より小さい場合に、探索した位置とブロックの位置との差(ブロックの位置から探索した位置までのベクトル)を、そのブロックの動きベクトルとし、SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定し、ブロック毎の動きベクトルをV(n,L)と表記するとともに、n+1番目のフレームを複数のブロックに分割し、ブロック毎に、n番目のフレームからSADが最小となる領域の位置を探索して、ブロック毎の動きベクトルを検出し、これをW(n+1,L)と表記し、
(c2)動きベクトル検出部402は、動きベクトル検出部401と同様の処理を行い、フレームF(n,R),F(n+1,R)から、動きベクトル{V(n,R)},{W(n+1,R)}を検出することと、
(d)補間フレーム生成部の動きベクトル補正部405?408が、第1映像と第2映像のうちの一方の映像のフレームにおいて動きベクトルが検出されない非検出位置が存在する場合に、視差ベクトルを用いて、該非検出位置に対応する対応位置を他方の映像のフレームから検出することであって、
(d1)動きベクトル補正部405は、フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトルに置き換え、ここで、視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}を使用して、フレームF(n,L)のブロックがフレームF(n,R)のどのブロックに対応するかを求め、具体的には、フレームF(n,R)において、フレームF(n,L)のブロックblk1の位置から、視差ベクトルPV(n,L,blk1)分移動した位置に存在するブロックblk2が、ブロックblk1に対応するブロックとなり、これにより、“動きベクトル無し”と判定されたブロックの動きベクトルが補正され、動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}とされ、
(d2)動きベクトル補正部406は、動きベクトル補正部405と同様に、動きベクトル検出部401で検出した動きベクトル{W(n+1,L)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{W(n+1,L)}を動きベクトル{AW(n+1,L)}とし、
(d3)動きベクトル補正部407は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{V(n,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{V(n,R)}を動きベクトル{AV(n,R)}とし、
(d4)動きベクトル補正部408は、動きベクトル補正部405と同様に、動きベクトル検出部402で検出した動きベクトル{W(n+1,R)}において、“動きベクトル無し”と判定されたブロックの動きベクトルの補正を行い、動きベクトル{W(n+1,R)}を動きベクトル{AW(n+1,R)}とすることと、
(e)補間フレーム生成部の補間処理部409,410が、補正後の動きベクトルを用いて第1映像と第2映像のそれぞれに対しフレーム間を補間する補間フレームを生成することであって、
(e1)補間処理部409は、フレームF(n,L),F(n+1,L)と、補正後の動きベクトル{AV(n,L)},{AW(n+1,L)}を用いて補間フレームAF(n’,L)を生成し、具体的には、補間フレームF(n’,L)に対し、フレームF(n,L)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置に生成し、同様に、補間フレームF(n’,L)に対し、フレームF(n+1,L)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,L,blk)の1/2だけ移動した位置に生成し、生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,L)の画素値とし、ただし、重複するブロックに、動きベクトル補正部405?408で動きベクトルが補正された位置のブロックが含まれる場合には、上記平均化処理は行わず、該ブロックの画素値を優先して補間フレームF(n’,L)の画素値とし、
(e2)補間処理部410は、補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成すること
(a)を備える方法。

第6 対比、判断
本願発明と、引用発明を対比する。

1 構成Aについて
構成aの「右眼用の映像と左眼用の映像」からなる映像は、「多視点映像」といえるから、構成aの「右眼用の映像と左眼用の映像を表示して立体映像を得る画像処理装置における画像処理方法」は、構成Aの「多視点映像を処理する方法」に相当する。

したがって、本願発明と引用発明は、「多視点映像を処理する方法」である点で一致する。

2 構成Bについて
構成b1の「フレームF(n,L)」及び構成b2の「フレームF(n+1,L)」は、構成aの「立体映像」を構成する「第2映像」である「左目用の映像」であるから、構成Bの「第1視点」の「映像」に相当する。
また、構成b1の「F(n,R)」及び構成b2の「F(n+1,R)」は、構成aの「立体映像を構成する第1映像」である「右目用の映像」であるから、構成Bの「第2視点」の「映像」に相当する。
よって、構成b1の「フレームF(n,L),F(n,R)」の「フレーム間の視差を表す視差ベクトル」である「PV(n,L)」、「PV(n,R)」、及び、構成b2の「n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}」は、構成Bの「第1視点及び第2視点の映像間の視差情報」に相当する。

以上によれば、構成b1の「視差ベクトル検出部403」が、「フレームF(n,L),F(n,R)」の「フレーム間の視差を表す視差ベクトル」である「PV(n,L)」及び「PV(n,R)」を検出し、構成b2の「視差ベクトル検出部404」が、「n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}」を検出することは、構成Bの「第1視点及び第2視点の映像間の視差情報を抽出する」ことに相当する。

したがって、本願発明と引用発明は、「第1視点及び第2視点の映像間の視差情報を抽出する段階」を含む点で一致する。

3 構成Cについて
上記2で述べたとおり、構成b1の「フレームF(n,L)」及び構成b2の「フレームF(n+1,L)」は、構成Bの「第1視点」の「映像」に相当するから、構成c1の「フレームF(n,L)とフレームF(n+1,L)」が属する視点は、構成Cの「前記第1視点」に相当する。
同様に、構成b1の「F(n,R)」及び構成b2の「F(n+1,R)」は、構成Bの「第2視点」の「映像」に相当するから、構成c2の「フレームF(n,R),F(n+1,R)」が属する視点は、構成Cの「前記第2視点」に相当する。

構成c1の「フレームF(n,L)とフレームF(n+1,L)」は、「時間的に連続する2つのフレーム」(構成c)であるから、構成Cの「前記第1視点」における「時間的に連続した2映像」に相当する。
同様に、構成c2の「フレームF(n,R),F(n+1,R)」は、「時間的に連続する2つのフレーム」(構成c)であるから、構成Cの「前記第2視点」における「時間的に連続した2映像」に相当する。

以上によれば、構成c1の「動きベクトル検出部401」が、「フレームF(n,L)とフレームF(n+1,L)」から、「動きベクトル{V(n,L)},{W(n+1,L)}」を検出し、「SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定」することは、構成Cの「前記第1視点」において、「時間的に連続した2映像間の動きを推定する」ことに相当する。
同様に、構成c2の「動きベクトル検出部402」が、「動きベクトル検出部401と同様の処理を行い、フレームF(n,R)とフレームF(n+1,R)」から、「動きベクトル{V(n,R)},{W(n+1,R)}」を検出することは、構成Cの「前記第2視点」において、「時間的に連続した2映像間の動きを推定する」ことに相当する。

したがって、本願発明と引用発明は、「前記第1視点及び前記第2視点において、時間的に連続した2映像間の動きを推定する段階」を含む点で一致する。

4 構成Dについて
上記2で述べたとおり、構成b1の「フレームF(n,L),F(n,R)」の「フレーム間の視差を表す視差ベクトル」である「PV(n,L)」、「PV(n,R)」、及び、構成b2の「n+1番目の右眼用と左眼用のフレーム間の視差ベクトル{PV(n+1,L)},{PV(n+1,R)}」は、構成Bの「第1視点及び第2視点の映像間の視差情報」に相当するから、構成d1の「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」は、構成Dの「前記抽出された視差情報」に相当する。

上記3で述べたとおり、構成c1の「動きベクトル検出部401」が、「フレームF(n,L)とフレームF(n+1,L)」から、「動きベクトル{V(n,L)},{W(n+1,L)}」を検出し、「SADが閾値以上の場合には、そのブロックに対し“動きベクトル無し”と判定」することは、構成Cの「前記第1視点」において、「時間的に連続した2映像間の動きを推定する」ことに相当し、構成c2の「動きベクトル検出部402」が、「動きベクトル検出部401と同様の処理を行い、フレームF(n,R)とフレームF(n+1,R)」から、「動きベクトル{V(n,R)},{W(n+1,R)}」を検出することは、構成Cの「前記第2視点」において、「時間的に連続した2映像間の動きを推定する」ことに相当するから、構成d1の「ベクトル{V(n,L)}」、及び、「フレームF(n,L)の“動きベクトル無し”と判定されたブロック」の「“動きベクトル無し”」との判定結果は、構成Dの「前記第1視点」において「推定された動き情報」に相当する。

以上によれば、構成d1の「動きベクトル補正部405」が、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」を使用して、「フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトル」に置き換えることは、構成Dの「前記抽出された視差情報」を利用して、「前記第1視点」において「推定された動き情報を補正する」ことに相当する。
また、構成d2の「動きベクトル補正部406」は、「動きベクトル{W(n+1,L)}」について、「動きベクトル補正部405と同様」に補正を行うものであるから、構成d2の「動きベクトル補正部406」が補正を行うことも、構成Dの「前記抽出された視差情報」を利用して、「前記第1視点」において「推定された動き情報を補正する」ことに相当する。

上記3で述べたとおり、構成c2の「動きベクトル検出部402」が、「動きベクトル検出部401と同様の処理を行い、フレームF(n,R)とフレームF(n+1,R)」から、「動きベクトル{V(n,R)},{W(n+1,R)}」を検出することは、構成Cの「前記第2視点」において、「時間的に連続した2映像間の動きを推定する」ことに相当する。
そして、構成d3の「動きベクトル補正部407」は、「動きベクトル{V(n,R)}」について、「動きベクトル補正部405と同様」に補正を行うものであり、構成d4の「動きベクトル補正部408」は、「動きベクトル{W(n+1,R)}」について、「動きベクトル補正部405と同様」に補正を行うものであるから、構成d3の「動きベクトル補正部407」及び構成d4の「動きベクトル補正部408」が補正を行うことは、構成Dの「前記抽出された視差情報」を利用して、「前記第2視点」において「推定された動き情報を補正する」ことに相当する。

したがって、本願発明と引用発明は、「前記抽出された視差情報を利用して、前記第1視点及び前記第2視点の各々において推定された動き情報を補正する段階」を含む点で一致する。

5 構成Eについて
(1)構成E1について
上記4で述べたとおり、構成d1の「ベクトル{V(n,L)}」、及び、「フレームF(n,L)の“動きベクトル無し”と判定されたブロック」の「“動きベクトル無し”」との判定結果は、構成Dの「前記第1視点」において「推定された動き情報」に相当する。
そして、構成d1で、「フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトル」が補正されることにより、「動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}」とされるから、構成e1の「補正後の動きベクトル{AV(n,L)}」は、構成E1の「前記推定された動き情報」に相当する。
また、同様の理由により、構成e1の「{AW(n+1,L)}」、構成e2の「補正された動きベクトル{AV(n,R)},{AW(n+1,R)}」も、構成E1の「前記推定された動き情報」に相当する。

上記3で述べたとおり、構成c1の「フレームF(n,L)とフレームF(n+1,L)」は、構成Cの「前記第1視点」における「時間的に連続した2映像」に相当するから、構成e1の「フレームF(n,L),F(n+1,L)」は、構成E1の「前記第1視点」において「時間的に連続した2映像」に相当する。
同様に、構成c2の「フレームF(n,R),F(n+1,R)」は、構成Cの「前記第2視点」における「時間的に連続した2映像」に相当するから、構成e2の「フレームF(n,R),F(n+1,R)」は、構成E1の「前記第2視点」において「時間的に連続した2映像」に相当する。

構成e1の「補間フレームAF(n’,L)」は、「n番目のフレームとn+1番目のフレームの間を補間する補間フレームを意味」する(構成a)から、構成E1の「前記第1視点」において「時間的に連続した2映像間の中間映像」に相当する。
同様に、構成e2の「補間フレームAF(n’,R)」は、構成E1の「前記第2視点」において「時間的に連続した2映像間の中間映像」に相当する。

以上によれば、構成e1の「補間処理部409」が、「フレームF(n,L),F(n+1,L)と、補正後の動きベクトル{AV(n,L)},{AW(n+1,L)}を用いて補間フレームAF(n’,L)を生成」すること、及び、構成e2の「補間処理部410」が「補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成する」ことは、構成E1の「前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成する」ことに相当する。

よって、本願発明と引用発明は、「前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階」を含む点で一致する。

(2)構成E2について
構成e1の「フレームF(n,L)のブロックblk」の「動きベクトルAV(n,L,blk)」が、構成d1において、“動きベクトル無し”と判定されたために補正されたベクトルである場合について検討する(以下、フレームF(n,L)において、補正されたベクトルを有するブロックを「第1ブロック」という。)。
構成e1によれば、この場合には、「上記平均化処理は行わず、該ブロックの画素値を優先して補間フレームF(n’,L)の画素値」とするから、「補間フレームF(n’,L)の画素値」は、「フレームF(n,L)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置に生成」することにより得られた画素値、すなわち、上記「第1ブロック」を、そのブロックの位置から対応する動きベクトルAV(n,L,blk)の1/2だけ移動した位置(以下、「第1位置」という。)に生成することにより得られた画素値になるといえる。

次に、フレームF(n,R)において、上記「第1ブロック」の位置から、視差ベクトルPV(n,L,blk)分移動した位置に存在するブロック(以下、「第2ブロック」という。)について検討する。
構成e2の「補間処理部410」は、「補間処理部409と同様に、フレームF(n,R),F(n+1,R)と、補正された動きベクトル{AV(n,R)},{AW(n+1,R)}とを用いて、補間フレームAF(n’,R)を生成する」から、構成e2の「補間処理部410」は、構成e1の処理と同様の処理を行うといえ、構成e1を参照すると、構成e2の「補間処理部410」は、補間フレームF(n’,R)に対し、フレームF(n,R)のブロックblk(画素群)を、そのブロックblkの位置から対応する動きベクトルAV(n,R,blk)の1/2だけ移動した位置に生成し、同様に、補間フレームF(n’,R)に対し、フレームF(n+1,R)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,R,blk)の1/2だけ移動した位置に生成し、生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,R)の画素値とするといえる。
この処理を、上記「第2ブロック」についてみると、構成e2の「補間処理部410」は、補間フレームF(n’,R)に対し、上記「第2ブロック」を、そのブロックの位置から対応する動きベクトルAV(n,R,blk)の1/2だけ移動した位置(以下、「第2位置」という。)に生成し、同様に、補間フレームF(n’,R)に対し、フレームF(n+1,R)のブロックblkを、そのブロックblkの位置から対応する動きベクトルAW(n+1,R,blk)の1/2だけ移動した位置に生成し、生成するブロック同士が重複する部分については、重複するブロックの画素値の平均値を1画素ずつ算出し、補間フレームF(n’,R)の画素値とするといえる。

ここで、構成d1の「動きベクトル補正部405」は、「フレームF(n,L)の“動きベクトル無し”と判定されたブロックblk1の動きベクトルを、そのブロックに対応する(同一のデータを持つ)フレームF(n,R)のブロックblk2の動きベクトルに置き換え、ここで、視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}を使用して、フレーF(n,L)のブロックがフレームF(n,R)のどのブロックに対応するかを求め、具体的には、フレームF(n,R)において、フレームF(n,L)のブロックblk1の位置から、視差ベクトルPV(n,L,blk1)分移動した位置に存在するブロックblk2が、ブロックblk1に対応するブロックとなり、これにより、“動きベクトル無し”と判定されたブロックの動きベクトルが補正され、動きベクトル{V(n,L)}が動きベクトル{AV(n,L)}」とされるのであるから、上記「第1ブロック」と上記「第2ブロック」の動きベクトルは等しいといえる。
そして、上記「第1ブロック」と上記「第2ブロック」の間の視差は、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」であり、上記「第1ブロック」と上記「第2ブロック」の動きベクトルは等しいのであるから、上記「第1位置」と、上記「第2位置」の間の視差は、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」と等しいといえる。

上記(1)で述べたとおり、構成e1の「補間フレームAF(n’,L)」は構成E2の「前記第1視点の中間映像」に相当し、構成e2の「補間フレームAF(n’,R)」は、構成E2の「前記第2視点の中間映像」に相当する。
また、上記「第1位置」は、「補間フレームAF(n’,L)」上の位置であり、上記「第2位置」は、「補間フレームAF(n’,R)」上の位置である。
さらに、上記4で述べたとおり、構成d1の「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」は、構成E2の「前記抽出された視差情報」に相当する。
以上によれば、引用発明において、上記「第1位置」と、上記「第2位置」の間の視差が、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」と等しいことは、「前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じ」であることといえる。

そして、引用発明は、構成dで動きベクトルを補正することにより、構成eで、上記「第1位置」と、上記「第2位置」の間の視差が、「視差ベクトル検出部403で検出した視差ベクトル{PV(n,L)}」と等しくなるような補間を実現しているのであるから、構成eの「補間フレームを生成すること」は、「前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする」といえる。

よって、本願発明と引用発明の「中間映像を生成する段階」は、「前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする」点で一致する。

(3)構成Eについてのまとめ
以上によれば、本願発明と引用発明は、「前記推定された動き情報によって、前記第1視点及び前記第2視点の各々において時間的に連続した2映像間の中間映像を生成する段階であって、前記第1視点の中間映像と前記第2視点の中間映像との間の視差が前記抽出された視差情報により示される視差と同じになるようにする、段階」を含む点で一致する。

6 まとめ
以上によれば、本願発明と引用発明は、構成A?E2の全てにおいて一致し、相違点はない。
よって、本願発明は引用発明である。

7 請求人の主張について
請求人は、平成31年1月29日付けの意見書において、引用文献1には、補間フレームの視差が抽出された視差と同一になるように補間フレームが生成される構成は開示も示唆もされていないから、引用文献1には、本願請求項1の構成である、抽出された「視差ベクトル」と同じ視差を有するように補間フレームを生成する構成は開示も示唆もされていないと主張している。
しかしながら、上記5で述べたとおりであり、本願発明と引用発明は構成Eを含む点で一致するといえるから、請求人の主張は採用することができない。

第7 むすび
以上のとおり、本願発明は、引用文献1に記載された発明であるから、特許法29条第1項第3号に該当し、特許を受けることができない。

したがって、本願は、その余の請求項について検討するまでもなく、拒絶をすべきものである。

よって、結論のとおり審決する。
 
別掲
 
審理終結日 2019-02-25 
結審通知日 2019-02-26 
審決日 2019-03-11 
出願番号 特願2015-521531(P2015-521531)
審決分類 P 1 8・ 113- WZ (H04N)
最終処分 不成立  
前審関与審査官 秦野 孝一郎  
特許庁審判長 鳥居 稔
特許庁審判官 小池 正彦
坂東 大五郎
発明の名称 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置  
代理人 伊東 忠彦  
代理人 大貫 進介  
代理人 伊東 忠重  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ