• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない(前置又は当審拒絶理由) G06T
管理番号 1388639
総通号数 10 
発行国 JP 
公報種別 特許審決公報 
発行日 2022-10-28 
種別 拒絶査定不服の審決 
審判請求日 2020-10-16 
確定日 2022-09-07 
事件の表示 特願2018−567578「VRオブジェクトの合成方法、装置、プログラム及び記録媒体」拒絶査定不服審判事件〔令和 1年 7月18日国際公開、WO2019/137006、令和 2年 3月 5日国内公表、特表2020−507136〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、2018年8月20日(パリ条約に基づく優先権主張外国庁受理 2018年1月12日、中国(CN))を国際出願日とする出願であって、その手続の経緯は以下のとおりである。

平成30年12月25日 :手続補正
令和 2年 2月18日付け:拒絶理由通知
令和 2年 5月11日 :意見書提出および手続補正
令和 2年 7月21日付け:拒絶査定
令和 2年10月16日 :拒絶査定不服審判請求および手続補正
令和 3年12月13日付け:当審拒絶理由通知
令和 4年 3月 7日 :意見書提出および手続補正

第2 本件発明
本件の請求項1に記載された発明(以下、「本件発明」という。)は、令和4年3月7日付け手続補正(以下、本件補正という)により補正された特許請求の範囲の請求項1に記載の次のとおりのものである。(下線は本件補正により補正された箇所を示す。また、記号A〜Gは分説するために審判合議体が付したものであり、請求項1の記載を、記号A〜Gを用いて、以下、「構成A」〜「構成G」と称する。)

【請求項1】
A 端末機器に適用されるVRオブジェクトの合成方法であって、
前記方法は、
B 前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得するステップと、
C 奥行き情報融合モードで、前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記ターゲットオブジェクトの奥行き情報は、ターゲットオブジェクトと端末機器との間の距離を表すためのものであるステップと、
D 仮想オブジェクトの奥行き情報を取得するステップと、
E 前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含み、
D 前記仮想オブジェクトの奥行き情報を取得するステップは、
D1 前記仮想オブジェクトが配置される位置の位置情報を取得するステップと、
D2 前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、
を含み、
F 前記仮想オブジェクトの奥行き情報は前記仮想オブジェクトの位置情報に記録され、
G 前記端末機器の撮像装置は、少なくとも2つのカメラを備え、
C 前記端末機器の撮像装置により前記ターゲットオブジェクトの奥行き情報を取得するステップは、
C1 前記ターゲットオブジェクトと前記少なくとも2つのカメラとの位置関係、及び前記少なくとも2つのカメラ間の距離に基づき、前記ターゲットオブジェクトの奥行き情報を決定するステップを含む
A ことを特徴とするVRオブジェクトの合成方法。

第3 当審の拒絶の理由の概要
当審の拒絶の理由である令和3年12月13日付け拒絶理由は、概略以下のとおりである。

進歩性)本件出願の請求項1−9に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。



令和2年10月16日付けの手続補正書により補正された本件出願の特許請求の範囲の請求項1に係る発明(本件発明)は、引用文献1に記載されている発明(引用発明)および引用文献2に記載される事項に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。
また、請求項2、3に係る発明、請求項4〜6、7〜9に係る発明も、引用発明および引用文献2記載の事項に基づいて当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。

<引用文献等一覧>
1.特開2004−145448号公報(拒絶査定における引用文献1)
2.特開2012−58968号公報(当審において新たに引用する文献)

第4 当審の判断
1 引用文献1の記載
当審が令和3年12月13日付けで通知した拒絶の理由に引用された引用文献1である、特開2004−145448号公報には、以下の記載がある。(下線は強調のために当審で付した。以下同様。)

ア 「【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、例えば携帯電話などの端末装置において、撮影した画像に所望の画像を合成するなどして画像を加工する画像加工方法に関し、特に、この画像加工方法を用いて生成された画像を、携帯電話などの複数の端末装置間で送受信することでコミュニケーションを行う端末装置および通信システムに関する。」

イ 「【0032】
<全体の構成>
図1は、第1実施形態に係る、互いに通信可能な複数の端末装置のうちの1つである、主要部の構成例を示したものである。
【0033】
図1に示した画像コミュニケーション装置は、撮影対象の画像と当該画像の奥行き情報を取得する画像取得部1と、画像取得部1で取得した画像の奥行き情報をもとに当該画像中の撮影対象などの3次元的な特徴を抽出する特徴抽出部2と、特徴抽出部2で抽出された特徴をもとに、画像取得部1で取得した画像に3次元的な要素を考慮して、画像合成などの特殊効果を施す加工部3と、加工部3にて加工した結果得られた画像や、通信部5から受信した画像を提示する画像提示部4と、加工部3にて加工された画像を送受信するための通信部5とから構成される。」

ウ 「【0035】
<画像取得部>
まず、画像取得部1について説明する。
【0036】
画像取得部1は、撮影対象の画像として例えばカラー画像を取得するとともに、当該画像の奥行き情報を取得して、撮影対象を、その3次元形状と画像取得部1から当該撮影対象までの距離を反映した奥行き情報を含むカラー画像(ここでは、奥行きカラー画像と呼ぶ)として取得するものである。
・・・
【0079】
なお、以上説明した画像取得部1の構成は、あくまでも一例であり、これに限定されるものではない。特に、奥行き情報を取得する際には、上記のように、反射光画像を必ずしも用いる必要はない。すなわち、複数の視野から撮影した画像の視差情報を用いることで奥行き情報を計算するという、ステレオマッチングの手法を用いて奥行き情報を取得するという構成であってもよいし、縞状のレーザー光を照射し、その形のゆがみを用いて上記奥行き情報を計測するというレーザーレンジファインダと呼ばれる方式を用いてもよい。また、これら以外の方法を用いて奥行き情報を取得して、上記のような奥行きカラー画像を取得することができるものを使用することもできる。」

エ 「【0081】
<特徴抽出部>
次に、特徴抽出部2について説明する。ここでは、画像取得部1で求めた画素値に奥行き情報を含む奥行きカラー画像を処理対象とする。
【0082】
特徴抽出部2は、画像取得部1で取得した奥行きカラー画像に含まれる奥行き情報をもとに撮影対象の3次元的な特徴を抽出するためのものである。
・・・
【0096】
特徴抽出部2では、奥行きカラー画像(自然光画像と、反射光画像の各素値から得られた奥行き情報)から、自然光画像中の3次元的な特徴を抽出する。自然光画像中の3次元的な特徴とは、例えば、自然光画像中に各撮影対象の3次元的な形状(表面上の凹凸状態も含む)、複数の撮影対象の位置関係(自然光画像中の平面方向の位置関係と、自然光画像の奥行き方向の位置関係(主に前後関係))などであり、さらに、これらから、各撮影対象に対応する奥行き方向の位置から(予め定められた閾値に基づき)判別された撮影対象の存在する前景部分と、背景部分、さらに細かな領域分割が行えるとともに、パターンマッチングなどにより撮影対象が何であるかを認識することもできる。
【0097】
<加工部>
次に、加工部3について説明する。
【0098】
加工部3は、特徴抽出部2で抽出された3次元的な特徴をもとに、画像取得部1で取得した自然光画像であるカラー画像(あるいは奥行きカラー画像)に、当該カラー画像中の撮影対象の3次元的な形状や位置関係などの3次元的な特徴を考慮した特殊効果を施す(付加する)ためのものである。
【0099】
具体的には、カラー画像に、CG(コンピュータグラフィックス)で表現された画像(ここでは、付加画像ともいう)を合成することで、特殊効果を付加する。この際、特徴抽出部2で抽出された、カラー画像(シーン)中の凹凸といった奥行き情報、カラー画像中にどのような物体が存在するか(どのような領域に分割できるか)、カラー画像中における各物体の位置関係、それぞれの物体の立体形状、などといった3次元的な特徴を活用することで、仮想物体とシーンの前後関係や衝突状態などを判別し、必要に応じて仮想物体を変形し、カラー画像に合成する。」

オ 「【0100】
ここで、図7に示したカラー画像(に写っているシーン)を例として、3D(3次元)CGのデータとして与えられる仮想物体「球」を合成する場合を考える。図16は、図7のカラー画像中の撮影対象である各物体の主に奥行き方向の位置関係を示したものであるが、上述したように、このようなシーンにおける3次元的な特徴が、特徴抽出部2から得られている。」

カ 「【0101】
いま、「球」が図16における奥行き位置Cのところを、画面右から左に動くという特殊効果を考える。この際に、仮想物体(仮想オブジェクト)である「球」の置かれる3次元的な位置および、その形状情報は既知であるため、これと、シーンの3次元的な特徴(シーンの各位置における奥行き値)を比較することで、「球」と、シーン中の各物体の位置との前後関係を判別することができる。
【0102】
これより、図17に示すように、球が背景(図16における奥行き位置D)の前を通るが、人物(奥行き位置B)の後ろを通るように、「球」を合成することが可能である。このように、特徴抽出部2で抽出された特徴を基に、カラー画像に3次元的に仮想物体を付加することが可能である。
【0103】
同様にして、カラー画像中の奥行き位置Aのところを、「球」が右から左へ移動するように、仮想物体「球」の画像を合成すると、「球」は、缶の後ろを通り人物の前を通る特殊効果となる。
・・・
【0122】
以上説明したように、加工部部3では、奥行きカラー画像(奥行き情報を含まないカラー画像であってもよい)に仮想物体の画像を合成する場合には、当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の3次元的な位置関係と、撮影対象の3次元的な形状とのうちの少なくとも1つを基に、当該仮想物体の画像を当該奥行きカラー画像に合成する。」

2 引用文献2の記載
また、当審が令和3年12月13日付けで通知した拒絶の理由に引用された引用文献2である、特開2012−58968号公報には、以下の記載がある。

キ 「【発明が解決しようとする課題】
【0005】
本発明の幾つかの態様によれば、拡張現実におけるリアリティ度を向上できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【0006】
本発明の一態様は、撮像部により撮影された撮影画像を取得する撮影画像取得部と、前記撮影画像に映る被写体の奥行き情報を取得する奥行き情報取得部と、取得された前記奥行き情報に基づいて、前記被写体とバーチャルオブジェクトとの奥行き方向での前後関係を判断して、前記撮影画像に前記バーチャルオブジェクトを合成するための処理を行うオブジェクト処理部と、前記撮影画像に前記バーチャルオブジェクトが合成された画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。」

ク 「【0107】
2.5 奥行き情報の取得
次に奥行き情報の具体的な取得手法について説明する。
【0108】
例えば本実施形態では、図2(B)の第1、第2のカメラCM1、CM2で取得された画像の視差情報(同一被写体の表示位置のずれ、水平視差)に基づいて奥行き情報を取得する。具体的には第1のカメラCM1で撮影された画像を左眼用画像として取得し、第2のカメラCM2で撮影された画像を右眼用画像として取得する。そして図12(A)〜図12(C)に示すように、左眼用画像と右眼用画像から得られる視差情報に基づいて、奥行き情報を取得する。
【0109】
例えば図12(A)において、OBLは、左眼用画像に映る被写体の画像であり、OBRは、右眼用画像に映る同一被写体の画像である。そして図12(A)では、これらの被写体画像OBL、OBRの間の視差(視差による表示位置のずれ)が小さいため、カメラCM1、CM2から見た被写体の奥行き値は小さいと判断される。一方、図12(B)では、これらの被写体画像OBL、OBRの間の視差が中ぐらいであるため、被写体の奥行き値は中ぐらいであると判断される。また図12(C)では、被写体画像OBL、OBRの間の視差(視差による表示位置のずれ)が大きいため、被写体の奥行き値は大きいと判断される。
【0110】
このように、カメラCM1、CM2で撮影された画像の視差情報(同一被写体の表示位置のずれ情報)を用いて、撮影画像に映る被写体の奥行き情報を取得できる。従って、手OBHやマーカOBMの被写体の視差情報を検出することで、手OBHやマーカOBMの奥行き値ZH、ZMを取得することが可能になり、これらの奥行き値ZH、ZMを用いて、図6(A)〜図11で説明したバーチャルオブジェクトOBVの合成処理、ヒット判定処理、移動処理などを実現できるようになる。
【0111】
また、カメラCM1、CM2により左眼用画像、右眼用画像を撮影することで、立体視画像の生成も可能になる。従って、図6(A)、図8(A)、図8(B)、図10(A)、図10(B)の画像を、立体視用画像として生成することが可能になり、リアリティ度の高い拡張現実と立体視表現とを両立して実現できるという利点がある。
【0112】
なお視差情報の検出は、例えば図13に示す手法により実現できる。例えば図13では、奥行き情報の取得対象となる被写体の右眼用画像でのブロック画像BRと、左眼用画像のブロック画像BLとのマッチング処理が行われる。そして右眼用画像のブロック画像BRと左眼用画像のブロック画像BLがマッチングしたと判断されると、例えばブロック画像BRの位置のX座標とブロック画像BLの位置のX座標の座標差が、視差情報として取得される。そして、取得された視差情報から例えば所定の変換式を用いて奥行き情報が算出され、当該被写体(マーカ、手等)の奥行き情報が取得される。このようにすることで、マッチング処理を利用した簡素な処理で、被写体の奥行き情報を取得できるようになる。」

3 引用発明、引用文献記載事項
ア 引用発明
上記1のア〜カから、引用文献1には以下の発明(以下、引用発明という)が記載されているものと認められる。

(引用発明)
a 端末装置において、撮影した画像に所望の画像を合成するなどして画像を加工する画像加工方法であって、端末装置の主要部である画像コミュニケーション装置は、撮影対象の画像と当該画像の奥行き情報を取得する画像取得部1であって、撮影対象を、奥行き情報を含むカラー画像として取得する画像取得部1と、画像取得部1で取得した画像の奥行き情報をもとに当該画像中の撮影対象などの3次元的な特徴を抽出する特徴抽出部2と、特徴抽出部2で抽出された特徴をもとに、画像取得部1で取得した画像に3次元的な要素を考慮して、画像合成などの特殊効果を施す加工部3であって、特徴抽出部2で抽出された、奥行き情報、どのような物体が存在するか、各物体の位置関係、物体の立体形状などといった3次元的な特徴を活用することで、仮想物体とシーンの前後関係などを判別し、カラー画像に合成する、加工部3と、加工部3にて加工した結果得られた画像を提示する画像提示部4とから構成され(【0001】、【0032】、【0033】、【0036】、【0098】、【0099】)、
b、c 特徴抽出部2は、画像取得部1で取得した奥行きカラー画像に含まれる奥行き情報をもとに撮影対象の3次元的な特徴を抽出するものであって、3次元的な特徴とは、例えば、各撮影対象の3次元的な形状、複数の撮影対象の位置関係(平面方向の位置関係と奥行き方向の位置関係(主に前後関係))などであり、さらに、これらから、各撮影対象に対応する奥行き方向の位置から判別された撮影対象の存在する前景部分と、背景部分、さらに細かな領域分割を行い、パターンマッチングなどにより撮影対象が何であるかを認識し(【0082】、【0096】)、
カラー画像に写っているシーンを例として、3次元CGのデータとして与えられる仮想物体「球」を合成する場合であって、図16はカラー画像中の撮影対象である各物体の主に奥行き方向の位置関係を示したものであり、このようなシーンにおける3次元的な特徴が、特徴抽出部2から得られており(【0100】)、
【図16】

d、e、d1、d2 「球」が図16における奥行き位置Cのところを、画面右から左に動くという特殊効果を考える際に、仮想物体(仮想オブジェクト)である「球」の置かれる3次元的な位置および、その形状情報は既知であるため、これと、シーンの3次元的な特徴(シーンの各位置における奥行き値)を比較することで、「球」と、シーン中の各物体の位置との前後関係を判別することができ(【0101】)、球が背景(図16における奥行き位置D)の前を通るが、人物(奥行き位置B)の後ろを通るように、「球」を合成することが可能であり、同様にして、カラー画像中の奥行き位置Aのところを、「球」が右から左へ移動するように、仮想物体「球」の画像を合成すると、「球」は、缶の後ろを通り人物の前を通る特殊効果となり(【0102】、【0103】)、奥行きカラー画像に仮想物体の画像を合成する場合には、当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の3次元的な位置関係と、撮影対象の3次元的な形状とのうちの少なくとも1つを基に、当該仮想物体の画像を当該奥行きカラー画像に合成し(【0122】)、
g、c1 画像取得部1の構成は、奥行き情報を取得する際には、複数の視野から撮影した画像の視差情報を用いることで奥行き情報を計算するという、ステレオマッチングの手法を用いて奥行き情報を取得する構成でもあってよい(【0079】)、
a 画像加工方法。

イ 引用文献2記載事項
また、上記2のキ、クのとおり、引用文献2には、
「撮像部により撮影された撮影画像を取得する撮影画像取得部と、前記撮影画像に映る被写体の奥行き情報を取得する奥行き情報取得部と、取得された前記奥行き情報に基づいて、前記被写体とバーチャルオブジェクトとの奥行き方向での前後関係を判断して、前記撮影画像に前記バーチャルオブジェクトを合成するための処理を行うオブジェクト処理部と、前記撮影画像に前記バーチャルオブジェクトが合成された画像を生成する画像生成部とを含む画像生成システム」(【0006】)について、
「奥行き情報の具体的な取得手法」(【0107】)に関し、
「第1、第2のカメラCM1、CM2で取得された画像の視差情報(同一被写体の表示位置のずれ、水平視差)に基づいて奥行き情報を取得する。具体的には第1のカメラCM1で撮影された画像を左眼用画像として取得し、第2のカメラCM2で撮影された画像を右眼用画像として取得」し、「左眼用画像と右眼用画像から得られる視差情報に基づいて、奥行き情報を取得する」(【0108】)ものであり、
「被写体の視差情報を検出することで」「奥行き値ZH、ZMを取得することが可能になり、これらの奥行き値ZH、ZMを用いて」「バーチャルオブジェクトOBVの合成処理」「などを実現できるようになる」(【0110】)ものであり、
「奥行き情報の取得対象となる被写体の右眼用画像でのブロック画像BRと、左眼用画像のブロック画像BLとのマッチング処理が行われ」「右眼用画像のブロック画像BRと左眼用画像のブロック画像BLがマッチングしたと判断されると、例えばブロック画像BRの位置のX座標とブロック画像BLの位置のX座標の座標差が、視差情報として取得される」(【0112】)という記載があることから、
引用文献2には、以下の事項が記載されていると認められる(以下、引用文献2記載事項という)。

(引用文献2記載事項)
(i)撮像部により撮影された撮影画像を取得する撮影画像取得部を備え、前記撮影画像に映る被写体の奥行き情報を取得し、取得された前記奥行き情報に基づいて、前記被写体とバーチャルオブジェクトとの奥行き方向での前後関係を判断して、前記撮影画像に前記バーチャルオブジェクトを合成するための処理を行い、前記撮影画像に前記バーチャルオブジェクトが合成された画像を生成する画像生成システムにおいて、
(ii)第1のカメラCM1と第2のカメラCM2を含み、
(iii)第1、第2のカメラCM1、CM2で取得された画像の視差情報(同一被写体の表示位置のずれ、水平視差)に基づいて奥行き情報を取得し、
(iv)第2のカメラCM2で撮影された被写体の右眼用画像でのブロック画像BRの位置のX座標と、第1のカメラCM1で撮影された被写体の左眼用画像のブロック画像BLの位置のX座標の座標差が、視差情報として取得されること。

3 本件発明と引用発明との対比
本件発明と上記引用発明とを対比する。

(a)引用発明は端末装置における画像加工方法を特定するものであって、構成aの「加工部3」は「端末装置の主要部である画像コミュニケーション装置」に含まれており、「画像合成などの特殊効果を施すものであ」って、「仮想物体とシーンの前後関係などを判別する」処理を行うものであり、該「仮想物体」は構成d、e、d1、d2において「仮想物体(仮想オブジェクト)」という特定がなされていることから、該「仮想物体(仮想オブジェクト)」は本件発明の「VRオブジェクト」に相当し、引用発明は本件発明の構成Aの「端末機器に適用されるVRオブジェクトの合成方法」を含むものといえる。

(b)引用発明は、構成aの「端末装置の主要部である画像コミュニーケーション装置」に含まれる、構成a及び構成b、cの「特徴抽出部2」が、構成b、cのように「画像取得部1で取得した奥行きカラー画像に含まれる奥行き情報をもとに撮影対象の3次元的な特徴を抽出」し、「撮影対象が何であるかを認識」することから、引用発明の構成b、cの「画像取得部1で取得した奥行きカラー画像」における「各撮影対象」のうちの1つは本件発明の構成Bの「端末機器により捕捉された画像におけるターゲットオブジェクト」に対応している。
そうすると、引用発明の構成b、cの「特徴抽出部2」が行う処理は、本件発明の構成A、Bと「前記方法は」、「前記前記端末機器により捕捉された画像における」「オブジェクトを取得するステップ」を行う点で共通するといえる。
ただし、本件発明の構成Bは「ターゲットオブジェクトを取得する」のに対して、引用発明の構成b、cは、画像取得部1で取得した奥行きカラー情報に含まれる奥行き情報を元に各撮影対象を認識しており、その過程で各撮影対象を取得する点で相違する。

(c)引用発明の構成b、cは、「特徴抽出部2」において「画像取得部1で取得した奥行きカラー画像に含まれる奥行き情報をもとに撮影対象の3次元的な特徴を抽出するものであ」り、「カラー画像中の撮影対象である各物体の」「奥行き方向の位置関係」のような「3次元的な特徴が、特徴抽出部2から得られ」るものである。
ここで、引用発明の構成b、cの【図16】からすると、背景、人物、腕、缶といった撮影対象である各物体の奥行き方向の位置関係を得ており、該「奥行き情報」は、撮像を行う画像取得部1を備える画像コミュニケーション装置を含んだ端末装置からの距離であることが見て取れる。
そうすると、引用発明の構成b、cにおける「撮影対象」と、本件発明の構成Cの「ターゲットオブジェクト」とは、「オブジェクト」である点で共通し、当該構成b、cと、本件発明の構成Cとは、「端末機器の撮像装置によって」「オブジェクトの奥行き情報を取得」するものであり、「オブジェクトの奥行き情報は」、「オブジェクトと端末機器との間の距離を表すためのものである」点で共通するものといえる。
さらに、引用発明の構成b、cにおいて、当該「奥行き情報」を得る処理を行った結果は、「カラー画像に写っているシーンを例として、3次元CGのデータとして与えられる仮想物体「球」を合成する場合」に用いられるところ、これは本件発明の構成Cにおける「奥行き情報を取得し」「コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳するために使用され」る場合と同様の場合について特定しているものということができる。
したがって、引用発明における「仮想物体(仮想オブジェクト)」は本件発明の「仮想オブジェクト」に相当し、引用発明の構成b、cにおける、上記「奥行き情報」を得る処理を行って、「カラー画像に写っているシーンを例として、3次元CGのデータとして与えられる仮想物体「球」を合成する場合」に用いられるという状態は、本件発明の構成Cの「奥行き情報融合モード」に相当する。

ただし、「オブジェクトの奥行き情報を取得」することについて、本件発明は構成Cにおいて「前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し」ているのに対して、引用発明は構成b、cにおいて「画像取得部1で取得した奥行きカラー画像に含まれる奥行き情報」から「撮影対象である各物体の主に奥行き方向の位置関係」である「奥行き情報」を得ている点で相違するものといえる。

(d)引用発明の構成b、cの「特徴抽出部2」の処理を踏まえた構成d、e、d1,d2において、仮想物体の画像を奥行きカラー画像に合成する場合には、当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の3次元的な位置関係を基に、当該仮想物体の画像を当該奥行きカラー画像に合成している。
ここで、仮想物体が構成b、cの【図16】の奥行き位置Cのところにあり、撮影対象が背景の場合は構成b、cの【図16】の奥行き位置Dとの比較を、撮影対象が人物のときは構成cの【図16】の奥行き位置Bとの比較を行い、一方、仮想物体が構成b、cの【図16】の奥行き位置Aのところにあり、撮影対象が缶のときは缶の奥行き位置との比較を、それぞれ行うといえる。
そうすると、引用発明の構成d、e、d1、d2において、当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の3次元的な位置関係を得るものであって、「仮想物体」の「奥行き位置」として、例えば上記奥行き位置Cや上記奥行き位置Aを得ることは、本件発明の構成Dの「仮想オブジェクトの奥行き情報を取得する」ものであり、かつ構成D1、D2の「仮想オブジェクトが配置される位置の位置情報を取得」し、「前記位置情報に基づき前記仮想オブジェクトの奥行き情報を決定する」ことと同様の処理を行うものといえる。
さらに、引用発明の構成d、e、d1、d2において「奥行きカラー画像に仮想物体の画像を合成する場合には」、「当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の3次元的な位置関係を基に、当該仮想物体の画像を当該奥行きカラー画像に合成」することであって、例えば「仮想物体が奥行き位置Cのところにあり、撮影対象が背景の場合は奥行き位置Dとの比較を、人物のときは奥行き位置Bとの比較を行い、仮想物体が奥行き位置Aのところにあり、撮影対象が缶のときは缶の奥行き位置との比較を、それぞれ行う」ことは、本件発明の構成D、D1、D2と同様の処理を行うという上記前提を踏まえた上で、本件発明の構成Eの「前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップ」と同様の処理を行うものといえる。

ただし、本件発明は、構成Fとして「前記仮想オブジェクトの奥行き情報は前記仮想オブジェクトの位置情報に記録され」ている旨特定されているのに対して、引用発明は「仮想物体」の「奥行き位置」についての情報は「仮想物体」の「位置」についての情報に記録されているとは特定されていない点で、一応相違する。

(e)引用発明の構成g、c1の画像取得部1は、奥行き情報を取得するときには、複数の視野から撮影した視差情報を用いることで奥行きを計算することから、当該画像取得部1が行う処理は、本件発明の構成C1の処理と、撮影対象と少なくとも2つの位置における「カメラとの位置関係」、及び少なく2つの位置における「カメラ間の距離に基づき」、撮影対象の「奥行き情報を決定するステップ」を行う点で共通し、また、引用発明の画像取得部1は、端末機器の撮像装置であるカメラである点で本件発明の構成Gと共通するものといえる。
ただし、本件発明の構成Gにおいて、端末装置の撮像装置は、少なくとも2つのカメラを備えているのに対して、引用発明の構成g、c1は端末機器の撮像装置が2つのカメラを備えるかどうか特定されておらず、本件発明の構成C、C1の「ターゲットオブジェクトと少なくとも2つのカメラとの位置関係、及び2つのカメラ間の距離に基づきターゲットオブジェクトの奥行き情報を決定」することについても特定されていない点で、一応相違する。

以上から、本件発明と引用発明との一致点、相違点は以下のとおりである。

(一致点)
A 端末機器に適用されるVRオブジェクトの合成方法であって、
前記方法は、
B’ 前記端末機器により捕捉された画像におけるオブジェクトを取得するステップと、
C’ 奥行き情報融合モードで、前記端末機器の撮像装置によって前記オブジェクトの奥行き情報を取得し、前記奥行き情報融合モードは、コンピュータモデリングにより生成された仮想オブジェクトを前記画像に重畳させるために使用され、前記オブジェクトの奥行き情報は、オブジェクトと端末機器との間の距離を表すためのものであるステップと、
D 仮想オブジェクトの奥行き情報を取得するステップと、
E 前記オブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させるステップと、を含み、
D 前記仮想オブジェクトの奥行き情報を取得するステップは、
D1 前記仮想オブジェクトが配置される位置の位置情報を取得するステップと、
D2 前記位置情報に基づき、前記仮想オブジェクトの奥行き情報を決定するステップと、
を含み、
G’ 前記端末機器の撮像装置は、カメラを備え、
C’ 前記端末機器の撮像装置により前記オブジェクトの奥行き情報を取得するステップは、
C1’ 前記オブジェクトと少なくとも2つの位置におけるカメラとの位置関係、及び少なく2つの位置におけるカメラ間の距離に基づき、前記オブジェクトの奥行き情報を決定するステップを含む、
A ことを特徴とするVRオブジェクトの合成方法。

(相違点1)
端末機器の撮像装置により取得された画像におけるオブジェクトの奥行き情報を取得することについて、
本件発明は「捕捉された画像のターゲットオブジェクトを取得するステップ」を有し、「端末機器の撮像装置によって」「ターゲットオブジェクトの奥行き情報を取得」するのに対して、
引用発明は、端末装置の画像取得部1で取得した奥行きカラー情報を元に各撮影対象を認識し、その過程で各撮影対象を取得するものであって、奥行きカラー画像に含まれる奥行き情報から、各撮影対象に対応する奥行き方向の位置関係である、各撮影対象の奥行き情報を取得する点。

(相違点2)
「仮想オブジェクトの奥行き情報」及び「仮想オブジェクトの位置情報」に関して、
本件発明は「仮想オブジェクトの奥行き情報」は「仮想オブジェクトの位置情報に記録され」ているのに対して、
引用発明における「仮想物体」の「奥行き位置」を示す情報は「仮想物体」の「位置」を示す情報に記録されているかどうかは不明な点。

(相違点3)
端末機器の撮像装置によりオブジェクトの奥行き情報を取得するステップであり、前記オブジェクトの奥行き情報を決定するステップに含まれる、端末装置の撮像装置であるカメラの位置関係及びカメラ間の距離に基づいて奥行き情報を決定するステップについて、
本件発明は、「端末機器の撮像装置は、少なくとも2つのカメラを備え」、「ターゲットオブジェクトと前記少なくとも2つのカメラとの位置関係、及び前記少なくとも2つのカメラ間の距離に基づき、ターゲットオブジェクトの奥行き情報を決定する」ステップを含むのに対して、
引用発明は、「画像取得部1」を有する「端末装置」には、少なくとも2つのカメラを備えているかどうか特定されておらず、各撮影対象と少なくとも2つのカメラとの位置関係、及び2つのカメラ間の距離に基づき、各撮影対象の奥行き情報を決定することについて特定されていない点。

4 相違点についての検討及び判断
ア まず、相違点1、3についてまとめて検討する。

上記引用文献2記載事項では、(i)を前提として、
(ii)においては、撮像画像取得部において、少なくとも2つのカメラを備えることから、上記相違点3のうち「端末装置の撮像装置は、少なくとも2つのカメラを備え」る構成が示されており、(iv)においては、BRの位置のX座標とBLの位置のX座標の座標差を視差情報として得ることから、上記相違点3のうち「2つのカメラ間の距離」を得る構成が示されているといえる。
その上で、(iii)においては、被写体と2つのカメラの画像及びそれらの視差情報に基づき奥行き情報を得ることから、撮影画像全体の奥行き情報を得ることなく、特定の1つの被写体に対して、当該被写体の奥行き情報を得ているといえ、上記相違点1に係る構成、すなわち、本件発明の「捕捉された画像におけるターゲットオブジェクトを取得し」「ターゲットオブジェクトの奥行き情報を取得する」ことに相当する構成が示されているとともに、上記相違点3に係る構成、すなわち、「端末機器の撮像装置は、少なくとも2つのカメラを備え」、「ターゲットオブジェクトと前記少なくとも2つのカメラとの位置関係、及び前記少なくとも2つのカメラ間の距離に基づき、ターゲットオブジェクトの奥行き情報を決定する」構成が示されているといえる。

そして、引用発明の構成b、c及び構成g、c1において、撮影画像中の撮影対象の奥行き情報を取得し、取得された奥行き情報に基づいて、撮影対象と仮想物体(それぞれ、引用文献2記載事項の「被写体」と「バーチャルオブジェクト」に相当する)を合成した画像を得るという、共通の技術的前提を有する引用文献2記載事項を適用した発明を想到することは、当業者にとって容易になし得たものであるが、この発明は上記相違点1、3に係る構成を備えるものである。

イ 次に、相違点2について検討する。
引用発明の構成d、e、d1、d2において特定されるように、引用発明は、仮想物体である「球」が奥行き位置C(またはAまたはD)のところを画面右から左に動くという特殊効果を考える際に、仮想物体の3次元的な位置が既知であり、この仮想物体「球」の位置と、シーン中の各物体の位置に関して、「球」の奥行き値と、シーンの各位置における奥行き値とを比較することで、「球」を合成するものである。
そうすると、引用発明では、仮想物体の当該3次元的な位置が、その値が変化するものとして与えられており、かつそのうちの1次元として奥行き位置が与えられているといえる。そして、「球」を合成する処理を行うにあたり、「球」の3次元的な位置はメモリやレジスタなど、端末装置内の何らかの記憶手段に記録されており、かつその3次元的な位置のうちの1次元として奥行き位置が含まれているものといえるが、これは、仮想物体の奥行き情報は仮想物体の3次元的な位置情報に含まれるように記録されていることに他ならない。
したがって、相違点2は実質的なものではない。

ウ さらに、上記引用発明に引用文献2記載の事項を適用した発明が奏する効果について検討するに、当該適用した発明においても、本件発明の構成B、Cと同様に「前記端末機器により捕捉された画像におけるターゲットオブジェクトを取得」し、「前記端末機器の撮像装置によって前記ターゲットオブジェクトの奥行き情報を取得し」ており、本件発明の構成Eと同様に「前記ターゲットオブジェクトの奥行き情報及び前記仮想オブジェクトの奥行き情報に基づき、前記仮想オブジェクトを前記画像に重畳させる」ことから、本件明細書の【0017】、【0049】に記載されるような「全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき」「端末機器により捕捉された画像に仮想オブジェクトをリアルタイムに正確に表示できる」るものといえる。

5 小括
以上のとおり、本件発明は、引用発明および引用文献2に記載される事項に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。

6 審判請求人の主張について
審判請求人は、令和4年3月7日付け意見書の「第3 特許法第29条第2項に規定する要件について」において、以下のとおり主張している。

「1 請求項1に係る発明(以下「本願発明1」という)について
引用文献1及び2には、本願発明1の特徴である「前記仮想オブジェクトの奥行き情報は前記仮想オブジェクトの位置情報に記録され、」が開示されていません。
引用文献1の請求項1〜7、明細書の段落「0017」、「0019」、「0100」〜「0103」、図16から図20等の記載を参照すると、引用文献1には、仮想オブジェクトとしての「球」の奥行き情報をどのように獲得するかについて開示されていません。引用文献1の請求項1〜5の記載を参照すると、引用文献1に係る発明は、抽出手段を利用して目標対象の3次元の位置関係を獲得しています。例えば、図16において、後ろから前を向く方向のとおり配列された背景、人、缶を獲得しています。ここで、図17に示された「球」は、図16の背景と人との間の「C」に位置しています。
引用文献1の明細書の段落「0101」には、「球」の位置と形状をシーンの3次元の各位置における奥行き値と比較して、「球」とシーンの各部隊との前後関係を確定すると記載しています。しかし、当該段落には、「球」の位置と形状は既知であると記載されています。
したがって、引用文献1には、本願発明1の特徴である「前記仮想オブジェクトの奥行き情報は前記仮想オブジェクトの位置情報に記録され、」が開示されていません。」

「本願発明1の効果は、「端末機器は、ターゲットオブジェクトの奥行き情報及び仮想オブジェクトの奥行き情報に基づき、仮想オブジェクトを端末機器により捕捉された画像に重畳させ、ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する、又は全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき、端末機器のARアプリケーションにより良好に適用されることができる」です。
引用文献1に係る発明は、重畳下後の画像を得るために、獲得された目標対象の間に仮想オブジェクトとする「球」を放置します。引用文献1に係る発明は、目標対象の奥行き情報のみ獲得し、仮想オブジェクトとする「球」の奥行き情報を獲得していないので、奥行き情報を比較がない状況で重畳すると、計算量が高まります。」

上記主張について検討する。
上記4のイにおいて示したとおり、引用発明の構成d、e、d1、d2において特定されるように、仮想物体である「球」が奥行き位置C(またはAまたはD)のところを画面右から左に動くという特殊効果を考える際に、仮想物体の3次元的な位置が既知であり、これと、シーン中の各物体の位置関係を、「球」と、シーンの各位置における奥行き値とを比較することで、「球」を合成する。
そうすると、引用発明では、仮想物体の当該3次元的な位置が、その値が変化するものとして与えられており、かつそのうちの1次元として奥行き位置が与えられているといえ、「球」を合成する処理を行うにあたり、「球」の3次元的な位置はメモリやレジスタなど、端末装置内の何らかの記憶手段に記録されており、かつその3次元的な位置のうちの1次元として奥行き位置が含まれているものといえるが、これは、仮想物体の奥行き情報は仮想物体の3次元的な位置情報に含まれるように記録されていることに他ならない、すなわち、引用発明も実質的には「前記仮想オブジェクトの奥行き情報は前記仮想オブジェクトの位置情報に記録され、」るものといえる。

また、上記4のウについて示したとおり、引用発明に引用文献2記載事項を適用した発明においても、「ターゲットオブジェクトを取得したときに、全てのオブジェクトの奥行き情報を比較した後で重畳することなく、奥行き情報の比較結果に基づいて重畳方式を決定でき、重畳時の計算量を減少でき」ることは明らかである。

なお、本件発明においてターゲットオブジェクトと仮想オブジェクトの奥行き位置を比較しなければ、重畳したときにターゲットオブジェクトと仮想オブジェクトのどちらが前面(または後面)に表示されるべきか特定することができず、「ターゲットオブジェクトを取得したときに、比較せずに直接に重畳する」ことはあり得ない。
また、「引用文献1に係る発明は、目標対象の奥行き情報のみ獲得し、仮想オブジェクトとする「球」の奥行き情報を獲得していない」のではなく、上記3の(c)(d)のとおり、仮想物体の奥行き情報を獲得するものであって、上述のとおり「奥行き情報を比較がない状況で重畳」することはあり得ない。

以上のとおり、意見書の主張は採用できない。

7 まとめ
したがって、本件発明は、引用発明および引用文献2記載事項に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により、特許を受けることができない。

第5 むすび
以上のとおり、本件発明は、引用発明および引用文献2記載事項に基づいて当業者が容易に発明をすることができたものであり、特許法第29条第2項の規定により特許を受けることができない。
したがって、本願は、その余の請求項について検討するまでもなく、拒絶をすべきものである。
よって、結論のとおり審決する。
 
別掲 (行政事件訴訟法第46条に基づく教示) この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。

審判長 清水 正一
出訴期間として在外者に対し90日を附加する。
 
審理終結日 2022-04-01 
結審通知日 2022-04-05 
審決日 2022-04-18 
出願番号 P2018-567578
審決分類 P 1 8・ 121- WZ (G06T)
最終処分 02   不成立
特許庁審判長 清水 正一
特許庁審判官 樫本 剛
川崎 優
発明の名称 VRオブジェクトの合成方法、装置、プログラム及び記録媒体  
代理人 特許業務法人 ユニアス国際特許事務所  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ