• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない(前置又は当審拒絶理由) G06T
審判 査定不服 特17条の2、3項新規事項追加の補正 特許、登録しない(前置又は当審拒絶理由) G06T
管理番号 1362001
審判番号 不服2018-15857  
総通号数 246 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-06-26 
種別 拒絶査定不服の審決 
審判請求日 2018-11-29 
確定日 2020-04-30 
事件の表示 特願2017-219032「プログラム、情報処理装置及び情報処理方法」拒絶査定不服審判事件〔令和 1年 6月13日出願公開、特開2019- 91203〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は,平成29年11月14日の出願であって,その手続の経緯は以下のとおりである。
平成30年 5月 7日付け:拒絶理由通知
平成30年 7月 3日 :意見書,手続補正書の提出
平成30年 8月28日付け:拒絶査定
平成30年11月29日 :審判請求書,手続補正書の提出
平成31年 1月10日 :前置報告
令和 1年 7月 2日 :上申書の提出
令和 1年 9月18日付け:最後の拒絶理由通知(当審)
令和 1年11月15日 :意見書,手続補正書の提出

第2 令和1年11月15日にされた手続補正についての補正の却下の決定

[補正の却下の決定の結論]
令和1年11月15日にされた手続補正(以下「本件補正」という。)を却下する。

[理由]
1 本件補正の内容

本件補正により,平成30年11月29日付け手続補正により補正された特許請求の範囲の請求項1(以下,「補正前発明」という。)は,以下のとおり補正された(以下,「本件補正発明」という。)。
以下の符号A?Fは説明のため当審で付与したものであり,以下,発明特定事項A?発明特定事項Fと称する。両請求項において同じ記載内容の発明特定事項には同じ符号を付し,手続補正の補正事項により補正された発明特定事項の符号には「'」を付した。
なお,下線は,補正箇所を示すものとして請求人が付したものである。

(補正前発明)
(A)コンピュータに,
(B)地図中に海,大陸,国及び都市の名称を含む世界地図,及び地域別に描かれたキャラクタを表面に有する球体を撮影した撮影画像を取得し,
(C)(C1)取得した前記撮影画像中の前記球体を(C2)前記世界地図及びキャラクタに基づいて認識し,
(D)前記世界地図及びキャラクタに基づいて認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示部に表示し,
(E)前記球体の全領域を覆うようにコンテンツ画像を表示しない場合,撮影した前記世界地図及びキャラクタを表面に有する前記球体の撮影画像を前記表示部に表示する
(F)処理を実行させるプログラム。

(本件補正発明)
(A)コンピュータに,
(B)地図中に海,大陸,国及び都市の名称を含む世界地図,及び地域別に描かれたキャラクタを表面に有する球体を撮影した撮影画像を取得し,
(C')(C3)前記球体に設けられた世界地図中の海,大陸,国及び都市の名称,並びに各キャラクタのそれぞれに対応付けて記憶してある地球上の位置情報に基づいて,取得した前記撮影画像中の前記世界地図及びキャラクタに対応する前記地球上の位置情報を特定し,(C2')特定した前記地球上の位置情報に基づいて,(C1')取得した前記撮影画像中の前記球体の領域と,前記球体に対する撮影領域とを認識し,
(D')(D1')前記撮影画像中の世界地図及びキャラクタに対応する前記地球上の位置情報に基づいて認識した前記撮影画像中の前記球体の領域が表示されないように前記球体の全領域を覆うようにコンテンツ画像を表示しつつ
(D2)前記撮影画像中の前記球体以外の背景領域を表示部に表示し,
(D3)認識した前記撮影画像中の前記球体の領域又は前記球体に対する撮影領域が変化した場合に,前記撮影画像中の前記球体が表示されないように前記球体の全領域を覆うようにコンテンツ画像を表示しつつ前記背景領域を表示部に表示し,
(E)前記球体の全領域を覆うようにコンテンツ画像を表示しない場合,撮影した前記世界地図及びキャラクタを表面に有する前記球体の撮影画像を前記表示部に表示する
(F)処理を実行させるプログラム。

2 補正の適否

(1)本件補正発明の発明特定事項C'が,願書に最初に添付した明細書,特許請求の範囲又は図面(以下,「当初明細書等」という。)に記載された事項の範囲内においてするものか否か検討する。

(2)請求人は,令和1年11月15日付け意見書において,「請求項1に,本願の願書添付の明細書の段落[0014],[0020],[0024],[0027]-[0030]の記載事項に基づく補正を行った。」と主張している。

(3)当初明細書等には,以下の記載がある。

ア 「【0012】
図2は,情報処理装置10の構成例を示すブロック図である。情報処理装置10は,スマートフォン,タブレット端末,パーソナルコンピュータ,ゲーム機等の情報機器であり,可搬型の情報機器であれば操作が容易である。情報処理装置10は,制御部11,記憶部12,操作パネル13,カメラ16,通信部17等を含み,これらの各部はバスを介して相互に接続されている。制御部11は,CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等のプロセッサを含む。制御部11は,記憶部12に記憶してある制御プログラムを適宜実行することにより,情報処理装置10が行う種々の情報処理及び制御処理等を行う。
【0013】
記憶部12は,RAM(Random Access Memory),フラッシュメモリ,ハードディスク,SSD(Solid State Drive)等を含む。記憶部12は,制御部11が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部12は,制御部11が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部12に記憶される制御プログラムには,本開示のプログラムである画像処理アプリケーションプログラム(以下では,画像処理アプリという)Pが含まれる。(略)
【0014】
コンテンツDB12aには,文字,画像等のコンテンツが記憶されており,各コンテンツは,アースボール20に付与されたARマーカを識別するための情報,又は地球上の位置を示す位置情報(緯度及び経度)にそれぞれ対応付けられて記憶されている。アルバム12bには,情報処理装置10を用いてユーザが撮影した静止画像及び動画映像,通信部17にて外部装置から受信した静止画像及び動画映像等のコンテンツが記憶されている。静止画像及び動画映像等のコンテンツは,それぞれの撮影日時又は作成日時等を示す日時情報と,撮影場所,作成場所又は各コンテンツに応じた場所等を示す位置情報と共にアルバム12bに記憶されている。なお,日時情報及び位置情報を有しない静止画像及び動画映像がアルバム12bに記憶されていてもよい。また,アルバム12bに記憶されるコンテンツには,例えば全天球カメラを用いて取得した全天球画像を正距円筒図法により平面に展開した矩形のパノラマ画像,被写体の全周面を撮影した画像を合成して正距円筒図法により平面に展開した矩形のパノラマ画像等が含まれる。」

イ 「【図2】

」

ウ 「【0018】
以下に,情報処理装置10において制御部11が画像処理アプリPを実行することによって実現する機能について説明する。図3は,情報処理装置10の制御部11によって実現される機能を示すブロック図である。情報処理装置10の制御部11は,記憶部12に記憶してある画像処理アプリPを実行した場合,アースボール認識部21,コンテンツ読出部22,抽出部23,画像処理部24,重畳部25の各機能を実現する。なお,本実施形態では,これらの各機能を制御部11が画像処理アプリPを実行することにより実現するが,これらの一部を専用のハードウェア回路で実現してもよい。
【0019】(略)
【0020】
アースボール認識部(認識部)21は,カメラ16が取得した撮影画像に対して,撮影画像中のアースボール20の領域を認識し,また,アースボール20における撮影領域(撮影範囲)等を認識する。例えば,アースボール認識部21は,撮影画像に対して,アースボール20の輪郭である円形を認識することにより,撮影画像中のアースボール20の輪郭(領域)を特定する。またアースボール認識部21は,撮影画像中のARマーカを認識し,認識したARマーカに基づいて,撮影されたアースボール20の領域(撮影範囲)を特定する。例えば,アースボール認識部21は,ARマーカに基づいて,撮影されたアースボール20(アースボール20の撮影範囲)に含まれる海,大陸,国,都市等を特定する。またアースボール認識部21は,アースボール20の撮影範囲内の各位置(各地点)における地球上の位置情報(緯度及び経度)を特定する。なお,画像処理アプリPには,それぞれのARマーカがアースボール20に付された位置に関する情報,例えば,海,大陸,国,都市等の情報,又は地球上の位置情報が含まれている。よって,アースボール認識部21は,ARマーカを認識した場合,認識したARマーカの位置情報を特定でき,特定した位置情報に基づいてアースボール20の撮影範囲を特定できる。
【0021】(略)
【0022】(略)
【0023】(略)
【0024】
重畳部25は,アースボール認識部21によって特定された撮影画像中のアースボール20の全領域を覆うように,画像処理部24によって処理されたコンテンツに基づく円形のコンテンツ画像を重畳させてAR画像を生成する。これにより,アースボール20をカメラ16で撮影した撮影画像において,アースボール20の全領域に,円形に処理されたコンテンツが表示されるAR画像が生成できる。情報処理装置10は,重畳部25によって生成されたAR画像を表示部15に表示する。」

エ 「【図3】

」

オ 「【0026】
以下に,情報処理装置10によるAR画像の表示処理についてフローチャートに基づいて説明する。図4は,情報処理装置10が行う処理の手順を示すフローチャートであり,図5?図8は,AR画像の表示例を示す模式図である。以下の処理は,情報処理装置10の記憶部12に記憶してある制御プログラムに従って制御部11によって実行される。
【0027】
情報処理装置10は,例えば操作パネル13を介してユーザから画像処理アプリPの実行指示を受け付けた場合,画像処理アプリPを実行する。画像処理アプリPを実行した情報処理装置10において,制御部11は,カメラ16による撮影を開始する(S1)。制御部11は,カメラ16にて撮影画像を取得し(S2),取得した撮影画像に対して,撮影画像中のARマーカを認識し,ARマーカ及び撮影画像に基づいて,撮影画像中のアースボール20を認識する(S3)。ここでは,制御部11は,撮影画像中のアースボール20の領域,及びアースボール20の撮影範囲等を特定する。
【0028】
制御部11は,制御部11は,認識したアースボール20において,撮影範囲が変更されたか否かを判断する(S4)。例えば制御部11は,ステップS3で特定したアースボール20の撮影範囲を記憶部12に記憶しておき,次にアースボール20の撮影範囲を特定した場合に,前回の撮影範囲から変更されたか否かを判断する。撮影範囲が変更されていないと判断した場合(S4:NO),制御部11は,ステップS2の処理に戻り,所定のタイミングで撮影画像を取得し,取得した撮影画像に基づいてアースボール20を認識する処理を繰り返す。
【0029】
撮影範囲が変更されたと判断した場合(S4:YES),又は初めてアースボール20の認識が行われた場合,制御部11は,AR画像に用いるコンテンツをコンテンツDB12a又はアルバム12bから読み出す(S5)。制御部11は,例えばステップS3で認識したアースボール20又はARマーカに応じたコンテンツをコンテンツDB12aから読み出す。アースボール20又はARマーカに応じたコンテンツとは,例えば,撮影画像中のアースボール20の領域内の絵柄,地図等に応じたコンテンツ,又は撮影画像に含まれるARマーカに応じたコンテンツである。なお,操作パネル13を介してユーザから,AR画像に用いるコンテンツを指定された場合,制御部11は,指定されたコンテンツをアルバム12bから読み出す。
【0030】
次に制御部11は,ステップS5で読み出したコンテンツから,ステップS3で特定したアースボール20の撮影範囲に応じた領域(対応領域)を抽出する(S6)。例えば,制御部11は,アースボール20の撮影範囲の緯度及び経路に対応する領域の画像をコンテンツ画像から抽出する。そして,制御部11は,ステップS6で抽出した領域(コンテンツ)に対して画像処理を行う(S7)。ここでは,制御部11は,コンテンツを,撮影画像中のアースボール20の円形領域に表示できるように円形画像に変形する処理を行う。更に,制御部11は,撮影画像中のアースボール20の領域を全て覆うように,ステップS7で処理を行ったコンテンツに基づく円形のコンテンツ画像を重畳させてAR画像を生成する(S8)。制御部11は,生成したAR画像を操作パネル13に表示する(S9)。」

カ 「【図4】

」

(4)上記(3)ア段落[0012]及び[0013]の記載によれば,本件補正発明は,当初明細書等に記載の「情報処理装置10の制御部11が実行する制御プログラムに含まれる画像処理アプリケーションプログラム(画像処理アプリP)」が対応していると認められる。
そして,上記(3)ウ段落[0018]及び[0020]の記載によれば,本件補正発明の発明特定事項C'は,情報処理装置10の制御部11が画像処理アプリPを実行した場合に実現する「アースボール認識部21」の機能が対応していると認められる。
また,上記(3)オ段落[0026]及び[0027]の記載によれば,本件補正発明の発明特定事項C'は,画像処理アプリPに従って制御部11によって実行されるAR画像の表示処理における「ステップS3」が対応していると認められる。
そこで,当初明細書等に記載された「アースボール認識部21」の機能及びAR画像の表示処理における「ステップS3」について,以下に検討する。

(5)当初明細書等における「アースボール認識部21」の機能(上記(3)ウ段落[0020])及びAR画像の表示処理における「ステップS3」(上記(3)オ段落[0027])を再掲すると以下のとおりである。

ウ1 「カメラ16が取得した撮影画像に対して,撮影画像中のアースボール20の領域を認識し,また,アースボール20における撮影領域(撮影範囲)等を認識する。」

ウ2 「例えば,撮影画像に対して,アースボール20の輪郭である円形を認識することにより,撮影画像中のアースボール20の輪郭(領域)を特定する。」

ウ3 「また,撮影画像中のARマーカを認識し,認識したARマーカに基づいて,撮影されたアースボール20の領域(撮影範囲)を特定する。」

ウ4 「例えば,ARマーカに基づいて,撮影されたアースボール20(アースボール20の撮影範囲)に含まれる海,大陸,国,都市等を特定する。また,アースボール20の撮影範囲内の各位置(各地点)における地球上の位置情報(緯度及び経度)を特定する。なお,画像処理アプリPには,それぞれのARマーカがアースボール20に付された位置に関する情報,例えば,海,大陸,国,都市等の情報,又は地球上の位置情報が含まれている。」

ウ5 「よって,ARマーカを認識した場合,認識したARマーカの位置情報を特定でき,特定した位置情報に基づいてアースボール20の撮影範囲を特定できる。」

オ1 「取得した撮影画像に対して,撮影画像中のARマーカを認識し,ARマーカ及び撮影画像に基づいて,撮影画像中のアースボール20を認識する(S3)。」

(6)発明特定事項C1'の「前記球体の領域」及び「前記球体に対する撮影領域」は,発明特定事項C2'の「特定した前記地球上の位置情報に基づいて」認識するから,発明特定事項C'は,以下の2つの発明特定事項を含むものである(以下,「発明特定事項Cア」,「発明特定事項Cイ」と称する。)。

(Cア) 特定した前記地球上の位置情報に基づいて,取得した前記撮影画像中の前記球体の領域を認識する

(Cイ) 特定した前記地球上の位置情報に基づいて,取得した前記撮影画像中の前記球体に対する撮影領域とを認識する,

そして,上記(5)ウ1によれば,「アースボール認識部21」が認識するのは,「撮影画像中のアースボール20の領域」,また,「アースボール20における撮影領域(撮影範囲)」であることが記載されている。
ここで,発明特定事項Cアの「前記撮影画像中の前記球体の領域」は,上記(5)ウ1の「撮影画像中のアースボール20の領域」に対応するものであり,また,発明特定事項Cイの「前記球体に対する撮影領域」は,上記(5)ウ1の「アースボール20における撮影領域(撮影範囲)」に対応するものと認められる。
また,発明特定事項Cア及びCイの「特定した前記地球上の位置情報」は,上記(5)ウ4の「地球上の位置情報(緯度及び経度)」及び上記(5)ウ5の「ARマーカの位置情報」に対応するものと認められる。

(7)まず,発明特定事項Cイについて検討する。
上記(5)ウ3に「認識したARマーカに基づいて,撮影されたアースボール20の領域(撮影範囲)を特定する」ことが記載され,加えて,上記(5)ウ4に「認識したARマーカの位置情報を特定し,特定した位置情報に基づいてアースボール20の撮影範囲を特定できる」ことが記載されているから,発明特定事項Cイは,当初明細書等に記載された事項であるといえる。

(8)次に,発明特定事項Cアについて検討する。
上記(5)ウ2によれば,「アースボール20の領域」は「アースボール20の輪郭」であること,及び,「アースボール20の輪郭である円形を認識することにより,アースボール20の領域を特定する」ことが記載されている。
他方,上記(5)ウ3?ウ5には,「アースボール20の撮影範囲」を特定することは記載されているが,「アースボール20の領域」を特定することは記載されていない。また,上記(5)オ1には,「撮影画像中のアースボール20を認識する」と記載されているが,当該「アースボール20を認識する」ことの内容が「アースボール20の領域」であるのかは記載がない。
以上のことから,当初明細書等には,「アースボール20の輪郭である円形を認識することにより,アースボール20の領域を特定する」ことが記載されているが,「特定した前記地球上の位置情報」に基づいて,「アースボール20の領域」を特定すること,即ち,「前記撮影画像中の前記球体の領域」を特定することは記載されていない
したがって,発明特定事項Cアの「特定した前記地球上の位置情報に基づいて,取得した前記撮影画像中の前記球体の領域を認識する」ことは当初明細書には記載されていない。また,当初明細書等の記載から自明であるとも認められない。

(9)してみれば,発明特定事項Cアを含むように補正することを含む本件補正は,当初明細書等のすべての記載を総合することにより導かれる技術的事項との関係において,新たな技術的事項を導入するものである。
したがって,本件補正は,当初明細書等に記載された事項の範囲内においてするものとはいえず,特許法第17条の2第3項に規定する要件を満たしていない。

3 結語
以上のとおり,本件補正は,特許法第17条の2第3項の規定に違反するので,同法第159条第1項において読み替えて準用する同法第53条第1項の規定により却下すべきものである。
よって,上記補正の却下の決定の結論のとおり決定する。

第3 本願発明について
1 本願発明
令和1年11月15日にされた手続補正は,上記のとおり却下されたので,本願の請求項に係る発明は,本件補正前の平成30年11月29日付けの手続補正により補正された特許請求の範囲の請求項1?8に記載された事項により特定されるものであるところ,その請求項1に係る発明(以下「本願発明」という。)は次のとおりである。
なお,本願発明の各構成の符号(A)?(F)は,説明のために当審において付したものであり,以下,構成A?構成Fと称する。

(本願発明)
(A)コンピュータに,
(B)地図中に海,大陸,国及び都市の名称を含む世界地図,及び地域別に描かれたキャラクタを表面に有する球体を撮影した撮影画像を取得し,
(C)(C1)取得した前記撮影画像中の前記球体を(C2)前記世界地図及びキャラクタに基づいて認識し,
(D)前記世界地図及びキャラクタに基づいて認識した前記撮影画像中の前記球体の全領域を覆うようにコンテンツ画像を表示部に表示し,
(E)前記球体の全領域を覆うようにコンテンツ画像を表示しない場合,撮影した前記世界地図及びキャラクタを表面に有する前記球体の撮影画像を前記表示部に表示する
(F)処理を実行させるプログラム。

2 令和1年9月18日付けの当審の拒絶理由
令和1年9月18日付けで通知した当審の拒絶理由のうち＜理由1-A＞は,この出願の請求項1?8に係る発明は,本願の出願前に頒布された又は電気通信回線を通じて公衆に利用可能となった下記の引用文献1に記載された発明と引用文献2,3に記載された事項に基づいて,その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから,特許法第29条第2項の規定により特許を受けることができない,というものである。

引用文献1:特開2013-140547号公報
引用文献2:佐藤信彦,"入学祝いにぴったりな学習用のAR地球儀「Oｒbｏｏｔ」--地球上に画像がポップアップ"
引用文献3:ピープル株式会社,"くにキャラ地球儀"

3 引用文献1の記載及び引用発明
(1)引用文献1の記載事項
当審の拒絶理由で引用された,本願出願前に頒布された又は電気通信回線を通じて公衆に利用可能となった引用文献1(特開2013-140547号公報)には,図面と共に次の事項が記載されている。
なお,下線は強調のために当審で付したものである。

ア 「【0019】
以下,本発明の実施形態について図面を参照して詳細に説明する。図1は,本発明の実施形態であるカメラ姿勢推定装置20を含むARシステム1の概念図である。ARシステム1は,図1に示すように,撮像装置10,カメラ姿勢推定装置20,表示装置30,付加情報データベース90から構成される。
【0020】
撮像装置10は,撮像画像(カメラ画像,又は,2次元画像とも称する)を取得する装置である。撮像装置10の一例は,図1に示すように,WEBカメラである。但し,撮像装置10は,WEBカメラの如く独立した装置でなく,例えば,カメラ付き携帯電話端末に搭載されているカメラモジュールのように,他の装置と一体化,若しくは,他の装置の一部を構成するものであってもよい。撮像装置10,立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)を連続的に取得する。撮像装置10は,カメラ姿勢推定装置20及び表示装置30にカメラ画像を出力する。
【0021】
ARシステム1において使用する立体対象物は,球体形状を有する立体対象物(一部又は全部が球体である立体対象物。例えば様々な種類のボールや地球儀)である。図1に示す例では,球状の地球儀を用いているが,その他の球体形状を有する立体物を用いても,同様のARシステムが構築可能である。
【0022】
カメラ姿勢推定装置20は,撮像装置10から出力されたカメラ画像を取得する。カメラ画像を取得したカメラ姿勢推定装置20は,立体対象物に対するカメラの相対的な姿勢,即ち,カメラ姿勢を推定する(詳細は後述)。一般に,カメラ姿勢は,カメラの外部パラメータと呼ばれ,行列の形で表される。外部パラメータ(カメラ姿勢)には,3次元空間内のカメラの位置(カメラ位置),カメラの方向(カメラ方向)の情報が含まれる。画面内の物体の見え方は,カメラの外部パラメータと,カメラの内部パラメータと,その他光学的歪みのパラメータとによって決定される。カメラの内部パラメータには,カメラ固有の焦点距離,主軸の位置の情報が含まれる。本実施形態では内部パラメータや歪みパラメータは予めカメラキャリブレーション等によって取得され,歪みは取り除かれていることとする。
【0023】
カメラ姿勢(外部パラメータ)を推定したカメラ姿勢推定装置20は,表示装置30にカメラ姿勢を出力する。なお,ARシステム1において,複数の立体対象物を用いる場合には,カメラ姿勢推定装置20は,カメラ姿勢とともに,カメラ姿勢の推定する際に利用した立体対象物を識別する情報を表示装置30に出力する。
【0024】
付加情報データベース90は,表示装置30に出力する立体対象物に関する付加情報を記憶する記憶装置である。PCのHDD,携帯端末のメモリモジュールなどが付加情報データベース90に該当する。
付加情報の一例は,表示装置30の表示画面上において立体対象物に重畳して表示させるCG,他の画像,文字情報である。カメラ姿勢推定装置20によってカメラ姿勢が推定された場合,付加情報データベース90から当該カメラ姿勢に応じた付加情報が読み出され,表示装置30に出力され,表示装置30の表示画面上において,立体対象物に重畳して表示される。
【0025】
付加情報は,表示部30からの要求に応じて表示装置30に出力されてもよいし,カメラ姿勢推定装置20からの制御(出力指示)に応じて表示装置30に出力されてもよい。」

イ 「【0026】
重畳表示の応用例は,立体対象物の種類に応じて異なるが,図1に示すように,立体対象物として地球儀を用いる場合には,カメラ画像内の地球儀に対し,気象情報(例えば,天気図,温度分布)の重畳表示,地理的情報(例えば,高度を視覚できる表示態様による地表の情報,各種資源の埋蔵位置/埋蔵量に関する情報,過去の大陸形状/予想される未来の大陸形状)の重畳表示,社会的情報(例えば,現在の国名,国境,及び,国境,国名の更新情報,何らかの勢力分布/構成割合を示す情報)の重畳表示といった応用例が想定される。更に,ジェスチャー認識技術を更に用いて,指差した位置(指示位置)に応じた情報(例えば,指示位置を領土/領海とする国名,国旗,国境線)を重畳表示するといった応用例も考えられる。
【0027】
表示装置30は,撮像装置10が連続的に取得したカメラ画像をユーザに掲示する装置である。表示装置30の一例は,図1に示すようなモニタである。但し,表示装置30は,図1に示したモニタの如く独立した装置でなく,例えば,カメラ付き携帯電話端末における表示部(表示制御部及びディスプレイ)のように,他の装置と一体化,若しくは,他の装置の一部を構成するものであってもよい。また,表示装置30は,ヘッドマウントディスプレイ(HMD)のような形態であってもよい。
【0028】
表示装置30としてモニタ(ディスプレイ)を用いる場合には,カメラ画像に,付加情報データベース90から入力された付加情報を,カメラ姿勢推定装置20から入力されたカメラ姿勢によって補正された位置に重畳表示する。また,表示部がシースルー形の表示装置30(例えば,シースルー型のHMD)を用いる場合には,カメラ画像を表示せず,視界に付加情報のみを表示してもよい。
【0029】
なお,カメラ付き携帯電話端末に搭載されているカメラモジュール及び表示部が,ARシステム1の撮像装置10及び表示装置30と成り得る旨を説明したが,例えば,携帯端末(ノートPC,携帯電話端末,携帯型ゲーム機)上で,ARシステム1全体を構成してもよい。」

ウ 「【0030】
(カメラ姿勢推定装置20の構成)
図2は,カメラ姿勢推定装置20の機能ブロック図の一例である。カメラ姿勢推定装置20は,図2に示すように,カメラ位置推定部200,及び,カメラ方向推定部300を備える。カメラ姿勢推定装置20は,対象物である球体が写っている(可能性がある)カメラ画像と,当該球体の半径の情報(半径情報ｒ)と,当該球体の参照情報の3点を用いてカメラ姿勢を推定する。
【0031】
参照情報とは,対象物(具体的には,球体)の特徴点(画像内の2次元座標とその周囲の局所的な画素情報を表す特徴量とを含む)とその3次元座標(特徴点の2次元座標を3次元座標で表したもの)であって,予め取得し,参照情報データベース(非図示)に登録しておいたものである。なお,カメラ姿勢推定装置20(例えば,カメラ方向推定部300)が,参照情報データベースを有していてもよいし,カメラ姿勢推定装置20が参照可能な外部の装置が参照情報データベースを有していてもよい。
【0032】
カメラ姿勢推定装置20は,カメラ画像をカメラ位置推定部200とカメラ方向推定部300の両方に入力する。また,カメラ姿勢推定装置20は,当該球体の半径情報ｒをカメラ位置推定部200に入力する。また,カメラ姿勢推定装置20は,当該球体の参照情報をカメラ方向推定部300に入力する。カメラ姿勢推定装置20は最終的にカメラ位置推定部200が推定したカメラ位置と,カメラ方向推定部300が推定したカメラ方向を合わせて,カメラ姿勢として出力する。」

エ 「【0033】
(カメラ位置推定部200)
カメラ位置推定部200は,撮像装置10から入力されたカメラ画像と球状対象物に対するカメラ位置(撮像装置10の位置)を当該球状対象物のカメラ画像内の輪郭形状を利用して推定する。
【0034】
まず,カメラ位置推定部200は,入力されたカメラ画像から例えば,エッジ検出器(例えばCannyエッジ検出器)を用いてカメラ画像内のエッジ情報を取得する。カメラ位置推定部200は,立体対象物が単色である場合等や背景との輝度差が大きい場合には,輝度情報や色差情報を用いて適当な閾値で二値化処理を行い,その輪郭をエッジ情報としてもよい。次いで,カメラ位置推定部200は,エッジ情報を元にカメラ位置のパラメータを推定する。カメラ位置推定部200は,一般にカメラ位置のパラメータ(球に対するカメラの3次元座標値)を用いることで球の投影後の輪郭が特定できることを利用して,エッジ情報内の球の輪郭部分と,投影後の球の輪郭が一致するようなカメラ位置のパラメータを推定する。」

オ 「【0059】
(カメラ方向推定部300)
カメラ方向推定部300は,入力されたカメラ画像と参照情報,カメラ位置推定部200が推定するカメラ位置パラメータを用いてカメラ方向パラメータを推定する。
【0060】
カメラ方向推定部300は,まず,入力されたカメラ画像から特徴点(より詳細には,特徴点の2次元座標とそれに対応する特徴量の情報)を抽出する。例えば,Harrisコーナー検出器又はHessianキーポイント検出器等の特徴点検出器を用いて特徴点の2次元座標を取得する。特徴点検出器は,2次元座標を特定できるものであればあらゆる種類のものが使用可能である。また,エッジ情報を取得してそのエッジ情報をサンプリングし,特徴点の2次元座標として取り扱ってもよい。また,カメラ方向推定部300は,各特徴点固有の特徴量として,例えば,SIFT特徴量,SURF特徴量,BRIEF特徴量等の局所特徴量を用いる。
【0061】
カメラ方向推定部300は,次に,カメラ画像から抽出された特徴点を,入力された参照情報内の特徴点と比較して,一致する特徴点の組み合わせを取得する。つまり,カメラ方向推定部300は,対象物の参照情報をカメラ画像から取得した特徴点と照合し,一致する特徴点の組み合わせを取得する(詳細は後述)。
【0062】
次いで,カメラ方向推定部300は,一致した組み合せの特徴点の2次元座標を,球とピンホールカメラモデルの幾何情報を利用して3次元座標に変換し,3次元座標の組み合わせから球の回転,即ち,カメラ方向を推定する。つまり,カメラ方向推定部300は,球体に対するカメラ方向の推定過程において,球体の方程式を利用した逆投影処理によって,カメラ画像内の当該球体の特徴点の2次元座標に対応する球体の3次元座標を取得する(詳細は後述)。」

カ 「【0097】
なお,本発明の一実施形態によるカメラ姿勢推定装置20の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して,当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ,実行することにより,本発明の一実施形態によるカメラ姿勢推定装置20に係る処理を行ってもよい。なお,ここでいう「コンピュータシステム」とは,OSや周辺機器等のハードウェアを含むものであってもよい。また,「コンピュータシステム」は,WWWシステムを利用している場合であれば,ホームページ提供環境(あるいは表示環境)も含むものとする。また,「コンピュータ読み取り可能な記録媒体」とは,フレキシブルディスク,光磁気ディスク,ROM,フラッシュメモリ等の書き込み可能な不揮発性メモリ,CD-ROM等の可搬媒体,コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。」

(2)引用発明
引用文献1に記載されている事項について検討する。

ア 段落0019及び図1の記載から,引用文献1には,「撮像装置10,カメラ姿勢推定装置20,表示装置30,付加情報データベース90から構成されるARシステム1」が記載されている。
ここで,段落0020及び段落0027の記載から,前記撮像装置10及び前記表示装置30は,カメラ付き携帯電話端末と一体化するものであって,更に,段落0029の記載から,携帯電話端末上で,ARシステム1全体を構成したものとして認定する。
よって,引用文献1には,
「(a)撮像装置10,カメラ姿勢推定装置20,表示装置30,及び付加情報データベース90から構成されるARシステム1であって,
(b)前記撮像装置10は,カメラ付き携帯電話端末に搭載されているカメラモジュールのように,他の装置と一体化するものであって,
(c)前記表示装置30は,カメラ付き携帯電話端末における表示部(表示制御部及びディスプレイ)のように,他の装置と一体化するものであって,
(d)携帯電話端末上でARシステム1全体を構成し」たものが記載されている。

イ 段落0021及び図1の記載から,引用文献1に記載のARシステム1において使用する立体対象物は,球状の地球儀を用いているとして認定する。
よって,引用文献1には,
「(f)前記ARシステム1において使用する立体対象物は,球体形状を有する立体対象物の地球儀である」ことが記載されている。

ウ 段落0097の記載から,引用文献1に記載の発明を,引用文献1に記載のARシステム1のカメラ姿勢推定装置20の各処理を実行するためのプログラムとして認定する。

エ まとめ
上記ア?ウ,及び,上記(1)ア?カに摘記した引用文献1の記載事項から,引用文献1には,次の発明(以下,「引用発明」という。)が記載されていると認められる。
なお,引用発明の各構成を,それぞれに付した符号(a)?(m)により,以下,構成a?構成mと称する。

(引用発明)

(a)撮像装置10,カメラ姿勢推定装置20,表示装置30,及び付加情報データベース90から構成されるARシステム1であって,
(b)前記撮像装置10は,カメラ付き携帯電話端末に搭載されているカメラモジュールのように,他の装置と一体化するものであって,
(c)前記表示装置30は,カメラ付き携帯電話端末における表示部(表示制御部及びディスプレイ)のように,他の装置と一体化するものであって,
(d)携帯電話端末上でARシステム1全体を構成したものであり,

(e)前記撮像装置10は,立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)を連続的に取得して,前記カメラ姿勢推定装置20及び前記表示装置30にカメラ画像を出力し,

(f)前記ARシステム1において使用する立体対象物は,球体形状を有する立体対象物の地球儀であり,

(g)前記カメラ姿勢推定装置20は,
(g1)前記撮像装置10から出力されたカメラ画像を取得して,立体対象物に対するカメラの相対的な姿勢,即ち,カメラ姿勢を推定し,
(g2)前記カメラ姿勢には,カメラ位置とカメラ方向の情報が含まれ,
(g3)前記カメラ姿勢(外部パラメータ)を推定した前記カメラ姿勢推定装置20は,前記表示装置30にカメラ姿勢を出力し,

(h)(h1)前記付加情報データベース90は,前記表示装置30に出力する立体対象物に関する付加情報を記憶する記憶装置であり,
(h2)前記付加情報の一例は,前記表示装置30の表示画面上において立体対象物に重畳して表示させるCG,他の画像,文字情報であり,
(h3)前記カメラ姿勢推定装置20によってカメラ姿勢が推定された場合,前記付加情報データベース90から当該カメラ姿勢に応じた付加情報が読み出され,前記表示装置30に出力され,前記表示装置30の表示画面上において,立体対象物に重畳して表示され,
(h4)付加情報は,カメラ姿勢推定装置20からの制御(出力指示)に応じて表示装置30に出力され,
(h5)重畳表示は,カメラ画像内の地球儀に対し,気象情報(例えば,天気図,温度分布)の重畳表示,地理的情報(例えば,高度を視覚できる表示態様による地表の情報,各種資源の埋蔵位置/埋蔵量に関する情報,過去の大陸形状/予想される未来の大陸形状)の重畳表示,社会的情報(例えば,現在の国名,国境,及び,国境,国名の更新情報,何らかの勢力分布/構成割合を示す情報)の重畳表示であり,

(i)前記表示装置30は,撮像装置10が連続的に取得したカメラ画像をユーザに掲示する装置であり,カメラ画像に,前記付加情報データベース90から入力された付加情報を,前記カメラ姿勢推定装置20から入力されたカメラ姿勢によって補正された位置に重畳表示し,

(j)前記カメラ姿勢推定装置20は,
(j1)カメラ位置推定部200及びカメラ方向推定部300を備え,
(j2)対象物である球体が写っている(可能性がある)カメラ画像と,当該球体の半径の情報(半径情報ｒ)と,当該球体の参照情報の3点を用いてカメラ姿勢を推定し,
(j2)前記参照情報とは,対象物(具体的には,球体)の特徴点(画像内の2次元座標とその周囲の局所的な画素情報を表す特徴量とを含む)とその3次元座標(特徴点の2次元座標を3次元座標で表したもの)であって,
(j3)カメラ位置推定部200が推定したカメラ位置と,カメラ方向推定部300が推定したカメラ方向を合わせて,カメラ姿勢として表示装置30に出力し,

(k)前記カメラ位置推定部200は,
(k1)撮像装置10から入力されたカメラ画像と球状対象物に対するカメラ位置(撮像装置10の位置)を当該球状対象物のカメラ画像内の輪郭形状を利用して推定するものであり,
(k2)入力されたカメラ画像から,カメラ画像内のエッジ情報を取得し,
(k3)一般にカメラ位置のパラメータ(球に対するカメラの3次元座標値)を用いることで球の投影後の輪郭が特定できることを利用して,エッジ情報内の球の輪郭部分と,投影後の球の輪郭が一致するようなカメラ位置のパラメータを推定し,

(l)前記カメラ方向推定部300は,
(l1)カメラ画像と球体の参照情報とカメラ位置推定部200が推定したカメラ位置を入力してカメラ方向を推定するものであり,
(l2)カメラ画像から抽出された特徴点を,入力された参照情報内の特徴点と比較して,一致する特徴点の組み合わせを取得し,
(l3)一致した組み合せの特徴点の2次元座標を,球とピンホールカメラモデルの幾何情報を利用して3次元座標に変換し,3次元座標の組み合わせから球の回転,即ち,カメラ方向を推定するものであり,

(m)前記カメラ姿勢推定装置20の各処理を実行するためのプログラム。

4 引用文献2の記載及び技術

(1)引用文献2の記載事項
当審の拒絶の理由で引用された引用文献2には,図面と共に次の事項が記載されている。
なお,下線は強調のために当審で付したものである。

ア (印刷1頁の上から1行?2行)
「入学祝いにピッタリな学習用のAR地球儀「Oｒbｏｏｔ」--地球上に画像がポップアップ」

イ (印刷1頁の下から4行?最下行)
「Oｒbｏｏｔは,直径10インチ(約cm)の地球儀。行政図でなく地勢図を描いており,各地の動物や建物を一緒に描いた親しみやすいデザインだ。スマートフォンやタブレットに対応アプリをインストールし,アプリを使って眺めると,表示中の地域にちなんだ動物や建物,文化的な情報が画面にポップアップする。」

(2)引用文献2に記載の技術
上記(1)の記載から,引用文献2には,次の技術が記載されている。

(引用文献2に記載の技術)
「各地の動物や建物」を描いた地球儀とスマートフォンやタブレットを用いて,当該スマートフォンやタブレットで地球儀に描いた「各地の動物や建物」を眺めると,表示中の地域にちなんだ動物や建物,文化的な情報などを当該スマートフォンやタブレットに出力するAR技術。

5 対比

本願発明と引用発明とを対比する。

まず,構成B?Eについて先に検討する。

(1)構成Bについて
一般に「地球儀」は,地図中に海,大陸,国及び都市の名称を含む世界地図を表面に有する球体であるから,引用発明のARシステム1において使用される「球体形状を有する立体対象物の地球儀」と構成Bの「地図中に海,大陸,国及び都市の名称を含む世界地図,及び地域別に描かれたキャラクタを表面に有する球体」とは,「地図中に海,大陸,国及び都市の名称を含む世界地図を表面に有する球体」である点で共通する。
しかしながら,本願発明では,球体が,「地域別に描かれたキャラクタ」を表面に有しているのに対して,引用発明では,「地域別に描かれたキャラクタ」を表面に有することは特定されていない点で相違している。
また,構成eの「立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)」は構成Bの「球体を撮影した撮影画像」に相当する。
してみれば,上記の球体に係る相違点を除いて,構成g1の「立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)を連続的に取得」することと構成Bとは,「(B’)地図中に海,大陸,国及び都市の名称を含む世界地図を表面に有する球体を撮影した撮影画像を取得」する点で共通する。

(2)構成Cについて
引用発明の「カメラ姿勢」は,「球に対するカメラの3次元座標値」(構成k3)である「球状対象物に対するカメラ位置」(構成k1)と,「球の回転」(構成l3)である「カメラの方向」(構成l3)の情報を含む「立体対象物に対するカメラの相対的な姿勢」(構成g2)である。
引用発明において,「球に対するカメラの3次元座標値」,「球の回転」を推定することは,カメラ画像に写っている球体(立体対象物)の撮影範囲を認識することであるから,「球体を認識する」ことといえる。
ここで,引用発明の「対象物である球体」(構成j2)及び「球状対象物」は構成C1の「取得した前記撮影画像中の前記球体」に相当する。
よって,引用発明の「カメラ姿勢を推定」することは,本願発明の「(C1)取得した前記撮影画像中の前記球体」を認識することに相当する。

また,引用発明のカメラ画像は,立体対象物である地球儀上に描かれた“世界地図”を撮影した画像であるから,構成l2の「カメラ画像から抽出された特徴点」は,世界地図の画像から抽出された特徴点であるといえる。そうすると,構成lと構成C2とは,球体を「世界地図に基づいて認識」する点で共通する。
以上から,引用発明の「カメラ姿勢を推定する」ことと,構成Cは,「(C’)(C1)取得した前記撮影画像中の前記球体を(C2’)世界地図に基づいて認識」する点で共通する。
しかしながら,球体を認識することが,本願発明は,「前記世界地図及びキャラクタ」に基づいているのに対して,引用発明では,「前記世界地図及びキャラクタ」に基づいていない点で相違している。

(3)構成Dについて
構成h3の表示画面上の「立体対象物」及び「付加情報」はそれぞれ構成Dの「撮影画像中の球体」及び「コンテンツ画像」に相当する。
構成h3の「カメラ画像内の地球儀」に対し重畳表示することは,表示画面上の地球儀の画像の領域に重畳して表示することから,構成hは,「撮影画像中の球体の領域を覆うように付加情報を表示装置に表示するといえる。
してみれば,構成hと,構成Dとは,「球体を覆うようにコンテンツ画像を表示部に表示」する点で共通する。
以上のことと,上記(2)で検討したことから,構成hと,構成Dとは,上記(2)の相違点を除いて,「(D’)前記世界地図に基づいて認識した前記撮影画像中の前記球体の領域を覆うようにコンテンツ画像を表示部に表示」する点で共通する。
しかしながら,コンテンツ画像を表示する前記球体の領域について,本願発明では,「全領域」であるのに対して,引用発明は,「全領域」であることは特定されていない点で相違している。

(4)構成Eについて
引用発明の「付加情報」は,「カメラ姿勢推定装置20からの制御(出力指示)に応じて表示装置30に出力され」る(構成h4)から,カメラ姿勢推定装置20からの制御(出力指示)がなされない場合には出力されないものである。そして,その場合,表示装置30には,付加情報を立体対象物に重畳表示せず,「立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)」のみが出力され,表示装置30に表示するといえる。
以上の検討から,引用発明の「カメラ姿勢推定装置20」からの制御(出力指示)がなされない場合,付加情報を立体対象物に重畳して表示せず,「撮像装置10が連続的に取得した立体対象物を撮像したカメラ画像(立体対象物が写っているカメラ画像)を表示装置30に表示する」ことと本願発明の構成Eとは,「(E’)球体を覆うようにコンテンツ画像を表示しない場合,撮影した世界地図を表面に有する前記球体の撮影画像を表示部に表示する」点で共通する。
しかしながら,「前記球体の領域」と「球体を認識すること」について,本願発明と引用発明は,上記(2)及び(3)の相違点と同じ点で相違している。

(5)本願発明の構成A及びFについて
構成dの「携帯電話端末上でARシステム全体を構成したもの」は,構成g,j,k,lのカメラ姿勢推定装置20の処理を実行するためのコンピュータであるといえるから本願発明の「(A)コンピュータ」に相当する。
また,構成mの「プログラム」は,「携帯電話端末上でARシステム全体を構成したもの」に,カメラ姿勢推定装置20の各処理を実行させるためのプログラムであるから,上記(1)?(4)で検討した構成B’,構成C’,構成D’及び構成E’の各処理を実行させるプログラムである点で本願発明の「(F)処理を実行させるプログラム」に相当する。

以上の検討から,引用発明と本願発明とは以下の点で一致し,また,相違する。

[一致点]
(A)コンピュータに,
(B’)地図中に海,大陸,国及び都市の名称を含む世界地図を表面に有する球体を撮影した撮影画像を取得し,
(C’)取得した前記撮影画像中の前記球体を前記世界地図に基づいて認識し,
(D’)前記世界地図に基づいて認識した前記撮影画像中の前記球体を覆うようにコンテンツ画像を表示部に表示し,
(E’)前記球体を覆うようにコンテンツ画像を表示しない場合,撮影した前記世界地図を表面に有する前記球体の撮影画像を前記表示部に表示する
(F)処理を実行させるプログラム。

[相違点1]
本願発明では,球体が,「地域別に描かれたキャラクタ」を表面に有しており,前記球体を認識することが,「前記世界地図及びキャラクタ」に基づいているのに対して,引用発明では,球体が,「地域別に描かれたキャラクタ」を表面に有することは特定されておらず,また,前記球体を認識することが,「前記世界地図及びキャラクタ」に基づいていない点。

[相違点2]
コンテンツ画像を表示する前記球体の領域について,本願発明では,「全領域」であるのに対して,引用発明は,「全領域」であることは特定されていない点。

6 判断

上記相違点について検討する。

(1)相違点1について
引用発明と引用文献2に記載の技術は,地球儀を立体対象物として,カメラ付き携帯端末を用いて地球儀に描いた地域にちなんだ動物や建物,文化的な情報などの情報を出力するAR技術として共通する技術であるから,引用発明に引用文献2に記載の技術を採用することは当業者が容易に想到し得たことである。
よって,引用発明に引用文献2に記載の技術を採用して,引用発明の地球儀を「地域別に描かれたキャラクタ」を表面に有するようにすること,それにより,前記球体を認識することが,地球儀に描かれた「世界地図及びキャラクタ」に基づいている構成とすることは当業者であれば容易に想到し得たことである。

(2)相違点2について
引用発明の構成h5の「付加情報」の「気象情報」,「地理的情報」,「社会的情報」は,いずれも,地球の地表面の各地域にわたって存在する情報であることから,これらの付加情報をカメラ画像内の地球儀の各地域に対応する領域に重畳表示する際に,地球儀の各地域に対応しない領域には表示しないようにすること,即ち,カメラ画像内の球の輪郭内に重畳表示するように構成することは当業者が容易に想到し得たことである。
よって,引用発明において,コンテンツ画像を表示する前記球体の領域について,前記球体の「全領域」とすることは,当業者が容易に想到し得たことである。

(3)そして,これらの相違点を総合的に勘案しても,本願発明の奏する作用効果は,引用発明及び引用文献2に記載の技術の奏する作用効果から予測される範囲内のものにすぎず,格別顕著なものということはできない。

7 まとめ
以上のとおりであるから,本願発明は引用発明及び引用文献2に記載の技術に基づいて,当業者が容易に発明をすることができたものである。

第4 むすび
以上のように,本願の請求項1に係る発明は,引用文献1に記載された発明及び引用文献2に記載の技術に基づいて当業者が容易に発明をすることができたものであるから,特許法第29条第2項の規定により特許を受けることができない。
したがって,他の請求項について検討するまでもなく,本願は拒絶をすべきものである。

よって,結論のとおり審決する。

 
審理終結日 2020-02-21 
結審通知日 2020-02-25 
審決日 2020-03-12 
出願番号 特願2017-219032(P2017-219032)
審決分類 P 1 8・ 561- WZ (G06T)
P 1 8・ 121- WZ (G06T)
最終処分 不成立  
前審関与審査官 村松 貴士  
特許庁審判長 鳥居 稔
特許庁審判官 藤原 敬利
須田 勝巳
発明の名称 プログラム、情報処理装置及び情報処理方法  
代理人 河野 英仁  
代理人 河野 登夫  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ