• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 1項3号刊行物記載 取り消して特許、登録 G06F
審判 査定不服 2項進歩性 取り消して特許、登録 G06F
管理番号 1373463
審判番号 不服2020-2640  
総通号数 258 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2021-06-25 
種別 拒絶査定不服の審決 
審判請求日 2020-02-27 
確定日 2021-05-11 
事件の表示 特願2017-556673「仮想現実においてハンドヘルド電子装置を追跡するためのシステム」拒絶査定不服審判事件〔平成29年 1月12日国際公開、WO2017/007637、平成30年10月18日国内公表、特表2018-530797、請求項の数(19)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続きの経緯

本願は、2016年(平成28年)6月28日(パリ条約による優先権主張2015年7月7日、米国)を国際出願日とする出願であって、平成31年3月19日付けで拒絶理由通知がされ、令和元年6月19日に意見書が提出されるとともに手続補正がなされたが、令和元年10月31日付けで拒絶査定(原査定)がされ、これに対し、令和2年2月27日に拒絶査定不服審判の請求がされると同時に手続補正がなされたものである。

第2 原査定の概要

原査定(令和元年10月31日付け拒絶査定)の概要は次のとおりである。

2.(新規性)この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第29条第1項第3号に該当し、特許を受けることができない。

3.(進歩性)この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者(以下、「当業者」という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

記

●理由2(新規性)、理由3(進歩性)について
・請求項 1、6
・引用文献等 1

●理由3(進歩性)について
・請求項 2-5、7-20
・引用文献等 1-2

＜引用文献等一覧＞
1.国際公開第2014/188798号
2.特開2011-186856号公報

第3 本願発明

本願の請求項1-19に係る発明(以下、それぞれ「本願発明1」-「本願発明19」という。)は、令和2年2月27日になされた手続補正で補正された特許請求の範囲の請求項1-19に記載された事項により特定される発明であり、本願発明1-本願発明19は、以下のとおりの発明である。

「 【請求項1】
第1の電子装置を第2の電子装置と、前記第1の電子装置と前記第2の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第2の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に仮想環境を生成し表示するように構成され、前記第1の電子装置は、前記ユーザが使用するハンドヘルドコントローラであり、
第1のモードにおいて、前記第2の電子装置に対する前記第1の電子装置の動きを追跡するステップを含み、前記追跡するステップは、
前記第2の電子装置の上にある複数の視覚マーカーを、前記第1の電子装置のセンサによって検出するステップを含み、前記複数の視覚マーカーは、前記第2の電子装置の第1の表面上に位置する第1の視覚マーカーと、前記第2の電子装置の第2の表面上に位置する第2の視覚マーカーと、を含み、前記第2の表面は前記第1の表面とは異なり、前記追跡するステップは、さらに、
前記複数の視覚マーカーにおいて検出された特徴に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置を求め、前記周囲環境の中における前記第1の電子装置の動きを追跡するステップとを含み、前記第2の電子装置の位置を求めるステップは、
前記第2の電子装置の位置の逆変換を計算するステップと、
前記第1の電子装置の現在の位置を前記第1の電子装置の過去の位置と比較することにより、前記第1の電子装置の動きを追跡するステップとを含み、さらに、
前記検出し追跡した、前記周囲環境の中における前記第1の電子装置の動きを、前記仮想環境の中における対応する動作に変換するステップを含む、方法。
【請求項2】
前記複数の視覚マーカーを検出するステップおよび前記周囲環境の中における前記第1の電子装置の動きを追跡するステップは、
前記第1の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第2の電子装置の画像を含み、
前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
前記検出した複数の所定の特徴を、前記第2の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
前記複数の所定の特徴の検出に基づいて、前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップとを含む、請求項1に記載の方法。
【請求項3】
前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較するステップおよび前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの前記既知の画像における対応する複数の特徴の向きと比較するステップと、
前記比較に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置および向きを求めるステップとを含む、請求項2に記載の方法。
【請求項4】
前記第1の電子装置の光学センサを用いて光学データを収集するステップは、
前記第2の電子装置の画像を、前記第1の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサのみに見える前記第1の電子装置上の赤外線パターンを含む、請求項3に記載の方法。
【請求項5】
前記光学センサは前記ハンドヘルドコントローラの前面カメラであり、前記複数の視覚マーカーは、前記ヘッドマウントディスプレイ装置の第1の表面上の第1の2次元バーコードと、前記ヘッドマウントディスプレイ装置の第2の表面上の第2の2次元バーコードとを含む、請求項2に記載の方法。
【請求項6】
第2のモードにおいて、前記第2の電子装置に対する前記第1の電子装置の動きを追跡するステップをさらに含み、前記第2のモードは、
前記第2の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第1の電子装置の画像を含み、前記第2のモードはさらに、
前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
前記検出した複数の所定の特徴を、前記第2の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップと、
前記複数の所定の特徴の検出に基づく前記識別した複数の視覚マーカーに基づいて前記第2の電子装置に対する前記第1の電子装置の相対的な位置を求めるステップと、
前記第1の電子装置の現在の位置を前記第1の電子装置の過去の位置と比較することにより、前記第1の電子装置の動きを追跡するステップとを含む、請求項1に記載の方法。
【請求項7】
前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較し前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、
前記比較に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置および向きを求めるステップとを含む、請求項6に記載の方法。
【請求項8】
前記第2の電子装置の光学センサを用いて光学データを収集するステップは、
前記第1の電子装置の画像を、前記第2の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサに見える前記第1の電子装置上の定められた赤外線パターンを含む、請求項7に記載の方法。
【請求項9】
前記光学センサは前記ヘッドマウントディスプレイ装置上のカメラであり、前記視覚マーカーは前記ハンドヘルドコントローラのディスプレイ画面上にレンダリングされたまたは前記ハンドヘルドコントローラの外面上に位置する2次元バーコードである、請求項6に記載の方法。
【請求項10】
ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置を備え、前記ヘッドマウント電子装置は、前記ヘッドマウント電子装置の筐体の外面上に複数の視覚マーカーを有し、前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異なり、前記ハンドヘルド電子装置は光学センサとプロセッサとを含み、
前記ハンドヘルド電子装置は、
前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め、
前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の逆変換を計算することにより、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、構成されている、システム。
【請求項11】
前記第1の視覚マーカーは、前記ヘッドマウント電子装置の前記第1の表面に対応付けられた第1のパターンによって定められ、前記第1のパターンは、第1の非繰返しパターンまたは第1の複数の明確なコーナーのうちの少なくとも一方を含み、
前記第2の視覚マーカーは、前記ヘッドマウント電子装置の前記第2の表面に対応付けられた第2のパターンによって定められ、前記第2のパターンは、第2の非繰返しパターンまたは第2の複数の明確なコーナーのうちの少なくとも一方を含む、請求項10に記載のシステム。
【請求項12】
前記第1のパターンは、前記ヘッドマウント電子装置の前記第1の表面に対応付けられた第1の赤外線パターンであり、前記第2のパターンは、前記ヘッドマウント電子装置の前記第2の表面に対応付けられた第2の赤外線パターンであり、
前記ハンドヘルド電子装置の前記光学センサは、赤外線投光器と赤外線センサとを含み、前記第1のパターンおよび前記第2のパターンが前記赤外線投光器によって照明されている間、前記第1のパターンおよび前記第2のパターンは前記赤外線センサのみに見える、請求項11に記載のシステム。
【請求項13】
前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および動きを求めるとき、前記ハンドヘルド電子装置は、
前記光学センサが収集した画像において検出された前記第1のパターンの向きを、前記第1の視覚マーカーの既知の画像に含まれる前記第1のパターンの向きと比較し、
前記光学センサが収集した画像において検出された前記第2のパターンの向きを、前記第2の視覚マーカーの既知の画像に含まれる前記第2のパターンの向きと比較し、
前記比較に基づいて、前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および向きを求めるように、
構成されている、請求項11に記載のシステム。
【請求項14】
前記第1の視覚マーカーは、前記ヘッドマウント電子装置の前面に対応付けられた第1の2次元バーコードを含み、前記第2の視覚マーカーは、前記ヘッドマウント電子装置の下面に対応付けられた第2の2次元バーコードを含む、請求項10に記載のシステム。
【請求項15】
前記第1の表面は前記ヘッドマウント電子装置の前面であり、前記第2の表面は、前記ヘッドマウント電子装置の下面である、請求項10?14のいずれか1項に記載のシステム。
【請求項16】
前記ヘッドマウント電子装置はプロセッサを含み、前記プロセッサは、
前記ヘッドマウント電子装置の光学センサを用いて前記ハンドヘルド電子装置の画像を取得し、
前記光学センサによって取得した画像において複数の所定の特徴を検出し、
前記検出した複数の所定の特徴を、前記複数の視覚マーカーの既知の画像と比較し、
前記比較に基づいて少なくとも1つの視覚マーカーを識別し、
前記識別した少なくとも1つの視覚マーカーに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、
構成されている、請求項10に記載のシステム。
【請求項17】
前記識別した少なくとも1つの視覚マーカーは、前記ハンドヘルド電子装置のディスプレイ画面上にレンダリングされたまたは前記ハンドヘルド電子装置の外面上に位置する2次元バーコードである、請求項16に記載のシステム。
【請求項18】
前記ハンドヘルド電子装置はハンドヘルドコントローラまたはスマートフォンであり、
周囲環境における前記ハンドヘルド電子装置の動きは、前記ヘッドマウント電子装置によって生成された仮想環境における対応する対話に変換される、請求項10?17のいずれか1項に記載のシステム。
【請求項19】
プロセッサ上で実行されると、請求項1?9のいずれか1項に記載の方法を実行する命令を含むコンピュータプログラム。」

第4 引用文献、引用発明等

1.引用文献1の記載事項について
(1)引用文献1の記載
原査定の拒絶の理由に引用された上記引用文献1には、図面とともに次の事項が記載されている(下線は、当審付与。以下同様。)。

「[0014]
(1-1.第1の装置構成例)
図1は、本開示の第1の装置構成例に係るシステムを概略的に示す図である。図1を参照すると、システム10は、ウェアラブルディスプレイ100と、モバイル端末200とを含む。
[0015]
ウェアラブルディスプレイ100は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイである。ウェアラブルディスプレイ100は、例えば図示された例のようにユーザの視界を遮蔽してその中に画像を表示してもよいし、眼鏡型などの形状を有してユーザの視界に透過的に画像を重畳表示してもよい。
[0016]
ユーザは、ウェアラブルディスプレイ100を装着することによって、例えば視界の大部分を占める迫力ある画像を鑑賞することができうる。また、ユーザは、ウェアラブルディスプレイ100が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ100を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実(AR:Augmented Reality)を体験することもできうる。なお、本明細書において、「像」(image)は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」(picture)は像を認識させるために表示部に例えば電子的に映し出されるものを意味する。」

「[0019]
そこで、本開示のいくつかの実施形態では、モバイル端末200を、ウェアラブルディスプレイ100の操作手段として利用する。モバイル端末200は、ウェアラブルディスプレイ100の近傍にあり、同じユーザによって操作されうる。モバイル端末200は、ユーザによる操作入力を取得可能な端末装置であればどのようなものでもよい。例えば、モバイル端末200はスマートフォン、タブレット端末、携帯型ゲーム機などでありうるが、その種類は特に限定されない。」

「[0021]
図2は、本開示の第1の装置構成例の概略的な機能構成を示すブロック図である。図2を参照すると、ウェアラブルディスプレイ100-1は、表示部110と、スピーカ120と、カメラ130と、プロセッサ140と、メモリ150と、通信部160とを有する。また、モバイル端末200-1は、表示部210と、タッチセンサ220と、カメラ230と、プロセッサ240と、メモリ250と、通信部260とを有する。なお、図2に示す機能構成は説明のために例示されているにすぎず、ウェアラブルディスプレイ100-1およびモバイル端末200-1は、図示されない他の機能構成をさらに含みうる。以下、それぞれの装置の機能構成についてさらに説明する。」

「[0022]
(ウェアラブルディスプレイ)
表示部110は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light-Emitting Diode)などでありうる。表示部110は、プロセッサ140の制御に従って各種の画像を表示する。上述のように、表示部110はユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよい。表示部110がユーザの視界を遮蔽する場合でも、後述するカメラ130が撮像した周囲の実空間の画像を表示部110に表示させることで、ユーザは表示部110を介して透過的に実空間の像を視認することができる。表示部110は、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのGUIの画像を表示してもよい。
・・・(中略)・・・
[0025]
プロセッサ140は、例えばCPU(Central Processing Unit)またはDSP(Digital Signal Processor)といったような各種の処理回路であり、メモリ150に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。図示された例において、プロセッサ140は、例えば、通信部160を介してモバイル端末200-1から受信された情報に基づいて、表示部110における画像の表示を含むウェアラブルディスプレイ100-1全体の動作を制御する。
・・・(中略)・・・
[0027]
通信部160は、ウェアラブルディスプレイ100-1による他の装置との通信を仲介する通信インターフェースである。通信部160は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、モバイル端末200-1を含む他の装置との通信接続を確立する。図示された例において、通信部160は、例えば、モバイル端末200-1において取得されたユーザ操作に基づいて表示部110の表示などを制御するための情報を受信する。」

「[0028]
(モバイル端末)
表示部210は、例えばLCDまたはOLEDなどでありうる。表示部210は、プロセッサ240の制御に従って各種の画像を表示する。以下で説明する例のように、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、表示部210には、ウェアラブルディスプレイ100-1を操作するためのGUIが表示されてもよい。あるいは、ウェアラブルディスプレイ100-1でモバイル端末200-1の表示部210に重畳するようにGUI画像を表示させることも可能であるため、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合に表示部210は画像を表示していなくてもよい。
・・・(中略)・・・
[0030]
カメラ230は、例えばCCDやCMOSなどの撮像素子を用いて実空間を撮像し、撮像画像を生成する。図示された例において、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、カメラ230が生成する撮像画像の画角にはウェアラブルディスプレイ100が含まれ、後述するプロセッサ240において撮像画像の解析によってモバイル端末200-1とウェアラブルディスプレイ100-1との空間的関係が推定されうる。あるいは、カメラ230は、被写体までの距離を画素ごとに測定する深度(depth)センサを含み、深度センサから出力される深度データに基づいてモバイル端末200-1とウェアラブルディスプレイ100-1との空間的関係が推定されてもよい。
[0031]
プロセッサ240は、例えばCPUまたはDSPといったような各種の処理回路であり、メモリ250に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。例えば、図示された例において、プロセッサ240は、以下で説明する空間的関係取得部242、操作取得部244、および表示制御部246の各機能を実現する。
[0032]
空間的関係取得部242は、例えばカメラ230が生成した撮像画像、および/またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定する。ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係は、例えばいずれかの装置を基準にした座標系で表現されうる。あるいは、ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係は、両装置が存在する実空間に定義される座標系によって表現されてもよい。
[0033]
操作取得部244は、タッチセンサ220に対するユーザの操作入力を示す情報を取得する。より具体的には、操作取得部244が取得する情報は、表示部210の表示面へのユーザの接触の有無および/または接触の位置を示す情報でありうる。操作取得部244は、例えばこれらの情報を時系列で取得することによって、タップ操作、ドラッグ操作、またはフリック操作などといった操作入力の種類を識別することが可能である。さらに、操作取得部244は、操作入力を、空間的関係取得部242が取得したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係に対応付ける。これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ100-1とモバイル端末200-1とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含みうる。
[0034]
表示制御部246は、操作取得部244が取得したユーザの操作入力と、空間的関係取得部242が推定したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係とに基づいて、ウェアラブルディスプレイ100-1における画像の表示を制御するための情報を生成する。例えば、表示制御部246は、ウェアラブルディスプレイ100-1におけるコンテンツ画像の表示を制御するための情報を生成する。この制御は、例えばコンテンツの再生/停止、拡大/縮小などを含みうる。また、例えば、表示制御部246は、ウェアラブルディスプレイ100-1におけるGUIの表示を制御するための情報を生成してもよい。GUIの表示の制御は、例えば表示されたコンテンツアイコンの選択や移動、視点の変更などを含みうる。表示制御部246によって生成された情報は、通信部260を介してウェアラブルディスプレイ100-1に送信される。
・・・(中略)・・・
[0036]
通信部260は、モバイル端末200-1による他の装置との通信を仲介する通信インターフェースである。通信部260は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、ウェアラブルディスプレイ100-1を含む他の装置との通信接続を確立する。図示された例において、通信部260は、例えば、プロセッサ240によって実現される表示制御部246が生成した情報をウェアラブルディスプレイ100-1に送信する。」

「[0037]
(空間的関係の推定)
図3は、本開示の第1の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。図3に示された例では、モバイル端末200-1のプロセッサ240によって実現される空間的関係取得部242が、カメラ230が生成した撮像画像2300の解析に基づいてウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定する。このとき、モバイル端末200-1のカメラ230は、ウェアラブルディスプレイ100-1が装着されたユーザの頭部の方を向いている。従って、例えばユーザがモバイル端末200-1の表示部210を自分の方に向けて操作する場合、カメラ230はいわゆるインカメラでありうる。
[0038]
図示されているように、カメラ230によって生成される撮像画像2300には、ユーザの頭部に装着されたウェアラブルディスプレイ100’が映っている。空間的関係取得部242は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ100’をオブジェクト認識し、ウェアラブルディスプレイ100’の画像内でのサイズや姿勢などに基づいてカメラ230に対するウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定する。あるいは、ウェアラブルディスプレイ100-1の筐体の所定の位置に赤外発光素子(図示せず)を取り付け、赤外領域の撮像が可能なカメラ230が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ100-1の位置および姿勢を推定してもよい。」

「[0063]
(2-1.スクロール操作)
(第1の例)
図9は、本開示の実施形態におけるスクロール操作の第1の例を示す図である。図示された例では、ウェアラブルディスプレイ100の表示部110に表示される画像1100において、配列されたアイコン(A?C)が左から右へとスクロールされている。
[0064]
このとき、ユーザは、モバイル端末200を把持し、モバイル端末200のタッチセンサ220に対してタッチ操作2201を実行している。より具体的には、図9Aに示すスクロール操作の開始時にユーザはタッチ操作2201を開始し、図9Bに示すスクロール操作の終了時までタッチ操作2201を継続している。この間、ユーザは、実空間においてモバイル端末200を図中の左側から右側へと移動させている。つまり、ユーザは、タッチ操作2201を継続しながらモバイル端末200を実空間内でドラッグ操作しているともいえる。
[0065]
上記の場合において、モバイル端末200のプロセッサ240は、空間的関係取得部242の機能によって、例えばカメラ230の撮像画像におけるウェアラブルディスプレイ100’の形状の変化から、ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化を検出することができる。図示された例において、プロセッサ240は、画像1100の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像1100に配列されたアイコンをスクロールさせている。」

「[図9]

」

(2)引用発明
ア 引用システム発明
引用文献1の上記(1)の記載からみて、引用文献1には次の発明(以下、「引用システム発明」という。)が記載されていると認められる。

「ウェアラブルディスプレイ100と、モバイル端末200とを含むシステム10であって、
ウェアラブルディスプレイ100は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイであり、ユーザは、ウェアラブルディスプレイ100を装着することによって、ウェアラブルディスプレイ100が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ100を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実を体験することもでき、なお、「像」(image)は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」(picture)は像を認識させるために表示部に電子的に映し出されるものを意味し、
モバイル端末200を、ウェアラブルディスプレイ100の操作手段として利用し、モバイル端末200は、ウェアラブルディスプレイ100の近傍にあり、同じユーザによって操作され、
ウェアラブルディスプレイ100-1は、表示部110と、カメラ130と、プロセッサ140と、通信部160とを有し、モバイル端末200-1は、表示部210と、タッチセンサ220と、カメラ230と、プロセッサ240と、通信部260とを有し、
ウェアラブルディスプレイに関して、
表示部110は、プロセッサ140の制御に従って各種の画像を表示し、ユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよく、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのGUIの画像を表示してもよく、
プロセッサ140は、通信部160を介してモバイル端末200-1から受信された情報に基づいて、表示部110における画像の表示を含むウェアラブルディスプレイ100-1全体の動作を制御し、
通信部160は、ウェアラブルディスプレイ100-1による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、モバイル端末200-1を含む他の装置との通信接続を確立し、モバイル端末200-1において取得されたユーザ操作に基づいて表示部110の表示などを制御するための情報を受信し、
モバイル端末に関して、
表示部210は、プロセッサ240の制御に従って各種の画像を表示し、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、表示部210には、ウェアラブルディスプレイ100-1を操作するためのGUIが表示されてもよく、あるいは、ウェアラブルディスプレイ100-1でモバイル端末200-1の表示部210に重畳するようにGUI画像を表示させることも可能であるため、表示部210は画像を表示していなくてもよく、
カメラ230は、撮像素子を用いて実空間を撮像し、撮像画像を生成し、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、カメラ230が生成する撮像画像の画角にはウェアラブルディスプレイ100が含まれ、プロセッサ240において撮像画像の解析によってモバイル端末200-1とウェアラブルディスプレイ100-1との空間的関係が推定され、
プロセッサ240は、プログラムに従って演算や制御などの動作を実行することによって各種の機能を実現し、例えば、空間的関係取得部242、操作取得部244、および表示制御部246の各機能を実現し、
空間的関係取得部242は、例えばカメラ230が生成した撮像画像、および/またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定し、
操作取得部244は、タッチセンサ220に対するユーザの操作入力を示す情報を取得し、さらに、操作取得部244は、操作入力を、空間的関係取得部242が取得したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係に対応付け、これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ100-1とモバイル端末200-1とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含み、
表示制御部246は、操作取得部244が取得したユーザの操作入力と、空間的関係取得部242が推定したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係とに基づいて、ウェアラブルディスプレイ100-1における画像の表示を制御するための情報を生成し、また、ウェアラブルディスプレイ100-1におけるGUIの表示を制御するための情報を生成してもよく、
通信部260は、モバイル端末200-1による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、ウェアラブルディスプレイ100-1を含む他の装置との通信接続を確立し、プロセッサ240によって実現される表示制御部246が生成した情報をウェアラブルディスプレイ100-1に送信し、
モバイル端末200-1のプロセッサ240によって実現される空間的関係取得部242が、カメラ230が生成した撮像画像2300の解析に基づいてウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定し、モバイル端末200-1のカメラ230は、ウェアラブルディスプレイ100-1が装着されたユーザの頭部の方を向いており、ユーザがモバイル端末200-1の表示部210を自分の方に向けて操作する場合、カメラ230はいわゆるインカメラであり、
カメラ230によって生成される撮像画像2300には、ユーザの頭部に装着されたウェアラブルディスプレイ100’が映っており、空間的関係取得部242は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ100’をオブジェクト認識し、ウェアラブルディスプレイ100’の画像内でのサイズや姿勢などに基づいてカメラ230に対するウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定し、あるいは、ウェアラブルディスプレイ100-1の筐体の所定の位置に赤外発光素子を取り付け、赤外領域の撮像が可能なカメラ230が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ100-1の位置および姿勢を推定してもよく、
スクロール操作の例では、ウェアラブルディスプレイ100の表示部110に表示される画像1100において、配列されたアイコン(A?C)が左から右へとスクロールされており、このとき、ユーザは、モバイル端末200を把持し、モバイル端末200のタッチセンサ220に対してタッチ操作2201を実行し、図9Aに示すスクロール操作の開始時にユーザはタッチ操作2201を開始し、図9Bに示すスクロール操作の終了時までタッチ操作2201を継続し、この間、ユーザは、実空間においてモバイル端末200を図中の左側から右側へと移動させており、つまり、ユーザは、タッチ操作2201を継続しながらモバイル端末200を実空間内でドラッグ操作しているともいえ、
モバイル端末200のプロセッサ240は、空間的関係取得部242の機能によって、例えばカメラ230の撮像画像におけるウェアラブルディスプレイ100’の形状の変化から、ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化を検出することができ、プロセッサ240は、画像1100の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像1100に配列されたアイコンをスクロールさせている
システム。」

イ 引用方法発明
また、引用文献1の上記(1)の記載からみて、引用文献1には次の発明(以下、「引用方法発明」という。)が記載されていると認められる。

「ウェアラブルディスプレイ100と、モバイル端末200とを含むシステム10であって、
ウェアラブルディスプレイ100は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイであり、ユーザは、ウェアラブルディスプレイ100を装着することによって、ウェアラブルディスプレイ100が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ100を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実を体験することもでき、なお、「像」(image)は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」(picture)は像を認識させるために表示部に電子的に映し出されるものを意味し、
モバイル端末200を、ウェアラブルディスプレイ100の操作手段として利用し、モバイル端末200は、ウェアラブルディスプレイ100の近傍にあり、同じユーザによって操作され、
ウェアラブルディスプレイ100-1は、表示部110と、カメラ130と、プロセッサ140と、通信部160とを有し、モバイル端末200-1は、表示部210と、タッチセンサ220と、カメラ230と、プロセッサ240と、通信部260とを有し、
ウェアラブルディスプレイに関して、
表示部110は、プロセッサ140の制御に従って各種の画像を表示し、ユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよく、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのGUIの画像を表示してもよく、
プロセッサ140は、通信部160を介してモバイル端末200-1から受信された情報に基づいて、表示部110における画像の表示を含むウェアラブルディスプレイ100-1全体の動作を制御し、
通信部160は、ウェアラブルディスプレイ100-1による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、モバイル端末200-1を含む他の装置との通信接続を確立し、モバイル端末200-1において取得されたユーザ操作に基づいて表示部110の表示などを制御するための情報を受信し、
モバイル端末に関して、
表示部210は、プロセッサ240の制御に従って各種の画像を表示し、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、表示部210には、ウェアラブルディスプレイ100-1を操作するためのGUIが表示されてもよく、あるいは、ウェアラブルディスプレイ100-1でモバイル端末200-1の表示部210に重畳するようにGUI画像を表示させることも可能であるため、表示部210は画像を表示していなくてもよく、
カメラ230は、撮像素子を用いて実空間を撮像し、撮像画像を生成し、モバイル端末200-1がウェアラブルディスプレイ100-1の操作手段として利用される場合、カメラ230が生成する撮像画像の画角にはウェアラブルディスプレイ100が含まれ、プロセッサ240において撮像画像の解析によってモバイル端末200-1とウェアラブルディスプレイ100-1との空間的関係が推定され、
プロセッサ240は、プログラムに従って演算や制御などの動作を実行することによって各種の機能を実現し、例えば、空間的関係取得部242、操作取得部244、および表示制御部246の各機能を実現し、
空間的関係取得部242は、例えばカメラ230が生成した撮像画像、および/またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定し、
操作取得部244は、タッチセンサ220に対するユーザの操作入力を示す情報を取得し、さらに、操作取得部244は、操作入力を、空間的関係取得部242が取得したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係に対応付け、これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ100-1とモバイル端末200-1とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含み、
表示制御部246は、操作取得部244が取得したユーザの操作入力と、空間的関係取得部242が推定したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係とに基づいて、ウェアラブルディスプレイ100-1における画像の表示を制御するための情報を生成し、また、ウェアラブルディスプレイ100-1におけるGUIの表示を制御するための情報を生成してもよく、
通信部260は、モバイル端末200-1による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、ウェアラブルディスプレイ100-1を含む他の装置との通信接続を確立し、プロセッサ240によって実現される表示制御部246が生成した情報をウェアラブルディスプレイ100-1に送信し、
モバイル端末200-1のプロセッサ240によって実現される空間的関係取得部242が、カメラ230が生成した撮像画像2300の解析に基づいてウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係を推定し、モバイル端末200-1のカメラ230は、ウェアラブルディスプレイ100-1が装着されたユーザの頭部の方を向いており、ユーザがモバイル端末200-1の表示部210を自分の方に向けて操作する場合、カメラ230はいわゆるインカメラであり、
カメラ230によって生成される撮像画像2300には、ユーザの頭部に装着されたウェアラブルディスプレイ100’が映っており、空間的関係取得部242は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ100’をオブジェクト認識し、ウェアラブルディスプレイ100’の画像内でのサイズや姿勢などに基づいてカメラ230に対するウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定し、あるいは、ウェアラブルディスプレイ100-1の筐体の所定の位置に赤外発光素子を取り付け、赤外領域の撮像が可能なカメラ230が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ100-1の位置および姿勢を推定してもよく、
スクロール操作の例では、ウェアラブルディスプレイ100の表示部110に表示される画像1100において、配列されたアイコン(A?C)が左から右へとスクロールされており、このとき、ユーザは、モバイル端末200を把持し、モバイル端末200のタッチセンサ220に対してタッチ操作2201を実行し、図9Aに示すスクロール操作の開始時にユーザはタッチ操作2201を開始し、図9Bに示すスクロール操作の終了時までタッチ操作2201を継続し、この間、ユーザは、実空間においてモバイル端末200を図中の左側から右側へと移動させており、つまり、ユーザは、タッチ操作2201を継続しながらモバイル端末200を実空間内でドラッグ操作しているともいえ、
モバイル端末200のプロセッサ240は、空間的関係取得部242の機能によって、例えばカメラ230の撮像画像におけるウェアラブルディスプレイ100’の形状の変化から、ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化を検出することができ、プロセッサ240は、画像1100の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像1100に配列されたアイコンをスクロールさせているシステムを用いて、
モバイル端末200を、ウェアラブルディスプレイ100の操作手段として利用する方法。」

2.引用文献2の記載事項について
原査定の拒絶の理由に引用された上記引用文献2には、図面とともに次の事項が記載されている。

「【課題を解決するための手段】
【0010】
本発明の一側面における携帯端末システムは、表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを備える。ヘッドマウントディスプレイは、撮像部と、撮像部によって撮像された表示装置の表示に基づいてヘッドマウントディスプレイに対する携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備える。表示領域は位置情報に基づいて表示装置の表示画面に重なる位置に設定される。仮想画面に表示情報に応じた表示が行われる。」

「【0032】
図10のフローチャートは、図9のフローチャートのステップS02の、HMD使用開
始の処理の詳細である。
ステップS11では、HMD制御部105が表示制御部101を用いて表示部11に、図5で示すような画像認識で検出しやすい固定パターンの画像を表示する。
ステップS12からステップS15までのループは、HMD制御部105が別スレッドを生成して、その生成されたスレッド内で端末姿勢取得部106が処理を行う。
ステップS12では、端末姿勢取得部106が通信制御部103を用いてHMDのカメラ21の撮影画像を取得する。
ステップS13では、端末姿勢取得部106がステップS12で取得した画像を分析し、ステップS11で携帯端末の付属ディスプレイ11に表示した位置合わせ用表示である固定パターンを検出する。
【0033】
ステップS14では、ステップS13での検出結果での固定パターンの大きさと歪みから、HMD2に対する付属ディスプレイ11の相対位置と相対姿勢を計算する。検出方法及び計算方法は、ARTｏｏlKiｔ(hｔｔｐ://ｗｗｗ.hiｔl.ｗaｓhingｔｏn.edｕ/aｒｔｏｏlkiｔ/)など既存のソフトウェアを利用して実行することができる。計算結果は、HMD2の表示部22に固定パターンを全画面表示した矩形を、ステップS13で検出した固定パターンの形にアフィン変換するためのアフィン変換行列として端末姿勢取得部106が保持する。また、仮想ディスプレイの表示位置が頻繁に(フレーム毎に)変化すると使用者にとって見難いため、端末姿勢取得部106の内部で、計算結果の変化量を平滑化してもよい。」

「【0043】
そこで、第2の実施形態では、携帯端末1の位置の検出のために、携帯端末1は、表示部11への固定パターンの表示ではなく、表示部11の周りに赤外線のLEDを備える。赤外線のLEDとした理由は、可視光の範囲から外れるため使用者には見えず、閲覧の邪魔にならないが、カメラ21では検出できるためである。
【0044】
図12に、第2の実施形態の構成図を示す。第1の実施形態との違いは、LED14が追加されているのみである。LED14の点灯、消灯は、表示制御部101が行う。LED14は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能する。
【0045】
図13に、第2の実施形態における携帯端末1の外観を示す。携帯端末1は、表示部11の周囲3点にLEDを備える。図15のように、LED14は、キー操作部を有せず表示部11に含まれるタッチパネルを使用者が指で操作する場合に、指で隠れない位置に配置される。」

したがって、上記引用文献2には次の技術的事項が特定されていると認められる。

「表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを備える携帯端末システムにおいて、
ヘッドマウントディスプレイは、撮像部と、撮像部によって撮像された表示装置の表示に基づいてヘッドマウントディスプレイに対する携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備え、
端末姿勢取得部106が、携帯端末の付属ディスプレイ11に表示した位置合わせ用表示である固定パターンを検出し、検出結果での固定パターンの大きさと歪みから、HMD2に対する付属ディスプレイ11の相対位置と相対姿勢を計算し、
他の実施形態では、携帯端末1の位置の検出のために、携帯端末1は、表示部11への固定パターンの表示ではなく、表示部11の周りに赤外線のLEDを備え、LED14は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能し、表示部11の周囲3点にLEDを備える、携帯端末システム。」

第5 対比・判断

1.本願発明1について

(1)対比
上記本願発明1と上記「第4 1.(2)イ」の引用方法発明とを対比すると、次のことがいえる。

ア.引用方法発明の「ユーザ」は、本願発明1の「ユーザ」に相当する。また、引用方法発明の「周囲の実空間」は、「ウェアラブルディスプレイ100が備えるカメラによって撮像」される対象の空間であり、あるいは、「ウェアラブルディスプレイ100を透過して観察される」対象の空間であることから、実際に存在する空間を意味するといえる。したがって、当該「周囲の実空間」は、本願発明1の「周囲環境」に相当するといえる。
また、引用方法発明の「ウェアラブルディスプレイ100」は、「ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイ」であるから、本願発明1の「ユーザが使用する」「ヘッドマウントディスプレイ装置」に相当し、かつ、「第2の電子装置」に相当する。さらに、引用方法発明の「モバイル端末200」は、「ウェアラブルディスプレイ100の操作手段として利用」され、「同じユーザによって操作され」るものであるから、本願発明1の「前記ユーザが使用する」「ハンドヘルドコントローラ」に相当し、かつ、「第1の電子機器」に相当する。
そして、引用方法発明の「ウェアラブルディスプレイ100」は「通信部160」により、「モバイル端末200-1を含む他の装置との通信接続を確立」し、他方、引用方法発明の「モバイル端末200」も「通信部260」により、「ウェアラブルディスプレイ100-1を含む他の装置との通信接続を確立」するものであり、両装置とも「任意の無線通信プロトコルをサポート」することから、引用方法発明は、「モバイル端末200」を「ウェアラブルディスプレイ100」と、「無線通信プロトコル」に従って「通信接続」するものといえる。そうすると、引用方法発明の当該「通信接続」することは、本願発明1の「第1の電子装置を第2の電子装置と、」「作動的に結合する」ことに相当するといえる。
また、引用方法発明の「ウェアラブルディスプレイ100」は、前記通信接続により、「モバイル端末200-1において取得されたユーザ操作に基づいて表示部110の表示などを制御するための情報を受信」し、他方、引用方法発明の「モバイル端末200」は、前記通信接続により、「プロセッサ240によって実現される表示制御部246が生成した情報をウェアラブルディスプレイ100-1に送信」するものである。
ここで、「モバイル端末200」が「ウェアラブルディスプレイ100」に送信する「表示制御部246が生成した情報」とは、「操作取得部244が取得したユーザの操作入力と、空間的関係取得部242が推定したウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係とに基づいて、」生成されるものであり、当該「空間的関係取得部242が推定した」「空間的関係」は、「ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化」を含むことから、引用方法発明では、「ウェアラブルディスプレイ100」と「モバイル端末200」とが、実空間の中で「位置関係の変化」する中で、相互に通信を行っているものといえる。
また、引用方法発明の「ウェアラブルディスプレイ100」は、上述したように「表示部110の表示などを制御するための情報を受信」し、当該「表示部110」は、「コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのGUIの画像を表示」することから、「前記周囲環境の中で動作中に仮想環境を生成し表示するように構成され」た本願発明1の「ヘッドマウントディスプレイ装置」である「第2の電子装置」と、「前記周囲環境の中で動作中に画像を生成し表示する」点で共通している。
以上のことから、引用方法発明と本願発明1とは、「第1の電子装置を第2の電子装置と、前記第1の電子装置と前記第2の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第2の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に画像を生成し表示するように構成され、前記第1の電子装置は、前記ユーザが使用するハンドヘルドコントローラであ」る点で共通している。

イ.引用方法発明では、「モバイル端末200のプロセッサ240は、空間的関係取得部242の機能によって、例えばカメラ230の撮像画像におけるウェアラブルディスプレイ100’の形状の変化から、ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化を検出することができ、プロセッサ240は、画像1100の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像1100に配列されたアイコンをスクロールさせて」おり、これにより「スクロール操作」として、「ウェアラブルディスプレイ100の表示部110に表示される画像1100において、配列されたアイコン(A?C)が左から右へとスクロールされて」いることから、
「モバイル端末200」は、「ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化」を検出し、上記「ア.」で示したように、当該「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」が「モバイル端末200」から「ウェアラブルディスプレイ100」に送信され、これにより「ウェアラブルディスプレイ100」は、当該「位置関係の変化」を受信して、「表示部110に表示される画像1100において、」当該「位置関係の変化」に対応して「画像1100に配列されたアイコンをスクロールさせて」いるものである。ここで、「ウェアラブルディスプレイ100とモバイル端末200との位置関係」は相対的であり、「モバイル端末200」が検出するその「変化」は、「ウェアラブルディスプレイ100」に対する「モバイル端末200」の「動き」を逐次的に検出する動作に他ならない。
よって、当該動作は、本願発明1の「前記第2の電子装置に対する前記第1の電子装置の動きを追跡するステップ」に相当するといえる。
また、引用方法発明の当該動作を「第1のモード」と呼称するのは任意である。

ウ.引用方法発明の「ウェアラブルディスプレイ100」の「筐体の所定の位置」に取り付けられた「赤外発光素子」は、「モバイル端末200」の「カメラ230」が撮像することにより、「ウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定」するためのものであるから、本願発明1の「前記第2の電子装置の上にある」「視覚マーカー」に相当する。
また、引用方法発明の「モバイル端末200」の「カメラ230」は、当該「カメラ230が生成した撮像画像2300の解析に基づいて」、「ウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定」することから、本願発明1の「前記第1の電子装置」の「センサ」に相当する。
したがって、引用方法発明と、「前記第2の電子装置の上にある複数の視覚マーカーを、前記第1の電子装置のセンサによって検出するステップ」を含む本願発明1とは、「前記第2の電子装置の上にある視覚マーカーを、前記第1の電子装置のセンサによって検出するステップ」を含む点で共通している。

エ.引用方法発明の「モバイル端末200」の「カメラ230に対するウェアラブルディスプレイ100-1の相対的な位置」は、本願発明1の「前記第1の電子装置に対する前記第2の電子装置の相対的な位置」に相当する。そして、上記「ア.」?「ウ.」で示したように、引用方法発明では、「ウェアラブルディスプレイ100」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を「モバイル端末200」の「カメラ230」が撮像して解析することにより、「ウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定」し、それにより「ウェアラブルディスプレイ100」と「モバイル端末200」とが、実空間の中で「位置関係の変化」する中で、「ウェアラブルディスプレイ100」は「モバイル端末200」の「動き」に対応した「アイコンをスクロール」する「画像1100」が表示される。
このことから、引用方法発明と、「前記複数の視覚マーカーにおいて検出された特徴に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置を求め、前記周囲環境の中における前記第1の電子装置の動きを追跡するステップ」を含む本願発明1とは、「前記視覚マーカーにおいて検出された特徴に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置を求め、前記周囲環境の中における前記第1の電子装置の動きを追跡するステップ」を含む点で共通している。

オ.上記「エ.」に示したとおり、引用方法発明の「モバイル端末200」は、「ウェアラブルディスプレイ100-1の相対的な位置」を推定する動作を備え、そこでは、上記「イ.」で示したように、「ウェアラブルディスプレイ100」は、「モバイル端末200」から送信された「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」を受信し、当該「情報」から、「モバイル端末200」の「動き」に対応した「画像1100」を表示していることから、「ウェアラブルディスプレイ100」は、当該表示する「画像1100」の作成のため、「モバイル端末200」が推定した「ウェアラブルディスプレイ100-1の相対的な位置」の何らかの演算を行うものであるといえる。
また、引用方法発明の「ウェアラブルディスプレイ100」は、「ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化を検出」し、「これに対応して画像1100に配列されたアイコンをスクロールさせている」ことから、「ウェアラブルディスプレイ100とモバイル端末200との位置関係の変化」を、「対応する動作」である「スクロール」に「変換」するといえる。
したがって、上記「ア.」及び「エ.」も踏まえると、引用方法発明と、「前記第2の電子装置の位置を求めるステップは、前記第2の電子装置の位置の逆変換を計算するステップと、前記第1の電子装置の現在の位置を前記第1の電子装置の過去の位置と比較することにより、前記第1の電子装置の動きを追跡するステップとを含み、さらに、前記検出し追跡した、前記周囲環境の中における前記第1の電子装置の動きを、前記仮想環境の中における対応する動作に変換するステップを含む、」本願発明1とは、「前記第2の電子装置の位置を求めるステップは、前記第2の電子装置の位置の演算を行うステップと、前記第1の電子装置の動きを追跡するステップとを含み、さらに、前記検出し追跡した、前記周囲環境の中における前記第1の電子装置の動きを、前記画像の中における対応する動作に変換するステップを含む、」点で共通している。

カ.引用方法発明の「方法」は、下記相違点を除き、本願発明1の「方法」に相当する。

したがって、本願発明1と引用方法発明との間には、次の一致点、相違点があるといえる。

＜一致点＞
「 第1の電子装置を第2の電子装置と、前記第1の電子装置と前記第2の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第2の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に画像を生成し表示するように構成され、前記第1の電子装置は、前記ユーザが使用するハンドヘルドコントローラであり、
第1のモードにおいて、前記第2の電子装置に対する前記第1の電子装置の動きを追跡するステップを含み、前記追跡するステップは、
前記第2の電子装置の上にある視覚マーカーを、前記第1の電子装置のセンサによって検出するステップを含み、前記追跡するステップは、さらに、
前記視覚マーカーにおいて検出された特徴に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置を求め、前記周囲環境の中における前記第1の電子装置の動きを追跡するステップとを含み、前記第2の電子装置の位置を求めるステップは、
前記第2の電子装置の位置の演算を行うステップと、
前記第1の電子装置の動きを追跡するステップとを含み、さらに、
前記検出し追跡した、前記周囲環境の中における前記第1の電子装置の動きを、前記画像の中における対応する動作に変換するステップを含む、方法。」

＜相違点＞
(相違点1)本願発明1では、ヘッドマウントディスプレイ装置である第2の装置は、周囲環境の中で動作中に「仮想環境」を生成し表示するように構成されているのに対し、引用方法発明では、「仮想環境」を生成し表示するように構成されていることは特定されていない点。

(相違点2)本願発明1では、第2の電子装置の上にある「複数の」視覚マーカーを、第1の電子装置のセンサによって検出するステップを含み、「前記複数の視覚マーカーは、前記第2の電子装置の第1の表面上に位置する第1の視覚マーカーと、前記第2の電子装置の第2の表面上に位置する第2の視覚マーカーと、を含み、前記第2の表面は前記第1の表面とは異な」るのに対し、引用方法発明では、第2の電子装置の上にある「複数の」視覚マーカーを検出することは特定されておらず、そのため、「前記複数の視覚マーカーは、前記第2の電子装置の第1の表面上に位置する第1の視覚マーカーと、前記第2の電子装置の第2の表面上に位置する第2の視覚マーカーと、を含み、前記第2の表面は前記第1の表面とは異な」る構成も特定されていない点。

(相違点3)第2の電子装置の位置の演算を行うステップにおいて、本願発明1では、第2の電子装置の位置の「逆変換を計算する」演算を行うのに対し、引用方法発明では、「逆変換を計算する」演算を行うものとして特定されていない点。

(相違点4)第1の電子装置の動きを追跡するステップは、本願発明1では、「前記第1の電子装置の現在の位置を前記第1の電子装置の過去の位置と比較することにより、」追跡するのに対し、引用方法発明には、そのような特定がされていない点。

(2)相違点についての判断
事案に鑑み、相違点2について先に検討する。
本願明細書の段落【0020】には、「視覚マーカー115を、HMD100の前面100Aおよび下面100B上に配置する」(複数の視覚マーカーをHMD(ヘッドマウントディスプレイ)の異なる表面に配置する)ことにより、「ユーザが手で持っているハンドヘルド電子装置102の前面カメラ103の視野の中でマーカー115を比較的安定して正確に撮影することができる。なぜなら、ハンドヘルド電子装置102がユーザの手で保持されているとき、一般的に、ユーザが手/腕をユーザの腕の動く範囲の中で動かしたとしても、前面カメラ103は、HMD100の前面100Aおよび/または下面100Bのうちの少なくとも一方を見ることができるからである。」と記載されており、この記載を参照すると、本願発明1は、第2の電子装置の上にある「複数の」視覚マーカーを、第1の電子装置のセンサによって検出するステップを含み、「前記複数の視覚マーカーは、前記第2の電子装置の第1の表面上に位置する第1の視覚マーカーと、前記第2の電子装置の第2の表面上に位置する第2の視覚マーカーと、を含み、前記第2の表面は前記第1の表面とは異な」るように構成することにより、ユーザの手/腕の動きによって、ハンドヘルド電子装置102の前面カメラ103が撮影することができないマーカー115があったとしても、異なる表面に位置する他のマーカー115を撮影することで、第1の電子装置の動きを追跡することを可能としているといえる。
他方、引用文献1には、「ウェアラブルディスプレイ100」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を複数設置することについて記載も示唆もなく、また、ユーザの保持体勢等を起因として「赤外発光素子」を「モバイル端末200」の「カメラ230」で撮像されない事態を想定した記載もなく、それゆえに引用方法発明において、「カメラ230」が撮像する「赤外発光素子」を「複数」配置する必然性を見い出すことはできない。
また、当該構成は、引用文献2にも記載も示唆もされておらず、周知技術であるとも認められない。
したがって、相違点1に係る本願発明1の第2の電子装置の上にある「複数の」視覚マーカーを、第1の電子装置のセンサによって検出すること、「前記複数の視覚マーカーが前記第2の電子装置の第1の表面上に位置する第1の視覚マーカーと、前記第2の電子装置の第2の表面上に位置する第2の視覚マーカーと、を含み、前記第2の表面は前記第1の表面とは異な」るように構成することは、当業者が容易に想到し得たものとは認められない。
したがって、上記相違点1、3及び4について判断するまでもなく、本願発明1は、当業者であっても引用方法発明及び引用文献2に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

2.本願発明10について

(1)対比
上記本願発明10と上記「第4 1.(2)ア」の引用システム発明とを対比すると、次のことがいえる。

ア.引用システム発明の「ウェアラブルディスプレイ100」は、「ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイ」であるから、本願発明10の「ヘッドマウント電子装置」に相当する。また、引用システム発明の「モバイル端末200」は、「ウェアラブルディスプレイ100の操作手段として利用」され、「同じユーザによって操作され」るものであるから、本願発明10の「ハンドヘルド電子装置」に相当する。
そして、引用システム発明の「ウェアラブルディスプレイ100」は「通信部160」により、「モバイル端末200-1を含む他の装置との通信接続を確立」し、他方、引用システム発明の「モバイル端末200」も「通信部260」により、「ウェアラブルディスプレイ100-1を含む他の装置との通信接続を確立」するものであり、両装置とも「任意の無線通信プロトコルをサポート」することから、引用システム発明の「モバイル端末200」は「ウェアラブルディスプレイ100」と、「無線通信プロトコル」に従って「通信接続」するものといえる。そうすると、引用システム発明の「モバイル端末200」は、本願発明10の「ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置」に相当するといえる。

イ.引用システム発明の「ウェアラブルディスプレイ100」の「筐体の所定の位置」に取り付けられた「赤外発光素子」は、「モバイル端末200」の「カメラ230」が撮像することにより、「ウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定」するためのものであるから、本願発明10の「前記ヘッドマウント電子装置の筐体の外面上」の「視覚マーカー」に相当する。
また、引用システム発明の「モバイル端末200」の「カメラ230」は、当該「カメラ230が生成した撮像画像2300の解析に基づいて」、「ウェアラブルディスプレイ100-1の相対的な位置および姿勢を推定」することから、本願発明10の「ハンドヘルド電子装置」の「光学センサ」に相当する。また、引用システム発明の「モバイル端末200」の「プロセッサ240」は、本願発明10の「ハンドヘルド電子装置」の「プロセッサ」に相当する。
したがって、引用システム発明と、「前記ヘッドマウント電子装置の筐体の外面上に複数の視覚マーカーを有し、前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異なり、前記ハンドヘルド電子装置は光学センサとプロセッサとを含」む本願発明10とは、「前記ヘッドマウント電子装置の筐体の外面上に視覚マーカーを有し、前記ハンドヘルド電子装置は光学センサとプロセッサとを含」む点で共通している。

ウ.引用システム発明の「モバイル端末200」の「カメラ230によって生成される撮像画像2300」は、本願発明10の「前記ハンドヘルド電子装置の前記光学センサによって取得した画像」に相当する。また、引用システム発明の当該「撮像画像における赤外発光」は、本願発明10の「前記取得した画像における所定の特徴」に相当し、引用システム発明の「撮像画像2300の解析」は、「撮像画像における赤外発光の位置」を「解析」するものといえることから、本願発明10の「前記取得した画像における所定の特徴の識別」を含むものといえる。
そして、引用システム発明の「モバイル端末200」は、当該「撮像画像2300の解析」に基づいて、「ウェアラブルディスプレイ100-1の相対的な位置」を推定することにより、「ウェアラブルディスプレイ100-1とモバイル端末200-1との空間的関係」を取得していることから、引用システム発明と、「前記ハンドヘルド電子装置は、前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め」る本願発明10とは、「前記ハンドヘルド電子装置は、前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求め」る点で共通している。

エ.引用システム発明の「ウェアラブルディスプレイ100」は、「通信接続」により「モバイル端末200」から送信された「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」を受信し、当該「情報」から、「モバイル端末200」の「位置関係の変化」に対応した「画像1100」を表示していることから、「ウェアラブルディスプレイ100」は、当該表示する「画像1100」の作成のため、「モバイル端末200」が推定した「ウェアラブルディスプレイ100-1の相対的な位置」の何らかの演算を行うものであるといえる。
したがって、上記「ウ.」に示した点を含め、引用システム発明と、「前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の逆変換を計算することにより、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求める」本願発明10とは、「前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の演算を行うことにより、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求める」点で共通している。

オ.引用システム発明の「システム」は、下記相違点を除き、本願発明10の「システム」に相当する。

したがって、本願発明10と引用システム発明との間には、次の一致点、相違点があるといえる。

＜一致点＞
「 ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置を備え、前記ヘッドマウント電子装置は、前記ヘッドマウント電子装置の筐体の外面上に視覚マーカーを有し、前記ハンドヘルド電子装置は光学センサとプロセッサとを含み、
前記ハンドヘルド電子装置は、
前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求め、
前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の演算を行うことにより、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求めるように、構成されている、システム。」

＜相違点＞
(相違点5)本願発明10では、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異な」るのに対し、引用システム発明では、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有することは特定されておらず、そのため、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異な」る構成も特定されていない点。

(相違点6)ハンドヘルド電子装置は、本願発明10では、「前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め」るのに対し、引用システム発明では、「前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求め」る点。

(相違点7)前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の演算について、本願発明10では、前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の「逆変換を計算する」演算を行うのに対し、引用システム発明では、「逆変換を計算する」演算を行うものとして特定されていない点。

(2)相違点についての判断
相違点5について検討する。
上述の「1.(2)」で示したとおり、本願明細書の段落【0020】には、「視覚マーカー115を、HMD100の前面100Aおよび下面100B上に配置する」(複数の視覚マーカーをHMD(ヘッドマウントディスプレイ)の異なる表面に配置する)ことにより、「ユーザが手で持っているハンドヘルド電子装置102の前面カメラ103の視野の中でマーカー115を比較的安定して正確に撮影することができる。なぜなら、ハンドヘルド電子装置102がユーザの手で保持されているとき、一般的に、ユーザが手/腕をユーザの腕の動く範囲の中で動かしたとしても、前面カメラ103は、HMD100の前面100Aおよび/または下面100Bのうちの少なくとも一方を見ることができるからである」と記載されており、この記載を参照すると、本願発明10は、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異な」るように構成することにより、ユーザの手/腕の動きによっては、ハンドヘルド電子装置102の前面カメラ103が撮影することができないマーカー115があったとしても、異なる表面に位置する他のマーカー115を撮影することで、ヘッドマウント電子装置の相対的な位置を求めることを可能としているといえる。
他方、引用文献1には、「ウェアラブルディスプレイ100」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を複数設置することについて記載も示唆もなく、また、ユーザの保持体制等を起因として「赤外発光素子」を「モバイル端末200」の「カメラ230」で撮像されない事態を想定した記載もなく、それゆえに引用システム発明において、「カメラ230」が撮像する「赤外発光素子」を「複数」配置する必然性を見い出すことはできない。
また、当該構成は、引用文献2にも記載も示唆もされておらず、周知技術であるとも認められない。
したがって、相違点5に係る本願発明10のヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記ヘッドマウント電子装置の第1の表面上に設けられた第1の視覚マーカーと、前記ヘッドマウント電子装置の第2の表面に設けられた第2の視覚マーカーとを含み、前記第2の表面は前記第1の表面とは異な」るように構成することは、当業者が容易に想到し得たものとは認められない。
したがって、上記相違点6、7について判断するまでもなく、本願発明10は、当業者であっても引用システム発明及び引用文献2に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

3.本願発明2-9について

本願発明2-9は、本願発明1の上記相違点2に係る構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても引用方法発明及び引用文献2に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

4.本願発明11-18について

本願発明11-18は、本願発明10の上記相違点5に係る構成を備えるものであるから、本願発明10と同じ理由により、当業者であっても引用システム発明及び引用文献2に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

5.本願発明19について

本願発明19は、本願発明1の方法を実行する命令を含むコンピュータプログラムの発明であり、本願発明1の上記相違点2に係る構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても引用方法発明及び引用文献2に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

第6 むすび

以上のとおり、本願発明1-19は、引用方法発明又は引用システム発明と同一ではない。また、本願発明1-19は、当業者が引用方法発明又は引用システム発明、及び引用文献2に記載された技術的事項に基づいて容易に発明をすることができたものではない。したがって、原査定の理由によっては、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
 
審決日 2021-04-13 
出願番号 特願2017-556673(P2017-556673)
審決分類 P 1 8・ 121- WY (G06F)
P 1 8・ 113- WY (G06F)
最終処分 成立  
前審関与審査官 酒井 優一  
特許庁審判長 ▲吉▼田 耕一
特許庁審判官 角田 慎治
富澤 哲生
発明の名称 仮想現実においてハンドヘルド電子装置を追跡するためのシステム  
代理人 特許業務法人深見特許事務所  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ