• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 取り消して特許、登録 G06F
管理番号 1367889
審判番号 不服2019-7363  
総通号数 252 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-12-25 
種別 拒絶査定不服の審決 
審判請求日 2019-06-04 
確定日 2020-12-01 
事件の表示 特願2017-542256「モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法」拒絶査定不服審判事件〔平成28年 5月12日国際公開、WO2016/070800、平成29年11月16日国内公表、特表2017-534135、請求項の数(4)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続の経緯
本願は、2015年(平成27年)11月3日(パリ条約による優先権主張外国庁受理 2014年(平成26年)11月6日 中華人民共和国)を国際出願日とする出願であって、その手続の経緯は以下のとおりである。

平成30年 5月10日付け:拒絶理由通知書
平成30年 8月14日 :意見書・手続補正書の提出
平成31年 1月28日付け:拒絶査定
令和 元年 6月 4日 :審判請求書・手続補正書の提出
令和 2年 6月30日付け:拒絶理由通知書
令和 2年 9月23日 :意見書・手続補正書の提出

第2 原査定の概要
原査定(平成31年1月28日付け拒絶査定)の概要は次のとおりである。

本願請求項1に係る発明は、以下の引用文献Aに記載されているから、特許法第29条第1項第3号に該当し、特許を受けることができない。本願請求項2-6に係る発明は、以下の引用文献A-Dに基づいて、その発明の属する技術の分野における通常の知識を有する者(以下、「当業者」という。)が容易に発明できたものであるから、特許法第29条第2項の規定により特許を受けることができない。

[引用文献等一覧]
A.特表2012-510673号公報
B.特開平8-112449号公報(周知技術を示す文献)
C.特表2009-544107号公報(周知技術を示す文献)
D.特開2014-6820号公報(周知技術を示す文献)

第3 当審拒絶理由の概要
令和2年6月30日付けの当審が通知した拒絶理由の概要は次のとおりである。

理由1.本願請求項1-3に係る発明は、以下の引用文献1に記載されているから、特許法第29条第1項第3号の規定により特許を受けることができない。
理由2.本願請求項1-5に係る発明は、以下の引用文献1-3に基づいて、当業者が容易に発明できたものであるから、特許法第29条第2項の規定により特許を受けることができない。

[引用文献等一覧]
1.特開2014-72570号公報(当審において新たに引用した文献)
2.特表2002-520746号公報(周知技術を示すもの;当審において新たに引用した文献)
3.特開2003-132358号公報(周知技術を示すもの;当審において新たに引用した文献)

第4 本願発明
本願請求項1-4に係る発明(以下、それぞれ「本願発明1」-「本願発明4」という。)は、令和2年9月23日付けの手続補正で補正された特許請求の範囲の請求項1-4に記載された事項により特定される発明であり、本願発明1-4は、以下のとおりの発明である(下線部は、補正箇所である。)。

「【請求項1】
モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
画像の内容を分析するステップと、
前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせるステップと、
インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
を含み、
画像の内容を分析するステップは、
前記バーチャルボール近傍の画像エッジを演算するステップと、
衝突後の前記バーチャルボールの速度および方向を演算するステップと、
前記バーチャルボールの位置を更新するステップと、
前記バーチャルボールを表示するステップと、
を含み、
前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する、
方法。
【請求項2】
請求項1に記載の方法であって、
前記所定のルールは、前記バーチャルボールが画像内の色の境界と剛体衝突すること、前記バーチャルボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、前記バーチャルボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、前記バーチャルボールが利用者の指と剛体衝突し、衝突時に前記バーチャルボールと指が衝突する角度、力度を考慮すること、前記バーチャルボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、前記バーチャルボールの下半分と画像の内容および利用者の指との衝突のみを考慮すること、から選ばれた少なくとも一つを含む、
方法。
【請求項3】
請求項1に記載の方法であって、
前記バーチャルボール近傍の画像エッジを演算するステップは、
入力画像をグレースケールマップに変換するステップと、
前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、
前記ヒストグラムを用いてグレースケール確率図を生成するステップと、
生成された確率図をエッジ判断の根拠とするステップと、
を含む方法。
【請求項4】
請求項3に記載の方法であって、
前記画像のエッジは、グレースケールの確率が異なる領域の境界である、
方法。」

第5 引用文献、引用発明等
1.引用文献1について
令和2年6月30日付けの拒絶の理由に引用された引用文献1には、次の事項が記載されている(下線は,当審が付加した。以下、同様。)。

「【技術分野】
【0001】
本発明は、表示装置および制御方法に関する。」

「【0010】
まず、図1および図2を参照しながら、第1の実施例に係る表示装置1の全体的な構成について説明する。図1は、表示装置1の斜視図である。図2は、利用者によって装着された表示装置1を正面から見た図である。図1および図2に示すように、表示装置1は、利用者の頭部に装着されるヘッドマウントタイプの装置である。」

「【0016】
表示装置1は、このように現実の光景を利用者に提供する機能に加えて、仮想的な情報を3次元的に表示し、仮想的な情報を利用者が操作することを可能にする機能を有する。表示装置1によれば、仮想的な情報は、実際に存在しているかのように、現実の光景と重ねて表示される。そして、利用者は、例えば、手を使って仮想的な情報を実際に触っているかのように操作し、移動、回転、変形等の変化を仮想的な情報に施すことができる。このように、表示装置1は、仮想的な情報に関して、直感的で利便性の高い操作方法を提供する。以下の説明では、表示装置1によって3次元的に表示される仮想的な情報を「3次元オブジェクト」と呼ぶことがある。」

「【0019】
次に、図6を参照しながら、表示装置1の機能的な構成について説明する。図6は、表示装置1のブロック図である。図6に示すように、
表示装置1は、操作部13と、制御部22と、記憶部24と、通信部16と、表示部32aおよび32bと、撮影部40および42と、検出部44と、測距部46と、動きセンサ48とを有する。操作部13は、表示装置1の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
【0020】
通信部16は、他の装置との間で通信を行う。通信部16は、無線LANまたはBluetooth(登録商標)のように比較的狭い範囲で無線通信を行う通信方式をサポートしてもよいし、通信キャリア向けの3G通信方式または4G通信方式のように比較的広い範囲で無線通信を行う通信方式をサポートしてもよい。通信部16は、イーサネット(登録商標)のような有線による通信方式をサポートしてもよい。通信部16は、複数の通信方式をサポートしてもよい。
【0021】
表示部32aおよび32bは、液晶ディスプレイ(LiquidCrystalDisplay)、有機EL(OrganicElectro-Luminescence)パネル等の表示デバイスを備え、制御部22から入力される制御信号に従って各種の情報を表示する。
表示部32aおよび32bは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。
【0022】
撮影部40および42は、CCD(ChargeCoupledDeviceImageSensor)、CMOS(ComplementaryMetalOxideSemiconductor)等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部40および42は、撮影した画像を信号に変換して制御部22へ出力する。
【0023】
検出部44は、撮影部40および42の撮影範囲に存在する現実の物体を検出する。検出部44は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状(例えば、人間の手の形状)にマッチする物体を検出する。検出部44は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲(形状および大きさ)を検出するように構成されてもよい。」

「【0028】
制御部22は、演算手段であるCPU(CentralProcessingUnit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部22は、記憶部24に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部22は、CPUによる命令の実行結果に応じて、メモリおよび記憶部24に対してデータの読み書きを行ったり、表示部32a等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータや検出部44を介して検出される操作がパラメータや判定条件の一部として利用される。
【0029】
記憶部24は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。
記憶部24に記憶されるプログラムには、制御プログラム24aが含まれる。記憶部24に記憶されるデータには、オブジェクトデータ24bと、作用データ24cと、仮想空間データ24dと、カタログデータ24eとが含まれる。記憶部24は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム24a、オブジェクトデータ24b、作用データ24c、仮想空間データ24d、カタログデータ24eは、記憶媒体に記憶されていてもよい。また、制御プログラム24a、オブジェクトデータ24b、作用データ24c、仮想空間データ24d、カタログデータ24eは、通信部16による通信によってサーバ装置等の他の装置から取得されてもよい。
【0030】
制御プログラム24aは、表示装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム24aが提供する機能には、撮影部40および42が取得する画像に3次元オブジェクトを重ねて表示部32aおよび32bに表示する機能、3次元オブジェクトに対する操作を検出する機能、検出した操作に応じて3次元オブジェクトを変化させる機能等が含まれる。
【0031】
制御プログラム24aは、検出処理部25と、表示オブジェクト制御部26と、視点制御部27と、画像合成部28と、発注処理部29とを含む。検出処理部25は、撮影部40および42の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部25が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。
【0032】
表示オブジェクト制御部26は、仮想空間にどのような3次元オブジェクトが配置され、それぞれの3次元オブジェクトがどのような状態にあるかを管理するための機能を提供する。表示オブジェクト制御部26が提供する機能には、検出処理部25の機能によって検出される現実の物体の動きに基づいて3次元オブジェクトに対する操作を検出し、検出した操作に基づいて3次元オブジェクトを変化させる機能が含まれる。
【0033】
視点制御部27は、仮想空間における利用者の視点の位置および方向を管理するための機能を提供する。視点制御部27が提供する機能には、動きセンサ48が検出する表示装置1の位置の変化および方向の変化に応じて、仮想空間における利用者の視点の位置および方向を変化させる機能が含まれる。例えば、動きセンサ48によって表示装置1が前方移動したことが検出された場合、視点制御部27は、仮想空間における利用者の視点を前方へ移動させる。例えば、動きセンサ48によって表示装置1が右向きに回転したことが検出された場合、視点制御部27は、仮想空間における利用者の視点を右向きに回転させる。このように、表示装置1の位置および方向の変化に合わせて仮想空間における利用者の視点の位置および方向を変化させることにより、現実の空間の画像に重ねて表示される仮想空間の画像の変化を現実の空間の画像の変化と一致させることができる。
【0034】
画像合成部28は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部32aに表示する画像と表示部32bに表示する画像とを生成するための機能を提供する。画像合成部28が提供する機能には、検出処理部25の機能によって測定される現実の物体までの距離と、仮想空間における視点から3次元オブジェクトまでの距離とに基づいて、現実の物体と3次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれる。
【0035】
発注処理部29は、3次元オブジェクトを利用して商品を発注する機能を提供する。発注処理部29の機能の詳細については後述する。
【0036】
オブジェクトデータ24bは、3次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ24bは、3次元オブジェクトを表示するために用いられる。作用データ24cは、表示されている3次元オブジェクトに対する操作が3次元オブジェクトにどのように作用するかに関する情報を含む。作用データ24cは、表示されている3次元オブジェクトに対する操作が検出された場合に、3次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失、置換等が含まれる。仮想空間データ24dは、仮想空間に配置される3次元オブジェクトの状態に関する情報を保持する。3次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる。カタログデータ24eは、商品の仕様、価格等の商品を販売するための情報を含む。」

「【0046】
このような表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度(例えば、毎秒30回)で実行される。その結果、利用者の操作に応じた3次元オブジェクトの変化は、表示装置1が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく3次元オブジェクトを操作することができる。さらに、本実施例に係る構成では、3次元オブジェクトを操作する利用者の手が、利用者の目と表示部32aおよび32bの間に位置することがないため、利用者は、手によって3次元オブジェクトの表示が遮られることを気にすることなく操作を行うことができる。」

「【0072】
図12に示すように、オブジェクトデータ24bには、種別、形状情報、色、透明度等を含む情報が3次元オブジェクト毎に格納される。種別は、3次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、3次元オブジェクトの形状を示す情報である。形状情報は、例えば、3次元オブジェクトを構成する面の頂点座標の集合である。色は、3次元オブジェクトの表面の色である。透明度は、3次元オブジェクトが光を透過させる度合いである。オブジェクトデータ24bは、複数の3次元オブジェクトに関する情報を保持することができる。
【0073】
図13から図18に示す例では、押す操作が検出された場合の変化に関する情報が3次元オブジェクトの種別毎に作用データ24cに格納されている。図13に示すように、3次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう障害物とは、他の3次元オブジェクトであってもよいし、現実の物体であってもよい。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【0074】
3次元オブジェクトに支点がなく、押された方向に障害物がない場合、3次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される3次元オブジェクトは、例えば、積み木、ペン、本である。移動の仕方については、滑るのか回転するのかを3次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、3次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。
【0075】
3次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、3次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。
このように表示される3次元オブジェクトは、例えば、積み木、ペン、本である。押された速度が速い場合は、3次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、3次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように3次元オブジェクトを逆方向に移動させてもよい。
【0076】
3次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、3次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。
また、3次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、3次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、3次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、3次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される3次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。」

「【0091】
図19および図20は、3次元オブジェクトを押す操作の検出と、検出された操作に応じた3次元オブジェクトの変化について説明するための図である。図19に示すステップS11では、表示装置1は、表示空間50中に、3次元オブジェクトOB1を立体的に表示している。3次元オブジェクトOB1は、例えば、ボールを模したオブジェクトである。また、ステップS11では、3次元オブジェクトOB1を支持する底面B1が表示されている。」

「【0098】
また、オブジェクトデータ24bにおいて3次元オブジェクトOB1が剛体であると定義され、作用データ24cにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、表示装置1は、図20のステップS15に示すように、指F1に押されたように3次元オブジェクトOB1を指F1の進行方向へ移動させる。図20のステップS15では、3次元オブジェクトOB1は、底面B1に支持されているため、剛体によって印加される力の底面B1と水平方向の成分に従って移動している。
【0099】
このように、3次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ24bおよび作用データ24cに基づいて3次元オブジェクトOB1を変化させることにより、3次元オブジェクトを操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、3次元オブジェクトOB1を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。」

「【0151】
次に、図29および図30を参照しながら、3次元オブジェクトを摘んで行う操作に関して表示装置1が実行する処理手順の第1の例について説明する。図29は、3次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図29に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。
【0152】
図29に示すように、制御部22は、まず、ステップSE01として、3次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。
【0153】
続いて、制御部22は、ステップSE02として、検出部44、すなわち、撮影部40および42によって第1の物体および第2の物体が検出されたかを判定する。第1の物体および第2の物体は、現実の物体、例えば、利用者の指である。第1の物体および第2の物体が検出されない場合(ステップSE02,No)、制御部22は、ステップSE10として、操作終了が検出されたかを判定する。
【0154】
操作終了は、例えば、操作部13に対する所定の操作が行われた場合に検出される。操作終了が検出された場合(ステップSE10,Yes)、制御部22は、選択検出処理を終了させる。操作終了が検出されない場合(ステップSE10,No)、制御部22は、ステップSE02以降を再実行する。
【0155】
第1の物体および第2の物体が検出された場合(ステップSE02,Yes)、制御部22は、ステップSE03として、表示されている3次元オブジェクトの中から第1の物体と第2の物体との間に表示されている3次元オブジェクトを探す。該当する3次元オブジェクトがない場合(ステップSE04,No)、制御部22は、ステップSE10へ進む。
【0156】
第1の物体と第2の物体との間に表示されている3次元オブジェクトがみつかった場合(ステップSE04,Yes)、制御部22は、ステップSE05として、第1の物体と第2の物体との間に3次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合(ステップSE06,No)、制御部22は、ステップSE10へ進む。
【0157】
取得した時間が所定時間以上の場合(ステップSE06,Yes)、制御部22は、ステップSE07として、第1の物体と第2の物体の距離を算出する。また、制御部22は、ステップSE08として、第1の物体と第2の物体との間に表示されている3次元オブジェクトを選択状態にする。そして、制御部22は、ステップSE09として、後述する操作検出処理を実行し、その中で、選択状態にある3次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部22は、ステップSE10へ進む。
【0158】
図30は、操作検出処理の処理手順を示すフローチャートである。図30に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。
【0159】
図30に示すように、制御部22は、まず、ステップSF01として、第1の物体と第2の物体の距離を算出する。そして、制御部22は、ステップSF02として、操作検出処理の開始時点以降の第1の物体と第2の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第1の物体と第2の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲(第1の物体および第2の物体が通常の速度で移動した場合の距離の最大変化量の±10%等)以内に収まっていることを意味する。また、第1の物体と第2の物体の距離が操作検出処理の開始時点以降縮まり続けている場合(第1の物体および第2の物体が3次元オブジェクトを押しつぶす方向に移動している場合)に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。
【0160】
第1の物体と第2の物体の距離がほぼ一定の場合(ステップSF02,Yes)、
制御部22は、ステップSF03として、第1の物体および第2の物体の移動速度を算出する。続いて、制御部22は、ステップSF04として、算出した移動速度が閾値以下であるかを判定する。ここで用いられる閾値は、例えば、人がものを放り投げるときの指先の移動速度である。また、閾値と比較される移動速度は、第1の物体の移動速度と第2の物体の移動速度の平均であってもよいし、いずれか速い方であってもよいし、いずれか遅い方であってもよい。
【0161】
移動速度が閾値以下の場合(ステップSF04,Yes)、制御部22は、ステップSF05として、検出された第1の物体および第2の物体の動きに応じて3次元オブジェクトに変化を加える。例えば、第1の物体および第2の物体の右方向への移動が検出された場合、制御部22は、第1の物体および第2の物体の移動に合わせて3次元オブジェクトを右方向へ移動させる。第1の物体および第2の物体の左回りでの回転が検出された場合、制御部22は、第1の物体および第2の物体の回転に合わせて3次元オブジェクトを左回りで回転させる。移動と回転が同時に検出された場合、移動と回転が同時に実行される。3次元オブジェクトの移動や回転に対する障害物がある場合、3次元オブジェクトが障害物に接触した時点で3次元オブジェクトの移動や回転を停止させてもよい。障害物は、現実の物体でもよいし、他の3次元オブジェクトでもよい。その後、制御部22は、ステップSF01以降を再実行する。
【0162】
移動速度が閾値より速い場合(ステップSF04,No)、制御部22は、ステップSF06として、3次元オブジェクトを消去する。3次元オブジェクトを消去するに際して、3次元オブジェクトが第1の物体および第2の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部22は、操作検出処理を終了させる。このように、3次元オブジェクトを放り投げるように第1の物体および第2の物体が高速で移動した場合に3次元オブジェクトを消去することにより、直感的な操作によって3次元オブジェクトの消去を実現することができる。第1の物体および第2の物体を高速で移動させる操作ではなく、例えば、3次元オブジェクトを握りつぶす操作に3次元オブジェクトの消去を割り当ててもよい。また、3次元オブジェクトを消去する代わりに、3次元オブジェクトを当初の配置場所に戻すこととしてもよい。表示装置1は、ステップSF03、SF04およびステップSF06の処理を行わなくてもよい。すなわち、表示装置1は、ステップSF02で第1の物体と第2の物体の距離がほぼ一定と判定した場合には、2つの物体の移動速度にかかわらず、ステップSF05を実行してもよい。
【0163】
第1の物体と第2の物体の距離がほぼ一定でない場合(ステップSF02,No)、制御部22は、ステップSF07として、距離が、3次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合(ステップSF07,Yes)、制御部22は、ステップSF08として、3次元オブジェクトの選択状態を解除する。第1の物体と第2の物体の距離を拡大するという操作は、摘んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、3次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。
【0164】
続いて、制御部22は、ステップSF09として、選択状態を解除した3次元オブジェクトを重力等に従って移動させる。そして、制御部22は、操作検出処理を終了させる。ここでの移動は、例えば、3次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。3次元オブジェクトの動きを停止させる前に、3次元オブジェクトの弾性や床やテーブルの硬度に応じて3次元オブジェクトをバウンドさせてもよい。3次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には3次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも3次元オブジェクトをゆっくりと移動させてもよい。」

したがって、上記引用文献1には次の発明(以下、「引用発明」という。)が記載されていると認められる。

「表示装置および制御方法に関する技術分野において(【0001】)、
表示装置1は、利用者の頭部に装着されるヘッドマウントタイプの装置であり(【0010】)、
表示装置1によって3次元的に表示される仮想的な情報を「3次元オブジェクト」と呼び(【0016】)、
表示装置1において、制御部22と、記憶部24と、表示部32aおよび32bと、撮影部40および42と、検出部44とを有し、(【0019】)
表示部32aおよび32bは、制御部22から入力される制御信号に従って各種の情報を表示し(【0021】)、
撮影部40および42は、検出部44は、撮影部40および42の撮影範囲に存在する現実の物体を検出し、
検出部44は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状(例えば、人間の手の形状)にマッチする物体を検出し、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲(形状および大きさ)を検出するように構成されてもよく、(【0021】-【0023】)
制御部22は、演算手段であるCPUと、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現し、
記憶部24に記憶されるプログラムには、制御プログラム24aが含まれ、
制御プログラム24aは、表示装置1を稼働させるための各種制御に関する機能を提供し、制御プログラム24aが提供する機能には、撮影部40および42が取得する画像に3次元オブジェクトを重ねて表示部32aおよび32bに表示する機能、3次元オブジェクトに対する操作を検出する機能、検出した操作に応じて3次元オブジェクトを変化させる機能等が含まれ、
制御プログラム24aは、検出処理部25と、表示オブジェクト制御部26と、と、画像合成部28とを含み、検出処理部25は、撮影部40および42の撮影範囲に存在する現実の物体を検出するための機能を提供し、検出処理部25が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれ、
表示オブジェクト制御部26は、仮想空間にどのような3次元オブジェクトが配置され、それぞれの3次元オブジェクトがどのような状態にあるかを管理するための機能を提供し、表示オブジェクト制御部26が提供する機能には、検出処理部25の機能によって検出される現実の物体の動きに基づいて3次元オブジェクトに対する操作を検出し、検出した操作に基づいて3次元オブジェクトを変化させる機能が含まれ(【0028】-【0032】)、
画像合成部28は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部32aに表示する画像と表示部32bに表示する画像とを生成するための機能を提供し、画像合成部28が提供する機能には、検出処理部25の機能によって測定される現実の物体までの距離と、仮想空間における視点から3次元オブジェクトまでの距離とに基づいて、現実の物体と3次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれ(【0034】)、
オブジェクトデータ24bは、3次元オブジェクトの形状および性質に関する情報を含み、オブジェクトデータ24bは、3次元オブジェクトを表示するために用いられ、作用データ24cは、表示されている3次元オブジェクトに対する操作が3次元オブジェクトにどのように作用するかに関する情報を含み、作用データ24cは、表示されている3次元オブジェクトに対する操作が検出された場合に、3次元オブジェクトをどのように変化させるかを判定するために用いられ、ここでいう変化には、移動、回転、変形、消失、置換等が含まれる、仮想空間データ24dは、仮想空間に配置される3次元オブジェクトの状態に関する情報を保持し、3次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれ(【0036】)、
表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度(例えば、毎秒30回)で実行され、その結果、利用者の操作に応じた3次元オブジェクトの変化は、表示装置1が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく3次元オブジェクトを操作することができ(【0046】)、
オブジェクトデータ24bには、種別、形状情報、色、透明度等を含む情報が3次元オブジェクト毎に格納され、種別は、3次元オブジェクトの物理的な性質を示し、例えば、「剛体」等の値をとり、
3次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なり、ここでいう障害物とは、他の3次元オブジェクトであってもよいし、現実の物体であってもよく(【0072】-【0073】)、
3次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、
3次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示され、3次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように3次元オブジェクトを逆方向に移動させてもよく、(【0075】)
押された方向に固定されていない他の剛体があり、押される速度が遅い場合、3次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示され、一方、押される速度が速い場合、3次元オブジェクトは、押された方向に押された量に応じて移動するように表示され、他の剛体と接触した後、3次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよく、(【0076】)
3次元オブジェクトOB1は、例えば、ボールを模したオブジェクトであり(【0090】)、
3次元オブジェクトOB1が剛体であると定義され、作用データ24cにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されており、この場合、表示装置1は、指F1に押されたように3次元オブジェクトOB1を指F1の進行方向へ移動させ、3次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ24bおよび作用データ24cに基づいて3次元オブジェクトOB1を変化させることにより、3次元オブジェクトを操作に応じて様々に変化させることができ、3次元オブジェクトOB1を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができ、(【0098】?【0099】)
3次元オブジェクトを摘んで行う操作に関して表示装置1が実行する処理手順の例において、
撮影部40および42によって第1の物体および第2の物体が検出されたかを判定し、第1の物体および第2の物体は、現実の物体、例えば、利用者の指であり、
第1の物体および第2の物体の右方向への移動が検出された場合、制御部22は、第1の物体および第2の物体の移動に合わせて3次元オブジェクトを右方向へ移動させ、
制御部において、第1の物体および第2の物体の移動速度を算出し、移動速度が閾値より速い場合、制御部22は、3次元オブジェクトが第1の物体および第2の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよく、
続いて、3次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示され、3次元オブジェクトの動きを停止させる前に、3次元オブジェクトの弾性や床やテーブルの硬度に応じて3次元オブジェクトをバウンドさせてもよい(【0151】-【0164】)、
表示装置。」

2.周知技術を示す文献について
令和2年6月30日付けの拒絶の理由に周知技術を示す文献として引用された引用文献2,3には、次の事項が記載されている。

(1)引用文献2について
引用文献2(【請求項1】-【請求項3】及び【0029】-【0030】、図9など)には、下記の技術が記載されている。

「 画像エリアを規定するピクセルに関連した格納されたディジタル画像中の物体の境界を確定する方法であって、
グレースケールヒストグラム38において、ブロックに分割し、
各ブロックについてブロックしきい値を指定し、
ブロックしきい値に基づき、一方の側の輝度が背景輝度であり、他方の側の輝度が物体輝度であるようにピクセルしきい値を導出し、
該ピクセルしきい値から、物体輝度を有している各ピクセルと、背景輝度を有している各ピクセルとを特定し、物体輝度を有している各ピクセルには第1の値を割り当て、背景輝度を有している各ピクセルには第2の値を割り当て、それにより画像物体を2値物体に変換し、
該2値物体を輪郭化し、それにより該画像物体の該境界を確定し、
該ブロックしきい値は、所定の場合に他ブロックにおけるブロックしきい値の平均などに基づき、計算される、
方法。」

ここで、「ピクセルしきい値」は、「グレースケールヒストグラム38」の「ブロックしきい値」の平均などの統計的な手法により計算されており、それに基づき、物体画像と背景画像とに、それぞれ、第1の値、第2の値を割り当てているから、その結果としての2値化画像は、統計的な手法に基づき作成された統計的なマップであるといえる。

つまり、引用文献2には、「ディジタル画像中の物体の境界を画定するために、画像のグレースケールのヒストグラムおいて、ヒストグラムに基づき統計的な手法により2値化マップを作成し、画像物体の境界を画定する」技術が開示されているが、このような技術は、本願の出願日前から周知であったといえる。

(2)引用文献3について
引用文献3(【0037】-【0055】及び図3Aなど)には、下記の記載がある。
「画像内の物体の形状を解析するために、画像のグレーレベル・ヒストグラムを作成し、ヒストグラムに基づき初期セグメント化しきい値Thiが計算され、Thiを使用して、正確な画像(タイプ0)、不正確なフォアグラウンド画像(タイプI)及び不正確なバックグラウンド画像(タイII)にセグメント化し、次に、これにより導出されたセグメント化しきい値に基づき画像エッジ基準を決定することにより、画像内のエッジを抽出する、方法。」

ここで、上記のようにセグメント化した結果得られた画像は、画像のグレーレベル・ヒストグラムを統計的な手法により分析して得られた、正確な画像と不正確な画像とを含む統計的なマップであるといえる。

つまり、引用文献3には、「画像内の物体の形状を解析するために、画像のグレーレベル・ヒストグラムを作成し、正確な画像と不正確な画像とを含む統計的なマップを作成し、エッジを抽出する」技術が記載されているが、このような技術は、本願の出願日前から周知であったといえる。

第6 対比・判断
1.本願発明1について
(1)対比
本願発明1と引用発明とを対比すると、次のことがいえる。

ア.引用発明の「表示装置1」は、利用者の頭部に装着されるヘッドマウントタイプの装置であり、携行可能な装置であるといえるから、本願発明1の「モバイル機器」に相当する。
また、引用発明の表示装置1において、「撮影部40」により、利用者の「視界に相当する範囲の画像を取得」しているから,引用発明の「撮影部40」は,「モバイル機器の画像収集部材」に対応しており,本願発明1と引用発明とは,「モバイル機器の画像収集部材を用いて画像を収集し」ている点で共通しているといえる。
さらに、画像合成部28により,「撮影部40」により「取得し」た利用者の「視界に相当する範囲の画像」である「現実の空間の画像と仮想空間の画像とを合成」しており、「表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度(例えば、毎秒30回)で実行され、その結果、利用者の操作に応じた3次元オブジェクトの変化は、表示装置1が表示する画像にほぼリアルタイムに反映され」ることから、「撮影部40」で取得された画像も、一般的な動画のフレームレート(かそれ以上)で取得される一連の画像であるといえる。よって、引用発明の「撮影部40」においても、「画像を収集し」,「連続した画像シーケンス」を得ているものといえる。
したがって、引用発明は、「モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得る」点で、本願発明1と一致する。

イ.引用発明の「表示装置1」において、「検出部44」は、「撮影部40および42の撮影範囲に存在する現実の物体を検出」するものであり、撮像部40により撮影した「撮影画像の内容を分析」しているといえる。
よって、引用発明は、「画像の内容を分析する」点で、本願発明1と一致する。

ウ.引用発明の「3次元オブジェクト」は、「3次元的に表示される仮想的な情報」であり、例えば、「ボールを模したオブジェクト」であるから、本願発明1の「バーチャルボール」に対応する。また、「表示装置1」において、「指F1に押されたように3次元オブジェクトOB1を指F1の進行方向へ移動させ、3次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ24bおよび作用データ24cに基づいて3次元オブジェクトOB1を変化させ」、例えば「現実の物体」である「障害物」と接触するが、ここで、3次元オブジェクトの動作は、「オブジェクトデータ24bおよび作用データ24c」に基づき変化するものであるから、これらは、「所定のルール」に対応するものである。また、「障害物」の例として、ボーリングのピンが挙げられており、また、「床やテーブル」も、3次元オブジェクトの向きや速度を変える障害物といえるものである。よって、引用発明の「障害物」は、利用者の指などの利用者に関する情報とは別体のものであるから、「前記利用者に関連する情報と互いに独立している画像の内容」に対応する。
さらに、引用発明の「3次元オブジェクト」は、撮影画像内で検知された障害物と、「オブジェクトデータ24bおよび作用データ24c」にしたがって、接触などの相互作用をするものであるから、引用発明は、「バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせる」点で、本願発明1と一致する。

エ.引用発明において、3次元オブジェクトと障害物の接触により、「移動が停止する」、「跳ね返ったように3次元オブジェクトを逆方向に移動」させるなど、3次元オブジェクトの動作が変化されるものであるが、このような動作変化(結果)も含め、合成画像を表示部(スクリーン)に表示すると認められるから、引用発明と本願発明1とは、「インタラクションの結果を前記モバイル機器のスクリーンに表示させる」点で、一致する。

オ.引用発明の「表示装置1」によって、ア?エの各動作を行うステップを含む方法が実行されると認められるから、引用発明においても、本願発明1の「モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法」を有するものであると認められる。

カ.引用発明の「表示装置1」において、撮影画像において検出された物体の「エッジ」を検出することや、3次元オブジェクトと障害物とが接触することが開示されており、このような接触は、「3次元オブジェクト」に接触する障害物のエッジ演算がなくては検知できないものであるから、引用発明においても、障害物との接触を検知する際、3次元オブジェクト近傍のエッジを演算することは明らかである。
よって、引用発明と本願発明1とは、「前記バーチャルボール近傍の画像エッジを演算する」点で一致する。

キ.引用発明の「3次元オブジェクト」は、障害物との接触(衝突)に際し、「3次元オブジェクトは、押された方向に押された量に応じて移動し、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止する」、「3次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように3次元オブジェクトを逆方向に移動」しており、3次元オブジェクトの「方向」を演算しているが、速度についても同様に演算することは明らかであるといえる。
よって、引用発明と本願発明1とは、「衝突後の前記バーチャルボールの速度および方向を演算する」点で一致する。

ク.引用発明において、3次元オブジェクトは、「他の剛体と接触した後は、他の剛体もともに移動するように表示され」るが、当該「移動」とは、位置の更新を表すものであるといえる。よって、引用発明と本願発明1とは、「バーチャルボールの位置を更新する」点、及び「バーチャルボールを表示する」点で一致する。

したがって、本願発明1と引用発明との間には、次の一致点、相違点があるといえる。

(一致点)
「 モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
画像の内容を分析するステップと、
前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせるステップと、
インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
を含み、
画像の内容を分析するステップは、
前記バーチャルボール近傍の画像エッジを演算するステップと、
衝突後の前記バーチャルボールの速度および方向を演算するステップと、
前記バーチャルボールの位置を更新するステップと、
前記バーチャルボールを表示するステップと、
を含む、
方法。」

(相違点1)本願発明1は、「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という構成を備えるのに対し、引用発明はそのような構成を備えていない点。

(2)相違点についての判断
相違点1に係る本願発明1の「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という構成は、上記引用文献1-3のいずれにも記載されておらず、本願優先日前において周知技術であるともいえない。
したがって、本願発明1は、当業者であっても引用発明および周知技術に基づいて容易に発明できたものであるとはいえない。

2.本願発明2-4について
本願発明2ないし4は、いずれも本願発明1に従属する発明であり、本願発明1の「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」と同一の構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明および周知技術に基づいて容易に発明できたものとはいえない。

第7 原査定についての判断
令和2年9月23日の補正により、補正後の請求項1-4は、「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という技術的事項を有するものとなった。
当該「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」は、原査定における引用文献A-Dには記載されておらず、本願優先日前における周知技術でもないので、本願発明1-4は、当業者であっても、原査定における引用文献A-Dに基づいて容易に発明できたものではない。したがって、原査定を維持することはできない。

第8むすび
以上のとおり、原査定の理由によって、本願を拒絶することはできない。
他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
 
審決日 2020-11-10 
出願番号 特願2017-542256(P2017-542256)
審決分類 P 1 8・ 121- WY (G06F)
最終処分 成立  
前審関与審査官 星野 裕  
特許庁審判長 ▲吉▼田 耕一
特許庁審判官 野崎 大進
太田 龍一
発明の名称 モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法  
代理人 特許業務法人栄光特許事務所  
代理人 特許業務法人栄光特許事務所  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ