• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 取り消して特許、登録 G06F
管理番号 1342512
審判番号 不服2017-16431  
総通号数 225 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2018-09-28 
種別 拒絶査定不服の審決 
審判請求日 2017-11-06 
確定日 2018-08-07 
事件の表示 特願2016-551393「カーソル制御装置及びカーソル制御方法」拒絶査定不服審判事件〔平成28年 4月 7日国際公開、WO2016/051520、請求項の数(5)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続の経緯
本願は、平成26年9月30日を国際出願日とする出願であって、平成29年4月27日付けで拒絶理由通知がされ、同年6月20日に意見書が提出され、同年8月15日付けで拒絶査定(原査定)がされ、これに対し、同年11月6日に拒絶査定不服審判の請求がされたものである。

第2 原査定の概要
原査定(平成29年8月15日付け拒絶査定)の概要は次のとおりである。

(進歩性)この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

記 (引用文献等については引用文献等一覧参照)

・請求項 1及び5
・引用文献等 1、又は、2

・請求項 2
・引用文献等 1、又は、2-4


<引用文献等一覧>
1.特開2006-277666号公報
2.特開2013-125985号公報
3.特開2003-108309号公報
4.特開2008-065522号公報

第3 本願発明
本願請求項1-5に係る発明(以下、それぞれ「本願発明1」-「本願発明5」という。)は、特許請求の範囲の請求項1-5に記載された事項により特定される発明であり、以下のとおりの発明である。

「【請求項1】
特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置において、
前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部と、
前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、
前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた
ことを特徴とするカーソル制御装置。
【請求項2】
前記角度算出部により算出された今回の角度が、前の角度に対して閾値内である場合に、当該今回の角度を当該前の角度に置き換えるフィルタ部を備えた
ことを特徴とする請求項1記載のカーソル制御装置。
【請求項3】
前記特徴点抽出部は、前記基点の位置が抽出できなくなった場合に、当該基点が前記動作点に重なったと判断して当該基点の位置を推定する
ことを特徴とする請求項1記載のカーソル制御装置。
【請求項4】
前記特徴点抽出部は、基点となる特徴点の位置を複数抽出し、
前記変換部は、前記角度算出部により算出された複数組の角度のうち、角度変化の大きい角度を用いる
ことを特徴とする請求項1記載のカーソル制御装置。
【請求項5】
特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御方法において、
操作者検出部が、前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出ステップと、
特徴点抽出部が、前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出ステップと、
角度算出部が、前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出ステップと、
変換部が、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換ステップとを有する
ことを特徴とするカーソル制御方法。」

第4 引用文献、引用発明等
1.引用文献1について
原査定の拒絶の理由に引用された引用文献1には、図面とともに次の事項が記載されている。

a)「【0029】
図1に示すように、カーソル位置解析装置1は、例えば、テレビ受像機のような表示装置Dの表示画面近傍に設置された複数のカメラを有する立体カメラCによって操作者Uを撮影した映像を外部から入力し、当該映像に示される操作者Uの指先と目の間である眉間(視点)の位置を算出して、当該眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、この位置にカーソルSを表示させるものである。そして、図2に示すように、ここでは、カーソル位置解析装置1は、画像入力手段10と、距離画像生成手段11と、背景差分処理手段12と、背景画像蓄積手段13と、指先検出手段14と、顔検出手段15と、眉間検出手段16と、眉間位置設定手段17と、カーソル位置解析手段18と、カーソル表示手段19と、映像入力手段20とを備える。
【0030】
画像入力手段10は、立体カメラCによって撮影された操作者Uの映像を構成するフレーム画像を時系列に入力するものである。この画像入力手段10によって入力されるフレーム画像は、複数のカメラによって撮影されたものであり、異なる位置から同時刻に撮影された複数のフレーム画像が同時に入力される。ここで入力されたフレーム画像は、距離画像生成手段11と、背景差分処理手段12と、顔検出手段15とへ出力される。
【0031】
距離画像生成手段11は、画像入力手段10から入力されたフレーム画像に基づいて、当該フレーム画像内に撮影された被写体の、表示画面からの距離を示す距離画像を生成するものである。ここで生成された距離画像は、指先検出手段14と、カーソル位置解析手段18とに出力される。」(下線は当審で付与。以下、同様。)

b)「【0036】
背景差分処理手段12は、後記する背景画像蓄積手段13に蓄積された、操作者Uのいない背景を撮影した画像である背景画像と、画像入力手段10から入力されたフレーム画像との差分画像を生成し、背景の領域を示すマスク画像を生成するものである。ここでは、背景差分処理手段12は、差分処理部12aと、マスク画像生成部12bと、背景画像選択部12cとを備える。」

c)「【0041】
背景画像蓄積手段(背景画像記憶手段)13は、背景を撮影した画像である背景画像を蓄積するもので、半導体メモリ、ハードディスク等の一般的な記憶手段である。ここでは、背景画像蓄積手段13は、背景画像選択部12cによって背景の画像と判別された画像と、背景画像選択部12cによって生成された背景画像とを蓄積することとした。また、背景画像蓄積手段13には、予め背景画像が蓄積されていることとしてもよいし、背景画像選択部12cによって背景の画像と判別された最新の画像を背景画像として蓄積することとしてもよい。ここで蓄積されている背景画像は、差分処理部12aによって、差分画像を生成する際に読み出され、背景画像選択部12cによって、背景画像を生成する際に読み出される。
【0042】
指先検出手段14は、距離画像生成手段11によって生成された距離画像と、背景差分処理手段12によって生成されたマスク画像とに基づいて、画像入力手段10から入力されたフレーム画像内において撮影された操作者Uの指先の位置を検出するものである。ここで指先検出手段14は、候補ブロック探索部14aと、最近接ブロック判定部14bと、指先判定部14cと、予測領域設定部14dとを備える。
【0043】
候補ブロック探索部14aは、距離画像生成手段11によって生成された距離画像のうち、背景差分処理手段12によって生成されたマスク画像によって示されるマスク領域を除いた領域である非マスク領域及び後記する予測領域設定部14dによって設定された予測領域をブロック化し、距離画像によって示される距離の短いブロックを所定数だけ抽出するものである。ここで抽出されたブロックは、最近接ブロック判定部14bに出力される。
【0044】
なお、ブロックは、例えば、8×8画素の領域のような、複数の画素によって構成される。また、非マスク領域は、フレーム画像において操作者Uの画像の存在する領域である。そのため、距離画像のこの領域について、距離の短いブロックを抽出することで、候補ブロック探索部14aは、背景の影響を除去して、操作者Uの指先に対応する領域を含むブロックを抽出することができる。また、予測領域は、指先の動きに基づいて、指先に対応するブロックが高い確率で存在すると予測された領域である。この予測領域からも距離の短いブロックを抽出することで、指先の位置を追跡し、安定して指先に対応する領域を含むブロックを抽出することができる。ここでは、候補ブロック探索部14aは、距離が短い順に所定数のブロックを抽出することとした。
【0045】
最近接ブロック判定部14bは、候補ブロック探索部14aによって抽出されたブロックのうち、1つのブロックを、指先位置を示すブロックとして選定するものである。ここで、最近接ブロック判定部14bには、後記する予測領域設定部14dによって前のフレーム画像の指先の位置に基づいて、この距離画像内において指先に対応するブロックが存在すると予測された予測領域の情報が入力され、最近接ブロック判定部14bは、この予測領域内に、候補ブロック探索部14aによって抽出されたブロックが含まれる場合には、この予測領域内のブロックから距離の最も短いブロックを選定し、予測領域内に含まれない場合には、予測領域外において距離が最も短いブロックを選定する。ここで選定されたブロックは、指先判定部14cに出力される。
【0046】
指先判定部(指先判定手段)14cは、最近接ブロック判定部14bによって選定されたブロックの距離と、操作者Uの画像に対応するブロックの距離の平均値とを比較し、選定されたブロックが指先に対応するブロックか否かを判定するものである。ここで、指先判定部14cは、背景差分処理手段12によって生成されたマスク画像によって示される
マスク領域以外の領域の距離の平均値を算出し、この平均値と、最近接ブロック判定部14bによって選定されたブロックの距離との差が所定値より大きいか否かを判断する。そして、所定値より大きければ、最近接ブロック判定部14bは、このブロックが指先に対応するブロックであると判定し、距離画像上におけるこのブロックの位置の情報(指先位置)を予測領域設定部14dとカーソル位置解析手段18とに、指先に対応するブロックが検出されたことを示す検出開始信号を眉間位置設定手段17に出力する。また、所定値より大きくなければ、指先判定部14cは、このブロックは指先に対応するブロックではないと判定し、不検出信号をカーソル表示手段19に出力する。」

d)「【0048】
予測領域設定部(予測領域設定手段)14dは、指先判定部14cから入力された指先位置に基づいて、次のフレームの距離画像内において指先に対応するブロックが存在すると予測される領域である予測領域を設定するものである。ここでは、予測領域設定部14dは、現在のフレームと1フレーム前の距離画像に基づいて検出された指先に対応するブロックの位置(指先位置)に基づいて、距離画像上において指先が移動する速度を推定し、その速度から次のフレームの距離画像における指先位置を推定する。なお、指先位置の推定には、例えば、一般的なカルマンフィルタを用いることができる。そして、予測領域設定部14dは、その指先位置を中心とした所定の大きさの領域を予測領域とする。ここで設定された予測領域は、候補ブロック探索部14aと、最近接ブロック判定部14bとに出力される。
【0049】
顔検出手段15は、画像入力手段10から入力されたフレーム画像から操作者Uの顔を検出するものである。この顔の検出は、後記する眉間検出手段16によって、フレーム画像から操作者Uの両目の間である眉間の検出を高速に行うための前処理であり、眉間の検出が実時間で処理できる場合は、カーソル位置解析装置1は顔検出手段15を備えず、眉間検出手段16によって、画像入力手段10から入力されたフレーム画像から直接眉間を検出することとしてもよい。ここで検出された顔の領域は、眉間検出手段16に出力される。また、顔が検出されなかった場合には、顔検出手段15は、顔が検出されなかった旨を眉間位置設定手段17に通知する。このように、顔検出手段15が検出範囲を限定して、後記する眉間検出手段16による眉間の位置を検出するため、処理速度を向上させることができる。」

e)「【0053】
眉間検出手段(視点検出手段)16は、顔検出手段15によって検出された顔の画像の領域から、眉間の位置を検出するものである。ここでは、眉間検出手段16は、リングフィルタを用いて眉間の位置を検出することとした。眉間検出手段16は、リングフィルタ部16aと、眉間候補点選択部16bとを備える。なお、ここでは、眉間検出手段16が、リングフィルタを用いる場合について説明するが、眉間検出手段16は、この手法に限定されず、眉間の位置を検出する様々な手法によって実現することができる。
【0054】
リングフィルタ部16aは、顔検出手段15から入力された顔の画像の領域から、1次元のリングフィルタによって、眉間の画像の候補を抽出するものである。ここで、リングフィルタ部16aは、1次元の情報に基づいて候補を抽出するため、眉間以外の領域も含む複数の候補が抽出される。ここで抽出された眉間の候補は、眉間候補点選択部16bに出力される。
【0055】
眉間候補点選択部16bは、リングフィルタ部16aによって抽出された複数の眉間の候補から、1つの眉間の候補を操作者Uの眉間の画像として選択し、この候補の位置を検出するものである。ここでは、眉間候補点選択部16bは、眉間の候補に対して、図示しない蓄積手段に予め蓄積された眉間の2次元テンプレートのマッチングを行い、最も一致する候補の位置を検出することとした。ここで検出された眉間の位置の情報は、眉間位置設定手段17に出力される。
【0056】
眉間位置設定手段17は、フレーム画像内における操作者Uの眉間の位置である眉間位置を設定するものである。ここで、眉間位置設定手段17は、顔検出手段15からの顔が検出されなかった通知と、眉間候補点選択部16bからの眉間の位置の情報のいずれかを入力し、眉間位置を設定する。また、眉間位置設定手段17は、指先検出手段14の指先判定部14cから入力される検出開始信号に基づいて、指先検出手段14によって指先が検出され続けている間は、眉間位置をロック(固定)する。ここで設定された眉間位置は、カーソル位置解析手段18に出力される。以下、眉間位置設定手段17が眉間位置を設定する方法について説明する。
【0057】
眉間位置設定手段17は、指先検出手段14の指先判定部14cから1つ前のフレーム及び現在のフレームにおいて検出開始信号が入力されると、1つ前のフレームにおいて設定された眉間位置を現在のフレームの眉間位置とする。また、眉間位置設定手段17は、眉間候補点選択部16bから眉間の位置を示す情報が入力され、かつ、指先検出手段14の指先判定部14cから1つ前のフレーム及び現在のフレームにおいて検出開始信号が入力されていない場合には、眉間候補点選択部16bから入力された眉間の位置を眉間位置とする。」

f)「【0060】
カーソル位置解析手段(画面上位置解析手段)18は、距離画像生成手段11によって生成された距離画像と、指先判定部14cによって検出された指先位置と、眉間位置設定手段17によって設定された眉間位置とに基づいて、操作者Uの眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、カーソルSの位置として設定するものである。カーソル位置解析手段18は、三次元位置算出部18aと、カーソル位置算出部18bとを備える。
【0061】
三次元位置算出部18aは、距離画像生成手段11によって生成された距離画像と、指先判定部14cによって検出された指先位置と、眉間位置設定手段17によって設定された眉間位置とに基づいて、操作者Uの指先及び眉間の三次元位置を算出するものである。この際、予めキャリブレーションを行い、カメラパラメータを求めておく。そして、三次元位置算出部18aは、このカメラパラメータと、指先位置及び眉間位置と、この指先位置及び眉間位置における距離画像によって示される表示画面から指先及び眉間までの距離とに基づいて、指先及び眉間の三次元位置を算出することができる。ここで算出された指先及び眉間の三次元位置は、カーソル位置算出部18bに出力される。
【0062】
カーソル位置算出部18bは、三次元位置算出部18aによって算出された指先及び眉間の三次元位置に基づいて、カーソルSを表示する位置である、操作者Uの指先によって示される表示装置Dの表示画面上の位置を解析するものである。ここで、カーソル位置解析装置1には、カメラと表示画面との位置関係が予め登録されていることとする。そして、カーソル位置算出部18bは、指先及び眉間の三次元位置に基づいて、この2点を通る直線の方程式を求め、この直線と表示画面との交点を算出して、この交点の表示画面上における位置をカーソルSの位置とする。これによって、カーソル位置算出部18bは、操作者Uから見て、指先の延長線上にある表示画面上の位置を解析することができる。ここで解析されたカーソルSの位置は、カーソル表示手段19に出力される。なお、カメラと表示画面との位置関係を示すデータは、表示画面とカメラの位置関係が変化しない限り、固定の値である。
【0063】
カーソル表示手段19は、後記する映像入力手段20から表示画面に表示する映像を入力して、この映像を構成するフレーム画像の各々に対して、カーソル位置算出部18bによって算出された位置にカーソルSの画像を付加して、表示可能な出力形式に変換して表示装置Dへ出力するものである。
【0064】
映像入力手段20は、表示装置Dの表示画面に表示するための映像を入力するものである。ここで入力された映像は、カーソル表示手段19に出力される。」

上記下線部及び関連箇所の記載によれば、引用文献1には、複数の知覚体験をデバイスのユーザに与える方法として、以下の発明(以下、「引用発明1」という。)が記載されている。

「カーソル位置解析装置1は、操作者Uの指先と目の間である眉間(視点)の位置を算出して、当該眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、この位置にカーソルSを表示させるものであり、
画像入力手段10と、距離画像生成手段11と、背景差分処理手段12と、背景画像蓄積手段13と、指先検出手段14と、顔検出手段15と、眉間検出手段16と、眉間位置設定手段17と、カーソル位置解析手段18と、カーソル表示手段19と、映像入力手段20とを備え、
画像入力手段10は、立体カメラCによって撮影された操作者Uの映像を構成するフレーム画像を時系列に入力するものであり、
距離画像生成手段11は、画像入力手段10から入力されたフレーム画像に基づいて、当該フレーム画像内に撮影された被写体の、表示画面からの距離を示す距離画像を生成するものであり、
背景差分処理手段12は、背景画像蓄積手段13に蓄積された、操作者Uのいない背景を撮影した画像である背景画像と、画像入力手段10から入力されたフレーム画像との差分画像を生成し、背景の領域を示すマスク画像を生成するものであり、
背景画像蓄積手段(背景画像記憶手段)13は、背景を撮影した画像である背景画像を蓄積するものであり、
指先検出手段14は、距離画像生成手段11によって生成された距離画像と、背景差分処理手段12によって生成されたマスク画像とに基づいて、画像入力手段10から入力されたフレーム画像内において撮影された操作者Uの指先の位置を検出するもので、候補ブロック探索部14aと、最近接ブロック判定部14bと、指先判定部14cと、予測領域設定部14dとを備え、
候補ブロック探索部14aは、非マスク領域及び予測領域をブロック化し、距離画像によって示される距離の短いブロックを所定数だけ抽出するもので、
非マスク領域は、フレーム画像において操作者Uの画像の存在する領域で、距離画像のこの領域について、距離の短いブロックを抽出することで、操作者Uの指先に対応する領域を含むブロックを抽出することができ、予測領域は、指先の動きに基づいて、指先に対応するブロックが高い確率で存在すると予測された領域で、この予測領域からも距離の短いブロックを抽出することで、指先の位置を追跡し、安定して指先に対応する領域を含むブロックを抽出することができ、
最近接ブロック判定部14bは、候補ブロック探索部14aによって抽出されたブロックのうち、1つのブロックを、指先位置を示すブロックとして選定するもので、
指先判定部(指先判定手段)14cは、最近接ブロック判定部14bによって選定されたブロックの距離と、操作者Uの画像に対応するブロックの距離の平均値とを比較し、選定されたブロックが指先に対応するブロックか否かを判定するもので、
予測領域設定部(予測領域設定手段)14dは、指先判定部14cから入力された指先位置に基づいて、次のフレームの距離画像内において指先に対応するブロックが存在すると予測される領域である予測領域を設定するものであり、
顔検出手段15は、画像入力手段10から入力されたフレーム画像から操作者Uの顔を検出するものであり、
眉間検出手段(視点検出手段)16は、顔検出手段15によって検出された顔の画像の領域から、眉間の位置を検出するもので、リングフィルタ部16aと、眉間候補点選択部16bとを備え、
リングフィルタ部16aは、顔検出手段15から入力された顔の画像の領域から、1次元のリングフィルタによって、眉間の画像の候補を抽出するもので、
眉間候補点選択部16bは、リングフィルタ部16aによって抽出された複数の眉間の候補から、1つの眉間の候補を操作者Uの眉間の画像として選択し、この候補の位置を検出するものであり、
眉間位置設定手段17は、フレーム画像内における操作者Uの眉間の位置である眉間位置を設定するものであり、
カーソル位置解析手段(画面上位置解析手段)18は、距離画像生成手段11によって生成された距離画像と、指先判定部14cによって検出された指先位置と、眉間位置設定手段17によって設定された眉間位置とに基づいて、操作者Uの眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、カーソルSの位置として設定するもので、三次元位置算出部18aと、カーソル位置算出部18bとを備え、
三次元位置算出部18aは、距離画像生成手段11によって生成された距離画像と、指先判定部14cによって検出された指先位置と、眉間位置設定手段17によって設定された眉間位置とに基づいて、操作者Uの指先及び眉間の三次元位置を算出するもので、
カーソル位置算出部18bは、三次元位置算出部18aによって算出された指先及び眉間の三次元位置に基づいて、カーソルSを表示する位置である、操作者Uの指先によって示される表示装置Dの表示画面上の位置を解析するもので、指先及び眉間の三次元位置に基づいて、この2点を通る直線の方程式を求め、この直線と表示画面との交点を算出して、この交点の表示画面上における位置をカーソルSの位置とし、
カーソル表示手段19は、映像入力手段20から表示画面に表示する映像を入力して、この映像を構成するフレーム画像の各々に対して、カーソル位置算出部18bによって算出された位置にカーソルSの画像を付加して、表示可能な出力形式に変換して表示装置Dへ出力するものである
カーソル位置解析装置1。」

2.引用文献2について
原査定の拒絶の理由に引用された引用文献2には、図面とともに次の事項が記載されている。

g)「【0022】
(実施の形態1)
以下に、本発明の実施の形態1を、図面を用いて説明する。
図1は、本発明の実施の形態1に係る表示システムのハードウェア構成を示すブロック図である。実施の形態1に係る表示システム1は、展示やユーザを撮像する撮像装置10、撮像されたユーザの位置や動きを判別する画像処理装置11、特定の被写体(例えばショーウィンドウ内等に展示する展示品)に関する映像やテキストなどの情報を保存している情報DB(Data Base)12、及び情報DB12の情報を表示する表示装置13によって構成されている。
【0023】
撮像装置10はステレオ配置された撮像部101、102により構成され、ユーザから見てショーウィンドウの反対側から展示品とユーザを同時に撮影する。ここで、ステレオ配置とは、撮像部101、102の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態1では、例として二つの撮像部101、102には同じ構成のものを用いるが、二つの撮像部101、102で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。撮像部101、102は、それぞれ展示品や人物などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。
【0024】
画像処理装置11は、距離算出部111、ユーザ情報解析部112、及び表示制御部113を備える。撮像部101、102で取得した二つの画像は、距離算出部111に入力され、距離算出部111ではステレオ方式により距離算出を行う。
ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。」

h)「【0027】
距離算出部111が出力する距離情報は、撮像部101画像の各画素に対応する距離値を0?255の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。
撮像部101の画像(距離算出部111で基準とした撮像部の画像)と、距離算出部111で算出した距離情報は、ユーザ情報解析部112に入力され、ユーザ情報解析部112ではユーザの位置情報、操作状態を検出して出力する。
【0028】
図2に示すように、ユーザ情報解析部112は顔検出部1121、手位置・形状検出部1122、目位置検出部1123、指先位置検出部1124、指差し方向検出部1125を備える。ユーザ情報解析部112の処理詳細については後述する。
表示制御部113はユーザ情報解析部112の出力情報に基づいて、情報DB12から情報を取得し、表示装置13に出力する。このとき、表示制御部113は表示装置13における情報の表示位置や表示方法についても制御を行う。詳細については後述する。」

i)「【0032】
図4はユーザ判別から情報表示までの一連の処理を表すフローチャートである。以下に処理手順を説明する。
まず表示システム1は、撮像装置10により画像を取得し、二台の撮像部101,102の画像情報が画像処理装置11に入力され、距離算出部111において距離情報が取得される(ステップS1)。次に撮像部101の画像と、距離算出部111で算出した距離情報はユーザ情報解析部112に入力される。また、顔検出部1121においてユーザの顔を検出する(ステップS2)。顔が検出されなければ最初の処理に戻る。
【0033】
顔検出部1121では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域及び目領域の画像情報または入力画像上の2次元座標などの情報を出力する。
例えば、顔検出部1121における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。さらに、弱識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる手法(「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」,「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法)を用いることも可能である。
以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。
【0034】
上記ステップS2で顔が検出されると、ユーザ情報解析部612は、距離算出部111で算出した距離情報から顔がショーウィンドウからどれだけ離れているかわかるため、図3の操作範囲26にユーザの顔が存在するかどうかを判定する(ステップS3)。ユーザの顔が操作範囲26内に存在すれば、ショーウィンドウを利用するユーザ21であると判断する。この操作範囲26は、例えば、表示装置13のディスプレイ面から1m離れた地点までを設定する。
【0035】
ユーザが操作範囲26内に存在した場合、ユーザ情報解析部112は、手位置・形状検出部1122により手の3次元位置を検出し、さらに手形状を検出する(ステップS4)。
手形状の判別方法の一つとしては、あらかじめ規定されたどの形状に合致するか照合する方法がある。
本発明の実施の形態1では、操作状態の判別に手形状を用い、「人差し指を立てた状態」は展示品を指で指し示している状態、「指を揃えて手を開いた状態」は表示装置13上に表示された情報をジェスチャで操作する状態とする。
【0036】
手位置・形状検出部1122は、検出した手の位置と手形状により、手形状が指さし時の状態、つまり「人差し指を立てた状態」であるかを判断する(ステップS5)。ここで手形状が指さし時の状態であればステップS6の処理へ移行し、指さし時の状態でなければ、例えば「指を揃えて手を開いた状態」等であればステップS10の処理へ移行する。
【0037】
ステップS6では、ユーザ情報解析部612は、目位置検出部1123により目の3次元位置を検出し、さらに指先位置検出部1124により指先の3次元位置を検出する。指先位置検出処理では、検出された手形状から手の所定位置に相当する指先を検出する。
また目検出処理では、例えば、目のテンプレート画像を用いたテンプレートマッチング
による方法や、平均的な人の顔と目の位置関係を利用して検出する方法によって目の位置を検出することができる。また、上記の顔検出処理と同様に、弱識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる手法を目検出に適用することも可能である。顔検出処理と同様に目検出処理には種々の方法があるが、本発明に係る目検出処理は上記の方法によるものに限るものではなく、入力画像から目を検出する方法であればどのような方法を用いてもよい。
【0038】
そして指差し方向検出部1125は、検出した目と指先の3次元位置情報を用いて指差し方向を判定し、表示制御部113により、指さし方向に一致する表示装置13上の位置にポインタを表示する(ステップS7)。
【0039】
指差し方向の判定は以下の方法で行うことができる。
目の3次元位置を[x1,y1,z1]、指先の3次元位置を[x2,y2,z2]とし、この2点を結ぶ直線上の任意の点を[X,Y,Z]とすると、これらの関係は(X-x1)/(x2-x1)=(Y-y1)/(y2-y1)=(Z-z1)/(z2-z1)で表される。
この方程式で表される直線がユーザの指差している方向であり、その直線上に存在する展示品をユーザが選択していると判断することができる。ショーウィンドウに展示されている展示品情報については事前登録が必要であるが、展示品の位置関係は、撮像装置10の画像情報と、ステップS1において算出された距離情報とにより判別できる。
【0040】
また、撮像装置10から表示装置13までの距離をzdとすると、上記方程式の指差し方向を表す直線が表示装置13にぶつかる位置[xd,yd,zd]がわかる。xd=(zd-z1)/(z2-z1)×(x1-x2)/x1、yd=(zd-z1)/(z2-z1)×(y1-y2)/y1として算出される。
この位置を中心として図3のポインタ25に示すようなガイドを表示することで、ユーザは自分の指差している方向を判断することができる。ポインタの形状や大きさは予め定めておくことができる。これにより、表示制御部113は、3次元空間上の目の位置と手の所定位置(指先)とを結ぶ線が表示装置13に交わる点を含む所定領域に、所定のポインタを表示させることができる。」

上記下線部及び関連箇所の記載によれば、引用文献2には、複数の知覚体験をデバイスのユーザに与える方法として、以下の発明(以下、「引用発明2」という。)が記載されている。

「表示システム1は、展示やユーザを撮像する撮像装置10、撮像されたユーザの位置や動きを判別する画像処理装置11、特定の被写体に関する映像やテキストなどの情報を保存している情報DB(Data Base)12、及び情報DB12の情報を表示する表示装置13によって構成され、
撮像装置10はステレオ配置された撮像部101、102により構成され、展示品とユーザを同時に撮影し、
画像処理装置11は、距離算出部111、ユーザ情報解析部112、及び表示制御部113を備え、
撮像部101、102で取得した二つの画像は、距離算出部111に入力され、距離算出部111ではステレオ方式により距離算出を行い、
撮像部101の画像(距離算出部111で基準とした撮像部の画像)と、距離算出部111で算出した距離情報は、ユーザ情報解析部112に入力され、ユーザ情報解析部112ではユーザの位置情報、操作状態を検出して出力し、
ユーザ情報解析部112は顔検出部1121、手位置・形状検出部1122、目位置検出部1123、指先位置検出部1124、指差し方向検出部1125を備え、
表示制御部113はユーザ情報解析部112の出力情報に基づいて、情報DB12から情報を取得し、表示装置13に出力し、
顔検出部1121では、入力画像から顔領域を検出し、顔領域及び目領域の画像情報または入力画像上の2次元座標などの情報を出力し、
顔が検出されると、ユーザ情報解析部612は、操作範囲26にユーザの顔が存在するかどうかを判定し、
ユーザが操作範囲26内に存在した場合、ユーザ情報解析部112は、手位置・形状検出部1122により手の3次元位置を検出し、さらに手形状を検出し、
ユーザ情報解析部612は、目位置検出部1123により目の3次元位置を検出し、さらに指先位置検出部1124により指先の3次元位置を検出し、
指差し方向検出部1125は、検出した目と指先の3次元位置情報を用いて指差し方向を判定し、表示制御部113により、指さし方向に一致する表示装置13上の位置にポインタを表示し、これにより、表示制御部113は、3次元空間上の目の位置と手の所定位置(指先)とを結ぶ線が表示装置13に交わる点を含む所定領域に、所定のポインタを表示させる
表示システム1。」

第5 対比・判断
1.本願発明1について
1-1.引用発明1との対比
(1)対比
本願発明1と引用発明1とを対比する。

ア.引用発明1は、「カーソル位置解析装置1は、操作者Uの指先と目の間である眉間(視点)の位置を算出して、当該眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、この位置にカーソルSを表示させるもの」であり、「立体カメラCによって撮影された操作者Uの映像を構成するフレーム画像」に基づいて、「指先検出手段14」が「フレーム画像内において撮影された操作者Uの指先の位置を検出」し、「眉間検出手段(視点検出手段)16」がフレーム画像から検出された操作者Uの顔の画像の領域から「眉間の位置を検出」するものであるから、引用発明1の「立体カメラC」は本願発明1の「特徴点検出センサ」に、引用発明1の「操作者Uの指先の位置」および「眉間の位置」は本願発明1の「3次元空間内における人の特徴点の位置」に相当し、引用発明1の「カーソル位置解析装置1」は、本願発明1の「特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置」に相当する。

イ.引用発明1の「指先検出手段14」が備える「候補ブロック探索部14aは、非マスク領域及び予測領域をブロック化し、距離画像によって示される距離の短いブロックを所定数だけ抽出するもので」「指先に対応する領域を含むブロックを抽出する」ものであり、「眉間検出手段(視点検出手段)16」が備える「リングフィルタ部16aは、顔検出手段15から入力された顔の画像の領域から、1次元のリングフィルタによって、眉間の画像の候補を抽出するもの」であるから、引用発明1の「候補ブロック探索部14a」および「リングフィルタ部16a」は、本願発明1における「前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部」の機能を有しているといえる。

ウ.引用発明1の「指先検出手段14」が備える「最近接ブロック判定部14bは、候補ブロック探索部14aによって抽出されたブロックのうち、1つのブロックを、指先位置を示すブロックとして選定するもので、指先判定部(指先判定手段)14cは、最近接ブロック判定部14bによって選定されたブロックの距離と、操作者Uの画像に対応するブロックの距離の平均値とを比較し、選定されたブロックが指先に対応するブロックか否かを判定するもの」、「眉間検出手段(視点検出手段)16」が備える「眉間候補点選択部16bは、リングフィルタ部16aによって抽出された複数の眉間の候補から、1つの眉間の候補を操作者Uの眉間の画像として選択し、この候補の位置を検出するものであり、眉間位置設定手段17は、フレーム画像内における操作者Uの眉間の位置である眉間位置を設定するもの」であり、「操作者Uの眉間から指先への延長線上に示される表示装置Dの表示画面上の位置を解析し、カーソルSの位置として設定する」から、引用発明1の「指先」は本願発明1の「動作点」に、引用発明1の「眉間」は本願発明1の「基点」にそれぞれ相当し、引用発明1の「最近接ブロック判定部14b」、「指先判定部(指先判定手段)14c」、「眉間候補点選択部16b」、「眉間位置設定手段17」からなる構成は、本願発明1の「前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部」に相当する。

したがって、両者は以下の一致点と相違点とを有する。

〈一致点〉
「特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置において、
前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部と、
前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部とを備えた
カーソル制御装置。」

〈相違点〉
本願発明1は、「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた」ものであるのに対し、引用発明1は、「距離画像生成手段11によって生成された距離画像と、指先判定部14cによって検出された指先位置と、眉間位置設定手段17によって設定された眉間位置とに基づいて、操作者Uの指先及び眉間の三次元位置を算出」し、「指先及び眉間の三次元位置に基づいて、この2点を通る直線の方程式を求め、この直線と表示画面との交点を算出して、この交点の表示画面上における位置をカーソルSの位置と」するものである点。

(2)相違点についての判断
上記「(1)対比」で検討したように、引用発明1は「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた」を備えたものではなく、引用文献1のその他の記載にも、当該「角度算出部」および「変換部」は、記載若しくは示唆されていない。
また、「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部」とを備えることは、本願出願日前周知技術であったものとも認められない。
したがって本願発明1は、当業者であっても引用発明1に基づいて容易に発明できたものであるとはいえない。

1-2.引用発明2との対比
(1)対比
本願発明1と引用発明2とを対比する。

ア.引用発明2は、「撮像部101の画像(距離算出部111で基準とした撮像部の画像)と、距離算出部111で算出した距離情報は、ユーザ情報解析部112に入力され、」「ユーザ情報解析部112は顔検出部1121、手位置・形状検出部1122、目位置検出部1123、指先位置検出部1124、指差し方向検出部1125を備え」、「3次元空間上の目の位置と手の所定位置(指先)とを結ぶ線が表示装置13に交わる点を含む所定領域に、所定のポインタを表示させる、表示システム1」であるから、引用発明2の「撮像部101」は本願発明1の「特徴点検出センサ」に、引用発明2の「3次元空間上の目の位置と手の所定位置(指先)」は本願発明1の「3次元空間における人の特徴点の位置」に相当し、引用発明2の「表示システム1」は、本願発明1の「特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置」に相当する。

イ.引用発明2の「目位置検出部1123により目の3次元位置を検出し、さらに指先位置検出部1124により指先の3次元位置を検出」し、「3次元空間上の目の位置と手の所定位置(指先)とを結ぶ線が表示装置13に交わる点を含む所定領域に、所定のポインタを表示させる」から、引用発明2の「目」は本願発明1の「基点」、引用発明2の「手の所定位置(指先)」は本願発明1の「動作点」にそれぞれ相当し、引用発明2の「目位置検出部1123」、「指先位置検出部1124」からなる構成は、本願発明1の「前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部」と「動作点及び基点となる特徴点の位置を抽出する特徴点抽出部」である点で共通するといえる。

したがって、両者は以下の一致点と相違点とを有する。

〈一致点〉
「特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置において、
動作点及び基点となる特徴点の位置を抽出する特徴点抽出部とを備えた
カーソル制御装置。」

〈相違点1〉
本願発明1は、「前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部」を備え、「前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する」ものであるのに対し、引用発明2は、「目位置検出部1123により目の3次元位置を検出し、さらに指先位置検出部1124により指先の3次元位置を検出」するものである点。

〈相違点2〉
本願発明1は、「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた」ものであるのに対し、引用発明1は、「検出した目と指先の3次元位置情報を用いて指差し方向を判定し、」「指さし方向に一致する表示装置13上の位置にポインタを表示」するものである点。

(2)相違点についての判断
事案に鑑みて、上記相違点2について先に検討すると、上記「(1)対比」で検討したように、引用発明2は「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた」を備えたものではなく、引用文献2のその他の記載にも、当該「角度算出部」および「変換部」は、記載若しくは示唆されていない。
また、「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部」とを備えることは、本願出願日前周知技術であったものとも認められない。
したがって本願発明1は、当業者であっても引用発明2に基づいて容易に発明できたものであるとはいえない。

2.本願発明2-4について
本願発明2-4は、本願発明1を引用するものであり、上記「1.請求項1について」にて述べたのと同様の理由により、引用発明1または引用発明2に基づいて容易に発明できたものであるとはいえない。
また、引用文献3,4を参酌しても、本願発明2-4は、容易に発明をすることができたとはいえない。

3.本願発明5について
本願発明5は、実質的に、本願発明1を「カーソル制御方法」として記載たものであるから、上記「1.請求項1について」にて述べたのと同様の理由により、引用発明1、または引用発明2に基づいて容易に発明できたものであるとはいえない。

第6 原査定について
本願発明1-5は「前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた」ものであり、当業者であっても、拒絶査定において引用された引用文献1または2、および3,4に基づいて、容易に発明できたものとはいえない。
したがって、原査定の理由を維持することはできない。

第7 むすび
以上のとおり、原査定の理由によっては、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。
 
審決日 2018-07-23 
出願番号 特願2016-551393(P2016-551393)
審決分類 P 1 8・ 121- WY (G06F)
最終処分 成立  
前審関与審査官 岩橋 龍太郎  
特許庁審判長 安久 司郎
特許庁審判官 稲葉 和生
山田 正文
発明の名称 カーソル制御装置及びカーソル制御方法  
代理人 田澤 英昭  
代理人 中島 成  
代理人 坂元 辰哉  
代理人 辻岡 将昭  
代理人 濱田 初音  
代理人 井上 和真  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ