• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 取り消して特許、登録 A61B
管理番号 1379176
審判番号 不服2021-6177  
総通号数 264 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2021-12-24 
種別 拒絶査定不服の審決 
審判請求日 2021-05-14 
確定日 2021-11-02 
事件の表示 特願2017-149684「視線検出装置及び視線検出方法」拒絶査定不服審判事件〔平成31年 2月21日出願公開、特開2019- 25195、請求項の数(3)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続の経緯
本願は、平成29年8月2日の出願であって、その手続の経緯は以下のとおりである。
令和 2年11月 2日付け:拒絶理由通知書
令和 3年 1月 6日 :意見書、手続補正書の提出
令和 3年 2月 3日付け:拒絶査定
令和 3年 5月14日 :審判請求書、手続補正書の提出

第2 原査定の概要
原査定(令和3年2月3日付け拒絶査定)の概要は次のとおりである。
本願の請求項1ないし4に係る発明は、以下の、引用文献2に記載された発明、引用文献1に記載された技術事項、及び引用文献3、4に記載された周知技術に基づいて、当業者が容易に発明できたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献1:国際公開第2016/098406号
引用文献2:特開2016-85588号公報
引用文献3:国際公開第2014/073645号(周知技術を示す文献)
引用文献4:国際公開第2015/190204号(周知技術を示す文献)

第3 審判請求時の補正(令和3年5月14日提出の手続補正書による手続補正)について
審判請求時の補正は、特許法第17条の2第3項から第6項までの要件に違反しているものとはいえない。審判請求時の補正によって、請求項1、3の「被験者の角膜曲率中心位置を補正するためのキャリブレーションを実行する」を、「被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行する」とする補正事項は、実行するキャリブレーションを、「被験者の角膜曲率中心位置を補正するため」に「被験者の瞳孔中心と角膜曲率中心との距離を算出する」ことに限定的に特定したものと理解できるから、特許請求の範囲の減縮を目的とするものといえる。また、当該補正事項は、当初明細書の段落【0075】等に記載された事項であるから、新規事項を追加するものでもない。
そして、「第4 本願発明」から「第6 対比・判断」までに示すように、補正後の請求項1ないし3に係る発明は、独立特許要件を満たすものである。

第4 本願発明
本願の請求項1ないし3に係る発明(以下、それぞれ「本願発明1」ないし「本願発明3」という。)は、令和3年5月14日提出の手続補正書により手続補正された特許請求の範囲の請求項1ないし3に記載された事項により特定される以下のとおりの発明である。(下線は補正箇所を示す。)

「 【請求項1】
被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御部と、
前記被験者の眼球に、視線検出用の検出光を照射する光源と、
前記眼球を撮像する撮像部と、
前記撮像部が撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出部と、
前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定部と、
前記注視判定部が前記目標位置を注視していると判定した場合に、前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーション部とを有する視線検出装置。
【請求項2】
前記注視判定部は、前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内であり、前記瞳孔中心位置と所定の基準点とを結ぶ直線と、前記瞳孔中心位置と前記角膜反射中心位置とを結ぶ直線との間の角度が、所定の角度閾値以下である場合に、前記被験者が前記目標位置を注視していると判定する
請求項1に記載の視線検出装置。
【請求項3】
被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御ステップと、
前記被験者の眼球に、視線検出用の検出光を照射する検出光照射ステップと、
前記眼球を撮像する撮像ステップと、
前記撮像ステップで撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出ステップと、
前記位置検出ステップで検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定ステップと、
前記注視判定ステップにおいて前記目標位置を注視していると判定した場合に、前記撮像ステップで撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーションステップと、を有する、視線検出方法。」

第5 引用文献、引用発明等

1 引用文献1について

(1)引用文献1の記載
原査定の拒絶の理由に引用された引用文献1には、図面とともに次の事項が記載されている。(下線は当審が付与した。以下同じ。)

(引1ア)
「[0014] 本実施形態に係る情報処理装置は、ディスプレイに対するユーザの視線を検出する際に、視線検出精度を向上させるために実行されるキャリブレーションを行う装置である。本実施形態では、瞳孔角膜反射法を用いてユーザの視線を検出する。瞳孔角膜反射法は、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する手法である。
・・・
[0042] (1)注視点マーカ表示(S100)
本実施形態に係る情報処理装置200によるアイウェア端末100のキャリブレーション処理は、表示部130に注視点マーカを表示し、ユーザの視線を注視点マーカに向けさせることから開始する(S100)。注視点マーカの表示制御は、情報処理装置200のマーカ制御部220の指示を受けて、制御部140により行われる。キャリブレーションでは、表示部130の表示領域内の複数位置においてユーザの視線データを取得する。視線データを取得する位置であるキャリブレーション点に注視点マーカを表示させることで、ユーザに意図的に視線を注視点マーカに向けさせ、視線データを取得することが可能となる。
・・・
[0045] ステップS100では、最初のキャリブレーション点に注視点マーカMを表示させ、キャリブレーション処理を開始させる。
[0046] (2)視線データ取得(S110?S140)
ステップS100にて最初のキャリブレーション点に注視点マーカMが表示されると、そのキャリブレーション点におけるユーザの視線データが取得される(S110)。視線データは、推定されたユーザの視線方向を表す光軸ベクトルと、ユーザの瞳孔中心から注視点マーカへのマーカベクトルとを含む。
[0047] (光軸ベクトルの演算)
光軸ベクトルは、例えば瞳孔角膜反射法を用いて推定される。ここで、図7に基づいて、瞳孔角膜反射法を用いた光軸の推定処理について説明する。瞳孔角膜反射法では、表示部の表示面23を観察するユーザの眼球10に対して光源21から光を照射し、撮像部22により光が照射された眼球10を撮影する。そして、撮像部22により撮影された撮影画像30に基づき、光軸が推定される。ここでは説明を簡単にするため、1つの光源21により眼球10を照射した場合を説明する。
[0048] 図7に示すように、ユーザは、表示面23に表示されている注視点マーカMを注視しているとする。このとき、光源21により眼球10に対して光を照射し、撮像部22により眼球10を撮影する。取得された眼球10の撮影画像30には、図7に示すように、ユーザの眼球10の角膜14、虹彩13及び瞳孔17が撮影されている。また、撮影画像30では、光源21から眼球10に照射された照射光の輝点であるプルキニエ像(Purkinje Image)Pが撮影されている。
[0049] 撮影画像30が取得されると、光軸の算出処理が行われる。光軸の算出処理は、演算処理部230により行われる。このため、まず、撮影画像30から瞳孔中心S及びプルキニエ像Pが検出される。これらの検出処理は、公知の画像認識技術により行うことができる。
[0050] 例えば、瞳孔17の像の検出処理においては、撮影画像30に対する各種の画像処理(例えば歪みや黒レベル、ホワイトバランス等の調整処理)、撮影画像30内の輝度分布を取得する処理等が行われる。また、取得された輝度分布に基づいて瞳孔17の像の輪郭(エッジ)を検出する処理や、検出された瞳孔17の像の輪郭を円又は楕円等の図形で近似する処理等が行われてもよい。検出された瞳孔17の像より、瞳孔中心Sを求めることができる。
[0051] また、プルキニエ像Pの検出処理においては、撮影画像30に対する各種の画像処理、撮影画像30内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理等の一連の処理が行われてもよい。また、検出されたプルキニエ像Pから、プルキニエ像Pの中心を検出してもよい。
[0052] 次いで、瞳孔中心S及び角膜14の曲率中心点Cの3次元座標が算出される。角膜14の曲率中心点Cは、角膜14を球の一部とみなした場合の当該球の中心である。瞳孔中心Sの3次元座標は、撮影画像30から検出された瞳孔17の像に基づいて算出される。具体的には、撮像部22と眼球10との位置関係、角膜14表面における光の屈折、角膜14の曲率中心点Cと瞳孔中心Sとの距離等に基づき、撮影画像30における瞳孔17の像の輪郭上の各点の3次元座標が算出される。これらの座標の中心点が、瞳孔中心Sの3次元座標とされる。
[0053] また、角膜14の曲率中心点Cは、撮影画像30から検出されたプルキニエ像P及びその中心に基づいて算出される。具体的には、光源21と撮像部22と眼球10との位置関係、角膜14の曲率半径等に基づき、撮像部22とプルキニエ像Pの中心とを結ぶ直線上において、角膜14の表面から眼球10の内部に向かって角膜14の曲率半径だけ進んだ位置が、角膜14の曲率中心点Cの3次元座標として算出される。
[0054] このように算出された角膜14の曲率中心点Cと瞳孔中心Sとを結ぶ直線が、推定された光軸となる。すなわち、光軸と表示面23とが交差する位置の座標が、推定されたユーザの視線位置となる。なお、角膜14の曲率中心点Cから瞳孔中心Sに向かうベクトルを光軸ベクトルvoとする。
[0055] (マーカベクトルの演算)
一方、ユーザの瞳孔中心Sから注視点マーカMへのマーカベクトルは、上述のように撮影画像30から特定された瞳孔中心Sから、現在注視点マーカMが表示されている表示面23上の位置に向かうベクトルとして算出することができる。
[0056] このように、ステップS110では、光軸ベクトル及びマーカベクトルが視線データとして演算処理部230により演算され、取得される。取得した視線データは、記憶部240に記憶される。
[0057] (検出結果のばらつき抑制)
ここで、演算処理部230は、演算した光軸ベクトルvoがキャリブレーションの検出結果として使用可能な情報であるか否かを判定してもよい。
[0058] 具体的には、例えば、光軸ベクトルvoのぶれが所定の範囲内にあるか否かを判定し、演算した光軸ベクトルvoがこれまで取得された光軸ベクトルvoから大きく外れたものでないことを確認してもよい。演算処理部230により演算された光軸ベクトルvoは、記憶部240に履歴として記憶されている。これを用いて、演算処理部230は、例えば、今回演算分を含めた過去N回に取得した光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定値以内にあることを確認する。そして、光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定の閾値を超えたとき、今回演算された光軸ベクトルvoはぶれが大きいとして、キャリブレーションの検出結果として用いないようにする。これにより、光軸ベクトルの精度を高めることができる。
[0059] 光軸ベクトルの平均vo_aveは、例えば過去3回の光軸ベクトルvoを用いて算出してもよい。また、光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角を判定するための閾値は、例えば3°程度としてもよい。この閾値は、検出のぶれを加味して決定される。かかる判定により、例えば図8に示すように、推定されたユーザの視線位置m1、m2、m3があったとき、視線位置m3のように他のものから外れているものを検出結果から除外することができる。また、ユーザが注視点マーカMを見ていないときに撮影された撮影画像から光軸ベクトルvoが演算された場合にも、演算された光軸ベクトルvoは、光軸ベクトルの平均vo_aveから大きく外れるものとなる。このようなものも、当該判定により検出結果から除外することができる。
[0060] また、演算処理部230は、例えば、演算したマーカベクトルvmと光軸ベクトルvoとのなす角ωが所定値以下であるか否かを判定してもよい。かかる判定により、推定された光軸ベクトルvoが、実際の視線方向から大きくずれていないかを確認することができる。ここで用いる閾値の値は、光軸と視軸とのずれや光軸の検出誤差等を考慮して決定される。
[0061] 例えば、推定されたユーザの視線方向(すなわち、光軸)と、実際にユーザが見ている方向(すなわち、視軸)とは必ずしも一致しない。これは、眼球の形状や大きさ、眼球における網膜や視神経の配置等に起因する。個人差もあるが、光軸と視軸とは通常4?8°ずれている。また、光軸の検出誤差は数°、例えば±3°ほど存在すると考えられる。これらの誤差にその他の蓄積誤差±1°を加味すると、0?12°程度の誤差の発生が想定される。この場合、演算したマーカベクトルと光軸ベクトルとのなす角ωが0?12°の範囲内にあれば、演算した光軸ベクトルvoの精度は許容できるものとして、キャリブレーションの検出結果として用いるようにしてもよい。
[0062] このような判定処理を行うことで、検出結果のばらつきを抑制することができ、光軸ベクトルの精度を高めることができる。
・・・
[0064] 以上の処理が行われると、演算処理部230は、現在注視点マーカMが表示されているキャリブレーション点における視線データが取得されたか否かを判定する(S120)。例えば、過去のデータから光軸ベクトルvoにぶれがあると判定した場合や、マーカベクトルvmと光軸ベクトルvoとのなす角ωが許容範囲内にない場合等、正しい結果が得られなかった場合には、再度眼球10を撮影し、視線データを取得する。
[0065] 一方、現在注視点マーカMが表示されているキャリブレーション点における視線データが取得された場合には、演算処理部230は、すべてのキャリブレーション点について視線データが取得されたか否かを判定する(S130)。視線データを取得するキャリブレーション点は、記憶部240に予め記憶されている。演算処理部230は、視線データが取得されていないキャリブレーション点がある場合には、マーカ制御部220に対して、注視点マーカMを次のキャリブレーション点へ移動させるよう指示する(S140)。マーカ制御部220は、予め設定されている次のキャリブレーション点へ注視点マーカMを移動させる指示を、送受信部210を介してアイウェア端末100へ出力する。
・・・
[0072] 図5の説明に戻り、ステップS140にて注視点マーカMが次のキャリブレーション点へ移動されると、移動先のキャリブレーション点での視線データの取得が行われる(S110)。その後、すべてのキャリブレーション点において視線データの取得が完了するまで、ステップS110?S140の処理が繰り返し実行される。
[0073] (3)評価(S150?S180)
すべてのキャリブレーション点において視線データが取得されると、評価部250により、キャリブレーションの完了判定が行われる。本実施形態では、キャリブレーションの完了判定は、推定された光軸ベクトルvoの全体としてのばらつきが許容範囲内か否かを判定することにより行われる。
・・・
[0081] キャリブレーションの完了判定は、ステップS150にて算出されたマーカベクトルvmと光軸ベクトルvoとの相関係数r_(xy)が所定の閾値r_(th)を下回ったか否かにより行ってもよい。閾値r_(th)は、例えば0.90としてもよい。ステップS160にて、マーカベクトルvmと光軸ベクトルvoとの相関係数r_(xy)が閾値r_(th)以上であった場合、評価部250は、全体としての光軸ベクトルvoのばらつきは許容範囲内であるとして、キャリブレーション処理を完了する(S170)。
[0082] 一方、マーカベクトルvmと光軸ベクトルvoとの相関係数rxyが閾値r_(th)を下回った場合には、キャリブレーションの設定情報を変更してキャリブレーションの仕方を変更し(S180)、再度キャリブレーションを実施する。キャリブレーションの設定情報とは、例えば注視点マーカMの表示位置等である。例えば、注視点マーカMの表示位置を表示領域の中央に寄せる等、キャリブレーション点の設定を変更し、再度キャリブレーションを実行してもよい。
[0083] 例えば、図13に示すように、表示領域300に対して、表示領域300を所定の割合αだけ縮小した領域に基づき、キャリブレーション点が設定されるとする。このとき、キャリブレーション点の位置のデフォルト値を、例えば、表示領域300の中央と、表示領域の90%の大きさの領域の四隅としたとする。キャリブレーション点をデフォルトの位置に設定してキャリブレーションを実行したときに、マーカベクトルvmと光軸ベクトルvoとの相関係数r_(xy)が閾値r_(th)を下回った場合には、キャリブレーション点の位置を表示領域の中央に寄せる。例えば、四隅のキャリブレーション点の位置を、表示領域の80%の大きさの領域の四隅に設定する。このようにキャリブレーション点の位置を表示領域の中央に寄せることで、ユーザが注視点マーカを見やすくなり、正しい視線データを取得しやすくすることができる。」

(引1イ)図5

(引1ウ)図7

(引1エ)図8


(2)引用文献1に記載された技術事項
上記(1)の記載事項及び図面から、引用文献1には、次の技術事項(以下「引用文献1の技術事項」という。)が記載されていると認められる。

「 ディスプレイに対するユーザの視線を検出する際に、視線検出精度を向上させるために実行されるキャリブレーションを行う情報処理装置であって、
情報処理装置によるアイウェア端末のキャリブレーション処理は、
キャリブレーション点に注視点マーカMが表示されると、そのキャリブレーション点におけるユーザの視線データが取得され、視線データは、推定されたユーザの視線方向を表す光軸ベクトルと、ユーザの瞳孔中心から注視点マーカへのマーカベクトルとを含み、光軸ベクトルは、角膜14の曲率中心点Cから瞳孔中心Sに向かうベクトルを光軸ベクトルvoとし、瞳孔角膜反射法を用いて推定され、一方、ユーザの瞳孔中心Sから注視点マーカMへのマーカベクトルは、瞳孔中心Sから、現在注視点マーカMが表示されている表示面23上の位置に向かうベクトルとして算出され、このように、光軸ベクトル及びマーカベクトルが視線データとして演算され、取得され、
ここで、演算した光軸ベクトルvoがキャリブレーションの検出結果として使用可能な情報であるか否かを判定し、例えば、今回演算分を含めた過去N回に取得した光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定値以内にあることを確認し、光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定の閾値を超えたとき、今回演算された光軸ベクトルvoはぶれが大きいとして、キャリブレーションの検出結果として用いないようにし、これにより、光軸ベクトルの精度を高めることができ、
すべてのキャリブレーション点において視線データが取得されると、キャリブレーションの完了判定が行われ、キャリブレーションの完了判定は、算出されたマーカベクトルvmと光軸ベクトルvoとの相関係数が所定の閾値を下回ったか否かにより行い、マーカベクトルvmと光軸ベクトルvoとの相関係数が閾値を下回った場合には、注視点マーカMの表示位置を表示領域の中央に寄せる等、キャリブレーション点の設定を変更し、再度キャリブレーションを実行し、このようにキャリブレーション点の位置を表示領域の中央に寄せることで、ユーザが注視点マーカを見やすくなり、正しい視線データを取得しやすくすることができる、
情報処理装置。」

2 引用文献2について

(1)引用文献2の記載
原査定の拒絶の理由に引用された引用文献2には、図面とともに次の事項が記載されている。

(引2ア)
「【0011】
本実施形態の視線検出装置(診断支援装置)は、2ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置(診断支援装置)は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
・・・
【0016】
そこで本実施形態では、2台のカメラに対して、光源をそれぞれのカメラの外側に2ヶ所配置する。そして、これらの2つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方(遠い方)のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。
【0017】
この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、2つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置(仮想光源位置)に対してそれぞれ対称とする。そして、2つの光源それぞれの点灯時に得られる2つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、2つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。
・・・
【0020】
図3に示すように、本実施形態の診断支援装置は、表示部101と、ステレオカメラを構成する右カメラ102a、左カメラ102bと、LED光源103a、103bと、を含む。右カメラ102a、左カメラ102bは、表示部101の下に配置される。LED光源103a、103bは、右カメラ102a、左カメラ102bそれぞれの外側の位置に配置される。LED光源103a、103bは、例えば波長850nmの近赤外線を照射する光源である。図3では、9個のLEDによりLED光源103a、103b(照明部)を構成する例が示されている。なお、右カメラ102a、左カメラ102bは、波長850nmの近赤外光を透過できるレンズを使用する。なお、LED光源103a、103bと、右カメラ102a、左カメラ102bとの位置を逆にして、LED光源103a、103bを、右カメラ102a、左カメラ102bそれぞれの内側の位置に配置されていてもよい。
【0021】
図4に示すように、LED光源103a、103bは、被験者の眼球111に向かって近赤外光を照射する。LED光源103aを照射したときに左カメラ102bで撮影を行い、LED光源103bを照射したときに右カメラ102aで撮影を行う。右カメラ102aおよび左カメラ102bと、LED光源103a、103bとの位置関係を適切に設定することにより、撮影される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ102a、左カメラ102b)それぞれで取得することができる。
【0022】
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
【0023】
図5は、診断支援装置100の機能の概要を示す図である。図5では、図3および4に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図5に示すように、診断支援装置100は、右カメラ102aと、左カメラ102bと、左カメラ102b用のLED光源103aと、右カメラ102a用のLED光源103bと、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図5において、表示画面201は、右カメラ102aおよび左カメラ102bとの位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
・・・
【0031】
制御部300は、診断支援装置100全体を制御する。制御部300は、点灯制御部351と、位置検出部352と、曲率中心算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線検出装置としては、少なくとも点灯制御部351、位置検出部352、曲率中心算出部353、および、視線検出部354が備えられていればよい。
・・・
【0035】
位置検出部352は、ステレオカメラにより撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。また位置検出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。
【0036】
曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、曲率中心算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
【0037】
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心と仮想光源位置とを結ぶ直線(第1直線)と、の交点を算出する。そして曲率中心算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。
【0038】
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
・・・
【0041】
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部353が、仮想光源位置と、表示部上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。
【0042】
視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
【0043】
視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
【0044】
出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。
・・・
【0061】
図11は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
【0062】
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、仮想光源303と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。」

(引2イ)図5

(引2ウ)図6

(引2エ)図11



(2)引用文献2に記載された発明
上記(1)の記載事項及び図面から、引用文献2には、次の発明(以下「引用発明」という。)が記載されていると認められる。

「 2台のカメラに対して、光源をそれぞれのカメラの外側に2ヶ所配置し、これらの2つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方のカメラで撮影し、2つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置(仮想光源位置)に対してそれぞれ対称とし、2ヵ所に設置された照明部を用いて視線を検出する視線検出装置であって、
ステレオカメラを構成する右カメラ102a、左カメラ102bと、左カメラ102b用のLED光源103aと、右カメラ102a用のLED光源103bと、制御部300と、表示部101と、を含み、
LED光源103a、103bは、被験者の眼球111に向かって近赤外光を照射し、LED光源103aを照射したときに左カメラ102bで撮影を行い、LED光源103bを照射したときに右カメラ102aで撮影を行い、
制御部300は、点灯制御部351と、位置検出部352と、曲率中心算出部353と、視線検出部354と、出力制御部356と、を備え、
出力制御部356は、表示画面201上の予め定められた目標位置に、被験者に注視させる画像(目標画像)を表示し、
位置検出部352は、ステレオカメラにより撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置を算出し、また、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置を算出し、
曲率中心算出部353は、個人差を考慮して角膜曲率中心を算出するもので、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出し、そして、瞳孔中心と算出した交点との距離を算出し、距離の算出までの処理は、実際の視線検出を開始するまでに事前に実行しておき、これにより一般的な曲率半径値を用いて算出される視線817は、事前に求めた距離を用いて算出される視線818に補正される、
視線検出装置。」

3 引用文献3について
原査定の拒絶の理由に引用された引用文献3には、図面とともに次の事項が記載されている。

(引3ア)
「[0059] 図9(a)に示すように、運転者(対象者)1の前方に視対象平面40があるとする。この視対象平面40は例えばディスプレイである。この視対象平面40はXY平面に平行な面であるとする。符号Pは運転者(対象者)1の瞳孔中心であり、PTが視線ベクトルである。Qが注視点である。
[0060] 近赤外線カメラ2はX’Y’平面と平行な面である仮想視点平面41と平行に設置される。すなわち仮想視点平面41の直交方向がカメラの光軸方向である。Tは仮想視点平面41上の注視点である。PT’はカメラ瞳孔ベクトルである。
[0061] 図9(a)に示すように、視線ベクトルPTとカメラ瞳孔ベクトルPT’との間の角度はθである。また、カメラ中心から仮想視点平面41上の注視点Tへの方向とX’軸との間の角度はφである。
[0062] 図9(b)は瞳孔周辺画像の模式図である。Gは角膜反射像である。角膜反射像Gと瞳孔中心Pとを直線状に結んだ線とX軸との間の角度はφ’である。
[0063] 図9(c-1)?(c-3)に示すEは運転者(対象者)1の眼球を模式図的に示したものである。図9(c-1)?(c-3)では眼球の向きが異なっている。図9(c-1)では、視線ベクトルPTとカメラ瞳孔ベクトルPT’との方向が一致している。すなわち図9(a)に示すθはゼロである。このとき図9(d-1)の画像では、瞳孔中心Pと角膜反射像Gとが一致している。すなわち、瞳孔中心Pと角膜反射像Gとの間隔|r0|=0である。
[0064] 次に、図9(c-2)では、視線ベクトルPTとカメラ瞳孔ベクトルPT’とが一致せず、視線ベクトルPTとカメラ瞳孔ベクトルPT’との間に角度θが生じている。このとき図9(d-2)の画像では、瞳孔中心Pと角膜反射像Gとの間に、間隔|r1|が生じている。
[0065] また、図9(c-3)では、視線ベクトルPTとカメラ瞳孔ベクトルPT’との間の角度θが、図9(c-2)よりも大きくなっている。このとき図9(d-3)の画像では、瞳孔中心Pと角膜反射像Gとの間に、間隔|r2|が生じ、この間隔|r2|は、図9(d-2)に示す間隔|r1|よりも大きくなっている。
[0066] ここで図9(a)(c)に示す(θ,φ)と、図9(b)(d)に示す(|r|,φ’)との関係は一対一に対応している。
[0067] すなわち視線がカメラ光軸から離れるほど(θが大きくなるほど)、瞳孔中心Pと角膜反射像Gとの間の間隔(距離)|r|は大きくなる。したがって、θと|r|との間には図9(e)に示す関係がある。この関係に基づいて視線を推定することができる。」

(引3イ)図9

4 引用文献4について
原査定の拒絶の理由に引用された引用文献4には、図面とともに次の事項が記載されている。

(引4ア)
「[0049] (視線の検出)
第2判定部23は左右の瞳孔の3次元座標に基づいて視線を検出する。図13に示すように、瞳孔の3次元位置Pに基づいて、カメラ10の開口部12の中心を原点Oとし、その原点Oと瞳孔中心Pを結ぶ基準線OPを法線とする仮想視点平面X’-Y’を考える。ここで、X’軸は、世界座標系のX_(W)-Z_(W)平面と仮想視点平面との交線に相当する。
[0050] 第2判定部23は、画像面S_(G)における角膜反射点Gから瞳孔中心Pまでのベクトルr_(G)を算出し、そのベクトルr_(G)を、距離OPから求められたカメラの拡大率を用いて実寸に換算したベクトルrに変換する。このとき、各カメラ10をピンホールモデルと考え、角膜反射点Gと瞳孔中心Pとが、仮想視点平面X’-Y’と平行な平面上にあると仮定する。つまり、第2判定部23は、仮想視点平面と平行であって瞳孔Pの3次元座標を含む平面上において、瞳孔中心Pと角膜反射点Gの相対座標をベクトルrとして算出し、このベクトルrは角膜反射点Gから瞳孔中心Pまでの実距離を表す。
[0051] 続いて、第2判定部23は、対象者Aの仮想視点平面上の注視点Tに関して、直線OTの水平軸X’に対する傾きφが、ベクトルrの画像面上の水平軸XGに対する傾きφ’と等しいと仮定する。さらに、第2判定部23は、対象者Aの視線ベクトル、すなわち、瞳孔中心Pと注視点Tとを結ぶベクトルPTと、基準線OPとの成す角θを、ゲイン値kを含むパラメータを使った下記式(1)により計算する。
θ=f_(1)(r)=k×|r| …(1)
[0052] このような角度φ,θの計算は、瞳孔中心Pの存在する平面上のベクトルrを仮想視点平面上で拡大したものがそのまま対象者Aの注視点に対応するとみなすことにより行われる。より詳しくは、対象者Aの視線PTの基準線OPに対する角度θは、瞳孔中心と角膜反射の距離|r|との間で線形関係を有すると仮定する。
[0053] 角度θと距離|r|とは線形近似できるという仮定、および二つの傾きφ,φ’が等しいという仮定を利用することで、(θ,φ)と(|r|,φ’)とを1対1に対応させることができる。このとき、第2判定部23は、カメラ10の開口部12の中心に設定された原点Oと、仮想視点平面上の注視点Tとを結ぶベクトルOTを次式(2)により得る。なお、ベクトルOPはカメラ10から得られる。

[0054] 最後に、第2判定部23は視線ベクトルPTと視対象平面(ディスプレイ装置30)との交点である注視点Qを次式(3)で求める。
Q=nPT+P …(3)
[0055] しかし、一般的にヒトの視軸(瞳孔中心および中心窩を通る軸)と光軸(角膜からレンズの中心へと延びる法線)との間にはずれがあり、対象者Aがカメラを注視した際にも角膜反射と瞳孔中心とは一致しない。そこで、これを補正する原点補正ベクトルr_(0)を定義し、カメラ画像から実測した角膜反射-瞳孔中心ベクトルをr’とすると、ベクトルrはr=r’-r_(0)で表されるので、式(1)は下記式(4)のように書き換えられる。
θ=k×|r’-r_(0)| …(4)
計測されたr’に対して原点補正を行うことで、(θ,φ)と(|r|,φ’)とを1対1に対応させることができ、精度の高い注視点検出を行うことができる。
[0056] このような角度φ,θの計算は、瞳孔中心Pの存在する平面上のベクトルr(=r’-r_(0))を仮想視点平面上で拡大したものがそのまま対象者Aの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Aの視線PTの基準線OPに対する角度θは、瞳孔中心と角膜反射の距離の修正値|r’-r_(0)|との間で線形関係を有すると仮定している。なお、関数f1に含まれる原点補正ベクトルr_(0)には、対象者Aがカメラを見たとき(θ=0)の実寸の角膜反射-瞳孔中心間のベクトルが零ではないために、この角膜反射-瞳孔中心間のベクトルとして、ベクトルr_(0)が設定される。ここで、上記ゲイン値k及び原点補正ベクトルr_(0)は、各対象者Aや左右の眼球によって異なるため較正を行う必要がある。そこで、ゲイン値k及び原点補正ベクトルr_(0)には、予め設定された初期値に対して後述するパラメータ補正処理によって補正された値が使用される。瞳孔中心と角膜球中心の距離と視軸(基準値)は、注視点検出の一点較正時に求める。」

(引4イ)図13


第6 対比・判断

1 本願発明1について

(1)対比
本願発明1と引用発明とを対比する。

ア 引用発明の「表示画面201上の予め定められた目標位置に、被験者に注視させる画像(目標画像)を表示」する「出力制御部356」は、本願発明1の「被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御部」に相当する。

イ 引用発明の「被験者の眼球111に向かって近赤外光を照射」する「LED光源103a、103b」は、「視線を検出する」ための「2ヵ所に設置された照明部」であるから、本願発明1の「前記被験者の眼球に、視線検出用の検出光を照射する光源」に相当する。

ウ 引用発明の「眼球」を「撮像」し、「ステレオカメラを構成する右カメラ102a、左カメラ102b」は、本願発明1の「前記眼球を撮像する撮像部」に相当する。

エ 引用発明の「ステレオカメラにより撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置を算出し、また、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置を算出」する「位置検出部352」は、本願発明1の「前記撮像部が撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出部」に相当する。

オ 引用発明の「まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出し、そして、瞳孔中心と算出した交点との距離を算出」することは、ここでの「算出した交点」が「角膜曲率中心」であるから、本願発明1の「前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出する」ことに相当する。
また、引用発明では、「距離の算出までの処理は、実際の視線検出を開始するまでに事前に実行しておき、これにより一般的な曲率半径値を用いて算出される視線817は、事前に求めた距離を用いて算出される視線818に補正される」ことから、引用発明の「曲率中心算出部353」は、「被験者の瞳孔中心と角膜曲率中心との距離を算出する」ことにより、角膜曲率中心を補正するための「キャリブレーションを実行する」ものといえる。
よって、引用発明の「まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出し、そして、瞳孔中心と算出した交点との距離を算出」する「曲率中心算出部353」と、本願発明1の「前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定部と、
前記注視判定部が前記目標位置を注視していると判定した場合に、前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーション部」とは、「前記被験者が前記目標位置を注視している場合に、前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーション部」という点で共通する。

してみると、本願発明1と引用発明とは、次の点で一致し、次の各点で相違する。

(一致点)
「 被験者に注視させるための目標位置を設定し、前記目標位置に目標画像を表示する表示制御部と、
前記被験者の眼球に、視線検出用の検出光を照射する光源と、
前記眼球を撮像する撮像部と、
前記撮像部が撮像した画像から、前記眼球の瞳孔中心位置と、前記眼球の角膜反射中心位置とを検出する位置検出部と、
前記被験者が前記目標位置を注視している場合に、前記撮像部が撮像した画像に基づき前記被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するキャリブレーション部とを有する視線検出装置。」

(相違点)
本願発明1では、「前記位置検出部が検出した前記瞳孔中心位置と前記角膜反射中心位置との間の距離が、所定の距離閾値の範囲内にある場合に、前記被験者が前記目標位置を注視していると判定する注視判定部を有し、前記注視判定部が前記目標位置を注視していると判定した場合に」、前記被験者の瞳孔中心と角膜曲率中心との距離を算出するのに対し、引用発明では、このような注視判定部を有していない点。

(2)判断
上記相違点について検討する。

引用文献1の技術事項(上記第5の1(2)参照。)には、正しい視線データを取得できる表示領域を判定するためのキャリブレーションに用いる視線データとして、「被験者の瞳孔中心と角膜曲率中心との延長線上に視線がある瞳孔角膜反射法」を用いて検出した視線データのうち、視線のぶれが大きい視線データを用いないことが開示されている。
一方、本願発明1は、注視判定部により被験者が目標位置を注視していると判定した場合に、瞳孔角膜反射法で用いるための、被験者の瞳孔中心と角膜曲率中心との距離を算出するキャリブレーションを実行するもの、すなわち、瞳孔角膜反射法で用いる角膜曲率中心位置を、個人に応じて修正するものであるから、上記相違点に係る本願発明1の構成は、上記引用文献1の技術事項には記載も示唆もされていない。
また、上記相違点に係る本願発明1の構成は、引用文献3(上記第5の3参照。)及び引用文献4(上記第5の4参照。)に記載も示唆もなく、また当該構成が周知技術であるといえる証拠も見当たらない。
よって、上記相違点に係る本願発明1の構成は、引用発明及び引用文献1、3、4に基づいて当業者が容易に想到し得ることではない。

(3)小括
したがって、本願発明1は、当業者であっても引用発明及び引用文献1、3、4に基づいて容易に発明できたものであるとはいえない。

2 本願発明2について
本願発明2は、本願発明1を引用する発明であり、本願発明1の上記相違点に係る構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献1、3、4に基づいて容易に発明できたものであるとはいえない。

3 本願発明3について
本願発明3は、本願発明1に対応する方法の発明であり、本願発明1の上記相違点に対応する構成を備えるものであるから、本願発明1と同じ理由により、当業者であっても、引用発明及び引用文献1、3、4に基づいて容易に発明できたものであるとはいえない。

第7 原査定について
上記「第6」で検討したように、本願発明1ないし3は、引用発明及び引用文献1、3、4に基づいて容易に発明できたものとはいえないから、拒絶査定において引用された引用文献1?4に基づいて当業者が容易に発明できたものとはいえない。
したがって、原査定を維持することはできない。

第8 むすび
以上のとおり、原査定の理由によっては、本願を拒絶することはできない。
また、他に本願を拒絶すべき理由を発見しない。
よって、結論のとおり審決する。

 
審決日 2021-10-18 
出願番号 特願2017-149684(P2017-149684)
審決分類 P 1 8・ 121- WY (A61B)
最終処分 成立  
前審関与審査官 山口 裕之  
特許庁審判長 福島 浩司
特許庁審判官 ▲高▼見 重雄
樋口 宗彦
発明の名称 視線検出装置及び視線検出方法  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ