• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 1項3号刊行物記載 取り消して特許、登録 G06F
審判 査定不服 2項進歩性 取り消して特許、登録 G06F
管理番号 1353681
審判番号 不服2018-8927  
総通号数 237 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2019-09-27 
種別 拒絶査定不服の審決 
審判請求日 2018-06-28 
確定日 2019-08-13 
事件の表示 特願2014-142394「表示制御方法、情報処理プログラム、及び情報処理装置」拒絶査定不服審判事件〔平成28年 2月 1日出願公開、特開2016- 18487、請求項の数(3)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続の経緯
本願は,平成26年7月10日の出願であって,その手続の経緯は以下のとおりである。
平成29年12月27日付け 拒絶理由通知書
平成30年 3月16日 意見書・手続補正書の提出
平成30年 3月27日付け 拒絶査定
平成30年 6月28日 審判請求書,手続補正書の提出

第2 原査定の概要
原査定(平成30年3月27日付け拒絶査定)の概要は次のとおりである。
1(新規性)この出願の請求項1,4及び6に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第29条第1項第3号に該当し、特許を受けることができない。

2(進歩性)この出願の請求項1ないし7に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

＜引用文献等一覧＞
1.特開2012-199824号公報
2.国際公開第2012/098872号
3.国際公開第2014/013689号
4.特開2012-058838号公報
5.特開2013-186827号公報

第3 審判請求時の補正について
本件補正は,補正前の請求項2,3,5,及び7を削除し,補正前の請求項4及び6を補正後の請求項2及び3とした上で,補正前の請求項1,4及び6の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた表示状態であり、かつ、前記第1の重畳用データが選択状態でない場合に第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、」及び「前記第1の重畳用データが選択状態である場合に第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」との記載を,補正後の請求項1ないし3の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、」及び「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」と補正し,限定を付加するものであって,補正前の請求項1,4及び6に記載された発明と補正後の請求項1,2及び3に記載される発明の産業上の利用分野及び解決しようとする課題が同一である。
そうすると,本件補正は,特許法第17条の2第5項2号の特許請求の範囲の減縮及び同項4号の明りょうでない記載の釈明を目的とするものに該当する。(下線は,補正箇所を示すものである。以下同じ。)
また,上記補正後の請求項1ないし3の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、」及び「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」との補正は,当初明細書の段落【0122】ないし【0124】及び【図11】に記載されているから,当該補正は新規事項を追加するものではないといえる。
そして,下記第4ないし第6までに示すように,補正後の請求項1ないし3に係る発明は,独立特許要件を満たすものである。

第4 本願発明
本願請求項1ないし3に係る発明(以下,それぞれ「本願発明1」ないし「本願発明3」という。)は,平成30年6月28日に提出された手続補正書で補正された特許請求の範囲の請求項1ないし3に記載された事項により特定される発明であり,以下のとおりの発明である。

「【請求項1】
表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、
前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力することを特徴とする表示制御方法。
【請求項2】
表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示し、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、
前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する、処理をコンピュータに実行させる情報処理プログラム。
【請求項3】
表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示部と、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、
前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する画像生成部とを有することを特徴とする情報処理装置。」

第5 引用文献,引用発明等
1 引用文献1について
原査定の拒絶の理由に引用された引用文献1には,図面とともに次の事項が記載されている。(下線は,当審で付与した。以下同じ。)

「【技術分野】
【0001】
本発明は、撮影装置、制御方法および仮想情報表示プログラムに関する。
【背景技術】
【0002】
近年、現実空間の画像をコンピュータで処理して更なる情報を付加する拡張現実(AR:Augmented reality)技術が注目されている(例えば、特許文献1参照)。また、現実空間の画像に付加された情報を選択してより詳細な情報を表示させる技術も知られている。」

「【発明が解決しようとする課題】
【0004】
しかしながら、現実空間の画像に付加する情報が複数ある場合、付加される情報が重なってしまうことがあった。このような場合、重なった情報の1つを任意に選択することは困難であった。
【0005】
本発明は、画像に付加された複数の情報の1つを容易に選択することができる撮影装置、制御方法および仮想情報表示プログラムを提供することを目的とする。」

「【0035】
仮想情報表示プログラム24aは、拡張現実(AR:Augmented reality)技術に基づいて、撮影部40によって取得した現実の画像に現実の施設や物品に対応した仮想的な情報を重ねて表示部2に表示する機能を提供する。具体的には、仮想情報表示プログラム24aは、位置・姿勢検出部36によって検出される位置と姿勢等に基づいて撮影部40の撮影範囲にある施設や物品に対応する仮想情報24bを取得させる。そして、仮想情報表示プログラム24aは、取得した仮想情報24bに対応するARタグと呼ばれるオブジェクトを画像に重ねて表示させる。
【0036】
また、仮想情報表示プログラム24aは、ARタグを選択するための所定の物体(以下、「ポインタ」)を用いて利用者に任意のARタグを選択させる機能と、選択されたARタグに関連づけられた動作を実行する機能を提供する。ポインタは、例えば、指、ペン、差し棒である。仮想情報表示プログラム24aは、複数のARタグが重なっている場合でも、任意のARタグを利用者が選択することを可能にする。
【0037】
仮想情報24bは、撮影部40によって取得された画像に重ねて表示されるARタグに関する情報を保持する。図3は、仮想情報24bの一例を示す図である。図3に示すように、仮想情報24bは、緯度、経度、高さ、画像、URL(Uniform Resource Locator)といった項目を有する。緯度、経度、高さは、仮想情報24bに対応する現実の施設や物品の位置を示す。画像は、ARタグとして表示されるオブジェクトの実体を示す。URLは、ARタグに関連づけられた情報を示す。」

「【0061】
また、指Fの角度によっては指Fが奥行き方向へ移動していることを検出し難いため、画像P上での指Fの位置が一定の場所に一定時間以上留まっている場合には、指Fが所定の速度で奥行き方向へ移動しているものとみなしてもよい。」

「【0065】
次に、図10および図11を参照しながら、携帯電話端末1の動作について説明する。図10は、携帯電話端末1によるARタグ選択処理の処理手順を示す図である。図11は、携帯電話端末1によるARタグ対応動作実行処理の処理手順を示す図である。図10および図11に示す処理手順は、仮想情報表示プログラム24aが起動された後、利用者が所定の終了操作を行うまで繰り返して並列に実行される。なお、ARタグ選択処理およびARタグ対応動作実行処理は、制御部22が仮想情報表示プログラム24aを実行することによって実現される。
【0066】
図10に示すように、制御部22は、まず、ステップS101として、撮影部40で取得された画像Pを表示部2に表示させる。そして、制御部22は、ステップS102として、位置・姿勢検出部36に自装置の位置と姿勢を取得させる。
【0067】
続いて、制御部22は、ステップS103として、自装置の位置と姿勢等に基づいて、撮影部40の撮影範囲に対応する仮想情報24bを取得する。そして、制御部22は、ステップS104として、取得した仮想情報24bに対応するARタグを画像Pに重ねて表示部2に表示させる。
【0068】
続いて、制御部22は、ステップS105として、画像Pに含まれるポインタを検出する。画像Pに含まれるポインタが検出された場合(ステップS106,Yeｓ)、制御部22は、ステップS107として、基準距離が設定済みであるかを判定する。基準距離が設定済みでない場合(ステップS107,Nｏ)、制御部22は、ステップS108として、対応するARタグがポインタの先端と重なっている仮想情報24bを検索する。ここで、該当する仮想情報24bがない場合、すなわち、ポインタの先端がいずれのARタグとも重なっていない場合(ステップS109,Nｏ)、制御部22は、特に処理をおこなわない。
【0069】
一方、該当する仮想情報24bがみつかった場合、すなわち、ポインタの先端がいずれかのARタグと重なっている場合(ステップS109,Yeｓ)、制御部22は、ステップS110として、該当する仮想情報に対応するARタグを選択状態にする。そして、制御部22は、ステップS111として、自装置とポインタの先端との距離を測定し、測定された距離を基準距離として設定する。
【0070】
続いて、制御部22は、ステップS112として、選択状態のARタグに対応する仮想情報24bが示す位置と自装置との距離を算出し、ステップS113として、算出した距離と基準距離とに基づいて換算係数を算出する。そして、制御部22は、ステップS114として、選択状態のARタグから他のARタグへの奥行き方向の距離を、対応する仮想情報24bが示す位置間の距離と換算係数とに基づいて算出する。
【0071】
ステップS107で基準距離が設定済みであった場合(ステップS107,Yeｓ)、制御部22は、ステップS115として、自装置とポインタの先端との距離を測定する。次に、制御部22は、ステップS116として、測定された距離と基準距離の差、すなわち、ポインタの移動距離を算出する。
【0072】
続いて、制御部22は、ステップS117として、対応するARタグがポインタの先端と重なり、かつ、対応するARタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索する。該当する仮想情報24bがみつかった場合、(ステップS118,Yeｓ)、制御部22は、ステップS119として、該当する仮想情報に対応するARタグを選択状態にする。該当する仮想情報24bがない場合(ステップS118,Nｏ)、制御部22は、特に処理をおこなわない。
【0073】
また、画像Pに含まれるポインタが検出されない場合(ステップS106,Nｏ)、制御部22は、ステップS120として、基準距離をクリアして、基準距離を設定し直すことができるようにする。なお、位置・姿勢検出部36によって検出される携帯電話端末1の位置と姿勢が所定以上変化した場合にも基準距離をクリアすることが好ましい。
【0074】
図11に示すように、制御部22は、まず、ステップS201として、起動動作が検出されたかを判定する。起動動作とは、ARタグに対応する動作を起動するための動作である。起動動作は、例えば、操作部13のいずれかのキーを押下する動作であってもよいし、表示部2に表示されている選択状態のARタグを指ではじいたり、摘んだりする動作であってもよい。後者の場合、起動動作は、撮影部40よって取得される画像Pを解析することによって検出される。
【0075】
起動動作が検出された場合(ステップS201,Yeｓ)、制御部22は、ステップS202として、対応するARタグが選択状態にある仮想情報24bがあるかを判定する。対応するARタグが選択状態にある仮想情報24bがある場合(ステップS202,Yeｓ)、制御部22は、ステップS203として、その仮想情報24bに対応する動作を実行する。仮想情報24bに対応する動作とは、例えば、仮想情報24bに含まれるURLにアクセスしてWEBページを表示する動作である。
【0076】
起動動作が検出されない場合(ステップS201,Nｏ)、または、対応するARタグが選択状態にある仮想情報24bがない場合(ステップS202,Nｏ)、特に処理は実行されない。」

【図3】

【図9】

上記記載から,次のことがいえる。
(1)引用文献1では,段落【0071】の「ポインタの移動距離を算出する」際に,段落【0061】の記載から,指F,すなわち,ポインタの位置が一定の場所に一定時間以上留まっている場合,ポインタが所定の速度で奥行き方向へ移動したとみなし,その距離をポインタの移動距離とすることを行っていると認められる。
(2)段落【0035】の「位置・姿勢検出部36によって検出される位置と姿勢等に基づいて撮影部40の撮影範囲にある施設や物品に対応する仮想情報24bを取得」する際に,位置・姿勢検出部36によって検出される位置と姿勢等に基づいて撮影部40の撮影範囲にある施設や物品を【図3】に示された緯度・経度・高さに基づいて判断し,その撮影範囲にある施設や物品に対応する仮想情報24bを取得していると認められる。
(3)段落【0037】の記載から,仮想情報24bにはARタグが含まれていると認められる。

そうすると,上記引用文献1には次の発明(以下,「引用発明1」という。)が記載されていると認められる。

「撮影部40で取得された画像Pを表示部2に表示し,
位置・姿勢検出部36に自装置の位置と姿勢を取得させ,自装置の位置と姿勢等に基づいて,撮影部40の撮影範囲にある施設や物品を判断し,その施設や物品に対応するARタグを含む仮想情報24bを取得し,
取得したARタグを画像に重ねて表示し,
画像Pに含まれる指などのポインタを検出し,
対応するARタグがポインタの先端と重なっている仮想情報24bを検索し,該当する仮想情報に対応するARタグを選択状態にし,
自装置とポインタの先端との距離を測定し,測定された距離を基準距離として設定し,
選択状態のARタグに対応する仮想情報24bが示す位置と自装置との距離を算出し,
算出した距離と基準距離とに基づいて換算係数を算出し,
選択状態のARタグから他のARタグへの奥行き方向の距離を、対応する仮想情報24bが示す位置間の距離と換算係数とに基づいて算出し,
自装置とポインタの先端との距離を測定し,測定された距離と基準距離の差,すなわち,ポインタの移動距離を算出する際,画像P上でのポインタの位置が一定の場所に一定時間以上留まっている場合には、ポインタが所定の速度で奥行き方向へ移動しているものとみなしその移動距離をポインタの移動距離とし,
対応するARタグがポインタの先端と重なり,かつ,対応するARタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索し,
該当する仮想情報24bがみつかった場合,該当する仮想情報に対応するARタグを選択状態にし,
起動動作,すなわち,表示部2に表示されている選択状態のARタグを指ではじいたり、摘んだりする動作が検出されたかを判定し,
起動動作が検出された場合,仮想情報24bに含まれるURLにアクセスしてWEBページを表示する動作を行う,
ことを特徴とする,画像に付加された複数の情報の1つを容易に選択する制御方法。」

2 引用文献2について
原査定の拒絶の理由に引用された引用文献2には,図面とともに次の事項が記載されている。

「技術分野
[0002] この発明は、携帯端末及び携帯端末の制御方法に関し、特に、実画像に仮想情報を重畳して表示するAR技術に対応した携帯端末及び携帯端末の制御方法に関する。」

「発明が解決しようとする課題
[0006] 従来技術では、端末からの距離が近いものから順にARオブジェクトが表示されるため、背後に位置するARオブジェクトは前面に位置するARオブジェクトの背面に隠れて表示されないという問題があった。
[0007] したがって、かかる点に鑑みてなされた本発明の目的は、重なり合うARオブジェクトを切替えて表示可能な携帯端末を提供することにある。」

「[0021] 図1は、本発明の一実施形態に係る携帯端末10の内部構成を概略的に示す機能ブロック図である。図1に示すように、携帯端末10は、タッチパネル101と、触感呈示部104と、荷重検出部105と、撮像部106と、位置情報取得部107と、通信部108と、記憶部109と、制御部110とを備えている。
[0022] 本実施形態では、タッチパネル101は、表示部102と、タッチセンサ103とを備えている。このタッチパネル101は、ユーザの入力を受け付けるタッチセンサ103を、表示部102の前面に重畳させて配設することにより構成する。図2(a)は、携帯端末10の正面図であり、図2(b)は、携帯端末10の背面図である。図2の通り、携帯端末10の正面にはタッチパネル101(表示部102及びタッチセンサ103)が設けられ、携帯端末10の背面には撮像部106が設けられている。」

「[0033] 図4は、携帯端末10の動作フローチャートである。まず、携帯端末10のAR表示がONになる(ステップS101)。ここで、AR表示がONになるとは、具体的にはARオブジェクトを表示可能なアプリケーションが起動された場合、又は、ARオブジェクトの表示、非表示の切替え可能なカメラモードにおいてARオブジェクト表示に切替えられたときなどである。次に、制御部110は、撮像部106が取得する画像内のARマーカーを検出し(ステップS102)、検出したARマーカーに対応するARオブジェクトを取得する(ステップS103)。また、制御部110は、位置情報取得部107から位置情報及び方位情報を取得し(ステップS104、S105)、通信部108を通じてARサーバに当該位置情報及び方位情報を送信する(ステップS106)。このとき、ARサーバは、携帯端末10から受信した位置情報及び方位情報から、携帯端末10の撮像部106が取得した画像内に含まれるARオブジェクトを選択し、当該選択したARオブジェクトをARデータとして携帯端末10に送信する。なお、前述したように、携帯端末10はARサーバに対して位置情報のみを送信し、ARサーバより送信されたARオブジェクトのうち、方位情報に基づいて選択されたARオブジェクトのみを表示することもできる。制御部110は、ARサーバからARデータを取得すると(ステップS107)、画像内のARマーカーから取得したARオブジェクトと、ARサーバから取得したARオブジェクトとの階層化処理を行う(ステップS108)。次に、制御部110は、ARオブジェクトの表示階層の切替え条件を設定し(ステップS109)、ARオブジェクトを撮像部106が取得した画像に重畳して表示部102に表示させる(ステップS110)。なお、図4におけるS102?S103の処理と、S104?S107の処理とは、順序を入れ替えても良い。また、画像内のARマーカーが検出されない場合には、S102?S103の処理は行わなくても良い。」

「[0036] 図7?9は、階層化されたARオブジェクトの切替え例を示す図である。図7は、制御部110が表示階層の切替え条件として押圧荷重を用いた場合の切替え例である。図7の例では、制御部110は、第1の荷重基準(一段押下)を満たす押圧荷重を検出した場合に第1レイヤのARオブジェクトを表示し、第2の荷重基準(二段押下)を満たす押圧荷重を検出した場合に第2レイヤのARオブジェクトを表示する。
[0037] 図8は、制御部110が表示階層の切替え条件としてタッチセンサ103への入力位置を用いた場合の切替え例である。図8の例では、制御部110は、ARオブジェクトが重なり合う位置に入力が行われた場合に、ARオブジェクトの表示階層を切替える。なお、この場合、制御部110は、入力位置に表示されているARオブジェクトに関する表示階層のみを切替えることができる。即ち、制御部110は、入力位置に表示されているARオブジェクトに関してのみ表示階層を切替えるが、入力が行われていないARオブジェクトに関しては表示階層の切替えは行わなくても良い。また、制御部110は、ARオブジェクトが重なり合う位置から所定範囲内への入力が行われた場合に、ARオブジェクトの表示階層を切替えても良い。さらに、制御部110は、表示階層の切替え条件として、押圧荷重及び入力位置を共に用いることができる。この場合、制御部110は、ユーザの入力の力や入力位置に応じてARオブジェクトの表示階層を切替えるため、ユーザはより直感的な操作でARオブジェクトの表示階層を切替えることができる。
[0038] 図9は、制御部110がARオブジェクトの種類に応じて階層化を行った場合の表示階層の切替え例である。図9の例では、制御部110は、店舗名称を第1レイヤに、店舗の評判を第2レイヤに、店舗への口コミを第3レイヤに設定している。制御部110は、第1の荷重基準(一段押下)を満たす押圧荷重を検出した場合に第1レイヤである店舗名称を表示し、第2の荷重基準(二段押下)を満たす押圧荷重を検出した場合に第2レイヤである店舗の評判を表示し、第3の荷重基準(三段押下)を満たす押圧荷重を検出した場合に第3レイヤである店舗の口コミを表示する。
[0039] このように、本実施形態によれば、制御部110は、ARオブジェクト(仮想情報)を階層化し、タッチセンサ103への入力に応じてARオブジェクトの表示階層を切替える。これにより、本実施形態に係る携帯端末10は、重なり合って背面に隠れたARオブジェクトを切替えることにより前面に表示することが可能になる。
[0040] また、制御部110は、携帯端末10の位置情報に基づきARオブジェクトを撮像部106が取得した画像に重畳して表示することができる。これにより、本実施形態に係る携帯端末10は、撮像部106が取得した画像内に含まれるARオブジェクトを表示することが可能になる。
[0041] また、制御部110は、撮像部106が取得した画像に含まれ、ARオブジェクト(仮想情報)が対応付けられた対象物(ARマーカー)に関連するARオブジェクトを、画像に重畳して表示することができる。これにより、本実施形態に係る携帯端末10は、撮像部106が取得した画像内に含まれるARオブジェクトを表示することが可能になる。
[0042] また、制御部110は、指等の押圧荷重に応じてARオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末10は、ユーザの入力の力に応じて表示階層を切替えることができ、ユーザは、直感的な操作でARオブジェクトの表示を切替えることが可能になる。
[0043] また、制御部110は、ARオブジェクトが重なり合う位置に入力が検出された場合に、ARオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末10は、ユーザの入力位置に応じて表示階層を切替えることができ、ユーザは、より直感的な操作でARオブジェクトの表示を切替えることが可能になる。
[0044] また、制御部110は、入力位置に表示されているARオブジェクトに関する表示階層のみを切替えることができる。これにより、本実施形態に係る携帯端末10は、ユーザが希望するARオブジェクトのみ表示階層を切替えることが可能になり、ユーザは、より直感的な操作でARオブジェクトの表示を切替えることが可能になる。
[0045] また、制御部110は、ARオブジェクトの種類に応じて階層化を行うことができる。これにより、本実施形態に係る携帯端末10は、ARオブジェクトに対してより多様な階層化を行うことが可能になる。」

したがって,上記引用文献2には次の発明(以下,「引用発明2」という。)が記載されていると認められる。

「実画像に仮想情報を重畳して表示するAR技術に対応した携帯端末の制御方法であって,
表示部102と,タッチセンサ103とを備えたタッチパネル101と撮像部106とを備え,
撮像部106が取得した画像に含まれ、ARオブジェクト(仮想情報)が対応付けられた対象物(ARマーカー)に関連するARオブジェクトを、撮像部106が取得した画像に重畳して表示し,
ARオブジェクトが重なり合う位置に入力が行われた場合に、ARオブジェクトの表示階層を切替える,
制御方法。」

3 引用文献3について
原査定の拒絶の理由に引用された引用文献3には,図面とともに次の事項が記載されている。

「技術分野
[0001]本発明は、被写体に対応したコメントを含むコメント付き動画像を生成するためのコメント付き動画像生成装置およびコメント付き動画像生成方法に関する。」

「[0134] 図21A?図21Fに、異なる領域が選択されたケースごとに図19に示すルールまたは図20の処理フローを適用し、それぞれ表示優先度を算出した結果得られるコメント領域および被写体領域の重畳表示例を示す。
[0135] 図21Aは、図10Aに示したものと同じ被写体領域情報111が示す、動画像110およびその背景を含む被写体領域400?403である。さらに、図11Aと同様に、ある時刻でのコメント領域500?502を重畳した動画像の表示例を図21Bに示す。ここで、コメント領域500?502の表示に用いられるコメント情報112は、図11Bと同様である。図21Bは、一般的なコメント表示例を示しており、コメント領域500?502が、背景を含む被写体領域400?403より前方に重畳されている。そのため背景以外の被写体領域401?403は遮蔽されている。なお、コメント領域は、コメントの表示時刻が新しいものほど上方に重畳されている(コメント領域500が最も新しいコメントの表示領域である)。なお、本実施の形態では、ユーザから何らかの指示がない限り、被写体領域の表示優先度は、前方(手前側)の被写体領域の方が高く、コメント領域の表示優先度は、表示時刻が新しいコメントほど高く設定される(他のコメント領域に隠されにくい)ものとする。また、ユーザから何らかの指示がない限り、コメント領域の表示優先度の方が被写体領域の表示優先度よりも高く、背景領域の表示優先度は全ての領域中で最も低いものとする。
[0136] ここで、先に述べたように、コメント領域500は被写体領域401に対応し、コメント領域501は被写体領域402に対応し、コメント領域502は被写体領域403に対応していることから、図21Bの場合に算出される表示優先度はP 500 ＞P 501 ＞P 502 ＞P 401 ＞P 402 ＞P 403 ＞P 400 となる。図21Bは、図19の(A)または図20の処理(A)に対応する表示例である。
[0137] また、ユーザ選択された領域が、被写体領域402であった場合にコメント付き動画像生成装置100が出力する動画像の表示例を図21Cに示す。図21Cは、図19の(B)または図20の処理(B)に対応する表示例である。被写体領域402が最も前方に重畳され、その次に被写体領域402に対応するコメント領域501が重畳され、その他の領域がコメント領域501の後方に重畳されていることが分かる。すなわち、この場合に算出される表示優先度はP 402 ＞P 501 ＞P 500 ＞P 502 ＞P 401 ＞P 403 ＞P 400 である。
[0138] また、ユーザ選択された領域が、コメント領域502であった場合にコメント付き動画像生成装置100が出力する動画像の表示例を図21Dに示す。図21Dは、図19の(C)または図20の処理(C)に対応する表示例である。コメント領域502が最も前方に重畳され、その次にコメント領域502に対応する被写体領域403が重畳され、その他の領域が被写体領域403の後方に重畳されていることが分かる。この場合に算出される表示優先度は、P 502 ＞P 403 ＞P 500 ＞P 501 ＞P 401 ＞P 402 ＞P 400 である。
[0139] また、ユーザ選択された領域が、被写体領域402およびコメント領域502であった場合にコメント付き動画像生成装置100が出力する動画像の表示例を図21Eに示す。図21Eは、図19の(D)または図20の処理(D)に対応する表示例である。前方から、コメント領域502、被写体領域402、コメント領域502に対応する被写体領域403、被写体領域402に対応するコメント領域501の順で重畳されていることが分かる。また、その他の領域がコメント領域501の後方に重畳されていることが分かる。この場合に算出される表示優先度は、P 502 ＞P 402 ＞P 403 ＞P 501 ＞P 500 ＞P 401 ＞P 400 である。
[0140] ここで、ユーザ選択された領域が、被写体領域401?403の全てであった場合にコメント付き動画像生成装置100が出力する動画像の表示例を図21Fに示す。図21Fは、図19の(B)または図20の処理(B)の場合の表示例である。全てのコメントが、被写体領域401?403よりも後方、かつ背景である被写体領域400よりも前方に重畳されていることがわかる。すなわち、この場合に算出される表示優先度はP 401 ＞P 402 ＞P 403 ＞P 500 ＞P 501 ＞P 502 ＞P 400 である。
[0141] 以上に述べたようなルールに基づいて、表示優先度算出部106は、被写体領域情報111、コメント情報112およびユーザ情報113に基づいて、動画像110中の各コメント領域500?502と、背景を含む被写体領域400?403の表示優先度を算出する。なお、表示優先度の値は、各領域間の優先関係を表現できるものであればなんでもよく、例えば、前述の説明においては、領域数が7であることから、最も表示優先度の低い背景の表示優先度を0とし、以降、表示優先度が低くなるものから順に1,2,3・・・という整数値を与えてもよい。
[0142] 上記したとおり、表示優先度の優先順に対し、最も影響する要素はユーザ選択の有無である。さらに被写体領域の前後関係、およびコメントの投稿時刻、表示時刻の新旧、等を表示優先度に影響する複数の要素として挙げたが、上記した以外にも、例えば、コメント情報112がコメントを行なった人物のIDを含む場合は、ユーザが予め指定した特定のユーザIDを有するIDの書き込みの表示優先度に影響するとしても良い。
[0143] また、表示優先度が同位の領域が発生した場合には、例えば図20の処理(A)[2](1)-(4)に示すように、ランダムに順位を振るとしたが、その代わりに、ディスプレイ上にその旨を表示することでユーザに優先表示させる領域を選択させてもよい。また、重なったコメント間で文字数が異なるような場合、例えばコメントが少ない方のコメント領域を小さく表示し、より前方に重畳することで、両方のコメントが見やすくなるような表示を行なうとしてもよい。」

「[0194] (実施の形態3)
実施の形態1および2におけるコメント付き動画像生成装置は、動画サーバより取得した動画像をデータ取得部への入力とし、処理を行うこととしたが、動画像を動画サーバより入力するかわりに、コメント付き動画像生成装置を利用するユーザが保持したカメラから、そのカメラが撮影した動画像を入力するものとしてもよい。
[0195] 図31に、本実施の形態3に係るコメント付き動画像生成装置1400の構成を示す。コメント付き動画像生成装置1400は、被写体領域情報生成部1402、コメント重畳情報生成部1401、画像合成部102、および画像出力部103を含む。実施の形態3のコメント付き動画像生成装置1400は、コメント付き動画像生成装置1400を内蔵する携帯端末上に表示させるためのコメント付き動画像を生成する装置である。携帯端末は、カメラ1410と、ディスプレイ120と、GPS1411aと、コンパス1411bとを備える。カメラ1410は、ユーザ(撮影者)の前方を撮影する。ディスプレイ120は、コメント付き動画像生成装置1400で生成されたコメント付き動画像を表示し、ユーザに対して視認可能な位置角度で設置されている。GPS1411aは、携帯端末の位置情報を計測する。コンパス1411bは、携帯端末の方位を計測する。コメント付き動画像生成装置1400は、カメラ1410で撮影された動画像と、ネットワークなどの通信経路を介して、外部データベースより取得したコメント情報とを合成することで、コメント領域を重畳したように見える動画像を生成する。
[0196] 被写体領域情報生成部1402は、カメラから動画像を取得し、被写体領域情報を算出する。コメント重畳情報生成部1401は、データ取得部1404と、コメント位置推定部1403と、入力受付部105と、表示優先度算出部106と、コメント重畳方法決定部107とを備える。
[0197] データ取得部1404は、ユーザから一定範囲以内に存在する他端末のGPS情報および付加情報を含むコメント情報1412を取得する。コメント位置推定部1403は、ユーザが利用する携帯端末(以下、「自端末」という)および他人が利用する携帯端末(以下、「他端末」という)のGPS情報と、自端末のコンパス情報とに基づき、自端末のカメラ位置およびカメラ軸の方向と、自端末の動画像上での他端末の位置とを算出し、これらの算出結果から各コメント情報1412が動画像中のどの被写体領域に対応するのかを推定する。表示優先度算出部106は、被写体領域情報生成部1402が算出した被写体領域情報、コメント情報1412、ユーザ情報113およびコメント位置推定部1403での推定結果を入力として受け、コメントの表示位置と、被写体領域およびコメントの表示優先度とを算出する。コメント重畳方法決定部107は、表示優先度算出部106が算出した表示優先度に基づいて、動画像へのコメントの重畳方法を決定する。
[0198] 画像合成部102は、コメント重畳方法決定部107が決定したコメント重畳方法に基づいて、動画像にコメント領域を重畳する。画像出力部103は、コメントが重畳された動画像を画像出力部103に出力する。
[0199] 図32に、本実施の形態のコメント付き動画像生成装置が対象とする、動画像配信システムの簡単な構成例を示す。動画像配信システムは、コメント情報蓄積サーバ、ユーザID情報サーバを備えている。さらに、コメント付き動画像生成装置1400は、ネットワークを通じて、EC(Elecｔｒｏnic Cｏmmeｒce)サイトなどの外部サーバおよび情報にアクセス可能になっているとより望ましい。各サーバはそれぞれ同じPC上で管理されていても、別のPC上で管理されていても良い。
[0200] ユーザは、事前にユーザID情報サーバに、ユーザの情報を登録することができる。例えば、ユーザは、自分が購入した商品などの写真または動画像、上記商品に対応付けられた商品情報またはコメント、ECサイトへのリンク情報、ECサイトで販売される商品の情報および販売商品に対応付けられたコメントなどを、携帯端末に備えつけられたキーボードや、ソフトウェアキーボード、タッチ操作等を通じて入力することにより、これらのユーザの情報をユーザID情報サーバに登録することができる。例えば、ユーザAは、商品カテゴリとして「ワンピース」、コメントとして「今日のコーデ」、日時として「2012.5.5」等を登録することができる。具体的には、その日付に、ユーザAが身に着けるものや、所持するものなどを登録することを想定している。なお、コメントを登録した日時が自動的に登録されてもよい。ユーザ本人が洋服を身に着けるなどの予定をしている場合は、登録した洋服または商品(身に着けるものや、所持するもの)を、身に着ける、または所持する日時を、ユーザが入力するとしたほうが望ましい。
[0201] これらのコメントを含む情報(コメント情報1412)は、コメントを行なったユーザのID、日時、写真、商品のカテゴリ、ECサイトの情報(サイト名、商品番号等)等を含み、図32に示すように、コメント情報蓄積サーバに新たに蓄積される。
[0202] ユーザAがコメントを行なった後、別のユーザBおよびユーザCが、ユーザAに、携帯端末上のカメラ(起動済)を向けたとする。ユーザAに対応付けられたコメント情報1412のうち、本日の日付に対応するものが、コメント情報蓄積サーバより配信され、図32に示すように、ユーザBおよびユーザCの携帯端末画面上に、ユーザAのコメント情報が重畳されて表示される。なお、ユーザBおよびユーザCは同じ日の別の時間帯に、全く別の場所で、ユーザAにカメラを向けたものとしてもよい。カメラの画面内にユーザAが写るようにカメラが保持されている間は、ユーザAに関する情報が、図32に示すように表示され続けるものとしてよい。前述のように、ユーザAは、その日に身に着けるもの、または所持するものを事前に登録している。このため、ユーザBおよびユーザCの画面上には、ユーザAが身に着けている、例えばユーザAが身に着けているワンピースに関する情報が表示される。このため、ユーザBおよびユーザCは、そのワンピースに関する情報(メーカー、価格、購入可否等)を、その場で知ることができる。従来、このように「他の誰か(ユーザA)」が着用している洋服等について、ユーザBまたはユーザCが情報を知りたいと思っても、ユーザA本人に直接確認するしかなかった。以上の構成によれば、ユーザBおよびユーザCは簡単にユーザAの着用しているもの等の情報を知ることができる。
[0203] 例えば、図32のように、コメント情報を予め定めた配置で表示するとしてもよい。その際、ユーザAのように、コメント情報にECサイトの情報が紐付けられている場合は、画像またはコメント文字等にリンクの機能をもたせることで、ユーザの入力により、ECサイト上の商品ページ(購入できるサイト)にワンタッチで遷移することができる。これにより、服に興味を持つユーザの購買行動を促進する効果が期待できる。
[0204] さらに、図32のユーザBまたはユーザCの画面には、ユーザAと同じ画面にユーザDが映っており、ユーザDも同様に事前に情報を登録していた場合、ユーザAの情報と重なってしまい、ユーザAまたはユーザDと、それぞれに対応付けられたコメント情報とが、互いに遮蔽しあう。ユーザBまたはユーザCがスムーズに知りたい情報を知るためには、ユーザAおよびユーザDの被写体領域およびコメント領域をどのように重畳表示するかを制御する必要がある。これに対し、本実施の形態では、実施の形態2で述べたコメント付き動画像生成装置を応用することで、上記課題を解決する。これにより、例えばユーザAを選択したユーザBは、ユーザAおよびユーザAに対応するコメント情報を遮蔽なく視認できる。また、ユーザDを選択したユーザCは、ユーザDおよびユーザDに対応したコメント情報を遮蔽なく視認できる。
[0205] 以下、本実施の形態に係るコメント付き動画像生成装置1400の構成についてより詳細に説明する。
[0206] 図33に示すように、実施の形態3に係るコメント付き動画像生成装置1400は、特に、あるユーザが保持する携帯端末に備え付けられたカメラを向けた方向に存在する人物等の被写体について、当該人物の情報または人物が保有する物品に関する情報などを携帯端末上で視認可能な状態にするものである。コメント付き動画像生成装置1400は、携帯端末のカメラによって撮影された動画像を、携帯端末のディスプレイに表示する際に、当該動画像中に存在する特定の被写体領域に対し、コメントとして上記情報を付加表示する。
[0207] 上記特定の被写体領域は、当該ユーザが携帯端末上のタッチパネルなどのUIを通じて指定した被写体領域、または、データ取得部1404で取得された外部データベースに登録されている情報に基づき定められる被写体領域である。コメント付き動画像生成装置1400は、特定の被写体領域を遮蔽しないように、動画像にコメント領域を重畳する。
[0208] 被写体領域情報生成部1402については、実施の形態2の被写体領域情報生成部903と同じであるため説明を省略する。
[0209] ユーザが被写体1を指定する場面について図34に示す。入力受付部105は、ユーザがタッチパネル等を用いて入力した情報を受け付け、画像座標系Dにおけるユーザの指示位置を算出する。
[0210] ここで、ユーザの指示位置などの画像上の任意の1点(ｘd,ｙd)が、世界座標系W上で指す直線L((ｘd,ｙd)とカメラ座標系Cの原点とを通る直線)は、カメラのパラメータ、および座標系の変換行列が分かれば算出することができる。上記パラメータおよび変換行列はキャリブレーションを行うことにより求めることができる。より詳しくは、非特許文献1に詳しい説明があるため省略する。
[0211] 一方、各被写体の世界座標系W上における位置情報(ｘｗ,ｙｗ,ｚｗ)のｘ成分、ｚ成分は、各被写体が保有する携帯端末から発せられたGPS等により得られる。ｙ成分は図34に示すとおり被写体の身長方向の成分であり、例えば、各ユーザが事前に登録した身長H、または、年代および性別から平均的な身長Hを求めて、幅をもたせる形(ｙｗ=0?H)で用いる。同様に、平均的な体の幅の値を用いて、ｘｗ、ｚｗに関しても幅をもたせてもよい。
[0212] 先に述べた直線Lが求まれば、このLが通る経路上で、ユーザから最も近い(ｘｗ,ｙｗ,ｚｗ)に相当する被写体が、ユーザが指示した被写体となる。
[0213] コメント位置推定部1403は、被写体領域情報生成部1402が算出した画像座標系D上での各被写体領域に相当する座標に基づき、データ取得部1404で取得した、近傍に位置する携帯端末のGPS情報から、同様にカメラのパラメータと変換行列を用いて、各被写体領域に対応する携帯端末を推定する。コメント位置推定部1403は、その携帯端末に対応する付加情報と被写体領域とを対応付け、動画像上に表示するコメントの位置、形状、文字情報等のコメント表示情報を生成する。
[0214] 表示優先度算出部106は、コメント位置推定部1403が生成したコメント表示情報、被写体領域情報生成部1402が算出した被写体領域情報、および入力受付部105が受け付けたユーザ情報113から、表示優先度を算出する。表示優先度算出部106の動作以降の動作については実施の形態1および2と同様であるため説明を省略する。
[0215] 以上のようにして、本実施の形態のコメント付き動画像生成装置1400は、ユーザ所望の被写体領域の視認性を保ったコメント領域を生成し、被写体領域に対応する付加情報を図33のように画面上に表示する。
[0216] なお、表示優先度算出部106は、入力受付部105が受け付けたユーザ情報113を必ずしも利用しなくともよい。例えば、コメント情報蓄積サーバは、コメント情報蓄積サーバに蓄積されているデータを参照し、別途、特定の品番またはカテゴリ等に属するコメント投稿数をカウントすることにより、品番またはカテゴリ等の人気の高さ等を管理していても良い。表示優先度算出部106は、コメント情報蓄積サーバが管理している上記情報に基づいて、表示優先度に重み付けを行っても良い。
[0217] また、先に図32の説明で述べたように、コメント情報蓄積サーバに蓄えられたコメント情報は、ECサイトへのリンク情報、商品の品番などを備えていても良い。各ユーザ携帯端末上に表示したコメント領域上で、ユーザが、コメントや画像をタッチすると、リンク情報に基づき、商品購入ページ等へ自動的に誘導する(画面が切り替わる)ことができる。すなわち、各携帯端末に紐付けられたコメントとともに、もしくは単独で、リンク情報が、コメント領域(吹き出し)に表示されるとしてもよい。例えば、被写体の身につけている洋服の情報を備えた販売サイトへのリンク情報を表示することにより、ユーザが気に入った洋服を、簡単にECサイト経由で購入できる。
[0218] 実施の形態3によると、AR技術のように、ユーザが撮影した動画像中の被写体に対応するコメントが表示される場合に、ユーザが指定する被写体領域に対応するコメントが他のコメントによって遮蔽されないように、動画像にコメント領域を重畳表示させることができる。」

上記記載から,次のことがいえる。
(1)段落[0204]の記載から,異なる端末のコメントが重なって表示された場合,各端末を所持しているユーザを選択することにより,選択されたユーザのコメントが遮蔽なく視認できるようになること。
(2)段落[0203]の記載から,コメントにECサイトの情報が紐付けられている場合は,画像またはコメント文字等にリンクの機能をもたせることで,ユーザの入力により,ECサイト上の商品ページ(購入できるサイト)にワンタッチで遷移することができること。

したがって,上記引用文献3には次の発明(以下,「引用発明3」という。)が記載されていると認められる。

「コメント位置推定部1403,表示優先度算出部106,コメント重畳方法決定部107,画像合成部102,画像出力部103,ディスプレイ120を有し,
コメント位置推定部1403は,ユーザが利用する携帯端末(以下,「自端末」という)および他人が利用する携帯端末(以下,「他端末」という)のGPS情報と,自端末のコンパス情報とに基づき,自端末のカメラ位置およびカメラ軸の方向と,自端末の動画像上での他端末の位置とを算出し,これらの算出結果から各コメント情報1412が動画像中のどの被写体領域に対応するのかを推定し,
表示優先度算出部106は,被写体領域情報生成部1402が算出した被写体領域情報,コメント情報1412,ユーザ情報113およびコメント位置推定部1403での推定結果を入力として受け,コメントの表示位置と,被写体領域およびコメントの表示優先度とを算出し,
コメント重畳方法決定部107は,表示優先度算出部106が算出した表示優先度に基づいて,動画像へのコメントの重畳方法を決定し,
画像合成部102は,コメント重畳方法決定部107が決定したコメント重畳方法に基づいて,動画像にコメント領域を重畳し,
コメントが重畳された動画像を画像出力部103に出力し,
ディスプレイ120は,画像出力部103から出力されたコメントが重畳された動画像を表示し,
異なる他端末のコメントが重なって,表示された場合,端末を所有するユーザを選択することにより,選択されたユーザのコメントが遮蔽なく視認できるようになり,
コメントにECサイトの情報を紐付け,画像またはコメント文字等にリンクの機能をもたせることで,ユーザの入力により,ECサイト上の商品ページ(購入できるサイト)にワンタッチで遷移することができる,
コメント付き動画像生成方法。」

4 引用文献4について
原査定の拒絶の理由に引用された引用文献4には,図面とともに次の事項が記載されている。

「【技術分野】
【0001】
本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【0002】
近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術において画像に重畳される情報は様々である。例えば、下記特許文献1は、入力画像に映る実空間内の運動する物体にハイパーリンク情報を付加して呈示する技術を開示している。
・・・ 中 略 ・・・
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、情報を付加すべき対象が入力画像内に多数存在する場合には、表示される情報が混雑し、ユーザに呈示される出力画像が分かり易さを失ってしまう恐れがある。例えば、拡張現実の画像を介したユーザ間のコミュニケーションにおいて、コミュニケーションに積極的に関与しているユーザについての情報と周囲に存在するユーザについての情報とを区別することなく表示すると、情報の混雑により円滑なコミュニケーションが阻害され、誰がどの情報を発しているのかも分かりにくい状況が発生し得る。
【0005】
そこで、本発明は、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することのできる、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。」

「【0056】
[2-2.表示オブジェクトの属性]
(1)属性の例
図5は、出力画像生成部170により決定される属性値を含む表示オブジェクトデータ180の構成の一例を示す説明図である。図5を参照すると、表示オブジェクトデータ180は、オブジェクトID181、ユーザID182、形状183、色184、サイズ185、表示位置186、透過率187、レイヤ188及び表示情報189という9つのデータ項目を有する。
【0057】
(2)オブジェクトID及びユーザID
オブジェクトID181は、1つの画像内に重畳される各表示オブジェクトを一意に特定するための識別子である。ユーザID182は、オブジェクトID181により識別される表示オブジェクトが関連付けられるユーザを表すユーザIDである。例えば、表示オブジェクトデータ180の第1レコード190a及び第2レコード190bから、2つの表示オブジェクトD01A及びD02AがユーザUaと関連付けられることが理解される。また、第3レコード190cから、表示オブジェクトD01BがユーザUbと関連付けられること、及び第4レコード190dから、表示オブジェクトD01CがユーザUcと関連付けられること、が理解される。
【0058】
(3)形状
形状183は、当該表示オブジェクトの形状を表す。図5の例では、表示オブジェクトの形状は、予め定義される表示オブジェクトのタイプObj1、Obj2、…のいずれかを指定することにより特定される。
【0059】
図6A?図6Dは、それぞれ表示オブジェクトのタイプの一例を示す説明図である。図6Aを参照すると、図2に例示した表示オブジェクト12a及び13aが示されている。このうち、表示オブジェクト12aのタイプはタイプObj1である。また、表示オブジェクト12bのタイプはObj2である。これらタイプObj1及びObj2の表示オブジェクトは、いわゆる吹き出しの形状をしている。
【0060】
次に、図6Bを参照すると、表示オブジェクト14aが示されている。表示オブジェクト14aのタイプはObj3である。表示オブジェクト14aは、肩にかける看板の形状をしている。図6Aに示したタイプObj1及び図6Bに示したタイプObj3は、例えば、ユーザの属性情報を表示するために使用されてよい。一方、図6Aに示したタイプObj2は、例えば、ユーザからの入力情報を表示するために使用されてよい。
【0061】
さらに、図6Cを参照すると、表示オブジェクト15aが示されている。表示オブジェクト15aのタイプはObj4である。タイプObj4もまた、例えば、ユーザからの入力情報を表示するために使用されてよい。
【0062】
ここで、図6Aに示したタイプObj2の形状は、ユーザによる発話を象徴する形状である。これに対し、図6Bに示したタイプObj4の形状は、ユーザによる思考を象徴する形状である。出力画像生成部170は、例えば、表示情報が音声入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、発話を象徴する形状を有するタイプObj2に設定し得る。また、出力画像生成部170は、例えば、表示情報がテキスト入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、思考を象徴する形状を有するタイプObj4に設定し得る。その代わりに、出力画像生成部170は、例えば、表示情報の内容を解析することにより、表示情報をユーザの思考に対応する情報又はユーザの発話に対応する情報のいずれかに分類し、前者の分類に対応する表示オブジェクトをタイプObj2に、後者の分類に対応する表示オブジェクトをタイプObj4にそれぞれ設定してもよい。
【0063】
また、図6Dを参照すると、表示オブジェクト16aが示されている。表示オブジェクト16aのタイプはObj5である。表示オブジェクト16aもまた吹き出しの形状をしている。但し、タイプObj5の吹き出しの起点は、ユーザではなく、上方を向いている。出力画像生成部170は、例えば、情報取得部150により外部の情報源から取得される情報を表示するための表示オブジェクトをタイプObj5に設定し得る。外部の情報源から取得される情報とは、例えば、上述した検索情報などである。
【0064】
このように、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状を変化させることで、画像処理システム1におけるユーザ間のコミュニケーションに際して、ユーザが情報の種類をより直感的かつ的確に理解することが可能となる。また、ユーザは自身が入力する情報が表示される際のオブジェクトの形状を使い分ける(発話又は思考)ことができるため、より豊かなユーザ間のコミュニケーションが実現され得る。
【0065】
(4)色
図5における色184は、当該表示オブジェクトの色(又は当該表示オブジェクト内の表示情報のテキストの色)を表す。出力画像生成部170は、情報取得部150により取得される各ユーザの属性情報を参照し、例えばユーザの性別又は年齢層などの属性値に応じて、各表示オブジェクトの色を変化させてもよい。
【0066】
(5)サイズ
サイズ185は、当該表示オブジェクトのサイズを表す。図5の例では、表示オブジェクトのサイズは、既定のサイズからの倍率(%)により表されている。出力画像生成部170は、例えば、各ユーザの撮像装置104からの距離に応じて、各ユーザに関連付けられる表示情報を表示するための表示オブジェクトのサイズを決定する。本実施形態において、出力画像生成部170は、撮像装置104からの距離そのものを測定する代わりに、撮像装置104からの距離に応じたパラメータとして、各ユーザの顔領域のサイズを使用することができる。顔領域のサイズは、例えば、顔領域に属すると認識された画素数により表されてもよく、又は顔領域を囲むバウンディングボックスの面積により表されてもよい。より具体的には、出力画像生成部170は、例えば、顔領域のサイズがより大きいユーザと関連付けられる表示情報のための表示オブジェクトのサイズをより大きく設定する。但し、表示オブジェクトのサイズの上限値が予め定義されてよい。その場合、出力画像生成部170は、所定の距離以上撮像装置104に近付いたユーザの表示オブジェクトのサイズがその上限値を超えないように、表示オブジェクトのサイズを設定する。
【0067】
(6)表示位置
表示位置186は、当該表示オブジェクトの表示位置、即ち、当該表示オブジェクトが重畳される画像内の位置を表す2次元座標である。本実施形態では、出力画像生成部170は、ユーザの顔領域を基準点として、予め定義されるオフセットを有する位置に各表示オブジェクトの中心(又は所定のコーナーなど)を配置する。
【0068】
図7は、本実施形態における表示オブジェクトの表示位置について説明するための説明図である。図7を参照すると、ユーザの顔領域の重心位置P0が示されている。位置P0は、表示オブジェクトの表示位置を決定するためのオフセットの基準点である。出力画像生成部170は、例えば、あるユーザと関連付けられる表示情報の数が1つである場合には、当該表示情報を表示する表示オブジェクトの表示位置を、位置P1とする。また、出力画像生成部170は、例えば、あるユーザと関連付けられる表示情報の数が複数である場合には、第2、第3、及び第4の表示情報のための表示位置を、それぞれ位置P2、P3及びP4とする。位置P0と位置P1、P2、P3及びP4との間のオフセットは、それぞれ予め定義される。本明細書では、これら表示位置を「既定の表示位置」という。なお、図7に示したこれら既定の表示位置は一例に過ぎない。
【0069】
また、表示オブジェクトのタイプが図6Bに例示したタイプObj3である場合には、表示オブジェクトの既定の表示位置は、例えば位置P5であってよい。また、表示オブジェクトのタイプが図6Dに例示したタイプObj5である場合には、表示オブジェクトの既定の表示位置は、例えば位置P6及びP7であってもよい。
【0070】
(7)透過率
図5における透過率187は、当該表示オブジェクトの透過率を表す。表示オブジェクトに透過率が設定されることで、複数の表示オブジェクトが重ねて重畳される場合にも、ユーザは背面の表示オブジェクトを視認することができる。本実施形態において、出力画像生成部170は、認識部130により認識される各ユーザについて、入力画像内に映っている時間の長さ(以下、滞在時間という)又は移動速度を計測する。そして、出力画像生成部170は、表示情報を表示する表示オブジェクトの透過率を、当該表示情報に関連付けられるユーザについて計測した滞在時間又は移動速度に応じて設定する。
【0071】
図8Aは、出力画像生成部170による透過率設定処理の一例について説明するための説明図である。図8Aの例では、出力画像生成部170は、ユーザの画像内での滞在時間に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【0072】
図8Aの横軸は、時間軸(時間T)である。縦軸は、破線で示される滞在時間Sｔ及び実線で示される透過率Tｒの大きさを表す。図8Aの例において、時間T0に画像内に現れたユーザが継続して画像内に留まることにより、当該ユーザの滞在時間Sｔが時間軸に沿って線形的に増加している。一方、時間T0における表示オブジェクトの透過率Tｒは100%である。即ち、ユーザが画像内に現れた瞬間には、表示オブジェクトは視認されない。そして、滞在時間Sｔが増加するにつれて、表示オブジェクトの透過率Tｒは減少する。即ち、ユーザが画像内に留まっている間、表示オブジェクトは徐々に濃く現れる。そして、時間T1において表示オブジェクトの透過率Tｒが20%になると、出力画像生成部170は、透過率Tｒの減少を停止する。これは、背面に重なる表示オブジェクトを少なくともある程度視認可能とするためである。
【0073】
ここで、ユーザの画像内での滞在時間の長さは、そのユーザの画像処理システム1により提供されるコミュニケーションに対する興味の強さ又は貢献度の大きさを表していると考えることができる。従って、滞在時間の長いユーザほど表示オブジェクトの透過率を低く設定することで、興味の強いユーザ又は貢献度の大きいユーザを優先的にコミュニケーションに関与させることができる。また、滞在時間の短いユーザについて表示オブジェクトの透過率を高く設定することで、例えば、偶然撮像装置104の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部170は、ここで説明した滞在時間の代わりに、例えばユーザによる利用開始後の経過時間などを用いてもよい。
【0074】
図8Bは、出力画像生成部170による透過率設定処理の他の例について説明するための説明図である。図8Bの例では、出力画像生成部170は、ユーザの画像内での移動速度に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【0075】
図8Bの横軸は、時間軸(時間T)である。縦軸は、破線で示される移動速度Mｖ及び実線で示される透過率Tｒの大きさを表す。図8Bの例において、時間T0に画像内に現れたユーザの移動速度はMｖ1である。このとき、表示オブジェクトの透過率Tｒは100%である。その後、時間T0からT2にかけてユーザの移動速度は減少し、時間T2以降ユーザの移動速度は増加している。透過率Tｒは、このような移動速度Mｖの変化に追随し、時間T0からT2にかけて減少した後、時間T2以降増加する。
【0076】
ここで、画像処理システム1により提供されるコミュニケーションに強い興味を抱いているユーザは、撮像装置104の前に留まるものと考えられる。従って、ユーザの移動速度が小さいほど表示オブジェクトの透過率を低く設定することで、そのようなユーザを優先的にコミュニケーションに関与させることができる。また、この場合にも、偶然撮像装置104の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部170は、ユーザの移動速度を、例えば顔領域の重心位置のフレーム間の移動量から算出することができる。
【0077】
また、出力画像生成部170は、ユーザの滞在時間及び移動速度の双方に応じて、表示オブジェクトの透過率を設定してもよい。例えば、出力画像生成部170は、ユーザの移動速度が増加した場合にも、当該ユーザの滞在時間が所定の閾値以上に長いときには、ユーザの透過率を低く維持してもよい。それにより、画像内でのユーザの一時的な移動によって当該ユーザの表示オブジェクトが視認困難となることが回避される。なお、出力画像生成部170は、例えば、移動速度が所定の閾値以下である静止状態の時間の長さと、移動速度が当該閾値を上回る移動状態の時間の長さとを各ユーザについて計測し、これら2つの時間の長さの比に応じて、表示オブジェクトの透過率を設定してもよい。
【0078】
また、出力画像生成部170は、所定のジェスチャを行ったユーザの表示オブジェクトの透過率を一時的に減少させてもよい。例えば、手を挙げるジェスチャ又は手を振るジェスチャなどが、透過率の減少に対応付けられ得る。それにより、例えば、登場して間もない(即ち、滞在時間が短い)ながらも、コミュニケーションに強い興味を抱いているユーザを、より容易にコミュニケーションに参加させることができる。
【0079】
(8)レイヤ
図5におけるレイヤ188は、当該表示オブジェクトの表示オブジェクト間の重畳の順序を表す。図5の例では、表示オブジェクトD01A及びD02Aのレイヤは1、表示オブジェクトD01Bのレイヤは2、表示オブジェクトD01Cのレイヤは3である。従って、出力画像生成部170は、表示オブジェクトD01A及びD02Aを最前面のレイヤに、表示オブジェクトD01Bを次のレイヤに、表示オブジェクトD01Cを最背面のレイヤに重畳する。
【0080】
出力画像生成部170は、このような各表示オブジェクトのレイヤを、各ユーザについての撮像装置104からの距離に応じたパラメータに基づいて決定する。本実施形態において、撮像装置104からの距離に応じたパラメータとは、上述した顔領域のサイズであってよい。なお、かかる例に限定されず、例えば、測距センサにより測定される距離又はマイクロフォンを介して入力される音声の大きさなどが、上記パラメータとして使用されてもよい。そして、出力画像生成部170は、上記パラメータにより表される距離がより小さいユーザに関連付けられる表示情報を表示する表示オブジェクトのレイヤを、より小さい値に設定する(即ち、より前面に配置する)。
【0081】
図9A及び図9Bは、レイヤ設定処理の一例について説明するための説明図である。
【0082】
図9Aを参照すると、スクリーン107の前に3人のユーザUa?Ucが存在する。ユーザUa、Ub及びUcのスクリーン107からの距離は、それぞれD1、D2及びD3である。このうち、距離D1が最も小さく、距離D3が最も大きい。このような状況において、入力画像には、ユーザUaの顔領域が最も大きく映る。ユーザUbの顔領域の大きさは2番目であり、ユーザUcの顔領域の大きさは最も小さい。図9Aの例では、ユーザUa、Ub及びUcの顔領域の大きさは、それぞれ、1000画素、800画素及び400画素である。そこで、出力画像生成部170は、ユーザUaと関連付けられる表示オブジェクトのレイヤを1、ユーザUbと関連付けられる表示オブジェクトのレイヤを2、ユーザUcと関連付けられる表示オブジェクトのレイヤを3と設定する。
【0083】
このように、顔領域のサイズが大きいユーザについての表示オブジェクトをより前面に重畳することで、表示オブジェクトが混雑している場合にも、距離感に合わせた自然な表示を簡易に実現することができる。また、コミュニケーションに関与したいユーザをよりスクリーン107の近くに導くことも可能となる。
【0084】
また、出力画像生成部170は、例えば、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示オブジェクトのレイヤを、ユーザの撮像装置104からの距離に関わらず一時的に前面に設定してもよい。所定のジェスチャとは、例えば、手を挙げるジェスチャ又は手を振るジェスチャなどであってよい。また、所定の表情とは、笑顔などであってよい。図9Bの例では、手を振るジェスチャをしているユーザUcのレイヤが、スクリーン107からの距離が最も遠いにも関わらず、一時的に1に設定されている。このような処理により、スクリーン107に近い位置を占めるユーザばかりがコミュニケーションに強く関与することなく、コミュニケーションへの参加を希望する様々なユーザにコミュニケーションの機会を広く与えることができる。
【0085】
[2-3.出力画像の例]
図10は、本実施形態において画像処理装置100から出力される出力画像の一例を示す説明図である。図10を参照すると、一例としての出力画像Im11が示されている。出力画像Im11には、3人のユーザUa、Ub及びUcが映っている。また、ユーザUaの近傍には、表示オブジェクト12a及び13aが重畳されている。ユーザUbの近傍には、表示オブジェクト12bが重畳されている。ユーザUcの近傍には、表示オブジェクト12cが重畳されている。しかし、画像内でユーザUa、Ub及びUcが互いに近くに位置しているため、点線枠に囲まれた領域内で表示オブジェクトが混雑し、表示オブジェクト13a、12b及び12cが互いに重なっている。
【0086】
図10の右下の部分画像Im12は、出力画像Im11の中の上述した点線枠内の部分画像の拡大図である。部分画像Im12において、表示オブジェクト13aが最前面に重畳されている。また、表示オブジェクト13aの背面に表示オブジェクト12b、表示オブジェクト12bの背面に表示オブジェクト12cがそれぞれ重畳されている。即ち、スクリーン107に最も近い位置で積極的にコミュニケーションに関与しているユーザUaについての情報が、優先的に出力画像Im11において表示されていることが理解される。また、画像内を右から左へ横切っているユーザUcの表示オブジェクト12cの透過率は高く設定されている。それにより、コミュニケーションに関与しない可能性の高いユーザUcについての情報が他の情報の視認性を阻害することが防止される。」

5 引用文献5について
原査定の拒絶の理由に引用された引用文献5には,図面とともに次の事項が記載されている。

「【技術分野】
【0001】
本発明は、電子機器を操作するための操作装置に関する。」

「【0045】
図2は、入力センサ17が検出する操作物の位置に基づいて、操作/表示部16が表示する操作子を透明にする手順を示すフローチャートである。図3は、操作/表示部16が複数の操作子を三次元映像として表示した例を示す説明図である。図4は、最上層を半透明に表示した例を示す説明図である。図5は、最上層と、最上層から2段目の操作子の層を半透明に表示した例を示す説明図である。」

【図5】

第6 対比,判断
1 本願発明1について
(1)引用発明1を主たる引用発明とする検討
ア 本願発明1と引用発明1との対比
(ア)引用発明1の「表示部2」,「画像P」,「ARタグ」及び「制御方法」は,それぞれ,本願発明1の「表示部」,「画像データ」,「重畳用データ」及び「表示制御方法」に相当する。

(イ)本願の明細書段落【0048】の「なお、本実施形態における基準物は、ARマーカに限定されるものではなく、例えば取得画像に含まれる実物体を基準物としてもよい。この場合、認識部36は、取得画像から実物体(例えば、壁掛け時計や絵画、配管等)の特徴情報を抽出し、抽出した特徴情報と、予め登録された特徴情報とを比較し、同一又は類似度が所定値以上の特徴情報から物体を特定して、対応する識別情報を取得する。特徴情報とは、物体のエッジ情報や輝度情報等の特徴量に基づいて取得することができ、お互いの特徴情報がどの程度一致しているかに応じて物体を特定することができるが、これに限定されるものではない。」の記載から,本願発明1の「基準物」は,取得画像から特定された実物体を含むと認められる。
そして,引用発明1は,「位置・姿勢検出部36に自装置の位置と姿勢を取得し,自装置の位置と姿勢等に基づいて,撮影部40の撮影範囲にある施設や物品を判断し」ているから,この判断された「撮影部40の撮影範囲にある施設や物品」は,取得画像に含まれる実物体といえる。
そうすると,引用発明1の「施設や物品」は,本願発明1の「基準物」に相当する。

(ウ)加えて,引用発明1は,「位置・姿勢検出部36に自装置の位置と姿勢を取得し,自装置の位置と姿勢等に基づいて,撮影部40の撮影範囲にある施設や物品を判断し」ているから,このことは本願発明1の「表示部に表示すべき画像データに基準物が含まれている場合」を判断していることに相当する。
そして,引用発明は,判断した撮影部40の撮影範囲にある施設や物品に対応するARタグを含む仮想情報24bを取得し,取得したARタグを画像に重ねて表示しているから,このことは,本願発明1の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。

(エ)また,引用発明は,複数のARタグが重なった状態(上記第5の1【図9】参照。)を取り得るから,その複数のARタグが重なった状態と,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態」とは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態」である点で共通する。

(オ)引用発明は「画像Pに含まれる指などのポインタを検出し,対応するARタグがポインタの先端と重なっている仮想情報24bを検索し,該当する仮想情報に対応するARタグを選択状態にし,自装置とポインタの先端との距離を測定し,測定された距離を基準距離として設定し,選択状態のARタグに対応する仮想情報24bが示す位置と自装置との距離を算出し,算出した距離と基準距離とに基づいて換算係数を算出し,選択状態のARタグから他のARタグへの奥行き方向の距離を、対応する仮想情報24bが示す位置間の距離と換算係数とに基づいて算出し」た上で,「自装置とポインタの先端との距離を測定し,測定された距離と基準距離の差,すなわち,ポインタの移動距離を算出する際,画像P上でのポインタの位置が一定の場所に一定時間以上留まっている場合には、ポインタが所定の速度で奥行き方向へ移動しているものとみなしその移動距離をポインタの移動距離と」する動作を行い,「対応するARタグがポインタの先端と重なり,かつ,対応するARタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索し,該当する仮想情報24bがみつかった場合,該当する仮想情報に対応するARタグを選択状態にし」ている。
そして,上記(エ)で検討した,複数のARタグが重なった状態で,且つ,そのARタグの重なった部分にポインタが一定時間以上留まっている場合は,手前側に表示されている選択状態のARタグから奥行き方向の奥に存在するARタグに順次選択状態が遷移する(上記第5の1【図9】参照。)と認められる。
この操作は,手前側に表示されている選択状態のARタグに対して,ARタグが重なった部分にポインタが一定時間以上留まるという操作を行っているともいえるから,この操作は,本願発明1の「第2の重畳用データに対する第1の操作を受け付ける」ことに対応する。
また,手前側に表示されている選択状態のARタグに対して,ARタグが重なった部分にポインタが一定時間以上留まるという操作を行った際に,手前側に表示されている選択状態のARタグから奥行き方向の奥に存在するARタグに順次選択状態が遷移することは,操作を行っていないARタグに対して,他のARタグを操作することにより選択状態が遷移することであるといえる。
そうすると,引用発明1における,複数のARタグが重なった状態で,且つ,そのARタグの重なった部分にポインタが一定時間以上留まっている場合に,手前側に表示されている選択状態のARタグから奥行き方向の奥に存在するARタグに順次選択状態が遷移することと,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ることとは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」る点で共通する。

(カ)引用発明1の「起動動作,すなわち,表示部2に表示されている選択状態のARタグを指ではじいたり、摘んだりする動作が検出されたかを判定し,起動動作が検出された場合,仮想情報24bに含まれるURLにアクセスしてWEBページを表示する動作を行う」ことと,本願発明1の「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力すること」とは,「操作を受け付けると、前記第1の重畳用データに応じた情報を出力すること」である点で共通する。

(キ)そうすると,本願発明1と引用発明1とは,以下の点で一致し,又相違する。

[一致点]
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、
操作を受け付けると、前記第1の重畳用データに応じた情報を出力することを特徴とする表示制御方法。」

[相違点1]
「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ることについて,本願発明1は,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ているのに対して,引用発明1は,「撮影部40の撮影範囲にある施設や物品」における,「施設や物品」の一つに複数の「ARタグ」が対応付けられていないために,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態」とはならない点。

[相違点2]
「操作を受け付けると、前記第1の重畳用データに応じた情報を出力すること」について,本願発明1は,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」のに対して,引用発明1はそのようになっていない点。

イ 相違点についての判断
[相違点2]について検討すると,引用発明1において,[相違点2]に係る操作が自明の事項であるとはいえない。
また,引用文献2ないし5には[相違点2]に係る操作は記載されていないから,引用文献2ないし5の記載に基づいて,引用発明1に[相違点2]に係る操作を行うことが容易であるとはいえない。

ウ 本件発明1についての,引用発明1を主たる引用発明とする検討のまとめ
そうすると,他の相違点について検討するまでもなく,本願発明1は,引用発明1であるとはいえず,又,当業者であっても,引用発明1及び引用文献2ないし5に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

(2)引用発明2を主たる引用発明とする検討
ア 本願発明1と引用発明2との対比
(ア)引用発明2の「表示部102」,「撮像部106が取得した画像」,「対象物(ARマーカー)」,「ARオブジェクト(仮想情報)」及び「制御方法」は,それぞれ,本願発明1の「表示部」,「画像データ」,「基準物」,「重畳用データ」及び「表示制御方法」に相当する。

(イ)引用発明2の「撮像部106が取得した画像に含まれ、ARオブジェクト(仮想情報)が対応付けられた対象物(ARマーカー)に関連するARオブジェクトを、撮像部106が取得した画像に重畳して表示」することは,本願発明1の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。

(ウ)引用発明2の「ARオブジェクトが重なり合う位置」を有することと,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態」は,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態」である点で共通する。

(エ)そして,引用発明2の「ARオブジェクトが重なり合う位置に入力が行われ」ることと,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付ける」ことは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付ける」点で共通する。

(オ)してみると,引用発明2の「ARオブジェクトが重なり合う位置に入力が行われた場合に、ARオブジェクトの表示階層を切替える」ことと,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ることとは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させ」る点で共通する。

(キ)そうすると,本願発明1と引用発明2とは,以下の点で一致し,又相違する。

[一致点]
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させる、
ことを特徴とする表示制御方法。」

[相違点3]
「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させる」点について,本願発明1は,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ているのに対して,引用発明2はそのようになっていない点。

[相違点4]
本願発明1は,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」しているのに対して,引用発明2は対応する操作を行っていない点。

イ 相違点についての判断
[相違点4]について検討すると,引用発明2において,[相違点4]に係る操作が自明の事項であるとはいえない。
また,引用文献1及び3ないし5には[相違点4]に係る操作は記載されていないから,引用文献1及び3ないし5の記載に基づいて,引用発明2に[相違点4]に係る操作を行うことが容易であるとはいえない。

ウ 本件発明1についての,引用発明2を主たる引用発明とする検討のまとめ
そうすると,他の相違点について検討するまでもなく,本願発明1は,引用発明2であるとはいえず,又,当業者であっても,引用発明2並びに引用文献1及び3ないし5に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

(3)引用発明3を主たる引用発明とする検討
ア 本願発明1と引用発明3との対比
(ア)引用発明3の「ディスプレイ120」,「コメント」及び「コメント付き動画像生成方法」は,それぞれ,本願発明1の「表示部」,「重畳用データ」及び「表示制御方法」に相当する。

(イ)本願の明細書段落【0048】の「なお、本実施形態における基準物は、ARマーカに限定されるものではなく、例えば取得画像に含まれる実物体を基準物としてもよい。この場合、認識部36は、取得画像から実物体(例えば、壁掛け時計や絵画、配管等)の特徴情報を抽出し、抽出した特徴情報と、予め登録された特徴情報とを比較し、同一又は類似度が所定値以上の特徴情報から物体を特定して、対応する識別情報を取得する。特徴情報とは、物体のエッジ情報や輝度情報等の特徴量に基づいて取得することができ、お互いの特徴情報がどの程度一致しているかに応じて物体を特定することができるが、これに限定されるものではない。」の記載から,本願発明1の「基準物」は,取得画像から特定された実物体を含むと認められる。
そして,引用発明3は,「GPS情報と,自端末のコンパス情報とに基づき,自端末のカメラ位置およびカメラ軸の方向と,自端末の動画像上での他端末の位置とを算出し,これらの算出結果から各コメント情報1412が動画像中のどの被写体領域に対応するのかを推定し,表示優先度算出部106は,被写体領域情報生成部1402が算出した被写体領域情報,コメント情報1412,ユーザ情報113およびコメント位置推定部1403での推定結果を入力として受け,コメントの表示位置と,被写体領域およびコメントの表示優先度とを算出し,コメント重畳方法決定部107は,表示優先度算出部106が算出した表示優先度に基づいて,動画像へのコメントの重畳方法を決定し,画像合成部102は,コメント重畳方法決定部107が決定したコメント重畳方法に基づいて,動画像にコメント領域を重畳し,コメントが重畳された動画像を画像出力部103に出力し,ディスプレイ120は,画像出力部103から出力されたコメントが重畳された動画像を表示し」ており,この「他端末」は,取得画像に含まれる実物体といえるから,引用発明3の「他端末」は,本願発明1の「基準物」に相当する。

(ウ)加えて,引用発明3は「ユーザが利用する携帯端末(以下,「自端末」という)および他人が利用する携帯端末(以下,「他端末」という)のGPS情報と,自端末のコンパス情報とに基づき,自端末のカメラ位置およびカメラ軸の方向と,自端末の動画像上での他端末の位置とを算出し」ているから,このことは,本願発明1の「表示部に表示すべき画像データに基準物が含まれている場合」を判断していることに相当する。
そして,引用発明3は算出結果から,各コメント情報1412が動画像中のどの被写体領域に対応するのかを推定し,この推定結果等を入力として受け,コメントの表示位置と,被写体領域およびコメントの表示優先度とを算出し,表示優先度に基づいて,動画像へのコメントの重畳方法を決定し,決定したコメント重畳方法に基づいて,動画像にコメント領域を重畳し,動画像を表示しているから,このことは,本願発明1の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。

(エ)また,引用発明3の「異なる他端末のコメントが重なって,表示された場合」と,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態」とは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態」である点で共通する。

(オ)そして,引用発明3の「異なる他端末のコメントが重なって,表示された場合,端末を所有するユーザを選択することにより,選択されたユーザのコメントが遮蔽なく視認できるようにな」ることと,本願発明1の「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ることとは,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、重畳用データの状態を遷移させ」ている点で共通する。

(カ)引用発明3の「ユーザの入力により,ECサイト上の商品ページ(購入できるサイト)にワンタッチで遷移すること」と,本願発明1の「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力すること」とは,「操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」点で共通する。

(キ)そうすると,本願発明1と引用発明3とは,以下の点で一致し,又相違する。

[一致点]
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ、
操作を受け付けると、前記第1の重畳用データに応じた情報を出力することを特徴とする表示制御方法。」

[相違点5]
「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ることについて,本願発明1は,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態であり、かつ、前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作を受け付けると、前記第1の重畳用データを選択状態に遷移させ」ているのに対して,引用発明3は,一つの「他端末」が複数の「コメント情報1412」を対応付けていないために,「前記表示部に表示される基準物に対応付けられた第1の重畳用データの少なくとも一部が、該基準物に対応付けられた第2の重畳用データにより隠れた状態」とならず,又「前記第1の重畳用データが選択状態でない場合に前記第2の重畳用データに対する第1の操作」を行っていない点。

[相違点6]
「操作を受け付けると、前記第1の重畳用データに応じた情報を出力すること」について,本願発明1が「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力する」のに対して,引用発明3の「ユーザの入力」は如何なる操作であるのか不明である点。

イ 相違点についての判断
[相違点6]について検討すると,引用発明3において,[相違点6]に係る操作が自明の事項であるとはいえない。
また,引用文献1,2,4及び5には[相違点6]に係る操作は記載されていないから,引用文献1,2,4及び5の記載に基づいて,引用発明3に[相違点6]に係る操作を行うことが容易であるとはいえない。

ウ 本件発明1についての,引用発明3を主たる引用発明とする検討のまとめ
そうすると,他の相違点について検討するまでもなく,本願発明1は,引用発明3であるとはいえず,又,当業者であっても,引用発明3並びに引用文献1,2,4及び5に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。

(4)本願発明1についてのまとめ
したがって,引用発明1ないし3には,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」するという技術的事項は有しておらず,また,該技術的事項は自明の事項であるともいえないから,本願発明1は,引用発明1ないし3であるとはいえない。
さらに,引用文献4及び5にも「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」することは記載されていないから,引用文献1ないし5に記載された事項から,本願発明1を,当業者が容易に発明をすることができたものでない。

2 本願発明2及び3について
本願発明2及び3は,本願発明1の「表示制御方法」の発明を,それぞれ「処理をコンピュータに実行させる情報処理プログラム」及び「情報処理装置」としたものであり,本願発明1と同様に「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」するという技術的事項を有している。
そして,上記1で検討したように,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」するという技術的事項は,引用発明1ないし3に記載されておらず,又自明の事項とも認められない。
そうすると,本願発明2及び3は,引用発明1ないし3であるとはいえない。
さらに,引用文献4及び5にも「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」することは記載されていないから,引用文献1ないし5に記載された事項から,本願発明2及び3を,当業者が容易に発明をすることができたものでない。

第7 原査定について
1 理由1(特許法第29条第1項第3号)について
審判請求時の補正により,本願発明1ないし3は,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」するという事項を有するものとなっているから,本願発明1ないし3は,拒絶査定において引用された引用文献1ないし3に記載された発明であるとはいえない。したがって,原査定の理由1を維持することはできない。

2 理由2(特許法第29条第2項)について
審判請求時の補正により,本願発明1ないし3は,「前記第2の重畳用データにより少なくとも一部が隠れた状態である前記第1の重畳用データが選択状態である場合に前記第2の重畳用データに対する第2の操作を受け付けると、前記第1の重畳用データに応じた情報を出力」するという事項を有するものとなっているから,当業者であっても,拒絶査定において引用された引用文献1ないし5に基づいて,容易に発明できたものとはいえない。したがって,原査定の理由2を維持することはできない。

第8 むすび
以上のとおり,原査定の理由によっては,本願を拒絶することはできない。
また,他に本願を拒絶すべき理由を発見しない。
よって,結論のとおり審決する。
 
審決日 2019-07-29 
出願番号 特願2014-142394(P2014-142394)
審決分類 P 1 8・ 113- WY (G06F)
P 1 8・ 121- WY (G06F)
最終処分 成立  
前審関与審査官 ▲高▼瀬 健太郎  
特許庁審判長 ▲吉▼田 耕一
特許庁審判官 小田 浩
稲葉 和生
発明の名称 表示制御方法、情報処理プログラム、及び情報処理装置  
代理人 伊東 忠彦  
代理人 伊東 忠重  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ