• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない(前置又は当審拒絶理由) H04N
管理番号 1316583
審判番号 不服2014-23735  
総通号数 200 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2016-08-26 
種別 拒絶査定不服の審決 
審判請求日 2014-11-21 
確定日 2016-06-29 
事件の表示 特願2013-200915「撮像装置、撮像方法、及びプログラム」拒絶査定不服審判事件〔平成26年 1月 9日出願公開、特開2014- 3715〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、平成21年2月25日を出願日とする特願2009-42288号の特許出願の一部を、平成25年9月27日に分割出願した特願2013-200915号であって、手続の概要は以下のとおりである。

手続補正 :平成25年10月 9日
拒絶理由通知 :平成26年 4月 9日(起案日)
手続補正 :平成26年 7月 8日
拒絶査定 :平成26年 9月 9日(起案日)
拒絶査定不服審判請求 :平成26年11月21日
手続補正 :平成26年11月21日
拒絶理由(当審・最初) :平成27年11月26日(起案日)
意見書 :平成28年 2月17日

第2 本願発明
本願の請求項1に係る発明(以下、「本願発明」という。)は、平成26年11月21日付けの手続補正書により補正された特許請求の範囲の請求項1に記載された事項により特定される、以下のとおりのものである。((A)ないし(J)は当審が付与した。以下、構成要件(A)、構成要件(B)・・などという。)


【請求項1】
(A)撮像手段と、
(B)表示手段と、
(C)前記撮像手段の光軸方向である方位角と仰角とを検出する検出手段と、
(D)方位角と仰角で示される球座標上の任意の位置に対応付けて撮影画像を記憶する記憶手段と、
(E)前記撮像手段により撮影される画像を、この撮影時に前記検出手段により検出された方位角と仰角で示される前記球座標上の位置に対応付けて前記記憶手段に追加して記憶させる記憶制御手段と、
(F)前記記憶手段に記憶されている複数の撮影画像を、各々の撮影画像が対応付けられた前記球座標上の位置に応じた平面上の位置に合成した状態で前記表示手段に表示させる表示制御手段と
を備え、
(G)前記記憶手段は、複数の撮影画像を合成した状態で記憶するメモリであって、
(H)前記記憶制御手段は、前記撮像手段により画像が撮影される毎に、前記検出手段により検出された方位角と仰角で示される球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に前記撮像手段により撮影される画像を合成して記憶させる処理を繰り返し実行し、
(I)前記表示制御手段は、任意に指定された方位角と仰角で示される前記球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に合成された状態で記憶されている画像を読み出して前記表示手段に表示させることを特徴とする
(J)撮像装置。

第3 刊行物の記載事項
(1)刊行物1の記載
当審における拒絶の理由の通知において引用された特開2000-32379号公報(以下、「刊行物1」という。)には、図面と共に以下の事項が記載されている。

【0001】
【発明の属する技術分野】本発明は、方位センサを内蔵し、複数の映像を撮り込んで高精度に画像を張り合わせ、また画像合成が可能な複数の機能を有する電子カメラに関する。

【0024】本発明は、撮影時における電子カメラの姿勢を計測することで、撮影画像の位置を割り出し、その後の画像の加工や創作に使用するものである。先ず、図1には撮影時の電子カメラの姿勢と画像との関係を示し説明する。
【0025】図1(a)は、画角と方位の関係を示す図である。この図1(a)において、P1は画像の中心、Qは撮像素子の中心位置をそれぞれ示している。図1(b)のx、y、zは、撮像素子の中心点Qを中心としたデカルト座標を示し、図中のx、yは撮影した画面の座標を示している。θは、図1(b)に示されるような撮像素子の中心を含む水平面を回転面にした場合における当該水平面からの法線を回転中心とした場合の回転角である。また、ψは、図1(b)に示されるように地表からの角度(仰角)である。このθとψで作られる座標は、オイラー座標系に相当する。また、φは、カメラの水平からの傾き角である。
【0026】上記θはパニング、ψはチルトの角度であるともいえる。従って、Δθはパニング方向の画角であり、Δψはチルト方向の画角である。また、画像Gは、姿勢情報(θ、ψ、φ)と画角情報(Δθ、Δψ)との計5個のパラメータで決定される。尚、プリントや投影した場合の実際の画角は、図1(c)に示されるように、画角と仮想的に設定する投影距離dによって決定される。この図1(c)において、gx、gyは、それぞれ
gx=2・d・tan(Δθ/2)
gy=2・d・tan(Δψ/2)
で示される。
【0027】次に図2には大画面やパノラマ等を作成する場合の画像を張り合わせる過程を示し説明する。画像の張り合わせ時に必要な情報は、図2(a)に示されるようにカメラの撮像中心から見た、即ち撮影した2枚の画像G1、G2である。この画像の姿勢情報と画角情報が有れば正確に張り合わせが可能である。張り合わせには、少なくとも2枚の画像G1(θ1、ψ1、φ1、Δθ1、Δψ1)と、G2(θ2、ψ2、φ2、Δθ2、Δψ2)が必要となる。尚、図2(a)に示されるように、一部重複部分が必要となることは勿論であり、図2(b)に示される複数の画像を組み合わせる場合も同様である。
【0028】次に図3を参照して、大画面やパノラマ等を作成する場合において、画像を張り合わせる過程について、更に正確で実用的な方法を説明する。前述したような姿勢情報(θ、ψ、φ)を精度良く実測するのは、一般に容易ではない。例えば、建設現場等でプロが使用する計測カメラを3脚に固定して高価なロータリーエンコーダを用いる場合であっても、360度を3600分割して分解能を0.1度にすることは困難である。
【0029】一方、20度の画角をVGA(640×480)で表示した場合の水平方向の1画素の方位は1/30度となる。本発明では、大衆商品として製造販売すること、且つ利用者の利便を向上させることを考えているので、基準点なしに利用者が構えるだけで計測できることが望まれ、ゆえに、方位の計測精度は8bitから10bitとするのが妥当である。
【0030】即ち、方位の計測精度は0.1度から数度となる。この為、図3(a)に示されるように、重複部分の画像ずれが発生する可能性が想定される。ここで、ずれの程度は、姿勢情報(θ、ψ、φ)の標準偏差の二乗和の平方根であると考えられる。尚、これは、方位センサの測定値が原理的限界からガウシアン分布をとるということが前提となっている。
【0031】図3(b)は、この誤差を補正するために、画像の重複部分の画素レベルの相関を取って精度を高めた例である。例えば、最初に方位情報からの座標(X、Y)と(X′、Y′)との画像の画素の差の二乗を重なり部分の全ての画素、又は一部の画素で和をとる。そして、この和が最小になる新たな座標(X′、Y′)を見い出せるような手法を用いている。
【0032】ここで、図24のフローチャートを参照して、外部コンピュータ又は電子カメラ内蔵コンピュータによる演算のシーケンスを説明する。動作を開始すると、先ず、電子カメラより1画像と関連づけられた撮像方位情報と撮像画角情報を伝送する(ステップS21)。続いて、全画像の方位情報より、方位情報の最大値と最小値を各成分ごと求め(ステップS22)、上記方位情報の各成分毎の最大値と最小値より出力画像の範囲を仮決定し(ステップS23)、上記出力画像の範囲に座標平面を想定し(ステップS24)、各撮像画像の上記座標平面上の位置を、各画像に関連付けられた撮像方位情報より計算する(ステップS25)。
【0033】次いで、各撮像画像の上記座標平面上の大きさを、各画像に関連付けられた撮像画角情報より計算し(ステップS26)、計算した位置と大きさに従い、撮像画像を座標平面に貼り付け(ステップS27)、境界に不連続部分があれば、対応する画素間で各画素とのノルム(距離)の総和が最小となる位置に新画素を設定し(ステップS28)、貼り付けた撮像画像を1つの画像として出力し(ステップS29)、動作を終了する(ステップS30)。
【0034】以上の基本原理をふまえて、以下、各実施の形態を詳細に説明する先ず、第1の実施の形態を説明する。図4は本発明の第1の実施の形態に係る電子カメラの構成図である。
【0035】同図に示されるように、本実施の形態に係る電子カメラは、光軸9を有するレンズ群10、当該レンズ群10を含む鏡筒11、CCDやCMOSセンサ等の固体撮像素子12、画像メモリ13、制御部14、姿勢センサ15、画角を計測する機能部16、一連の関連画像を特徴付ける機能部17の主な構成要素から構成されている。これらの内、画像メモリ13は、電子カメラ内部に搭載されても良いし、カードのように差し込み式となっていても良い。また、上記構成要素のほか、自動焦点(AF)センサや焦点調整のアクチュエータ、自動露出(AE)センサや絞り等を搭載していても良いことは勿論である。
【0036】上記姿勢センサ15は、この実施の形態では、3軸の方位を高精度で計測することができる。ここで、3軸とは、図5に示されるような軸と方位であり、地表面101の法線102を中心軸とする角度103(パンニング又はヨーイング)、カメラのレンズの光軸9の地表面からの角度の計測104(チルトイング又はピッチ)、水平方向からの傾き105をここでは定義する。
【0037】この計測の方法は、詳細には後述するが、一般的に3つの方位センサを互いに90度の傾きを持って配置して計測させることが多い。上記画角を計測する機能部16は、使用するレンズの焦点距離や倍率、使用する撮像素子の有効画素面積等を計測、或いは定数値から計測して求める。上記一連の関連画像を特徴付ける機能部17は、複数の画像を用いて大きなパノラマや全天周画像を作成させる場合の一群の画像を特徴付けるインデックスである。
【0038】次に図6には第1の実施の形態に係る電子カメラの構成図を示し説明する。同図に於いて、中央演算処理装置(CPU ;Central Processing Unit)14は、電子カメラ全体の制御を司る。このCPU14の入力には、シャッタスイッチ18、フラッシュのモードスイッチ19、再生機能スイッチ20、メモリの制御(消去等)のスイッチ21、撮像素子からの映像信号22、AF信号部23、AE信号部24等からの信号が入力される。また、CPU14の出力信号は、フラッシュ機能部(光源等)25、レンズアクチュエータ27に入力される。
【0039】特に、上記画像メモリ13には、画像制御信号26と、バスライン27を介したデジタル画像信号が入力され、当該画像メモリ13に蓄積される。この他、CPU14の入力には、姿勢センサ15、画角情報部16、関係付けSW17の出力が接続されており、通信自在となっている。

【0041】尚、画像の確認、画像メモリ13の確認等のイベント情報が入った場合は、そのイベントに対する応答を行うことは勿論である。次いで、パノラマ等(環境を撮るモード)の画像の関係付けSW17が押下されると(ステップS3)、方位検出による画像合成モードに入り、関連付けのフラグがONされ、姿勢センサ15の計測準備に入る(ステップS4)。
【0042】続いて、シャッタSW18がONされると(ステップS5)、画像取り込みのモードに入る。即ち、ズームボタンが押下されると、操作者や指定するズーム倍率に設定される。この画像取り込みモードでは、焦点を合わせるレンズアクチュエータ28が動作する。また、自動焦点タイプで有れば、AFセンサの信号が許容値に達するまでアクチュエータが動作する(ステップS6)。
【0043】ここで、上記ステップS5、ステップS6の処理は、相互に順番を変更しても良い。尚、関連付けのフラグが立っている場合は、姿勢センサ15の計測開始を指示する。その後、シャッタ用のレンズアクチュエータ28が動作する。ここで、CCDの電子シャッタ機能を用いても良い。
【0044】次いで、シャッタが開いている間にCCDや撮像素子の画像取り込み信号を出力する(ステップS7)。電子シャッタを使用する場合には、AE信号を受けてホトダイードへの蓄積時間を決める。この後、直ちに姿勢センサ15の計測値を取込むか、又はその時点の計測値をラッチする信号を出す(ステップS8)。その後、CCD等の撮像素子から画像データをシリアル又はパラレルで画像メモリ13に取込む(ステップS9)。このとき、方位データの計測データ、レンズやズームからの画角データ、画像の関連付けのデータ等を同時に画像メモリ13内に取込む(ステップS10)。ここで、画像の関連付けとは、画像合成をする一連の画像のまとまりや順序付けを意味する。
【0045】これらのデータはバッファに入れておき、ステップS11にて、まとめて画像メモリ13に取込んでも良い。さらに、画像データが大きい場合は、直接ステップS7やステップS9の段階で画像メモリ13に取込んでも良い。この後、パノラマ画像の関係付けSW17がONされている場合(フラグが立っている場合)は(ステップS12)、関連付けデータの更新をしてシャッタボタンを押下する準備段階に戻る(ステップS13)。
【0046】以降、パノラマ合成した2番目の画像を撮影し、上記した処理と同様の処理により必要な画像を取込むこととなる。ここで、上記画像の関連付けは、関連付けようとする画像を撮影するときにボタン等を押下することにより指定する構成ととることもできるが、一般に画像合成の対象となる複数の画像は電源投入から切断の間に撮影される全画像であることが多い点に鑑み、電子カメラに電源投入後最初に撮像された画像から、電源切断の直前に撮像された画像まで関連付けるようにしてもよい。このようにすれば、操作が簡便になるとともに、システム構成を安価にし、誤操作を防止する意味で信頼性を向上できる。

【0051】次に第2の実施の形態を説明する。図9は第2の実施の形態としての電子カメラの応用例を示す図である。一般に、電子カメラはPCの周辺機器として発展し、デジタル画像を取込み装置として認知、利用されてきた。しかし、直接テレビジョン(TV)に接続して映像を楽しむこととほか(図9(a)参照)、所謂「ホームラボラトリ」という概念の下、プリンタに直接接続することも可能である(図9(b)参照)。
【0052】このような場合でも、本実施の形態に係る電子カメラを採用すれば、画像の張り合わせ操作に、所定の操作やマニュアル動作を何ら要しない。また、本実施の形態では、画像間の関連付けと方位情報や画角情報は撮影時に撮り込まれている為に、完全自動で最終画像の作成ができる。つまり、電子カメラ1のCPUによって画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算し、又は先に図3に示した手法で最適化することにより、新たな座標を再定義し、再度合成した画像データをメモリに蓄積する。よって、図9(a),(b)に示されるようなTVでの張り合わせ画像の再生や、プリンタへの張り合わせ画像の出力ができるほか、図9(c)に示されるように、頭部や顔面の画像表示装置(HMD ;Head Mounted Display )50に接続して張り合わせ画像を出力するよう構成することもできる。この合成画像は、自動的に電子カメラの画像メモリ13に記憶しても良いし、画像情報のみを記憶してもよい。
【0053】次に第3の実施の形態を説明する。図10は第3の実施の形態に係る電子カメラの外観構成図である。本実施の形態は、図10(a)、(b)に示されるように、カメラに表示装置を機能を有する構成となっている。即ち、図10(a)は高精細の平面型表示装置(LCD)51を用いたもの、図10(b)はレンズを通して小型表示装置を拡大表示するもので、ファインダ52を有している。尚、小さな画角で大画面を表示させるべく、表示の場所を変更するよう構成することもできる。

【0054】次に第4の実施の形態を説明する。図11は第4の実施の形態の基本原理を示す図である。一般に民生カメラでは、パノラマ画像のみを撮る場合が多い。この場合は、水平方向の角度、パニングのみで撮影可能となる。
【0055】この第4の実施の形態では、カメラの視点Qをできるだけ変えないで、パニングの方位θのみを計測しながら、G1(θ1、Δθ1)、G2(θ2、Δθ2)、G3(θ3、Δθ3)の画像を撮影する。このとき、先に説明した第1の実施の形態と同様に、画像情報、パニング方向の画角情報Δθ、パニングの方位情報θ、を計測し、画像メモリ13に記録する。
【0056】第4の実施の形態によれば、方位センサの数が最小限となり、低コスト化を実現することができる。尚、上記バニング方向の画角情報Δθのほか、チルト方向の画角情報Δψも考慮に入れれば更に良いことは勿論である。
【0057】次に第5の実施の形態を説明する。図12は第5の実施の形態の基本原理を示す図である。一般に民生カメラでは、ビルや塔のような縦長画面を撮る場合が多いが、この場合は垂直方向の角度、チルトのみで撮影可能となる。
【0058】この第5の実施の形態では、カメラの視点Qを極力変更しないで、チルトの方位ψのみを計測しながら、G1(ψ1、Δψ1)、G4(ψ4、Δψ4)、G5(ψ5、Δψ5)の画像を撮影する。このとき、先に説明した第1の実施例と同様に、画像情報、チルト方向の画角情報Δψ、チルトの方位情報ψを計測し、画像メモリ13に記録する。
【0059】第5の実施の形態によれば、方位センサの数が最小限となり、低コスト化を実現することができる。尚、上記チルト方向の画角情報Δψのほか、パニング方向の画角情報Δθも考慮に入れれば更に良いことは勿論である。
【0060】次に第6の実施の形態を説明する。図13は第6の実施の形態の基本原理を示す図である。一般に、民生カメラでは、カメラを水平に保った画面を撮る場合が多いが、この場合は水平と垂直方向の角度、パニングとチルトのみで可能となる。
【0061】この第6の実施の形態では、カメラの視点Qをできるだけ変えないで、方位φとψのみを計測しながら、G1(θ1、Δθ1、ψ1、Δψ1)、G2(θ2、Δθ2、ψ2、Δψ2)、G3(θ3、Δθ3、ψ3、Δψ3)、G4(θ4、Δθ4、ψ4、Δψ4)、G5(θ5、Δθ5、ψ5、Δψ5)の画像を撮影する。このとき、先に説明した第1の実施の形態と同様に、画像情報、チルト方向の画角情報Δθ、Δψ、チルトの方向情報θ、ψ、を計測し、画像メモリ13に記録する。

【0112】21.合成した画像を表示する画像表示手段を具備することを特徴とする付記20記載の電子カメラ。この態様によれば、以下の効果が奏される。電子カメラの内部で画素合成が可能となると、パーソナルコンピュータに接続すること無しに、本クレームに示す方法によって、パノラマや大画面映像、カメラが取込み仮想現実空間を正確に自動で作成することが可能となる。
【0113】22.上記画像表示手段は、画像を拡大・縮小して表示可能であり、画像の一部の表示も可能であることを特徴とする付記21記載の電子カメラ。この態様によれば、以下の効果が奏される。電子カメラに接続するか、搭載する表示装置は、カメラに合わせて低電力で携帯可能である必要がある。この表示装置は再構成された画像よりも小さい画素数で構成されている。本クレームに示す方法によって、小さな画像表示装置でパノラマや大画面映像、カメラが取込み仮想現実空間を表示することが可能となる。

(2)刊行物2の記載
当審における拒絶の理由の通知において引用された特開2001-169223号公報(以下、「刊行物2」という。)には、図面と共に以下の事項が記載されている。

【0001】
【発明の属する技術分野】本発明はパノラマ映像表示システムに関し、特に展望台又は移動体等からのパノラマ監視画像の撮像情報をもとに、任意の方位の画像を表示するパノラマ映像表示システムに関する。

【0016】
【課題を解決するための手段】本発明のパノラマ映像表示システムは、撮像レンズによる光学像を電気信号に変換する垂直に配列された1列のリニアイメージセンサを有した撮像カメラと、この撮像カメラを固定し回転させる回転雲台の部分に回転角度を精密に検出する回転角検出部と、前記回転角度から方位角を検出する方位角検出部と、前記方位角からビデオメモリへ映像情報を書き込む特定場所を決める書き込みアドレス演算部と、前記ビデオメモリから指定方位範囲の情報を読み出すための制御を行う表示方位制御部と、この表示方位制御部により読み出しアドレスを出力する読み出しアドレス演算部と、撮像されたパノラマ映像信号を前記撮像カメラの回転方位角に応じた特定のビデオメモリアドレスに記憶し、前記方位角を任意に指定して表示用映像信号を読み出すことを特徴としている。

【0025】図2はパノラマ映像方位角とメモリ空間との関係を示す説明図である。
【0026】次に、図1および図2を参照して本実施の形態の動作をより詳細に説明する。
【0027】回転雲台18を含むカメラ部4は、撮像レンズ1を通して縦に1ライン配置されたリニアイメージセンサ2上に結像した映像信号を映像データ変換部3に取り入れ、ディジタルデータに変換後シリアル又はパラレルデータの形態の映像データ20をパノラマ映像信号ビデオメモリ部7へ記憶するため供給する。
【0028】一方、回転角検出部5は、カメラ部4の雲台の回転を例えば光学式ロータリーエンコーダを用いて検出し、その回転角度21を出力する。分解能(3600/1回転)のロータリーエンコーダを用いれば、0.1度単位で検出が可能である。方位角検出部9は、回転角検出部5からの回転角度21の情報を得て、設置角度のズレ等の補正処理を行って方位角情報22を生成出力する。書き込みアドレス演算部8は、方位角検出部9からカメラ部4の撮像の方位角情報22をうけ、パノラマ映像信号ビデオメモリ部7へ映像信号を記憶するために書き込みアドレスのアドレスデータ23を発生し、パノラマ映像信号ビデオメモリ部7の書き込みアドレスを制御する。この制御によりカメラ部4からの映像データ20は、パノラマ映像信号ビデオメモリ部7の所定のアドレスに格納記憶される。なお、このアドレスデータ23は、図2に示すように概念的には撮像対象33に対して、カメラ部4が方位角θn で撮像した映像データ20をビデオメモリ34のメモリアドレスnに格納記憶するように方位角θn に対応するようにしてある。
【0029】同様に、方位角θn+1はメモリアドレスn+1に、方位角θn+2はメモリアドレスn+2に格納記憶される。

第4 刊行物に記載された発明
以上の記載によれば、刊行物1には次の発明(以下、刊行物1発明という。)が記載されている。

4a.刊行物1の【0001】、【0035】、【0053】、【0112】の記載によれば、刊行物1には、固体撮像素子と表示装置を有する電子カメラの発明が開示されている。

4b.刊行物1の【0035】の記載によれば、刊行物1の電子カメラは、姿勢センサ15を有しており、上記姿勢センサは【0036】の記載によれば、「地表面101の法線102を中心軸とする角度103(パンニング又はヨーイング)、カメラのレンズの光軸9の地表面からの角度の計測104(チルトイング又はピッチ)、水平方向からの傾き105」を計測していることが開示されている。
したがって刊行物1の電子カメラは、パンニング角度、チルトイング角度とを計測する姿勢センサを有している。

4c.刊行物1の【0035】の記載によれば、刊行物1の電子カメラは、画像メモリ13を有している。
上記画像メモリ13は、【0039】の記載によれば、デジタル画像信号が入力され、当該画像メモリ13に蓄積される。
また、【0044】の記載によれば、「CCD等の撮像素子から画像データをシリアル又はパラレルで画像メモリ13に取込む(ステップS9)。このとき、方位データの計測データ、レンズやズームからの画角データ、画像の関連付けのデータ等を同時に画像メモリ13内に取込む(ステップS10)。」ことも開示されている。
ここで、上記「画像データ」が【0039】の「デジタル画像信号」であること、及び、「方位データの計測データ」が4b.の姿勢センサで計測された、パンニング角度、チルトイング角度であることは明らかである。
加えて、第2の実施の形態(【0051】、【0052】)の記載をみると、「電子カメラ1のCPUによって画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算し、又は先に図3に示した手法で最適化することにより、新たな座標を再定義し、再度合成した画像データをメモリに蓄積する。」ことも開示されている。
したがって、刊行物1の電子カメラは、撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを蓄積すると共に、画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義し、再度合成した画像データを蓄積する画像メモリ13を有している。

4d.刊行物1の【0035】、【0038】の記載によれば、刊行物1の電子カメラは、制御部(CPU)14を有している。
上記制御部14は【0038】に「電子カメラ全体の制御を司る。」との記載があるから、電子カメラにおける各種制御を行っているものと解される。
刊行物1の【0046】には、「以降、パノラマ合成した2番目の画像を撮影し、上記した処理と同様の処理により必要な画像を取込むこととなる。」の記載がある。
該「上記した処理」は、4c.の「CCD等の撮像素子から画像データをシリアル又はパラレルで画像メモリ13に取込む(ステップS9)。このとき、方位データの計測データ、レンズやズームからの画角データ、画像の関連付けのデータ等を同時に画像メモリ13内に取込む(ステップS10)。」であるから、刊行物1発明の電子カメラは、2番目の画像として、撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを蓄積させるように制御する制御部を有している。
また、上記4c.で検討したように画像メモリは、画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義し、再度合成した画像データを蓄積しているのであるから、画像の蓄積を行う制御部は、上記再度合成した画像データを画像メモリ13に蓄積するように制御する制御部でもあることは明らかである。

4e.刊行物1の【0112】、【0113】の記載によれば、刊行物1の電子カメラはパノラマ合成した画像を表示することを可能とする表示手段を有しているから、そのような制御を行う制御手段を有しているといえる。

4f.まとめ
以上まとめると、刊行物1発明として、以下のとおりのものを認定することができる。((a)ないし(g)は当審において付与し、以下「構成要件(a)」等として引用する。)

(a)固体撮像素子と、
(b)表示装置と、
(c)パンニング角度、チルトイング角度とを計測する姿勢センサと、
(d)撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを蓄積すると共に、画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義し、再度合成した画像データを蓄積する画像メモリと、
(e)2番目の画像として、撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを画像メモリに蓄積させるように制御し、また、画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義し、再度合成した画像データを画像メモリに蓄積するように制御する蓄積制御部と、
(f)パノラマ合成した画像を表示することを可能とする表示制御手段と、
(g)を有する電子カメラ

第5 対比
本願発明と刊行物1発明とを対比する。

5a.本願発明の構成要件(A)と刊行物1発明の構成要件(a)とを対比する。
刊行物1発明の固体撮像素子は、撮像する手段であるから、本願発明の構成要件(A)と相違がない。

5b.本願発明の構成要件(B)と刊行物1発明の構成要件(b)とを対比する。
刊行物1発明の表示装置は表示手段といえるから、本願発明の構成要件(B)と相違がない。

5c.本願発明の構成要件(C)と刊行物1発明の構成要件(c)とを対比する。
刊行物1発明の「パンニング角度」、「チルトイング角度」は、刊行物1の「θは、図1(b)に示されるような撮像素子の中心を含む水平面を回転面にした場合における当該水平面からの法線を回転中心とした場合の回転角である。また、ψは、図1(b)に示されるように地表からの角度(仰角)である。」(【0025】)、「上記θはパニング、ψはチルトの角度であるともいえる。」(【0026】)の記載からみて、刊行物1発明において、電子カメラで撮像するときの「方位角」「仰角」にそれぞれ対応するから、刊行物1発明の姿勢センサは、本願発明の検出手段に相当する。
したがって、刊行物1発明の電子カメラは、本願発明の構成要件(C)を備えている。

5d.本願発明の構成要件(D)、構成要件(G)と刊行物1発明の構成要件(d)とを対比する。
刊行物1発明の画像メモリが記憶する、「再度合成した画像データ」は、撮像素子から得られたデジタル画像信号を上記デジタル画像信号を得るときに計測された「パンニング角度、チルトイング角度、画像の関連付けのデータ等」を用いて新たな座標を計算・再定義し、再度合成した画像であるから、方位角と仰角を用いて得られた座標に対応付けて撮影した画像を再合成した画像データであり、画像メモリは、方位角と仰角で示される任意の位置に対応付けて撮影画像を記憶しているといえる。
また、刊行物1発明の上記「再度合成した画像データ」は、【0052】の記載をみれば、「張り合わせ画像」も含むものであり、上記「張り合わせ画像」は上記撮像素子から得られたデジタル画像信号を張り合わせた画像、すなわち、複数の撮影画像を合成した状態の画像である。
したがって、刊行物1発明の電子カメラは、本願発明の「方位角と仰角で示される任意の位置に対応付けて撮影画像を記憶する記憶手段」を備えている点で本願発明の構成要件(D)に対応し、また、「前記記憶手段は、複数の撮影画像を合成した状態で記憶するメモリ」である点で、本願発明の構成要件(G)と相違がない。
もっとも、「任意の位置」は、本願発明では「球座標上の任意の位置」であるのに対し、刊行物1発明では、「球座標上の」の特定事項を有していない点で相違する。

5e.本願発明の構成要件(E)、構成要件(H)と刊行物1発明の構成要件(e)とを対比する。
本願発明の「この撮影時に」は、「検出された」に掛かるのか、「追加して記憶させる」に掛かるのか明確ではないが、構成要件(H)との関係を踏まえれば、「画像が撮影される毎に」、「合成して記憶させる処理を繰り返し実行し」と解することができるから、「追加して記憶させる」に掛かるものとして、以下検討する。
刊行物1発明の蓄積制御部は、「2番目の画像として、撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを画像メモリに蓄積させるように制御し、また、画像メモリからの画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義し、再度合成した画像データを画像メモリに蓄積するように制御」している。
5d.で検討したように、「画像情報、方位情報、画角情報、関連付け情報を用いて、新たな座標を計算・再定義」することは、前記撮像手段により撮影される画像を、前記検出手段により検出された方位角と仰角で示される位置に対応付けることに相当するから、刊行物1発明の蓄積制御部は、「前記撮像手段により撮影される画像を、前記検出手段により検出された方位角と仰角で示される位置に対応付けて前記記憶手段に追加して記憶させる記憶制御手段」である点で、本願発明の構成要件(E)に対応している。
もっとも、「方位角と仰角で示される位置」が、本願発明では「方位角と仰角で示される前記球座標上の位置」であるのに対し、刊行物1発明では、上記「球座標上の」の特定事項を有していない点で相違することは、上記5d.で検討したとおりである。
また、「追加して記憶させる」タイミングが、本願発明では「この撮影時に」であるのに対し、刊行物1発明では「この撮影時に」であるか明らかでない点で相違し、したがって、本願発明では、「前記撮像手段により画像が撮影される毎に」、「撮影される画像を合成して記憶させる処理を繰り返し実行し」ているのに対し、刊行物1発明では、そのような特定事項を有さない点で相違する。
さらに、刊行物1発明の「関連付け情報」は、発明の詳細な記載によれば、
「上記一連の関連画像を特徴付ける機能部17は、複数の画像を用いて大きなパノラマや全天周画像を作成させる場合の一群の画像を特徴付けるインデックスである。」【0037】
「ここで、画像の関連付けとは、画像合成をする一連の画像のまとまりや順序付けを意味する。」【0044】
とあるから、パノラマや全天周画像を作成させる場合の一群の画像のまとまりを表す情報といえ、上記関連付け情報により、一群の画像のまとまりであるとされた複数の画像は、これを合成してパノラマ画像を作成していることは明らかである。
したがって、刊行物1発明では、「関連付け情報」により、一群の画像のまとまりであるとされた複数の画像について、「新たな座標を計算・再定義」してパノラマ画像を合成し、上記合成されたパノラマ画像を画像メモリに記憶しているといえるから、「前記撮像手段により撮影される画像を合成して記憶させ」ているといえる。
してみると、本願発明の記憶制御手段は、「前記検出手段により検出された方位角と仰角で示される球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に前記撮像手段により撮影される画像を合成して記憶させる」構成を有しているのに対し、刊行物1発明では、「前記撮像手段により撮影される画像を合成して記憶させる」構成は有しているが、その余の構成は有していない。
以上まとめると、本願発明の「記憶制御手段」と刊行物1発明の「蓄積制御部」とは、
「前記撮像手段により撮影される画像を、前記検出手段により検出された方位角と仰角で示される位置に対応付けて前記記憶手段に追加して記憶させる記憶制御手段」、「前記記憶制御手段は、前記撮像手段により撮影される画像を合成して記憶させる処理を実行し」の点で一致し、
「方位角と仰角で示される位置」が、本願発明では「方位角と仰角で示される前記球座標上の位置」であるのに対し、刊行物1発明では、上記「球座標上の」の特定事項を有していない点、
「追加して記憶させる」タイミングが、本願発明では「この撮影時に」であるのに対し、刊行物1発明では「この撮影時に」であるか明らかでない点、
本願発明では、「前記撮像手段により画像が撮影される毎に」、「撮影される画像を合成して記憶させる処理を繰り返し実行し」ているのに対し、刊行物1発明では、そのような特定事項を有さない点、
本願発明では、「前記検出手段により検出された方位角と仰角で示される球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に」の特定事項を有するのに対し、刊行物1発明では、当該特定事項を有さない点、
で相違する。

5f.本願発明の構成要件(F)、構成要件(I)と刊行物1発明の構成要件(f)とを対比する。
刊行物1発明の電子カメラは「パノラマ合成した画像を表示することを可能とする表示制御手段」を有している。
刊行物1発明における「パノラマ合成した画像」は、上記5e.で検討したように、画像メモリに記憶された、「関連付け情報」により、一群の画像のまとまりであるとされた複数の画像について、「新たな座標を計算・再定義」してパノラマ画像として合成された画像である。
上記「一群の画像のまとまりであるとされた複数の画像」の情報は、構成要件(d)、構成要件(e)にある「画像メモリからの画像(情報)」であるから、本願発明の「前記記憶手段に記憶されている複数の撮影画像」と相違がない。
また、上記パノラマ合成を行うことは、上記5e.で対比したように、各々の撮影画像が対応付けられた位置に応じた位置に合成することであって、刊行物1発明では、当該パノラマ画像を表示可能とする表示制御手段を有しているから、上記合成した状態で前記表示手段に表示させる表示制御手段を有しているといえる。
もっとも、「各々の撮影画像が対応付けられた位置」が、本願発明では、「各々の撮影画像が対応付けられた前記球座標上の位置」であるのに対し、刊行物1発明では、上記「球座標上の」の特定事項を有していないことは、先の対比と同じである。
また、刊行物1発明は、上記5e.で検討したように、「球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に前記撮像手段により撮影される画像を合成して記憶させる」構成を有していないから、本願発明の構成要件(I)を有していない。
以上まとめると、表示制御手段に関して、刊行物1発明は、「前記記憶手段に記憶されている複数の撮影画像を、各々の撮影画像が対応付けられた位置に応じた位置に合成した状態で前記表示手段に表示させる表示制御手段」である点で、本願発明と相違がない。
もっとも、「各々の撮影画像が対応付けられた位置」が、本願発明では、「各々の撮影画像が対応付けられた前記球座標上の位置」であるのに対し、刊行物1発明では、上記「球座標上の」の特定事項を有していない点、および、刊行物1発明は、本願発明の構成要件(I)を有していない点で相違する。

5f.本願発明の構成要件(J)と刊行物1発明の構成要件(g)とを対比する。
刊行物1発明の電子カメラは、撮像装置といえるからこの点で、刊行物1発明と本願発明は相違がない。

5g.まとめ(一致点・相違点)
以上まとめると、本願発明と刊行物1発明とは以下の一致点で一致し相違点で相違する。

(一致点)
撮像手段と、
表示手段と、
前記撮像手段の光軸方向である方位角と仰角とを検出する検出手段と、
方位角と仰角で示される任意の位置に対応付けて撮影画像を記憶する記憶手段と、
前記撮像手段により撮影される画像を、前記検出手段により検出された方位角と仰角で示される位置に対応付けて前記記憶手段に追加して記憶させる記憶制御手段と、
前記記憶手段に記憶されている複数の撮影画像を、各々の撮影画像が対応付けられた位置に応じた平面上の位置に合成した状態で前記表示手段に表示させる表示制御手段と
を備え、
前記記憶手段は、複数の撮影画像を合成した状態で記憶するメモリであって、
前記記憶制御手段は、前記検出手段により検出された方位角と仰角で示される位置に前記撮像手段により撮影される画像を合成して記憶させる処理を実行、
させることを特徴とする撮像装置。

(相違点)
相違点1
「位置」が、本願発明では「球座標上の位置」であるのに対し、刊行物1発明では、「球座標上の」の特定事項を有していない点 。

相違点2
「追加して記憶させる」タイミングが、本願発明では「この撮影時に」であるのに対し、刊行物1発明では「この撮影時に」であるか明らかでない点。

相違点3
本願発明では、「前記撮像手段により画像が撮影される毎に」、「撮影される画像を合成して記憶させる処理を繰り返し実行し」ているのに対し、刊行物1発明では、そのような特定事項を有さない点。

相違点4
本願発明では、記憶制御手段が「前記検出手段により検出された方位角と仰角で示される球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に」の特定事項を有するのに対し、刊行物1発明では、当該特定事項を有さない点。

相違点5
本願発明では、表示制御手段が「前記表示制御手段は、任意に指定された方位角と仰角で示される前記球座標上の位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に合成された状態で記憶されている画像を読み出して前記表示手段に表示させる」の特定事項を有しているのに対し、刊行物1発明では当該特定事項を有していない点。

第6 判断
上記相違点について検討する。

6a.相違点1について
刊行物1発明では「撮像素子から得られたデジタル画像信号と、姿勢センサで計測されたパンニング角度及びチルトイング角度と、画像の関連付けのデータ等とを蓄積」している。
上記撮像素子から得られたデジタル画像信号と、パンニング角度、チルトイング角度、画像の関連付けのデータ等とを記憶することで、画像の位置を特定しているといえるが、上記特定の具体的な構成は、発明の詳細な説明に、
「【0025】図1(a)は、画角と方位の関係を示す図である。この図1(a)において、P1は画像の中心、Qは撮像素子の中心位置をそれぞれ示している。図1(b)のx、y、zは、撮像素子の中心点Qを中心としたデカルト座標を示し、図中のx、yは撮影した画面の座標を示している。θは、図1(b)に示されるような撮像素子の中心を含む水平面を回転面にした場合における当該水平面からの法線を回転中心とした場合の回転角である。また、ψは、図1(b)に示されるように地表からの角度(仰角)である。このθとψで作られる座標は、オイラー座標系に相当する。また、φは、カメラの水平からの傾き角である。
【0026】上記θはパニング、ψはチルトの角度であるともいえる。従って、Δθはパニング方向の画角であり、Δψはチルト方向の画角である。また、画像Gは、姿勢情報(θ、ψ、φ)と画角情報(Δθ、Δψ)との計5個のパラメータで決定される。尚、プリントや投影した場合の実際の画角は、図1(c)に示されるように、画角と仮想的に設定する投影距離dによって決定される。この図1(c)において、gx、gyは、それぞれ
gx=2・d・tan(Δθ/2)
gy=2・d・tan(Δψ/2)」、
「【0032】ここで、図24のフローチャートを参照して、外部コンピュータ又は電子カメラ内蔵コンピュータによる演算のシーケンスを説明する。動作を開始すると、先ず、電子カメラより1画像と関連づけられた撮像方位情報と撮像画角情報を伝送する(ステップS21)。続いて、全画像の方位情報より、方位情報の最大値と最小値を各成分ごと求め(ステップS22)、上記方位情報の各成分毎の最大値と最小値より出力画像の範囲を仮決定し(ステップS23)、上記出力画像の範囲に座標平面を想定し(ステップS24)、各撮像画像の上記座標平面上の位置を、各画像に関連付けられた撮像方位情報より計算する(ステップS25)。
【0033】次いで、各撮像画像の上記座標平面上の大きさを、各画像に関連付けられた撮像画角情報より計算し(ステップS26)、計算した位置と大きさに従い、撮像画像を座標平面に貼り付け(ステップS27)、境界に不連続部分があれば、対応する画素間で各画素とのノルム(距離)の総和が最小となる位置に新画素を設定し(ステップS28)、貼り付けた撮像画像を1つの画像として出力し(ステップS29)、動作を終了する(ステップS30)。」
と記載されているから、画像の位置を特定する情報として「パニング角」、「チルト角」、「画角と仮想的に設定する投影距離d」も含んでいるといえる。
そして、原点からの距離、ある軸からの角度、別の軸からの角度の三要素で位置を表現する座標系のことを球面座標系というから、上記「パニング角」、「チルト角」、「画角と仮想的に設定する投影距離d」によって、撮像した画像の位置を特定している構成を有する刊行物1発明において、上記相違点1の構成を採用することは、当業者が容易になしえたことである。

6b.相違点2、相違点3について
相違点2、相違点3は、新たに撮影された画像を、上記撮影がなされる毎に、パノラマ画像に順次追加する構成を特定しているといえる。
パノラマ撮影可能なカメラにおいて、新たに撮影された画像を、上記撮影がなされる毎に、パノラマ画像に順次追加することは、当審が拒絶理由通知書において摘示した刊行物3ないし刊行物5(刊行物3:特開2002-90820号公報(例えば、【0120】、図14、図17等)、刊行物4:特開2007-288731号公報(例えば、【0022】-【0024】、図2等)、刊行物5:特開平5-161050号公報(【0013】、図6等))に記載されるとおり本願出願前周知の事項であり、刊行物1発明において、当該事項を実現するため、相違点2、相違点3の構成を付加することは当業者が容易になしえたことである。

6c.相違点4、相違点5について
当審における拒絶の理由の通知において引用された刊行物2には、上記第3(2)のとおりの記載があり、パノラマ撮影する際に撮像部の回転角(刊行物1発明の「パニング角」に相当する。)に対応するように、撮影される画像を記憶するメモリのアドレス位置を制御することで、方位角に応じた位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に前記撮像手段により撮影される画像を合成して記憶させる構成が開示されている。
刊行物2に記載された発明は、撮像部を上下方向に移動しないことを前提とした発明であるから、「チルト角」については考慮していない。
しかしながら、刊行物1発明は、「パニング角」、「チルト角」を用いた構成であるから、刊行物1発明に刊行物2に記載された構成を採用すれば、「前記検出手段により検出された方位角と仰角で示される位置を前記メモリ上のアドレスに変換し、この変換されたアドレスに対応するメモリ上の位置に前記撮像手段により撮影される画像を合成して記憶させる」構成とすることは、当業者が普通に想起しえたことである。
請求人は、平成28年2月17日付け意見書にて、
「この相違点に関連して、引用文献2には、水平方向に拡張されたパノラマ画像を撮影するとき、撮影手段を水平方向に順次回転させながら画像を取り込み、水平方向が360度の画像を得るものにおいて、方位角をアドレスに対応させ、特定の方位角で撮影した画像を特定のアドレス位置に記憶する技術が記載されております。
しかしながら、この引用文献2は上記相違点bを開示するものではありません。
つまり、引用文献2の技術は、水平方向の位置を示すのに方位角(角度情報)を用いているだけであって、垂直方向の位置を示すのに仰角(角度情報)を用いるものではありません。言い換えると、引用文献2には、円筒座標上の位置をメモリ上のアドレスに変換することが記載されているとしても、方位角と仰角で示される球座標上の位置をメモリ上のアドレスに変換することは記載されておりません。」
と主張している。
しかし、刊行物1の【0054】-【0062】の記載をみると、第4の実施の形態では、パンニング方位のみを計測するパノラマ撮影を想定した構成(これは、刊行物2に記載された構成が想定するものと同じである。)、第5の実施の形態ではチルト方位のみを計測するパノラマ撮影を想定した構成、第6の実施の形態では、パンニング方位とチルト方位を計測するパノラマ撮影を想定した構成(刊行物1発明が想定している構成である。)が、それぞれ開示されており、これらのように想定するものが異なるパノラマ撮影があれば、刊行物2に記載された構成を適用する際、それに対応したものとすることは、当業者が普通に考慮することである。
そして、刊行物1発明が想定するパノラマ撮影は、パンニング方位とチルト方位(方位角と仰角)をそれぞれ計測して、撮影した画像の位置を特定しているのであるから、方位角と仰角で示される位置をメモリ上のアドレスに変換する構成を採用することは、当業者が容易になしえたことである。

したがって、上記各相違点は、当業者が容易に想到し得たものと認められ、本願発明全体としてみても格別のものはなく、その作用効果も、上記各相違点に係る構成の採用に伴って当然に予測される程度のものにすぎず、格別顕著なものがあるとは認められない。

なお、上記第5 5e.において『本願発明の「この撮影時に」は、「検出された」に掛かるのか、「追加して記憶させる」に掛かるのか明確ではないが、構成要件(H)との関係を踏まえれば、「画像が撮影される毎に」、「合成して記憶させる処理を繰り返し実行し」と解することができるから、「追加して記憶させる」に掛かるものとして、以下検討』したが、上記「この撮影時に」が、「検出された」に掛かる場合についても一応検討する。
上記「この撮影時に」が、「検出された」に掛かる場合には、方位角と仰角とが画像の撮影時に得られたものであることを特定している。
この点、刊行物1に「その後、CCD等の撮像素子から画像データをシリアル又はパラレルで画像メモリ13に取込む(ステップS9)。このとき、方位データの計測データ、レンズやズームからの画角データ、画像の関連付けのデータ等を同時に画像メモリ13内に取込む(ステップS10)。」(【0044】)との記載があるから、刊行物1に記載された電子カメラにおいても、方位角と仰角とが撮影時に得られたものであることは明らかであって、刊行物1に記載された発明と本願発明との間に相違はない。
したがって、上記「相違点2」がないものといえるが、仮に、上記相違点2がないとしても、上記6b.の判断に影響を及ぼさない。

第8 むすび
以上のとおり、本願発明は、刊行物1ないし刊行物5に記載された発明に基づいて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
したがって、残る請求項2ないし請求項6に係る発明について検討するまでもなく、本願は拒絶すべきものである。
よって、結論のとおり審決する。
 
審理終結日 2016-03-10 
結審通知日 2016-04-05 
審決日 2016-04-18 
出願番号 特願2013-200915(P2013-200915)
審決分類 P 1 8・ 121- WZ (H04N)
最終処分 不成立  
前審関与審査官 山口 祐一郎  
特許庁審判長 清水 正一
特許庁審判官 戸次 一夫
渡邊 聡
発明の名称 撮像装置、撮像方法、及びプログラム  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ