• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 一部申し立て 対象物  H04N
審判 一部申し立て ただし書き1号特許請求の範囲の減縮  H04N
審判 一部申し立て 特36条4項詳細な説明の記載不備  H04N
管理番号 1105864
異議申立番号 異議2003-71608  
総通号数 60 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 1998-03-24 
種別 異議の決定 
異議申立日 2003-06-24 
確定日 2004-08-25 
異議申立件数
訂正明細書 有 
事件の表示 特許第3359241号「撮像方法および装置」の請求項1ないし4、9、10、13ないし15に係る特許に対する特許異議の申立てについて、次のとおり決定する。 
結論 訂正を認める。 特許第3359241号の訂正後の請求項7ないし9に係る特許を維持する。 
理由 1 本件特許及び本件特許異議事件についての手続の経緯
本件特許及び本件特許異議事件(特許第3359241号(以下「本件特許」という。)異議申立て)に係る手続の経緯の概要は、以下のとおりである。

(1) 本件特許の出願日:平成8年10月14日
(優先日:平成7年10月13日他)
(2) 特許権の設定の登録:平成14年10月11日
(3) 特許異議の申立て:平成15年6月24日(異議申立人・大木茂)
(請求項1ないし4、9、10、13ないし15に対して)
(4) 取消理由通知:平成16年5月11日
(5) 特許異議意見書:平成16年7月20日
(6) 訂正請求:平成16年7月20日

2 訂正の適否についての判断
特許権者が平成16年7月20日付けでした訂正請求における訂正事項は、取消理由の対象となっている請求項1ないし4、9、10を削除する訂正、及び削除する請求項2、4、10を引用している請求項13ないし15の引用部分を削除する訂正をするものである。
しかして、訂正事項は、訂正前の請求項を削除するもの、及び引用部分を削除するものであるから、特許請求の範囲を減縮するものと認められる。
そうすると、本件訂正請求における訂正事項は、特許法120条の4第2項ただし書1号にいう特許請求の範囲の減縮に該当し、また、本件訂正事項は、全体として願書に添付した明細書及び図面の範囲においてしたものであると認められるので、同条3項で準用する126条2項及び3項の規定にも適合する。
さらに、本件訂正後の請求項1ないし請求項9に記載された発明が特許出願の際独立して特許を受けることができない発明であるとする理由も発見しないので、本訂正事項は、特許法120条の4第3項で準用する同法126条4項の規定にも適合するものである。
したがって、本件訂正はこれを認めることとする。

3 特許異議申立てについての判断
(1) 29条2項について
特許異議申立人大木茂の異議申立てに係る請求項1ないし4、9、10は、平成16年7月20日付け訂正請求により削除され、特許異議の申立ての対象が存在しなくなった。
また、請求項13ないし15は、請求項2、4及び10を引用する部分に限り異議申立がなされているが、当該引用部分が削除されたことにより申立ての理由は解消した。

(2) 36条について
明細書段落【0046】には、「図2は、上面と側面から撮られた2枚の映像に基づいて3次元位置を求める方法の原理を示す概念図であり、201および202はそれぞれ上面像と側面像、203は得られる3次元位置情報である。なお、ここでは説明を簡単化するため平行投影を仮定した図を描いている。実際の場合では、透視投影を用いることになるが、この計算方式自体はステレオ写真計測等の分野で既に確立されている。原理的には上面像201と側面像202でそれぞれ対応するxの位置にある目印のyおよびzを求めるだけでよい。これにより目印の3次元位置情報203が得られることになる。」と記載されており、さらに、段落【0047】、【0048】及び【0052】の記載から、3つの目印の位置が求められれば、撮像ユニットに複数の目印が配置されるものであるから、撮像ユニットの3次元位置を知りうることは、当業者にとって容易に理解できる事項である。
なお、異議申立人が、「例えば」として36条違反を主張している請求項1は、訂正請求により削除され対象が存在しなくなった。

4 むすび
以上のとおりであるから、特許異議申立ての理由及び証拠によっては、本件特許異議申立の対象である訂正された本件請求項7ないし9に係る発明の特許を取り消すことはできない。
また、他に本件訂正された請求項7ないし9に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
 
発明の名称 (54)【発明の名称】
撮像方法および装置
(57)【特許請求の範囲】
【請求項1】複数の目印を撮像ユニットに付加し、
前記撮像ユニットの周囲に設置された複数の距離検出機構から前記複数の目印にいたる距離をそれぞれ検出し、
前記検出した距離をもとに計算した、前記複数の目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
【請求項2】複数の目印を付加した撮像ユニットと、
前記撮像ユニットの周囲に設置され前記撮像ユニット上の目印位置にいたる距離をそれぞれ検出する距離検出機構と、
前記検出した距離をもとに前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、
前記計算手段に接続して前記計算手段で計算した目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
【請求項3】予め撮像ユニットの周囲に複数の目印を用意するとともに、前記目印への方位を検出するための目印方位検出機構を前記撮像ユニットに複数取り付け、
前記撮像ユニット上の前記目印方位検出機構の位置からみた前記目印にいたる目印方位を検出し、
前記検出した目印方位をもとに計算した、前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
【請求項4】予め周囲に用意した複数の目印と、
前記目印への目印方位を検出する複数の目印方位検出機構と、
前記複数の目印方位検出機構を取り付けた撮像ユニットと、
前記目印方位検出機構により検出された前記目印方位検出機構からみた前記目印方位をもとに前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、
前記計算した前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
【請求項5】目印までの距離を検出する距離検出機構を撮像ユニットに複数付加するとともに予め周囲に複数の目印を配置し、
前記距離検出機構の位置からみた前記目印にいたる距離を検出し、
前記検出の結果から計算した、前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
【請求項6】目印までの距離を検出する距離検出機構を複数付加した撮像ユニットと、
周囲に設置した複数の目印と、
前記検出した前記距離検出機構の位置からみた前記目印にいたる距離から前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、
前記計算した前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
【請求項7】複数の目印として複数の発光体を用い、
前記複数の発光体を個別の発光タイミングまたは個別の周波数で点滅させる発光体制御手段を備える、
ことを特徴とする請求項2、請求項4、請求項6のいずれかに記載の撮像装置。
【請求項8】複数の目印として発光色の異なる複数の発光体を用い、
センサまたは距離検出機構または目印方位検出機構は、カラー識別手段を有する、
ことを特徴とする請求項2、請求項4、請求項6のいずれかに記載の撮像装置。
【請求項9】撮像ユニットに接続して前記撮像ユニットのレンズ焦点距離、レンズ絞り値、使用光学フィルタ、焦点合わせ位置、シャッター速度という撮像用パラメータを単数もしくは複数組み合わせて検出する検出手段を新たに備え、
記録または出力する手段は、前記検出した撮像用パラメータを前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする請求項2、請求項4、請求項6、請求項7、請求項8のいずれかに記載の撮像装置。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、空間内における3次元位置および方位を同時に自動的に求めつつ撮像を行なう方法および装置に関するものである。
【0002】
【従来の技術】TVカメラによって撮像された実写映像をコンピュータグラフィックス映像等と合成しようとする際には、その撮像が行なわれた際のTVカメラのレンズ焦点距離に加えて、TVカメラ自体の3次元位置および方位の情報を同時に記録しておくことが必要となる。
【0003】2種類の映像を合成することを考えた場合、それらの撮像の際のカメラのレンズ焦点距離、3次元位置および方位が異なっていると、両映像を正確に合成することは原理的に不可能であり、合成された映像は全く違和感のあるものとなってしまう。
【0004】コンピュータグラフィックスの1つの利点は、3次元モデルを利用して、任意のレンズ焦点距離で任意の3次元位置および方位で見た映像を生成できることにある。逆にいえば、これらの情報はコンピュータグラフィックス映像の生成に不可欠のものであり、これらが正しく与えられない限り正しい映像を生成することが出来ない。
【0005】従って、実写映像とコンピュータグラフィックス像の正確な映像合成を行なうためには映像を撮像する際のTVカメラのレンズ焦点、3次元位置および方位のデータを映像に対応させる形で正確に記録しておき、それを利用して実写映像に合わせたコンピュータグラフィックス像を生成すればよい。
【0006】しかし、従来より撮像ユニットの典型例として用いられているTVカメラは、単に2次元の映像を撮影するものであり、撮像の際のカメラの3次元位置および方位の情報は直接的に記録されない。このため、TVカメラとともに何らかの補助的手段を用いてTVカメラの3次元空間内の位置および方位を計測する必要がある。
【0007】従来、3次元空間内の位置および方位を求める方式としては、(1)機械的3次元計測、(2)ジャイロスコープ方式、(3)GPS(グローバル ポジショニング システム)方式、(4)天井格子パターン検出方式がある。
以下、従来の各方式について説明する。
【0008】(1)機械的3次元計測
機械じかけによって3次元空間内の位置を求める方式である。アームの先につけられたTVカメラを計測ポイントに設定し、その3次元位置と方位をアームの長さと、関節毎に設置したポテンショメータや歪ゲージ等の組み合わせによって求める。この方式は、比較的確実性が高い利点がある。
【0009】(2)ジャイロスコープ方式
ジャイロスコープをTVカメラに取り付けることにより、3次元位置と方位を計測しつつ撮像を行なう方式である。
【0010】(3)GPS方式
GPS衛星からの電波を受けて2次元あるいは3次元位置を検出する方式であり、カーナビゲーションシステムに広く使用されている。
【0011】(4)天井格子パターン検出方式
あらかじめ天井に用意された(描かれた)位置合わせの目的に使える格子パターンを、撮像用TVカメラの上に天井を向けて搭載した少しずつ向きの異なる3つの位置合わせ用小型TVカメラでとらえ、それら3つの小型TVカメラでとらえた天井の格子パターンをもとにして該撮像用TVカメラの方位を求める方式である。
【0012】
【発明が解決しようとする課題】しかしながら、上記従来の3次元空間内の位置および方位を求める各方式では、それぞれ、次のような問題点を有していた。
【0013】(1)機械的3次元計測
この方式は、計測ポイントを機械的に移動させるために時間がかかるという欠点がある。また、しかけが非常に大がかりとなるのみならず、使用可能な空間が上記アームの可動範囲に限定されてしまうという問題点がある。小さなしかけで行なうためには小さなTVカメラを用いるのは勿論、アーム自体を短くする必要があり、箱庭のようなミニセットの中での撮影しか実現することが出来ない。
【0014】(2)ジャイロスコープ方式
この方式において、小型のジャイロスコープを使用した場合では、十分な精度で3次元位置と方位を計測することが困難であるという問題がある。一方、高精度のジャイロスコープを利用しようとすると装置がかなり大掛かりとなり、しかも、ジャイロスコープの初期設定自体に時間と手間がかるという問題点がある。
【0015】(3)GPS方式
この方式では、通常、検出精度が5m程度であり、これよりも精度の高い3次元計測が困難であるという問題がある。また、衛星からの電波をうける関係上、通常は屋外で使用されるものであり、建物内での使用には適していないという問題がある。
【0016】(4)天井格子パターン検出方式
この方式は、撮像用TVカメラを水平に近い状態(即ち、位置合わせ用の3つのTVカメラが天井を向く)で使用することを前提としており、撮像用TVカメラの向きが限定されるという問題がある。また、撮像用TVカメラの使用場所が天井パターンのある所に限られるという問題点がある。
【0017】以上のように、従来の位置、方位を求める方式では、任意の方向に向けて使用される撮像用カメラの3次元位置および方位を同時に高い精度で、かつ簡便に、しかも撮像カメラが移動できる範囲が制限されずに求めることはできないという問題点があった。
【0018】本発明は、上記従来方式の問題点を解決するためになされたものであり、その目的は、撮像ユニットの3次元位置、撮像方位ならびに回転角を、高い精度で、しかも簡易に同時検出できるようにした撮像方法および装置を提供することにある。
【0019】
【課題を解決するための手段】上記の目的を達成するため、本発明は、以下の各方式による撮像方法および装置を手段とする。
【0020】(第1の発明)撮像ユニット上の目印を周囲のセンサで検出する方式
(第2の発明)撮像ユニット上の目印を周囲の方位検出機構で検出する方式
(第3の発明)撮像ユニット上の目印を周囲の距離検出機構で検出する方式
(第4の発明)周囲の目印を撮像ユニット上の方位検出機構で検出する方式
(第5の発明)周囲の目印を撮像ユニット上のセンサで検出する方式
(第6の発明)周囲の目印を撮像ユニット上の距離検出機構で検出する方式
以下、上記の各手段について説明する。
【0021】《第1の発明》本発明の第1の発明による撮像方法は、予め撮像ユニットに複数の目印を付け、前記目印を外部の複数の方向から検出し、前記検出の結果から求めた前記目印の3次元位置を、または前記目印の3次元位置を基に計算した前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0022】本発明の第1の発明による撮像装置は、複数の目印を付けた撮像ユニットと、前記目印を外部から検出するための複数のセンサと、前記センサでの検出結果を基に前記撮像ユニットの3次元位置、または前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像ユニットの3次元位置、または前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0023】第1の発明では、撮像ユニットに付けたマークやランプ等からなる複数の目印を2以上の方向からセンサ等でとらえて、少なくともその2点の3次元位置から撮像中の撮像ユニットの3次元位置と方位をリアルタイムに計算し、撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの3次元位置および方位を同時に高い精度で、しかも簡便に求めて記録または出力し、後のコンピュータグラフィックスの生成や映像合成等を容易にする。
【0024】《第2の発明》本発明の第2の発明による撮像方法は、予め撮像ユニットに複数の目印を付け、外部の複数の位置からみた前記目印にいたる目印方位を検出し、前記検出の結果から求めた前記目印の3次元位置を、または前記目印の3次元位置をもとに計算した前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0025】本発明の第2の発明による撮像装置は、複数の目印を付けた撮像ユニットと、外部の複数の位置からみた前記目印にいたる目印方位を検出するための複数の目印方位検出機構と、前記目印方位検出機構での検出結果をもとに前記撮像ユニットの3次元位置、または前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像ユニットの3次元位置と方位もしくは前記撮像ユニットの3次元位置と方位と回転角を前記撮像ユニットの撮影画像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0026】第2の発明では、あらかじめ撮像ユニットに複数の目印をつけておき、この目印の外部の2点以上の位置からみた目印方位をその位置からとらえて、目印の3次元位置をリアルタイムに計算し、これによって撮像ユニットの3次元位置、撮像方位ならびに回転角を検出し、これらを撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの3次元位置、方位および回転角を同時に高い精度で、しかも簡便に求めて、後のコンピュータグラフィックスの生成や映像合成等を容易にする。
上記目印方位の検出は、目印を可動で追尾することで撮像ユニットが移動できる空間の範囲を広くしている。
【0027】《第3の発明》本発明の第3の発明による撮像方法は、複数の目印を撮像ユニットに付加し、前記撮像ユニットの周囲に設置された複数の距離検出機構から前記複数の目印にいたる距離をそれぞれ検出し、前記検出した距離をもとに計算した、前記複数の目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0028】本発明の第3の発明による撮像装置は、複数の目印を付加した撮像ユニットと、前記撮像ユニットの周囲に設置され前記撮像ユニット上の目印位置にいたる距離をそれぞれ検出する距離検出機構と、前記検出した距離をもとに前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、前記計算手段に接続して前記計算手段で計算した目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0029】第3の発明では、あらかじめ撮像ユニットに複数の目印光源をつけ、ここから発せられる光を周囲に設置された複数のセンサで検出してその距離を検出することにより、目印光源の3次元位置を計算し、これをもとに計算によって撮像ユニットの3次元位置や撮像方位や回転角を、映像に対応させて同時検出する。
【0030】《第4の発明》本発明の第4の発明による撮像方法は、予め撮像ユニットの周囲に複数の目印を用意するとともに、前記目印への方位を検出するための目印方位検出機構を前記撮像ユニットに複数取り付け、前記撮像ユニット上の前記目印方位検出機構の位置からみた前記目印にいたる目印方位を検出し、前記検出した目印方位をもとに計算した、前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0031】本発明の第4の発明による撮像装置は、予め周囲に用意した複数の目印と、前記目印への目印方位を検出する複数の目印方位検出機構と、前記複数の目印方位検出機構を取り付けた撮像ユニットと、前記目印方位検出機構により検出された前記目印方位検出機構からみた前記目印方位をもとに前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、前記計算した前記目印方位検出機構の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0032】第4の発明では、あらかじめ撮像ユニット上に目印方位検出機構を搭載しておき、これを使って周囲の2点以上の既知の位置に設置した目印にいたる方位を検出することにより、目印方位検出機構の3次元位置を計算し、これをもとに計算によって撮像ユニットの3次元位置や撮像方位や回転角を、映像に対応させて同時検出する。
【0033】《第5の発明》本発明の第5の発明による撮像方法は、複数のセンサを撮像ユニットに付加するとともに予め周囲に複数の目印を用意し、前記センサで前記目印をとらえ、前記目印をとらえた結果から計算した、前記目印に対する前記センサの3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0034】本発明の第5の発明による撮像装置は、複数のセンサを付加した撮像ユニットと、周囲に用意された複数の目印と、前記センサで前記目印をとらえた結果から前記目印に対する前記センサの3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、前記計算した前記センサの3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を撮像ユニットの前記撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0035】第5の発明では、周囲に固定したマークやランプ等からなる複数の目印を、撮像ユニットに固定した複数のセンサ等でとらえて、その複数のセンサの3次元位置から撮像中の撮像ユニットの3次元位置や方位や回転角をリアルタイムに計算し、撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの3次元位置や方位や回転角を同時に高い精度で、しかも簡便に同時検出し、記録もしくは出力する。
【0036】《第6の発明》本発明の第6の発明による撮像方法は、目印までの距離を検出する距離検出機構を撮像ユニットに複数付加するとともに予め周囲に複数の目印を配置し、前記距離検出機構の位置からみた前記目印にいたる距離を検出し、前記検出の結果から計算した、前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
【0037】本発明の第6の発明による撮像装置は、目印までの距離を検出する距離検出機構を複数付加した撮像ユニットと、周囲に設置した複数の目印と、前記検出した前記距離検出機構の位置からみた前記目印にいたる距離から前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を計算する計算手段と、前記計算した前記目印の3次元位置、または前記撮像ユニットの3次元位置と方位、または前記撮像ユニットの3次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
【0038】第6の発明では、周囲の複数の既知の位置に目印方位検出機構を設置し、これを使ってあらかじめ撮像ユニット上に搭載した複数の目印にいたる方位を検出することにより、目印の3次元位置を計算し、これをもとに計算によって撮像ユニットの3次元位置や撮像方位や回転角を、映像に対応させて高い精度で、しかも簡便に同時検出し、記録もしくは出力する。
【0039】なお、以上の本発明による撮像装置では、複数の目印として複数の発光体を用い、前記複数の発光体を個別の発光タイミングまたは個別の周波数で点滅させる発光体制御手段を備えるか、または、複数の目印として発光色の異なる複数の発光体を用い、前記目印を検出するセンサまたは前記目印にいたる距離を検出する距離検出機構または方位を検出する目印方位検出機構は、カラー撮像手段等のカラー識別手段を有するのが、複数の目印のそれぞれを容易に区別することができ、実用上好適である。
【0040】また、以上の本発明による撮像装置では、撮像ユニットに接続して前記撮像ユニットのレンズ焦点距離、レンズ絞り値、使用光学フィルタ、焦点合わせ位置、シャッター速度という撮像用パラメータを単数もしくは複数組み合わせて検出する検出手段を新たに備え、記録または出力する手段は、前記検出した撮像用パラメータを前記撮像ユニットの撮影映像に対応付けて記録または出力するのが、撮像ユニットの撮像映像とコンピュータグラフィックス像を合成するなどの際の手間を大幅に削減する点で好適である。
【0041】
【発明の実施の形態】以下、本発明の実施形態例を、図を参照して詳細に説明する。
【0042】以下の各実施形態例では、説明を簡単にするため、撮像ユニットとしてのTVカメラのレンズとしては、焦点距離の変化するズームレンズではなく、固定焦点距離のレンズを使用することを仮定して説明を行なう。
【0043】《実施形態例1》本発明の第1の実施形態例は、撮像ユニット上の目印を周囲のセンサで検出する方式を用いた本発明の第1の発明の実施形態例である。
【0044】図1は、本実施形態例を説明する図であって、101は、撮像ユニットとしてのTVカメラ、102,103および109は、目印としてのLED、104は、発光タイミングコントローラ、105および106は、2次元センサとしてのTVカメラ、107は、計算機構としてのコンピュータ、108は、記録機構としての磁気ビデオディスクである。ここで、磁気ビデオディスク108には、撮像用パラメータを予め保存しておく。また、目印102および103は撮像ユニットとしてのTVカメラ101上の両端に固定しておく。
【0045】これを動作させるには、まず、発光タイミングコントローラ104の制御により目印としてのLED102,103,109を点灯させ、この光を2次元センサとしてのTVカメラ105および106で受け、その情報を計算機構107で処理することにより、目印としてのLED102,103,109の3次元位置A,BおよびCを求め、これから方位および回転角をも求める。
【0046】図2は、上面と側面から撮られた2枚の映像に基づいて3次元位置を求める方法の原理を示す概念図であり、201および202はそれぞれ上面像と側面像、203は得られる3次元位置情報である。なお、ここでは説明を簡単化するため平行投影を仮定した図を描いている。実際の場合では、透視投影を用いることになるが、この計算方式自体はステレオ写真計測等の分野で既に確立されている。原理的には上面像201と側面像202でそれぞれ対応するxの位置にある目印のyおよびzを求めるだけでよい。これにより目印の3次元位置情報203が得られることになる。
【0047】求められた3次元空間内の目印102,102および109の位置をそれぞれ、
目印102:点A(Ax,Ay,Az)
目印103:点B(Bx,By,Bz)
目印109:点C(Cx,Cy,Cz)
とする。これより撮像ユニット101の方位Vが下式で定まる。
【0048】V=(Vx,Vy,Vz)=(Ax-Bx,Ay-By,Az-Bz)
また点Cにより、線分ABを軸とする撮像ユニットとしてのTVカメラ101の回転角も定まる。すなわち、線分ABに対する点Cの正規の位置をC′とすると、線分ABの軸上の点を頂点としCC′を底辺とする2等辺三角形の頂角が回転角である。
【0049】なお、上記の説明では省略したが、実用上は、目印としてのLED102,103および109が混同して検出されるのを防ぐために、若干の工夫を施す必要がある。
【0050】例えば、目印としてのLED102,103および109を別のタイミングまたは別の周波数で断続発光するように発光タイミングコントローラ104にセットしておく。これにより、三者を区別して検出することができる。
【0051】また、別の方法としては、目印102,103および109としてそれぞれ発光色を変えたものを用い、2次元センサ104および105としてカラーTVカメラを用いることにより三者を区別して検出する方法もある。
【0052】以上のように、撮像ユニット101の3次元位置情報(目印の3次元座標値(Ax,Ay,Bz)と(Bx,By,Bz))ならびに3次元方位情報(Vx,Vy,Vz)と回転角が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット101によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット101の3次元位置と方位、回転角の情報とを、ともに対応させて記録機構108に格納する。記録機構108に格納された映像情報と撮像ユニット101の3次元位置と方位、回転角、並びに予め格納された撮像ユニット1のレンズ焦点距離等の撮像用パラメータに関する情報は、後にコンピュータグラフィックス像生成用のコンピュータに入力されて、コンピュータグラフィックス像とその撮像された映像が合成される。
【0053】《実施形態例2》本発明の第2の実施形態例も、撮像ユニット上の目印を周囲のセンサで検出する方式を用いた本発明の第1の発明の実施形態例である。
【0054】図3は本実施形態例を説明する図であって、301は撮影パラメータ検出ユニットであり、図1と同一符号を付した他の要素は図1の第1の実施形態例と同一のものである。図1との違いは、この撮像パラメータ検出ユニット301が加えられている点である。
【0055】本実施形態例では、撮像パラメータ検出ユニット301で検出された撮影ユニットの(a)使用レンズの撮像時焦点距離、(b)実際の絞り、(c)使用光学フィルタ、(d)焦点合わせ位置、(e)シャッター速度、等の撮像用パラメータを同時に記録機構108に送り、図1の第1の実施形態例での記録情報と対応した形で共に記録する。本実施形態例によれば、撮像の際の全ての情報が映像情報にリアルタイムに対応付けられて同時に記録されることになるため、撮像中の撮像パラメータの変化への対応が容易になり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる利点が得られる。
【0056】なお、第1、第2の実施形態例では、目印としてA,B,Cの3つを使用したが、同様の原理で4つ以上の目印を使用することにより、確実にとらえられた目印の情報を使用することで、より確度の高い3次元位置および方位の計測が可能となる。
【0057】また、撮像ユニットの3次元位置と方位だけ必要で回転角は無視できる場合には、目印A,Bだけでよく、目印Cは省略できる。また、撮像パラメータが固定もしくは固定的であるような場合では、撮像パラメータの記録や出力は省略可能である。
【0058】また、2次元センサとしてのTVカメラも以上の実施形態例では、2次元センサ105および106の2つのみを使用したが、これを3つ以上使用し、同時に多方向から情報を集められるようにすれば、実際の使用状況において撮像ユニット101の陰、あるいは撮影者の陰等に隠れて検出されない目印がたとえあったとしても、代わりに他の2次元センサとしてのTVカメラによって確実に検出されるため、所期の目的を達成することができる。
【0059】さらに、第1、第2の実施形態例においては、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の3次元位置や撮像ユニットの3次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
【0060】《実施形態例3》本発明の第3の実施形態例は、撮像ユニット上の目印を周囲の方位検出機構で検出する方式を用いた本発明の第2の発明の実施形態例である。
【0061】図4は、本発明の第3の実施形態例を説明する図であって、401は、撮像ユニットとしてのTVカメラ、402および403は、目印としてのLED、404は、発光タイミングコントローラ、405-A,405-B、406-Aおよび406-Bは、いずれも目印方位検出機構、407は、計算機構としてのコンピュータ、408は、記録機構としての磁気ビデオディスク、である。ここで、目印402および403は撮影ユニットとしてのTVカメラ401上の両端に固定しておく。
【0062】これを動作させるには、まず、発光タイミングコントローラ404の制御により目印としてのLED402と403を点灯させ、この光を目印方位検出機構405-A、405-B、406-A、および、406-Bで受けることにより、前記目印方位検出機構405-A、405-B、406-A、および、406-Bの位置からそれぞれ目印402と403にいたる方位を検出し、その情報を計算機構としてのコンピュータ407で処理することにより目印としてのLED402と403の3次元位置AおよびBを求め、これから撮像方位をも求めることができる。
【0063】図5は、目印方位検出機構405-Aの一構成例を示すものであり、501はコントローラ、502は2軸回りの角度検出機能つき回転機構、503は回転機構502上に固定設置されたCCDセンサ、504は目印方位検出機構405-Aの3次元位置である。残る3つの目印方位検出機構405-B、406-A、および、406-Bについても全く同様である。
【0064】これを動作させるには、まず、コントローラ501の指令で回転機構502を作動させることによってCCDセンサ503の向きを動かし、前記撮像ユニット401上に付けられた目印402をCCDセンサ503の視野内にとらえる。以後はCCDセンサ503の視野中心とその目印402の検出位置とのずれ量を検出しつつ、そのずれ量が最小になるように(即ちCCDセンサ503の視野の中心に来るように)回転機構502を作動させ続ける。すると、回転機構502に組み込まれている2軸回りの角度検出機能により、目印方位検出機構405の3次元位置504から見た目印402の方向をみた目印方位V1が得られる。
【0065】コントローラ501ではCCDセンサ503の視野のどの位置(中心からどちらの方向にどの程度離れた位置)に目印402がとらえられているかを判断し、常に中心でとらえるように回転機構502を作動させる。
【0066】目印方位検出機構405-Bの構成および動作は405-Aと同じであるが、ただ目印方位検出機構の3次元位置504とは別の3次元位置から同じ目印402をとらえて目印方位V2を求める。
【0067】このようにして求められた2つの目印方位V1、V2から目印402の3次元位置が求められる。
【0068】同様に、さらに2つの目印方位検出機構406-A、406-Bを用いて目印403の3次元位置も求めることが出来る。
【0069】なお、回転機構に組み込まれる角度検出機構は、例えば現在広く工業用ロボットアームの関節部に使用されているロータリーエンコーダを利用して実現することができる。
【0070】求められた3次元空間内の目印402および403の位置をそれぞれ、
目印402:点A=(Ax,Ay,Az)
目印403:点B=(Bx,By,Bz)
とする。これより撮像ユニット401の方位Vが下式で定まる。
【0071】V=(Vx,Vy,Vz)=(Ax-Bx,Ay-By,Az-Bz)
なお、上記の説明では省略したが、実用上は、目印としてLED402と403が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
【0072】例えば、目印402と403を別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
【0073】また、別の方法としては、目印402と403としてそれぞれ色を変えたものを用い、目印方位検出機構405および406の2次元センサとしてカラーTVカメラを用いることにより両者を区別して検出する方法もある。
【0074】以上のようにして撮像ユニット401の3次元位置情報(目印の3次元座標値(Ax,Ay,Bz)と(Bx,By,Bz))ならびに撮像方位情報(Vx,Vy,Vz)が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット401により撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット401の3次元位置と撮像方位の位置とを、ともに対応させて記録機構408に格納する。
【0075】以上のように、目印方位検出機構は、可動で撮像ユニットの目印を追尾するので、撮像ユニットの移動の自由度が増し、撮像ユニットの移動できる空間の範囲を拡大することができる。目印の3次元位置の検出は、2台以上の固定のカメラ等を位置センサとして検出した画像から求めることも可能であるが、その場合には、撮像ユニットの移動できる空間の範囲は、位置センサとしてのカメラの視野範囲内に限定され、狭いものとなる。
【0076】《実施形態例4》本発明の第4の実施形態例も、撮像ユニット上の目印を周囲の方位検出機構で検出する方式を用いた本発明の第2の発明の実施形態例である。
【0077】図6は、本発明の第4の実施形態例を説明する図であって、601は撮像パラメータ検出ユニットである。本実施形態例のその他の構成は、図4と同符号の構成と同じである。図4との違いはこの撮像パラメータ検出ユニット601が加えられている点である。本実施形態例では、撮像パラメータ検出ユニット601で検出された撮像ユニットの、
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構408に送り、図4の第3の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
【0078】なお、第3、第4の実施形態例では、目印としてA、Bの2つのみを使用したが、同様の原理で3つの目印A、B、Cを使用し、これらを全て検出するために前記目印方位検出機構を増設することにより、撮像ユニットの3次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
【0079】また、2つ以上、多数の目印と多数の目印方位検出機構を使用すれば、実際の使用状況において撮像ユニット401の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、初期の目的を達成することができ、より確度の高い3次元位置、撮像方位および回転角の計測が可能となる。
【0080】さらに、第1、第2の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の3次元位置や撮像ユニットの3次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
【0081】《実施形態例5》本発明の第5の実施形態例は、撮像ユニット上の目印を周囲の距離検出機構で検出する方式を用いた本発明の第3の発明の実施形態例である。
【0082】図7は、本実施形態例を説明する図であって、701は、撮像ユニットとしてのTVカメラ、702および703は、目印光源、704は、発光制御機構、705A,705B,705C,706A,706B,706Cは、いずれも距離検出機構、707は、計算機構としてのコンピュータ、708は、記録機構としての磁気ビデオディスク、である。ここで、目印光源702および703は、ともにそれぞれ周囲に対して放射状に一様に光を放散する光源を用いる(特定方向のみに光を出す光源でないものを用いるか、あるいは、小さな拡散レンズを使用して放散状に光を放散するような光源を実現する)こととし、それぞれを撮像ユニットとしてのTVカメラ701上の例えば両端に固定しておく。
【0083】これを動作させるには、まず、発光制御機構704の制御により目印光源702と703を発光させ、この光をそれぞれ距離検出機構705A,705B,705C,706A,706B,706Cで受け、目印光源から各距離検出機構にいたるまでの距離を検出したのち、それらを計算機構707で処理することにより目印光源702および703の3次元位置AおよびBを求め、これから撮像方位をも求めることができる。
【0084】求められた3次元空間内の目印702および703の位置をそれぞれ、
目印702:点A=(Ax,Ay,Az)
目印703:点B=(Bx,By,Bz)
とする。これにより撮像ユニット701の方位Vが定まる。
【0085】V=(Vx,Vy,Vz)=(Ax-Bx,Ay-By,Az-Bz)
なお、上記の説明では省略したが、実用上は、2つの目印光源702と703が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
【0086】例えば、目印光源702と703を相互に区別できるような別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
【0087】また、別の方法として、目印光源702と703としてそれぞれ色(波長)の異なる光源を用いることにより両者を区別して検出する方法もある。
【0088】以上のようにして撮像ユニット701の3次元位置情報(目印の3次元座標値(Ax,Ay,Az)と(Bx,By,Bz))ならびに撮像方位情報(Vx,Vy,Vz)が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット701によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット701の3次元位置と撮像方位の情報とを、ともに対応させて記録機構708に格納する。
【0089】図8は距離検出機構705Aの動作を示す図であり、801は光センサ、802は検出回路である。発光制御機構704は目印光源702を発光させると同時に検出回路802に信号を送る。この同時性を確保するため、発光制御機構704から光センサ801と検出回路802までの信号の遅延が等しくなるように、それぞれを接続するケーブルの長さを等しくする。光センサ801は、目印光源702から発せられた光を検出し、検出回路802に信号を送る。検出回路802では、発光制御機構704と検出回路802の両方から送られる信号の時間差(遅延時間)Tを検出し、これを計算機構707に送る。この時間差(遅延時間)Tは、目印光源702と光センサ801の間の物理的距離(光路長)を反映するものであり、これから実際の物理的距離を計算することができる。
【0090】なお、発光制御機構704から光センサ801と距離検出機構705Aをそれぞれ接続するケーブルの長さを等しくしても、諸条件により発光制御機構704から光センサ801と検出回路802までのそれぞれの信号の遅延が等しくならない場合も想定されるが、その場合にはキャリブレーションによる補正を行えば良い。
【0091】上記の例では、簡単化のために、比較的単純な形の波形を用いて説明を行なったが、実際には、より精度の高い検出を行なうためのさまざまな手法を使用することが可能である。例えば、現在すでに工業用の距離測定装置に安定した技術として広く使用されている位相差検出の原理をこれに適用できる。即ち、検出回路802として位相差検出回路を使用し、発光制御機構704により変調された光を目印光源702から発光させ、これを光センサ801でとられた後、検出回路802によって両波形の位相差を検出し、これから距離情報を求めることが出来る。
【0092】また、上記の例では、距離検出機構705Aのみについて説明したが、他の距離検出機構、即ち、距離検出機構705B,705C,706A,706B,706Cの場合も、構成と動作に関する事情は全く同じである。なお、発光制御機構704Aから各距離検出機構へ信号を伝えるためのケーブル長を等しくしておけば、補正の手間を省くことができ、目印光源702,703から各距離検出機構までの距離を正確に求めることができる。
【0093】《実施形態例6》本発明の第6の実施形態例も、撮像ユニット上の光源光を周囲の距離センサで検出する方式を用いた本発明の第3の発明の実施形態例である。
【0094】図9は、本実施形態例を説明する図であり、901は撮像パラメータ検出ユニットである。図7との違いは、この撮像パラメータ検出ユニット901が撮像ユニット701に付け加えられている点である。
【0095】本実施形態例では、撮像パラメータ検出ユニット901が検出した撮像ユニット701の
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構708に送り、図7の第5の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
【0096】なお、第5、第6の実施形態例では、目印としてA,Bの2つのみを使用したが、同様の原理で3つの目印A,B,Cを使用し、これらを全て検出するために前記距離検出機構を増設することにより、撮像ユニットの3次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
【0097】また、3つ以上の、多数の目印と多数の距離検出機構を使用すれば、実際の使用状況において撮像ユニット701の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、所期の目的を達成することができ、より確度の高い3次元位置、撮像方位および回転角の計測が可能となる。
【0098】さらに、第5、第6の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の3次元位置や撮像ユニットの3次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
【0099】《実施形態例7》本発明の第7の実施形態例は、周囲の目印を撮像ユニット上の方位検出機構で検出する方式を用いた本発明の第4の発明の実施形態例である。
【0100】図10は、本実施形態例を説明する図であって、1001は、撮像ユニットとしてのTVカメラ、1002および1003は、目印としてのLED(発光ダイオード)、1004は、発光タイミングコントローラ、1005A,1005B,1006A及び1006Bは、目印方位検出機構、1007は、計算機構としてのコンピュータ、1008は、記録機構としての磁気ビデオディスク、である。ここで、目印1002および1003はともに空間内の既知の3次元位置に固定しておく。また、方位検出機構1005A,1005B,1006Aおよび1006Bは撮像ユニットとしてのTVカメラ1001上の既知の位置に固定しておく。
【0101】これを動作させるには、まず、発光タイミングコントローラ1004の制御により目印としてのLED1002と1003を点灯させ、これらをそれぞれ目印方位検出機構1005A,1005B,1006Aおよび1006Bで追跡し、それぞれ目的1002と1003にいたる目印方位を検出する。
この検出された目印方位の情報を計算機構1007で処理することにより、目印方位検出機構1005A,1005B,1006Aおよび1006Bからみた目印1002および1003の相対的3次元位置が求まり、これから目印方位検出機構1005A,1005B,1006Aおよび1006Bの3次元位置を逆算することが出来る。また、これから撮像ユニット1001の撮像方位をも求めることができる。
【0102】図11は、目印方位検出機構1005Aの一つの構成例を示すものであり、1101はコントローラ、1102は2軸回りの角度検出機能つき回転機構、1103は回転機構1102上に固定設置されたCCDセンサ、1104は目印方位検出機構1005Aの3次元位置である。残る3つの目印方位検出機構1005B,1006A、および、1006Bについても全く同様である。
【0103】この目印方位検出機構1005Aを動作させるには、まず、コントローラ1101の指令で回転機構1102を作動させることによってCCDセンサ1103の向きを動かし、あらかじめ周囲(空間内の既知の3次元位置)に配置された目印1002をCCDセンサ1103の視野内にとらえる。以後はCCDセンサ1103の視野中心とその目印1002の検出位置とのずれ量を検出しつつ、そのずれ量が最小となるように(即ちCCDセンサの視野の中心に来るように)回転機構1102を作動させ続ける。すると、回転機構1102に組み込まれている2軸回りの角度検出機構により、目印方位検出機構1005の3次元位置1104から見た目印1002の方向をみた目印方位V1が得られる。
【0104】コントローラ1101ではCCDセンサ1103の視野のどの位置(中心からどちらの方向にどの程度離れた位置)に目印102がとらえられているかを判断し、常に中心でとらえるように回転機構1102を作動させる。
【0105】目印方位検出機構1005Bの構成および動作は1005Aと同じであるが、ただ1104とは別の3次元位置から同じ目印1002をとらえて目印方位V2を求める。
【0106】このようにして求められた2つの目印方位V1,V2から目印1002の相対的3次元位置が求められる。
【0107】同様に、さらに2つの目印方位検出機構1006A,1006Bを用いて目印1003の相対的3次元位置も求めることが出来る。
【0108】なお、回転機構に組み込まれる角度検出機能は、例えば現在広く工業用ロボットアームの関節部に使用されているロータリーエンコーダを利用して実現することができる。
【0109】なお、上記の説明では省略したが、実用上は、目印としてのLED1002と1003が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
【0110】例えば、目印1002と1003を別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
【0111】また、別の方法としては、目印1002と1003としてそれぞれ色を変えたものを用い、2次元センサ1004および1005としてカラーTVカメラを用いることにより両者を区別して検出する方法もある。
【0112】以上のようにして撮像ユニット1001の3次元位置情報と撮像方位情報が同時に得られるようになる。そこで、このように計測を行ないつつ、撮像ユニット1001によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット1001の3次元位置と撮像方位の情報とを、ともに対応させて記録機構1008に格納する。
【0113】《実施形態例8》本発明の第8の実施形態例も、周囲の目印を撮像ユニット上の方位検出機構で検出する方式を用いた本発明の第4の発明の実施形態例である。
【0114】図12は、本実施形態例を説明する図であり、1201は撮像パラメータ検出ユニットである。図4との違いは、この撮像パラメータ検出ユニット1201が撮像ユニット1001に付け加えられている点である。
【0115】本実施形態例では、撮像パラメータ検出ユニット1201が検出した撮像ユニットの
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構に送り、図10の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
【0116】なお、第7、第8の実施形態例では、目印として光源1002,1003の2つのみを使用したが、同様の原理で3つの目印を使用し、これらを全て検出するために前記目印方位検出機構を増設することにより、撮像ユニットの3次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
【0117】また、3つ以上の、多数の目印と多数の目印方位検出機構を使用すれば、実際の使用状況において撮像ユニット1001の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、所期の目的を達成することができ、より確度の高い3次元位置、撮像方位および回転角の計測が可能となる。
【0118】また、第7、第8の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印もしくは目印方位検出機構の3次元位置や撮像ユニットの3次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
【0119】《実施形態例9》本発明の第9の実施形態例は、周囲の目印を撮像ユニット上のセンサで検出する方式を用いた本発明の第5の発明の実施形態例である。
【0120】図13は、本実施形態例を示す構成図であって、1301は、撮像ユニットとしてのTVカメラ、1302-1,1302-2,…,1302-nは、目印として固定設置されたn個のLED、1303-1,1303-2,…,1303-mは、撮像ユニット1301の上に設置されたm個の2次元センサ、1304は、発光タイミングコントローラ、1307は、計算機構としてのコンピュータ、1308は、記録機構としての磁気ビデオディスク、である。
【0121】これを動作するには、まず、発光タイミングコントローラ1304の制御により目印としてのn個のLED1302-1,1302-2,…,1302-nを点灯させ、この光を2次元センサとしてのm個の2次元センサ1303-1,1303-2,…,1303-mでとらえ、その情報を計算機構1307で処理することにより、m個の2次元センサ1303-1,1303-2,…,1303-mから見たn個のLED1302-1,1302-2,…,1302-nの3次元位置P-1,P-2,…,P-nを求める。これから逆に計算を行なうことにより、m個の2次元センサ1303-1,1303-2,…,1303-mが求められ、さらにそれらから、撮像ユニット1301自体の3次元位置を、さらに、撮像方位や回転角をも求めることができる。これらを求めるためには、少なくとも3点以上の2次元センサの3次元位置が確定すれば良い。
【0122】2枚の映像に基づいて3次元位置を求める方式の原理は、ステレオ写真計測等の分野で既に確立されている。これは、第1の実施形態例において図2を用いて既に説明した通りであるのでここでは省略する。
【0123】《実施形態例10》本発明の第10の実施形態例は、周囲の目印を撮像ユニット上の距離検出機構で検出する方式を用いた本発明の第6の発明の実施形態例である。
【0124】図14は、本実施形態例を示す構成図であって、1401は、撮像ユニットとしてのTVカメラ、1402-1,1402-2,1402-3は、目印光源、1403-1,1403-2,1403-3は、撮像ユニット1401上の、お互いに異なる位置に設置した距離検出機構、1404は、発光制御機構、1407は、計算機構としてのコンピュータ、1408は、記録機構としての磁気ビデオディスク、である。ここで、目印光源1402-1,1402-2,1402-3は、それぞれ周囲に対して放射状に一様に光を放散する光源を用いる(特定方向のみに光を出す光源でないものを用いるか、あるいは、小さな拡散レンズを使用して放射状に光を放散するような光源を実現する)こととする。
距離検出機構としては、既に第5の実施形態例で述べたものを使用することができる。
【0125】これを動作させるには、まず、発光制御機構1404の制御により目印光源1402-1,1402-2,1402-3を発光させ、この光をそれぞれ距離検出機構1403-1,1403-2,1403-3で受け、目印光源から各距離検出機構にいたるまでの距離を検出したのち、それらを計算機構1407で処理することにより目印光源1402-1,1402-2,1402-3に対する距離検出機構1403-1,1403-2,1403-3の3点の3次元位置を求め、これから撮像方位や回転角をも求めることができる。
【0126】なお、上記の説明では省略したが、実用上は、目印としての光源1402-1,1402-2,1402-3が混同して検出されるのを防ぐため若干の工夫を施す必要がある。例えば、これらを相互に区別できるような別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
【0127】また、別の方法としては、目印光源としてそれぞれ色(波長)の異なる光源を用いることにより両者を区別して検出する方法もある。
【0128】以上のようにして撮像ユニット1401の3次元位置情報ならびに撮像方位情報が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット1401によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット1401の3次元位置と撮像方位の情報とを、ともに対応させて記録機構1408に格納する。
【0129】なお、第9、第10の実施形態例においても、第2の実施形態例と同様に撮像パラメータ検出ユニットを撮像ユニットに付加して、それで検出された撮像ユニットの(a)使用レンズの撮像時焦点距離、(b)実際の絞り、(c)使用光学フィルタ、(d)焦点合わせ位置、(e)シャッター速度、等の撮像用パラメータを同時に記録機構に送り、各実施形態例での記録情報と対応した形で共に記録するようにしてもよい。この場合、撮像の際の全ての情報が映像情報にリアルタイムに対応付けられて同時に記録されることになるため、撮像中の撮像パラメータの変化への対応が容易になり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる利点が得られる。
【0130】また、撮像ユニット上の3次元位置として少なくとも3点が確定すればよいとしたが、回転角は無視することができ、撮像ユニットの3次元位置と方位だけが必要とされる場合には、少なくとも撮像ユニット上の2点が確定すればよく、その分に応じて撮像ユニット上の2次元センサや方位検出機構等の数を少なくすることができる。
【0131】また、図12においては、3つ以上の多数の2次元センサを使用しているが、これは、実際の使用状況において撮像ユニット1301等の陰などに隠れて検出されない目印がたとえあったとしても、代わりに他の目印を確実にとらえて、確度の高い3次元位置、撮像方位および回転角の計測を可能にするためであり、図13の場合でも同様である。
【0132】さらに、第9、第10の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の3次元位置や撮像ユニットの3次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
【0133】
【発明の効果】以上説明したように、本発明によれば、複数の目印と、この目印、または目印方位、または目印にいたる距離を検出する手段とを、撮像ユニットとその周囲、または逆に撮像ユニットの周囲とその撮像ユニットに配置して、その検出の結果から撮像ユニットの3次元位置、またはそれに加えて方位、またはそれらに加えて方位軸からの回転角を計算できるようにしたので、それらの撮像ユニットの3次元位置や方位、方位軸からの回転角を撮像と同時に自動的に高い精度で簡便に求められる環境を実現できるという利点が得られる。また、撮像ユニットの移動の自由度が増し、その移動できる空間の範囲が広がるという利点が得られる。
【0134】特に、撮像ユニットの撮像パラメータを撮像中に検出してその撮影映像に対応付けて記録または出力するようにした場合には、撮像中の撮像パラメータ変化に容易に対応可能となり、後の映像合成等における手間を大幅に削減できるという利点が得られる。
【図面の簡単な説明】
【図1】本発明の第1の発明に係る第1の実施形態例を説明する図である。
【図2】上記第1の実施形態例において上面と側面のセンサでとらえた2つの映像に基づいて3次元位置を求める方法を示す概念図である。
【図3】本発明の第1の発明に係る第2の実施形態例を説明する図である。
【図4】本発明の第2の発明に係る第3の実施形態例を説明する図である。
【図5】上記第3の実施形態例における目印方位検出機構の構成例を示す図である。
【図6】本発明の第2の発明に係る第4の実施形態例を説明する図である。
【図7】本発明の第3の発明に係る第5の実施形態例を説明する図である。
【図8】上記第5の実施形態例の距離検出機構の動作例を示す図である。
【図9】本発明の第3の発明に係る第6の実施形態例を説明する図である。
【図10】本発明の第4の発明に係る第7の実施形態例を説明する図である。
【図11】上記第7の実施形態例の目印方位検出機構の一つの構成例を示す図である。
【図12】本発明の第4の発明に係る第8の実施形態例を説明する図である。
【図13】本発明の第5の発明に係る第9の実施形態例を説明する図である。
【図14】本発明の第6の発明に係る第10の実施形態例を説明する図である。
【符号の説明】101…撮像ユニット(TVカメラ)
101,103…目印(LED)
104…発光タイミングコントローラ
105,106…2次元センサ(TVカメラ)
107…計算機構(コンピュータ)
108…記録機構(磁気ビデオディスク)
201…上面像
202…側面像
203…3次元位置情報
301…撮像パラメータ検出ユニット
401…撮影ユニット(TVカメラ)
402,403…目印(LED)
405-A,405-B,406-A,406-B…目印方位検出機構
407…計算機構(コンピュータ)
408…記録機構(磁気ビデオディスク)
501…コントローラ
502…回転機構
503…CCDセンサ
504…目印方位検出機構の3次元位置
601…撮像パラメータ検出ユニット
701…撮像ユニット(TVカメラ)
702,703…目印光源
704…発光制御機構
705A,705B,705C,706A,706B,706C…距離検出機構
707…計算機構(コンピュータ)
708…記録機構(磁気ビデオディスク)
901…撮像パラメータ検出ユニット
1001…撮像ユニット(TVカメラ)
1002,1003…目印(LED)
1004…発光タイミングコントローラ
1005A,1005B,1006A,1006B…目印方位検出機構
1007…計算機構(コンピュータ)
1008…記録機構(磁気ビデオディスク)
1301…撮像ユニット(TVカメラ)
1302-1,1302-2,…,1302-n…目印(LED)
1303-1,1303-2,…,1303-m…2次元センサ
1304…発光タイミングコントローラ
1307…計算機構(コンピュータ)
1308…記録機構(磁気ビデオディスク)
1401…撮像ユニット(TVカメラ)
1402-1,1402-2,1402-3…目印光源
1403-1,1403-2,1403-3…距離検出機構
1404…発光制御機構
1407…計算機構(コンピュータ)
1408…記録機構(磁気ビデオディスク)
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2004-08-09 
出願番号 特願平8-270478
審決分類 P 1 652・ 851- YA (H04N)
P 1 652・ 04- YA (H04N)
P 1 652・ 536- YA (H04N)
最終処分 維持  
前審関与審査官 福田 裕司  
特許庁審判長 杉山 務
特許庁審判官 原 光明
新宮佳典
登録日 2002-10-11 
登録番号 特許第3359241号(P3359241)
権利者 日本電信電話株式会社
発明の名称 撮像方法および装置  
代理人 橋本 剛  
代理人 鵜澤 英久  
代理人 本山 泰  
代理人 本山 泰  
代理人 橋本 剛  
代理人 鵜澤 英久  
代理人 入戸野 巧  
代理人 入戸野 巧  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ