• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  H04N
管理番号 1112979
異議申立番号 異議2003-72753  
総通号数 64 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 1995-01-24 
種別 異議の決定 
異議申立日 2003-11-12 
確定日 2005-01-11 
異議申立件数
訂正明細書 有 
事件の表示 特許第3404803号「動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法」の請求項1から請求項6までに係る特許に対する特許異議の申立てについて、次のとおり決定する。 
結論 訂正を認める。 特許第3404803号の請求項1から請求項6までに係る特許を維持する。 
理由 第一.手続の経緯
特許第3404803号(請求項の数6)に係る発明についての出願は、平成5年6月18日の出願であり、その発明について、平成15年3月7日に特許権の設定の登録があった。
その後、その請求項1から請求項6まで(全請求項)に係る特許について、平成15年11月12日付けで特許異議申立人・金子和弘から特許異議の申立てがあった。
平成16年7月20日付けで取消しの理由が通知されたところ、同通知において指定された期間内に訂正請求書(平成16年9月27日付け)が提出された。

第二.訂正の請求
〈結論〉
訂正を認める。
〈理由〉
1.請求の内容等
(a)請求の趣旨
本件訂正の請求(平成16年9月27日付け)の趣旨は、願書に添付した明細書(特許明細書)を、要約、下記(b)のとおりに訂正することを求めるものである。
(b)訂正の内容
訂正事項1
請求項1において、「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」(訂正前)を、「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」(訂正後)に訂正する。
訂正事項2
請求項2において、「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」(訂正前)を、「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」(訂正後)に訂正する。
訂正事項3
請求項4において、「撮像装置のカメラ操作情報」(訂正前)を「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」(訂正後)に訂正し、「・・の少なくとも1つを入力とし」(訂正前)を「・・のうち少なくとも前記カメラ操作情報を入力とし」(訂正後)に訂正する。
訂正事項4
請求項5において、「撮像装置のズームなどのカメラ操作情報」(訂正前)を「動画像を撮影するために撮影者がカメラを操作したズーム操作などのカメラ操作情報」(訂正後)に訂正し、「・・の少なくとも1つを入力とし」(訂正前)を「・・のうち少なくとも前記カメラ操作情報を入力とし」(訂正後)に訂正する。
訂正事項5
請求項6において、「撮像装置のズームなどのカメラ操作情報」(訂正前)を「動画像を撮影するために撮影者がカメラを操作したズームなどのカメラ操作情報」(訂正後)に訂正し、「・・の少なくとも1つを入力とし」(訂正前)を「・・のうち少なくとも前記カメラ操作情報を入力とし」(訂正後)に訂正する。
訂正事項6
明細書の段落0005を訂正する(訂正内容省略)。
訂正事項7
明細書の段落0006を訂正する(訂正内容省略)。
訂正事項8
明細書の発明の名称を、「静止画像抽出装置、動画像記録装置および静止画像自動抽出方法」に訂正する。

2.訂正の適合性
(a)訂正の目的
訂正事項1及び訂正事項2について
訂正前の「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」のうち、「撮影する際に」(訂正前)を「撮影するために」と限定するものであり、特許請求の範囲の減縮に該当する。
訂正事項3から訂正事項5までについて
各訂正事項の「動画像を撮影する際に撮影者がカメラを操作した」(訂正後)については、訂正事項1および訂正事項2と同様であり、特許請求の範囲の減縮に該当する。
各訂正事項の「・・の少なくとも前記カメラ操作情報を入力とし」(訂正後)は、少なくとも一つの入力すべき情報(訂正前)を「カメラ操作情報」(訂正後)に限定するものであり、特許請求の範囲の減縮に該当する。
訂正事項4(請求項5)の「ズーム操作など」(訂正後)は、ズームがカメラ操作によるものであることを明瞭にするものであり、明りょうでない記載の釈明に該当する。
訂正事項6から訂正事項8までについて
訂正した特許請求の範囲の記載との整合を図るものであり、明りょうでない記載の釈明に該当する。
(b)訂正の範囲
訂正事項1から訂正事項8までについて
各訂正事項に関して、特許明細書には「カメラ操作とはビデオカメラで撮影した際の録画開始操作やズーム操作などであり、録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出可能な情報である。」(段落0010)と記載されている。
したがって、訂正事項1から訂正事項8までは、いずれも、願書に添付した明細書又は図面に記載した事項の範囲内においてする訂正である。
(c)特許請求の範囲の拡張・変更
訂正事項1から訂正事項8までは、訂正の前後において、特許請求の範囲に記載された用語の意義の解釈、産業上の利用分野、解決しようとする課題及び効果に変更をもたらすものではない。
したがって、訂正事項1から訂正事項8までは、いずれも、実質上特許請求の範囲を拡張し又は変更するものではない。

3.まとめ
以上、本件訂正は、特許法等の一部を改正する法律(平成6年法律第116号)第6条第1項の規定によりなお従前の例とされる、特許法第120条の4第2項の規定に適合し、かつ、同条第3項において準用する特許法第126条第2項及び第3項の規定にも適合するから、これを認める。

第三.本件発明
訂正を認める。
本件において、訂正後の請求項1から請求項6までに係る発明(以下、本件各発明ともいう)は、それぞれ、訂正した明細書の特許請求の範囲の請求項1から請求項6までに記載された事項によりに特定されるところの、下記のとおりのものである。
記2(訂正後の特許請求の範囲)
【請求項1】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出する静止画像抽出手段を備え、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出することを特徴とする静止画像抽出装置。
【請求項2】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出する静止画像抽出手段と、静止画像の情報を記録する静止画像情報記録手段を備え、撮像装置で撮像した動画像を動画像記録媒体に記録するとともに、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出し、抽出した静止画像の情報を記録することを特徴とする動画像記録装置。
【請求項3】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報の少なくとも一つの情報と撮像装置のズームや撮影開始操作などのカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出することを特徴とする静止画像自動抽出方法。
【請求項4】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、一定条件を満足する画像に対して、前記動画像を撮影するために撮影者がカメラを操作したカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の抽出条件を満足した画像を抽出することを特徴とする静止画像自動抽出方法。
【請求項5】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮影開始操作から一定時間経過後の画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズーム操作などのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項4記載の静止画像自動抽出方法。
【請求項6】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数以降に撮影された画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズームなどのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項4記載の静止画像自動抽出方法。

第四.特許異議の申立て
1.申立ての概要
特許異議の申立ての理由は、概略、下記のとおりである。
記(申立ての理由)
対象請求項:請求項1から請求項6まで(全請求項)
違反条項 :特許法第29条第2項
証拠方法 :特開平2-214271号公報(甲1)
特開平5-37893号公報(甲2)
特開平2-151188号公報(甲3)

2.取消しの理由
当審が通知した取消しの理由は、概略、下記のとおりである。
記(取消しの理由)
請求項1から請求項6までに係る発明は、いずれも、下記刊行物に記載された各発明に基づいて当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定に違反してされたものである。

刊行物1:特開平2-214271号公報(甲1)
刊行物2:特開平5-37893号公報(甲2)
刊行物3:特開平2-151188号公報(甲3)

3.申立ての理由の検討
(a)特許異議申立人が提出した証拠方法(刊行物)のいずれにも、訂正後の請求項1から請求項6までに係る各発明が備える下記の構成は記載されていない。
記(本件各発明が備える構成)
請求項1および請求項2に係る発明
画像処理情報と撮影状態情報の少なくとも一つの情報とカメラ操作情報をもとにして静止画像抽出手段で静止画像を抽出すること。
請求項3に係る発明
画像処理情報と撮影状態情報の少なくとも一つの情報とカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出すること。
請求項4から請求項6までに係る発明
カメラ操作情報と画像処理情報と撮影状態情報が所定の抽出条件を満足した画像を抽出すること。
(b)本件は、従来VISS信号により抽出していた画像は、同信号が録画開始の際に自動的に記録されたものに過ぎないため、動画像の内容を十分に表現するものではなく代表画像としては必ずしも適切ではなかった点に鑑み、上記構成を備えることにより、動画像の内容を十分に表現する代表画像を自動的に抽出することを可能とするものである(訂正明細書の段落0003、0004、0008および0071)。すなわち、本件各発明は、代表画像が動画像の内容を十分に表現するために、カメラ操作情報や画像処理情報や撮影状態情報というカテゴリの異なる複数の情報をもとにして、動画像の内容を評価し抽出するものであることが認められる。
(c)上記証拠方法(刊行物)は、いずれも、複数の情報をもとにして動画像の内容を評価するとの思想に基づくものではなく、上記構成に至る動機を欠くものである。
特開平2-214271号公報(甲1)は、ビデオカメラの操作部のトリガ釦が押される毎に画像メモリに逐一書き込むものである。複数の情報をもとにして動画像の内容を評価し静止画像を抽出するものではない。
特開平5-37893号公報(甲2)は、シーンチェンジがある毎に静止画を抽出するものである。複数の情報をもとにして動画像の内容を評価し静止画像を抽出するものではない。
特開平2-151188号公報(甲3)には、撮影時のレンズ・データおよびパン・チルト・データを記録することが記載されている。しかし、これら複数のデータの使途については、「2つのビデオ信号の合成の際のデフォーカス処理、動き連動処理を容易に行う」(2頁左上欄6行〜11行)ものであり、複数の情報をもとにして動画像の内容を評価し静止画像を抽出するために用いる旨の記載はない。
(d)申立人は、甲1はカメラ操作情報をもとに甲2は画像処理情報をもとに動画像中から静止画を抽出するものであるところ、これらの情報は被写体画像、撮影状態等が大きく変化したことを意味するものであり、さらに、甲3のレンズ・データ、パン・チルト・データ等からなる撮影状態情報もまったく同様に被写体画像、撮影状態が大きく変化したこと意味するものであるから、これらの情報を適宜用いて動画像の変化を抽出し、静止画像の抽出タイミングとすることは、当業者には何ら困難ではないとの趣旨の主張をする(申立書14頁)。
前記のとおり、甲1および甲2が複数の情報をもとに静止画像を抽出することを開示するものではない上に、甲3が複数の情報の存在は開示するもののこれらを静止画像の抽出に用いることを開示するものではない以上、甲1、甲2および甲3を組み合わせることの動機を欠いていると言うべきである。主張は採用できない。

第五.むすび
以上のとおり、訂正後の請求項1から請求項6までに係る特許は、いずれも、特許異議の申立ての理由及び証拠によっては、取り消すことができない。
よって、結論のとおり決定をする。
 
発明の名称 (54)【発明の名称】
静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
(57)【特許請求の範囲】
【請求項1】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出する静止画像抽出手段を備え、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出することを特徴とする静止画像抽出装置。
【請求項2】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出する静止画像抽出手段と、静止画像の情報を記録する静止画像情報記録手段を備え、撮像装置で撮像した動画像を動画像記録媒体に記録するとともに、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出し、抽出した静止画像の情報を記録することを特徴とする動画像記録装置。
【請求項3】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報の少なくとも一つの情報と撮像装置のズームや撮影開始操作などのカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出することを特徴とする静止画像自動抽出方法。
【請求項4】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、一定条件を満足する画像に対して、前記動画像を撮影するために撮影者がカメラを操作したカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の抽出条件を満足した画像を抽出することを特徴とする静止画像自動抽出方法。
【請求項5】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮影開始操作から一定時間経過後の画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズーム操作などのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項4記載の静止画像自動抽出方法。
【請求項6】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数以降に撮影された画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズームなどのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項4記載の静止画像自動抽出方法。
【発明の詳細な説明】
【0001】
【産業上の利用分野】
本発明は、ビデオカメラなどで撮影された動画像の中から、代表的な画像を自動的に抽出する方法及びその装置に関するものである。
【0002】
【従来の技術】
従来の技術として、例えばVTRでは記録された動画像を管理するための情報を、ビデオテープに動画像とともに記録するというものがある。一例として、VISS(VHS Index Search System)について説明する。VISSとは、VHS方式のVTRにおいて高速頭出しを行うために開発されたものである。ビデオテープには、通常の画像情報を記録するビデオトラック以外に、この高速頭出しを行うためのVISS信号を記録するコントロールトラックが存在する。このVISS信号は、ビデオテープに画像情報を録画し始めたときに、コントロールトラックに自動的に記録される。また、ユーザが見たい場面に対してVISS信号を記録することもできる。このようにしてビデオテープ上に記録されたVISS信号を利用して、イントロサーチと呼ばれる早送り再生を行うことができる。イントロサーチとは、早送り中にVISS信号を見つけると、ある時間だけ再生状態にし、その後再び早送りするという動作をテープの終わりまで繰り返すものである。
【0003】
【発明が解決しようとする課題】
しかしながら、従来のVTRにおいて自動的に記録されるVISS信号は、ビデオテープに画像情報を録画し始めたときに記録されるため、イントロサーチのようにVISS信号の付いている部分の画像を抽出した場合、抽出された画像は動画像の内容を十分に表現するものではない。また、動画像の内容を十分に表現する部分にVISS信号を付与しようとすると、ユーザが手動で行わなければならず、膨大な手間がかかる。
【0004】
本発明はかかる点に鑑み、動画像の内容を十分に表現する代表画像を自動的に抽出する装置および動画像記録媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記課題を解決するために、本発明の静止画像自動抽出方法は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出するために、一定条件を満足する画像に対して、前記動画像を撮影するために撮影者がカメラを操作したカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の抽出条件を満足した画像を抽出する。【0006】
また本発明の静止画像抽出装置は、動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも1枚の静止画像を抽出する静止画像抽出手段を備え、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出する。
【0007】
さらに本発明の動画像記録装置は、撮像装置で撮影した動画像を動画像記録媒体に記録するとともに、前記静止画像抽出手段で抽出した静止画像の情報を記録する静止画像情報記録手段を備える。
【0008】
【作用】
以上のような構成において、撮影時における撮影者のズームなどのカメラ操作情報や、画像処理を行って得られる例えばフォーカスやアイリスの信頼性や被写体の位置や障害物の存在状況などの画像処理情報や、センサーから得られる例えばパンなどの撮影状態情報をもとにして評価を行い、評価値が高いか、もしくは一定の条件を満足する画像を動画像の中から抽出する。これによって、抽出される静止画像は動画像の内容を十分に表現したものとなる。
【0009】
また、抽出した静止画像の情報を動画像とともに記録することによって、静止画像情報をもとに代表画像を容易に検索したり、出力したりすることが可能となる。
【0010】
【実施例】
本発明の動画像記録媒体の実施例を図1に示す。図1は動画像記録媒体の一例としてビデオテープを示すが、ビデオディスクやICメモリなどの他の記録媒体であってもよい。図1に示すように、ビデオテープには映像信号とともに、映像信号に対応してフレーム単位で代表画像の抽出情報を記録しておく。ここで代表画像の抽出情報とは、カメラ操作情報と画像処理情報と撮影状態情報である。カメラ操作とはビデオカメラで撮影した際の録画開始操作やズーム操作などであり、録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出可能な情報である。画像処理情報は撮像素子で撮像した映像信号をもとにして自動的もしくは人間が関与して抽出処理した情報で、例えばフォーカス制御を行うために求めた映像信号の高周波成分の周波数や大きさ、あるいはフレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から被写体領域の位置や大きさなどの情報を抽出したもの、逆光や過順光の状態、さらにはγ補正値や色温度などである。撮影状態情報はカメラの撮影状態をセンサーで検出した情報で、例えば角速度センサーによって検出したパンニングなどのカメラの動き情報、あるいは光量センサーによる被写体光量や絞り開度センサーで検出したレンズの絞り開度、あるいはレンズ位置検出によるフォーカス距離などがある。
【0011】
以上のような代表画像抽出情報を動画像記録媒体に備えることによって、以降の実施例で説明するように動画像中の代表画像を抽出することが可能となる。
【0012】
次に本発明の静止画像抽出装置の第1の実施例について説明する。図2に本実施例の構成図を示す。本実施例は、動画像記録媒体に映像信号とともに代表画像を抽出するための情報を記録しておき、動画像記録媒体から代表画像の抽出情報を読み出して評価し、評価結果にもとづいて1カット(カメラにおいて録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像のかたまり)の中から代表的な画像を静止画像として抽出するものである。図2で1は再生信号入力部、2はカメラ操作情報獲得部、3は画像処理情報獲得部、4は撮影状態情報獲得部、5は映像信号獲得部、6は代表画像抽出情報評価部、7は代表画像管理部、8は代表画像記憶部、9は出力装置である。以上の構成における各部の動作について以下で詳細に説明する。
【0013】
まず、再生信号入力部1には動画像記録媒体に記録された情報を再生して入力する。カメラ操作情報獲得部2および画像処理情報獲得部3および撮影状態情報獲得部4では、再生信号入力部1に入力された再生信号からそれぞれカメラ操作情報と画像処理情報と撮影状態情報を読み出す。本実施例ではコード化された各情報をデコードする。代表画像抽出情報評価部6は、カメラ操作情報に含まれる録画開始操作情報を検出し、次の録画開始操作情報を検出するまでの同一カット内の各画像に対して、カメラ操作情報の中の録画開始操作情報以外の情報と画像処理情報と撮影状態情報をもとに、各画像がカットの代表画像として適当な画像であるかどうかの評価を行う。代表画像として適当であると評価された画像に関して、代表画像管理部7は映像信号獲得部5から1フレームの画像を取り込み、代表画像記憶部8に記憶する。出力装置9は代表画像記憶部8に記憶された代表画像を取り出して出力するものであり、ディスプレイやプリンタなどである。なお、代表画像抽出情報評価部6の動作については、後述の静止画像自動抽出方法の実施例で詳細に説明する。
【0014】
以上の実施例では、動画像記録媒体に映像信号とともにあらかじめ代表画像を抽出するための情報を記録しておき、動画像記録媒体から代表画像の抽出情報を読み出して代表画像を抽出する場合について説明を行った。しかし、代表画像を抽出するための情報の一部、もしくは全部が動画像記録媒体に存在しない場合でも、動画像記録媒体に記録された映像信号を処理することによって、代表画像を抽出するための情報を獲得し、獲得した情報をもとに代表画像を抽出することができる。これについて以下の第2の実施例の静止画像抽出装置で詳細に説明する。
【0015】
図3に比較例として、映像信号のみからすべての代表画像抽出情報を獲得する装置の構成を示す。図3で10はフレーム間差分値検出部、11はメモリ、12は変化量検出部、13はカットチェンジ検出部、14はカメラワーク検出部、15は動きベクトル検出部、16はカメラワークパラメタ推定部、17は被写体情報検出部、18は動領域検出部、19は領域内特徴量抽出部、20はフォーカス情報検出部、21は高域通過フィルタ、22は平均値算出部である。以上の構成における各部の動作について以下で詳細に説明する。
【0016】
まず、フレーム間差分値検出部10およびカットチェンジ検出部13の動作について説明する。フレーム間差分値検出部10は、動画像信号を1フレーム遅延させるためのメモリ11と、連続するフレーム間で動画像信号の差分を求める変化量検出部12からなる。動画像の連続するフレーム間の差を求める信号は輝度値やrgb値などを用い、変化量検出部12において画素単位で連続するフレーム間の画像信号の差分演算を行い、画素ごとの差分値の総和を求めてフレーム間差分値として出力する。カットチェンジ検出部13は、フレーム間差分値検出部10で求めたフレーム間差分値に対して閾値処理をする。すなわち、所定の閾値とフレーム間差分値との比較を行い、フレーム間差分値が閾値より大きい場合は、2枚のフレーム間で画像内容が大きく変化していると考えて、その部分でカットチェンジがあったと判断する。ビデオカメラでは、録画開始操作を行うことによってカットチェンジが生じるため、逆に画像信号からカットチェンジを検出することによって録画開始操作を推定することができる。したがって、カットチェンジ検出部13では、閾値を越えるフレーム間差分値が検出された時点で、録画開始操作情報を出力する。なお、図3で示したフレーム間差分値検出部10の構成は一例であり、図4で示すような他の構成でもよい。図4で44は動画像信号の1フレームにおける色ヒストグラムを求める色ヒストグラム検出部、45は求めたヒストグラムを記憶するヒストグラムメモリ、46は連続するフレーム間で色ヒストグラムの差異を検出するヒストグラム差分検出部である。図4に示す構成では、フレーム間で画素ごとの比較を行うのではなくフレーム全体で比較を行うものであるが、画面を複数のブロックに分割し、ブロック単位でフレーム間の差分を求める構成としてもよい。
【0017】
次にカメラワーク検出部14について説明する。まず、動きベクトル検出部15の動作を説明する。図5は、検出する動きベクトルの画面内での位置を説明するための図である。図5(a)は、全画面で水平、垂直方向にM,N本の直線を格子状に配列した図であり、M・N個の交点は検出すべき動きベクトルの位置を示している。以下M・N個の交点を格子点と呼び、水平、垂直方向で各々i,j番目の格子点を、
格子点(i,j) (1≦i≦M,1≦j≦N)と呼ぶ。
【0018】
この比較例において格子点位置での動きベクトルは、各格子点の周辺で複数の代表点を選び、代表点マッチングにより求める。図5(b)は、図5(a)の格子点(i,j)近傍を拡大した図であり、格子点とその周辺の(2・m+1)・(2・n+1)個の代表点の位置関係を示す。以下、格子点(i,j)の代表点のうち、水平、垂直方向にそれぞれk,l番目のものを、
代表点(i,j,k,l) (-m≦k≦m,-n≦l≦n)と呼ぶ。図5(b)からわかるように、代表点(i,j,0,0)は格子点(i,j)に等しい。
【0019】
以下に、動きベクトル検出部15の具体的なブロック図を示した図6を用いて、動きベクトルを求める方法を説明する。
【0020】
動きベクトル検出部15の入力は映像信号であり、rフレームに1回(r:所定数)入力されるように設定されているとする。ここで、ある時刻tの画像を第0フレーム目の画像とし、以後、時刻(t+τ)の画像を第(30・τ)フレーム目の画像と呼ぶことにする。
【0021】
今、第Rフレーム目の画像が入力されたものとする。入力画像はまず、BPF23においてバンドパスフィルタに通される。ここで座標位置(x,y)でのBPF処理後の画像の値をI(x,y)とする。
【0022】
一方、代表点値記憶部24は、rフレーム前すなわち第(R-r)フレーム目のBPF処理後の画像の代表点の値が記憶されている。すなわち、代表点(i,j,k,l)の値
Y(i,j,k,l)=I(pos_x(i,k),pos_y(j,l))
1≦i≦M,1≦j≦N,-m≦k≦m,-n≦l≦n
pos_x(i,k):代表点(i,j,k,l)のx座標
pos_y(i,k):代表点(i,j,k,l)のy座標が記憶される。
【0023】
マッチング部25は、BPF23からBPF処理後の画像I(x,y)を、代表点値記憶部24からrフレーム前の代表点の値Y(i,j,k,l)を入力し、代表点マッチングにより各格子点での動きベクトルを求める。すなわち、格子点(i,j)に関して、
【0024】
【数1】

【0025】
が最小となるg,hを(2・G)・(2・H)の範囲内(-G≦g≦G,-H≦h≦H)で探索することにより、動きベクトル(g,h)が求まる。
【0026】
代表点値記憶部24の内容は、マッチング部25の処理が終了した後、更新される。具体的には、代表点位置記憶部26において記憶されている代表点の座標
pos_x(i,j,k,l)、pos_y(i,j,k,l)
1≦i≦M,1≦j≦N,-m≦k≦m,-n≦l≦nを用いて、第Rフレーム目のBPF処理後の画像の代表点での値を記録する。
【0027】
以上のようにして、入力された画像とrフレーム前の画像の2枚の画像から動きベクトルを求めることができる。
【0028】
次に、カメラワークパラメタ推定部16において、動きベクトルからカメラワークパラメタを推定する方法を説明する。
【0029】
動画像から推定できるカメラワークは、カメラの水平、垂直方向の変化(パンニング、チルティング)、カメラ画角の変化(ズーミング)、カメラの水平・垂直・前後の位置の変化(トラッキング、ブーミング、ドリーイング)などが考えられる。本実施例では簡単のため、パンニング、チルティング、ズーミングの3種類の操作を推定する方法を説明する。
【0030】
まず、上記3種類のカメラワークによって、カメラの撮像面に投影された点がどのように移動するか考える。図7はカメラの撮像面と被写体の位置関係を示す図であり、カメラの空間の3次元座標を(x,y,z)で表し、撮像面上の2次元座標を(X,Y)で表している。また、カメラの位置を3次元座標の原点とし、カメラの光軸をz軸とする。撮像面はz=F(F:焦点距離)に位置し、被写体の任意の点の座標u1=(x1,y1,z1)が撮像面のU1=(X1,Y1)に投影されることを示している。ここで被写体の座標と撮像面上の座標との関係は、
【0031】
【数2】
X1=F・x1/z1
Y1=F・y1/z1
【0032】
で表せる。
図7の座標を用いて、まずズーミングによる、被写体の座標の撮像面上の移動を考える。図8(a)は、焦点距離の変化によって起こるズーミングを示したものである。同図のように焦点距離がFからF’に変化したとき、u1の被写体の投影がU1=(X1,Y1)からU2=(X2,Y2)に移動する。
【0033】
ただし、(数2)からU2は
U2=U1・F’/F=f・U1
ただし、f=F’/Fを満たす。
【0034】
同様にして図8(b)を用いてパンニング、チルティングの場合を考える。パンニング、チルティングはそれぞれカメラをy軸、x軸について回転する操作に等しい。同図のようにカメラがx軸についてθXだけ回転した場合、被写体の空間での座標u1はu3に移動する。ただし、u3は(数3)をみたす。
【0035】
【数3】

【0036】
xに関する回転角θXが十分小さいと仮定すると、移動後の撮像面上の座標U3=(X3,Y3)に対して(数2)の関係から
X3=X1、Y3=Y1+F・θXの関係が導かれる。これを一般化すると、x軸、y軸に対してともに回転するカメラ操作の場合、任意の座標の操作前後の関係は
U3=U1+P
ただし、P=(px,py)
px、py:x軸、y軸の回転成分と表すことができる。
【0037】
以上のことからズーミング、パンニング、チルティングを合成した一般的なカメラ操作に対して、カメラ操作前後の座標U1=(X1,Y1)、U’=(X’,Y’)は
U’=f・U+Pを満たすことがわかる。以後fをズーム要素、Pを回転ベクトルと呼ぶ。
【0038】
従って、ズーム要素と回転ベクトルを求めることにより、カメラの操作量を推定することができることがわかる。
【0039】
以下に、動きベクトル検出部15で求めた動きベクトルから、ズーム要素と回転ベクトルを推定する方法を説明する。ここで、格子点(i,j)に関して、位置(2次元座標)をUi,j、動きベクトル検出部15で求められた動きベクトルをvi,jとする。
【0040】
今、ズーム要素f、回転ベクトルPのカメラ操作が起こったとき、格子点(i,j)は
U’i,j(f,P)=f・Ui,j+Pの位置に移動するはずである。従って実際に起こったカメラ操作のf、Pを推定するには、実際に移動した位置
Ureali,j=Ui,j+vi,jとの誤差
E(f,P)=Σ(U’i,j(f,P)-Ureali,j)2が最小になるようなf、Pを求めればよい。誤差Eはf、Pに関して2次式なので、誤差Eを最小とするf、Pは一意に
【0041】
【数4】

【0042】
と決まる。ただし、<・,・>は内積を示す。従って、カメラワークパラメタ推定部16では、動きベクトル検出部15から動きベクトルvi,jと格子点位置Ui,jを入力し、(数4)によってf,Pを計算することにより、ズーミング、パンニング、チルティングの各カメラワークパラメタを推定することができる。
【0043】
次に被写体情報検出部17の動作について説明する。被写体情報検出部17はビデオカメラで被写体をトラッキングしている状態において、被写体の位置や大きさ、色などの被写体情報を抽出するものである。すなわち、カメラワーク検出部14でパンニングを検出し、さらに動領域検出部18で動領域を検出できた場合に対して、領域内特徴量抽出部19で動領域から領域内の特徴量を抽出する。動領域検出部18における動作をさらに詳述する。
【0044】
動領域検出部18には、動きベクトル検出部15で検出した画面内のM・N個の格子点の動きベクトルvi,jと、カメラワーク検出部14で検出したパンニングによるカメラの動きベクトルVpが入力される。動領域検出部18では、(数5)を満たす格子点を抽出し、抽出した格子点の連結関係にもとづいて、パンニング
【0045】
【数5】
|vi,j-Vp|>ε ただし、εは所定の値
【0046】
によるカメラの動きベクトルとは異なる領域を抽出する。領域内特徴量抽出部19では、動領域検出部18で検出した動領域から領域内の特徴量として、重心位置と面積と色を抽出する。
【0047】
次にフォーカス情報検出部20の動作について説明する。フォーカス情報検出部20は画像のピンボケ状態を検出するためのもので、画像の高周波成分の量をもとにしている。すなわち、画像がレンズの焦点ずれなどでぼけた状態では映像信号の高周波成分の値が小さくなる。このため、高域通過フィルタ21で画像の高周波成分を取り出し、平均値算出部22で画面全体、もしくは指定領域内での高周波成分の平均値を求める構成としている。
【0048】
以上のようにして映像信号を処理することによって、代表画像を抽出するための情報を獲得することができる。本実施例ではγ補正値、色温度、逆光や過順光状態、被写体光量などについては記載しなかったが、これらの情報も映像信号を処理することによって獲得することができる。代表画像を抽出するための情報を獲得した後、獲得した情報をもとに代表画像を抽出する構成と手法については静止画像抽出装置の第1の実施例と同様であり、説明は省略する。
【0049】
以上説明した代表画像抽出情報を獲得する装置は、動画像記録媒体に代表画像を抽出するための情報が存在しない場合に、動画像記録媒体から読み込んだ映像信号をもとにして代表画像抽出情報を獲得するものであったが、同様にしてビデオカメラで撮影中に、撮像素子から取り込んだ映像信号をもとにして代表画像抽出情報を獲得することもできる。この場合の構成は図3と同様であり説明は省略するが、ビデオカメラに備えたセンサーによって検出可能な代表画像抽出情報が存在する場合は、映像信号から代表画像抽出情報を獲得する必要がないことはいうまでもない。さらに、ビデオカメラで撮影中に獲得した代表画像抽出情報は、映像信号とともに動画像記録媒体に記録してもよい。
【0050】
次に本発明の動画像記録装置の実施例の構成を図9に示す。本実施例はビデオカメラに静止画像抽出装置を備えた構成であり、ビデオカメラで撮影中に代表画像として抽出する静止画像を決定し、動画像記録媒体に映像信号を記録するとともに抽出する静止画像の情報を記録するものである。図9で本発明の動画像記録装置27は、カメラ操作情報獲得部28、画像処理情報獲得部29、撮影状態情報獲得部30、映像信号獲得部31、代表画像抽出情報評価部32、静止画像情報記録部33、映像信号記録部34からなる。以上の構成における各部の動作について以下で詳細に説明する。
【0051】
カメラ操作情報獲得部28は、ビデオカメラで撮影した際の録画開始操作やズーム操作などの情報を獲得する部分である。録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出する。画像処理情報獲得部29は、撮像素子で撮像した映像信号を処理した情報を獲得する部分で、例えばフォーカス制御を行うために求めた映像信号の高周波成分の周波数や大きさ、あるいはフレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から求めた被写体領域の位置や大きさなどの情報、逆光や過順光の状態、さらにはγ補正値や色温度などを抽出する。撮影状態情報獲得部30は、カメラの撮影状態をセンサーで検出した情報を獲得する部分で、例えば角速度センサーによって検出したパンニングなどのカメラの動き情報、あるいは光量センサーによる被写体光量や絞り開度センサーで検出したレンズの絞り開度、あるいはレンズ位置検出によるフォーカス距離などを獲得する。
【0052】
代表画像抽出情報評価部32は、カメラ操作情報に含まれる録画開始操作情報を検出し、次の録画開始操作情報を検出するまでの同一カット内の各画像に対して、カメラ操作情報の中の録画開始操作情報以外の情報と画像処理情報と撮影状態情報をもとに、各画像がカットの代表画像として適当な画像であるかどうかの評価を行う。代表画像として適当であると評価された画像に関して、静止画像情報記録部33を介して静止画像情報を記録媒体35の静止画像情報記録媒体に記録する。なお、代表画像抽出情報評価部32の動作については、後述の静止画像自動抽出方式の実施例で詳細に説明する。
【0053】
以下では、静止画像情報記録部33で記録する静止画像情報についてさらに説明する。静止画像情報とは、代表画像抽出情報評価部32で代表画像として適当であると評価された静止画像そのもの、あるいは縮小などの画像処理したもの、あるいは静止画像に対応する動画像記録媒体上の格納位置情報、あるいは静止画像に対応する動画像に付与したフラグなどである。
【0054】
静止画像情報が静止画像そのもの、あるいは縮小した画像の場合は、映像信号獲得部31と映像信号記録部34によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置とは異なる位置、あるいは動画像を記録する動画像記録媒体とは異なる記録媒体に静止画像情報である画像を記録する。たとえば動画像記録媒体がビデオテープの場合は、静止画像情報の画像だけをまとめてテープの先頭部分、もしくはテープの終端部分に記録するか、あるいはテープとは別に備えたICメモリに静止画像情報だけを記録する。
【0055】
静止画像情報が静止画像に対応する動画像記録媒体上の格納位置情報の場合は、映像信号獲得部31と映像信号記録部34によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置とは異なる位置、あるいは動画像を記録する動画像記録媒体とは異なる記録媒体に、静止画像情報である静止画像に対応する動画像記録媒体上の格納位置情報を記録する。
【0056】
静止画像情報が静止画像に対応する動画像に付与したフラグの場合は、映像信号獲得部31と映像信号記録部34によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置と同じ位置に静止画像情報を記録する。すなわち、たとえば1フレーム単位で記録する映像信号の先頭部分に静止画像情報のフラグを記録する。
【0057】
以上のようにしてビデオカメラで撮影した映像信号を動画像記録媒体に記録するとともに、撮影した動画像の中から代表画像を抽出し、代表画像の静止画像情報を記録媒体に記録する。これによって記録された静止画像情報を読みだして代表画像をディスプレイやプリンタに出力することが可能となる。
【0058】
次に本発明における静止画像自動抽出方法の実施例を説明する。静止画像自動抽出方式は、図2の代表画像抽出情報評価部6および図9の代表画像抽出情報評価部32における処理方法である。
【0059】
本発明の静止画像自動抽出方法は、録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像の中から、代表的な画像を静止画像として自動的に抽出するものである。ここで代表的な画像とは、撮影者の意図、撮影された画像の状態、被写体の状態をもとに評価して選びだした画像をいう。
【0060】
撮影者の意図は、ズームやパンなどのカメラワークに反映される。すなわち、ズームインしているときは、注目している被写体が画面に存在する場合であり、重要な画像と考えられる。また、パンしているときは、ある場面から別の場面に移動している最中であり、重要ではないと考えられる。さらに、パンしている場合でも、トラッキングしている被写体が存在する場合は、重要であると考えられる。このようにカメラワークから撮影者の意図を推定し、重要な部分を代表画像として抽出することが望ましい。
【0061】
撮影された画像の状態とは、撮影時にフォーカス制御がうまく行われていない場合のぼけた画像状態や、アイリス制御が不適切な場合の過順光や逆光の状態、さらにはγ補正が不適切な場合などの状態、あるいは絞りやフォーカスの調整中の状態などをいう。これらの画像状態は、ビデオカメラでの撮影時におけるフォーカス制御やアイリス制御の情報、あるいはγ補正値をもとに判断することができる。また、フォーカス制御やアイリス制御、γ補正の情報がない場合であっても、映像信号を処理することによって求めることが可能である。これらの画像状態を評価して、代表画像としては画像状態が良好なものを抽出することが望ましい。
【0062】
被写体の状態とは、撮影している被写体の位置や大きさなどの状態、撮影中にカメラの前を人が横切った場合などの障害物の存在状況、撮影中にフラッシュが光った場合などの状態、被写体にスポットライトが照射されている状態などをいう。被写体の位置や大きさに関しては、位置がカメラの中央で面積が大きいほうが望ましく、障害物は存在しない方が望ましい。また、フラッシュが光った場合の画像は代表画像として抽出しない方が望ましい。また、スポットライトが照射されている画像は注目画像であり、代表画像として抽出することが望ましい。ここで、被写体の位置や面積の検出方法に関しては第3の実施例において図3の被写体情報検出部17で説明している。また、フラッシュや障害物の検出方法に関しては、図3のフレーム間差分値検出部10で求めたフレーム間差分値をもとに検出可能である。すなわち、フラッシュはフレーム間差分値が急変するため、所定のしきい値をもとに検出できる。障害物の場合は、画面の中に障害物が入るときと画面から障害物が出るときにフレーム間差分値が変化するため、フレーム間差分値が所定のしきい値を越えてから、所定の時間内に再びフレーム間差分値がしきい値を越える場合は、障害物が画面内に存在するとして検出できる。また、スポットライトの照射は、被写体光量をもとに検出することができる。
【0063】
以上のような代表画像を抽出するための知識に基づいて、以下では具体的な代表画像の抽出手法を説明する。本実施例の構成例を図10に示す。図10で36は重み付け加算部、37はゲート信号発生部、38はゲート部、39は最大値検出部である。重み付け加算部36にはズーム倍率と被写体情報が入力され、それぞれの信号に重みを付けて加算する。ここで、被写体情報はカメラで被写体をトラッキングしているときに得られる情報で、トラッキング時の被写体の位置と大きさをもとにしている。被写体情報は、被写体位置がカメラの中心に近いほど、また被写体の面積が大きいほど大きな値になるようにする。ゲート部38は、ゲート信号発生部37のゲート信号をもとにスイッチのオン、オフを行う。最大値検出部39は、ゲート部38から入力される値の最大値を検出する。
【0064】
ゲート信号発生部37は、パン信号と映像信号の高周波成分値とフレーム間差分値などをもとにゲート信号を発生する。ゲート信号の発生方法を図11に示す。図11(a)はパン信号で、パンニング中が0で、パンしていないときが1となる信号である。(b)は映像信号の高周波成分値であり、値が小さいほど画像がぼけた状態であることを意味する。(c)は(b)の信号をしきい値処理して2値化したものであり、しきい値以下の場合は0にしている。。(d)はフレーム間差分値である。(e)は(d)の信号をしきい値処理し、しきい値以上の場合は0にし、さらに(d)の信号がしきい値を越えてから所定時間内に再びしきい値を越えた場合は、0と0の間の区間も0にする処理を行う。すなわち、単独でフレーム間差分値が大きくなる場合は、フラッシュなどによる画像異常が発生したものと判断し、フレーム間差分値がしきい値以上である期間だけ0にする。しかし、前述したように障害物がカメラの前を通過する場合には、フレーム間差分値は複数のピークをとるため、障害物が画面の中に存在する期間はフレーム間差分値がしきい値以下であっても0にする。以上のようにして2値化した(a)(c)(e)の3信号の論理積をとることによって、ゲート信号を発生する。
【0065】
以上のようにして図10で示した構成で評価値が最大値となる画像を求めることによって、パンしている期間や画像がぼけた期間、さらにフラッシュや障害物が存在する期間を除いた中から、ズーム倍率が高く、被写体が画面中央に大きく写っている画像を代表画像として抽出することができる。なお、最大値検出部39で最大値を検出するのは、1カット全体であっても、または1カット内の複数の区間であってもよい。
【0066】
なお、図10では重み付け加算部36とゲート信号発生部37とゲート部38の構成によって複数の入力からひとつの評価値を求めているが、この構成に限ったものではなく、ファジィ推論などのルールに基づいたものや、ニューラルネットワークによって求める構成も可能である。さらに、本実施例の構成にはγ補正値や被写体光量、逆光や過順光状態、絞り開度、フォーカス距離に関する情報の処理を示さなかったが、これらの信号も同様にして利用することができる。すなわち、γ補正値や絞り開度やフォーカス距離の値が変動しているとき、また逆光や過順光状態のときには代表画像として抽出しないようにゲート信号を発生させてもよい。また、被写体光量からスポットライトが照射されていることを検出して評価値を高くするようにしてもよい。
【0067】
以上説明した静止画像自動抽出方式の実施例の構成は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像のすべてに対して評価を行って代表画像を抽出しているが、撮影者が撮影開始操作をしてから所定時間経過後の画像から評価を行い、所定の条件を満足した時点の画像を代表画像として抽出する構成でもよい。以下ではこの構成の実施例について説明する。
【0068】
本実施例の構成を図12に示す。図12で40はタイマー、41はゲート部、42は評価部である。タイマー40は、撮影開始操作が行われてからの経過時間を測定し、撮影開始から一定時間が経過した時点でゲート部41のゲートを開くようにゲート信号を発生する。評価部42はゲート部41を通過したフォーカスの高周波成分値と、フレーム間差分値が条件を満足しているかどうかの評価を行う。評価部42での条件は、フォーカスの高周波成分値が所定のしきい値以上で、かつフレーム間差分値が所定のしきい値以下であるという条件である。評価部42では条件が満足された時点でそれ以降の評価を中止し、条件が満足された時点の静止画像を代表画像として抽出する。なお、本実施例では評価に用いた信号はフォーカスの高周波成分値とフレーム間差分値のふたつだけであるが、パンやズームなどの他の信号を用いてもよい。
【0069】
さらに静止画像自動抽出方式の別の実施例の構成を説明する。本実施例の構成を図13に示し、図12と同一のものには同一番号を付け説明は省略する。本実施例は、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数から評価を行い、所定の条件を満足した時点の画像を代表画像として抽出するものである。図13の構成では撮影開始操作から撮影終了操作までの間に撮影された画像に対し、中間フレーム以降の画像を評価するものである。このために中間フレーム検出部43において、撮影開始操作から撮影終了操作までに撮影されたフレームの中間フレームを検出し、中間フレームを検出した時点でゲート部41のゲートを開くようにゲート信号を発生する。ゲート部41および評価部42の動作は図12の構成と同様であり、説明は省略する。
【0070】
【0071】
【発明の効果】
本発明の静止画像抽出装置は画像抽出情報をもとにして、動画像の中から動画像の内容を十分に表現する静止画像を代表画像として抽出することが可能となり、動画像の内容を短時間で把握することができる。
【0072】
さらに、本発明の動画像記録装置はカメラで撮影した映像信号を動画像記録媒体に記録するとともに、撮影した動画像の中から代表画像を抽出し、代表画像の静止画像情報を記録媒体に記録することによって、記録された静止画像情報を読みだして代表画像をディスプレイやプリンタに高速に出力することが可能となる。
【図面の簡単な説明】
【図1】
本発明の一実施例における動画像記録媒体を示す図
【図2】
本発明の実施例の静止画像抽出装置の構成を示す図
【図3】
本発明の比較例の静止画像抽出装置における代表画像情報抽出装置の構成を示す図
【図4】
同比較例の静止画像自動抽出装置におけるフレーム間差分値検出部の他の構成を示すブロック図
【図5】
同比較例の静止画像自動抽出装置における動きベクトル検出部における動きベクトルを検出する格子点を説明する図
【図6】
同比較例の静止画像自動抽出装置における動きベクトル検出部の構成を示す図
【図7】
カメラの撮像面と被写体の位置関係を示す図
【図8】
ズーミングとチルティングでのカメラの撮像面と被写体の位置関係を示す図
【図9】
本発明の実施例の動画像記録装置の構成を示す図
【図10】
同実施例における代表画像抽出情報評価部の構成を示す図
【図11】
同代表画像抽出情報評価部におけるゲート信号発生部の動作を説明する図
【図12】
同代表画像抽出情報評価部の異なる構成図
【図13】
同代表画像抽出情報評価部の異なる構成図
【符号の説明】
1 再生信号入力部
2、28 カメラ操作情報獲得部
3、29 画像処理情報獲得部
4、30 撮影状態情報獲得部
5、31 映像信号獲得部
6、32 代表画像抽出情報評価部
7 代表画像管理部
8 代表画像記憶部
9 出力装置
33 静止画像情報記録部
36 重み付け加算部
37 ゲート信号発生部
38、41 ゲート部
39 最大値検出部
40 タイマー
42 評価部
43 中間フレーム検出部
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2004-12-13 
出願番号 特願平5-147337
審決分類 P 1 651・ 121- YA (H04N)
最終処分 維持  
前審関与審査官 鈴木 明  
特許庁審判長 新宮 佳典
特許庁審判官 杉山 務
原 光明
登録日 2003-03-07 
登録番号 特許第3404803号(P3404803)
権利者 松下電器産業株式会社
発明の名称 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法  
代理人 岩橋 文雄  
代理人 内藤 浩樹  
代理人 坂口 智康  
代理人 岩橋 文雄  
代理人 内藤 浩樹  
代理人 坂口 智康  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ