• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 一部申し立て 2項進歩性  G06F
管理番号 1128937
異議申立番号 異議2003-71151  
総通号数 74 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 1995-05-02 
種別 異議の決定 
異議申立日 2003-05-02 
確定日 2005-11-14 
異議申立件数
訂正明細書 有 
事件の表示 特許第3340532号「ビデオの検索方法および装置」の請求項1、6に係る特許に対する特許異議の申立てについて、次のとおり決定する。 
結論 訂正を認める。 特許第3340532号の請求項5に係る特許を維持する。 
理由 1.手続の経緯
特許出願 平成5年10月20日
特許権設定登録 平成14年8月16日
特許異議の申立て 平成15年5月2日
取消理由通知(一回目) 平成15年8月14日
訂正請求(一回目) 平成15年10月24日
取消理由通知(二回目) 平成17年8月26日
訂正請求(一回目)取下 平成17年9月30日
訂正請求(二回目) 平成17年9月30日

2.訂正事項
2-1.訂正事項a
(1)特許請求の範囲、請求項1の記載を削除する。
(2)上記訂正を受けて、請求項2乃至5の番号を繰り上げる。
2-2.訂正事項b
特許請求の範囲、請求項6の記載を請求項5に繰り上げ、更に、特許請求の範囲の減縮、及び、明りょうでない記載の釈明を目的として、「ビデオを入力し、該ビデオを構成するフレームから一定の時間経過毎に代表フレーム画像を抽出し、抽出された該代表フレーム画像の色、音少なくとも何れかの特徴量を計算し、該特徴量の値が属する範囲に対応した文字コードを割り当てて、該代表フレーム画像をコード化し、該代表フレーム画像の列に対応して上記代表フレームのコードを並べてコード列化し、該コード列で該ビデオを名称付けすることを特徴とするビデオの検索用の名称付け方法」に訂正する。
2-3.訂正事項c
明細書の【0020】段落の「フレーム番号を制御線12によってビデオ再生装置に送ることで」の記載、及び、符号の説明の「11…外部情報記憶装置」の記載を、誤記の訂正を目的として、「フレーム番号を制御線11によってビデオ再生装置に送ることで」及び「12…外部情報記憶装置」と訂正する。
2-4.訂正事項d
明細書【0033】段落の「図8は図2の問い合わせビデオ名称登録部25の一実施例である」の記載を、明りょうでない記載の釈明を目的として、「図8は図2の問い合わせビデオ名称登録部(データベース)25の一実施例である」と訂正する。
2-5.訂正事項e
明細書【0040】段落の「図11は図2の文字列照合部25の一実施例である」及び、図面の簡単な説明(図11)の「図2の文字列照合部25の一実施例を示す図である」の記載を、誤記の訂正を目的として、「図11は図2の文字列照合部26の一実施例である」、及び、「図2の文字列照合部26の一実施例を示す図である」と訂正する。
2-6.訂正事項f
明細書【0033】段落の「文字コード80はビデオ名称登録管理部80の・・・」の記載を、誤記の訂正を目的として、「文字コード列32はビデオ名称登録管理部80の・・・」と訂正する。

3.訂正の適否についての判断
3-1.訂正事項aについて
訂正事項aの(1)は、特許明細書の請求項1を削除するものであるから、特許請求の範囲の減縮に該当する。
また、訂正事項aの(2)は、請求項1が削除されたため、請求項の番号を繰り上げ、引用形式から、独立形式に記載形式を変更するものであり、明りょうでない記載の釈明を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
3-2.訂正事項bについて
訂正事項bは、特許明細書の特許請求の範囲の請求項6を請求項5に繰り上げ、
a)フレーム画像の抽出を、「該ビデオを構成するフレームから一定の時間経過毎に代表フレーム画像を抽出」する旨限定し、
b)計算する特徴量が「色、音少なくとも何れかの」特徴量であることを限定し、
c)「特徴量の値が属する範囲に対応した文字コードを割当て」る旨限定するものである。
d)更に、コード列化は「上記代表フレームのコードを並べ」たものであることを限定するものである。
e)又、名称付け方法が「該コード列で該ビデオを名称付けする」旨を明りょうにするものである。
f)又、「・・・ビデオの名称付け方法」を、「・・・ビデオの検索用の名称付け方法」と訂正し、「ビデオの名称付け方法」の用途を限定するものである。
したがって、訂正事項bは、特許請求の範囲の減縮、及び明りょうでない記載の釈明を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
3-3.訂正事項cについて
訂正事項cは、誤記の訂正を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、または変更するものではない。
3-4.訂正事項dについて
訂正事項dは、明りょうでない記載の釈明を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
3-5.訂正事項eについて
訂正事項eは、誤記の訂正を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、または変更するものではない。
3-6.訂正事項fについて
訂正事項fは、誤記の訂正を目的とし、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、または変更するものではない。

3-7.むすび
以上のとおりであるから、上記訂正は、平成15年法律第47号附則第2条第7項により、なお従前の例によるとされる特許法第120条の4第2項及び第3項で準用する特許法第126条第2項及び第3項の規定に適合するので、当該訂正を認める。

4.特許異議の申立てについての判断
(ア)申立ての理由の概要
特許異議申立人は、請求項1および6に係る発明は、甲第1号証(信学技法 Vol.89 No.150 49頁〜56頁(1989年7月21日発行))、甲第2号証(特開平5-174072号公報)、甲第3号証(特開平5-204990号公報)の記載に基づいて、当業者が容易に発明をすることができたものであり、特許法第29条第2項の規定により、特許を受けることができないものであるから、特許を取り消すべきと主張している。

なお、特許異議の申立てがなされている請求項1は、平成17年9月30日付け訂正請求により、削除されて特許異議の申立ての対象がなくなったので、以下、特許異議の申立てがなされている請求項6(上記訂正により「請求項5」に繰り上がっている。)に係る発明について判断する。

(イ)訂正明細書の請求項5に係る発明
訂正明細書の請求項5に係る発明は、その特許請求の範囲の請求項5に記載された次の事項により特定されるとおりのものである。
「ビデオを入力し、該ビデオを構成するフレームから一定の時間経過毎に代表フレーム画像を抽出し、抽出された該代表フレーム画像の色、音少なくとも何れかの特徴量を計算し、該特徴量の値が属する範囲に対応した文字コードを割り当て、該代表フレーム画像を該コードでコード化し、該代表フレーム画像の列に対応して上記代表フレームの上記コードを並べてコード列化し、該コード列で該ビデオを名称付けすることを特徴とするビデオの検索用の名称付け方法。」(以下、「本件発明」という。)
(ウ)甲号証記載の発明
(甲第1号証)
「ビデオを入力し、該ビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応して該フレーム画像をコード化することを特徴とするビデオの名称付け方法。」の発明が記載されていると認められる。
(甲第2号証)
「動画像中の全ショットの時間の長さについての連なり情報を予め格納しておき、検索時に部分動画像を呈示し,これに含まれるショットの各々の時間の長さの連なりのパターンが,動画像中のショットの時間の長さの連なりの部分パターンになっているかどうかによって,目的とする動画像を識別することを特徴とする動画像検索処理方法。」の発明が記載されているものと認められる。
(甲第3号証)
「動画像中に現れる任意の対象物に対してキーワードを付与する動画像情報のキーワード付与方法において、上記動画像の各フレームについて、特定の対象物が現れているか否かを判断し、特定の対象物が現れていると判断されたフレームが連続して存在している部分動画像区間を探し出し、それらの部分動画像区間について、共通のキーワードを付与することを特徴とする動画像情報のキーワード付与方法。」の発明が記載されているものと認められる。
(エ)対比・判断
本件発明と上記甲第1号証ないし甲第3号証に記載の発明とを対比すると、甲第1号証ないし甲第3号証に記載の発明は、本件発明を特定する事項である、「ビデオを構成するフレームから一定の時間経過毎に代表フレーム画像を抽出し、抽出された該代表フレーム画像の色、音少なくとも何れかの特徴量を計算し、該特徴量の値が属する範囲に対応した文字コードを割り当て、該代表フレーム画像を該コードでコード化し、該代表フレーム画像の列に対応して上記代表フレームの上記コードを並べてコード列化し、該コード列で該ビデオを名称付けする」との事項を備えておらず、当該事項により本件発明は、「長時間場面変わりが発生しない場合にでもコード列を作成できる」、及び「コードの割当は特徴量がどの範囲に属するかで割り当てるだけの簡単なものであり割当に要する時間が少ない。さらにコードは既存の文字コードを割り当てることにより、汎用の文字列照合の機構が利用可能でありビデオ検索のための特殊な照合機構を新たに開発することが不要となる」という顕著な効果を奏するものであり、本件発明が上記甲第1号証ないし甲第3号証に記載された発明に基づいて当業者が容易に発明をすることができたものとはいえない。

5.むすび
以上のとおり、特許異議申立ての理由および証拠によっては、本件請求項5に係る発明の特許を取り消すことはできない。
また、他に本件請求項5に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
 
発明の名称 (54)【発明の名称】
ビデオの検索方法および装置
(57)【特許請求の範囲】
【請求項1】
検索対象のビデオを入力し、該ビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応して該フレーム画像をコード化し、該ビデオを該フレーム画像の列に対応してコード列化し、該コード列と予めデータベースに格納された複数のビデオに対応するコード列とを照合するビデオの検索方法であって、
上記照合は、コード列を構成するコード単位に行うことを特徴とするビデオの検索方法。
【請求項2】検索対象のビデオを入力し、該ビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応して該フレーム画像をコード化し、該ビデオを該フレーム画像の列に対応してコード列化し、該コード列と予めデータベースに格納された複数のビデオに対応するコード列とを照合するビデオの検索方法であって、
上記フレーム画像は、場面変わりの先頭フレーム画像であることを特徴とするビデオの検索方法。
【請求項3】検索対象のビデオを入力し、該ビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応して該フレーム画像をコード化し、該ビデオを該フレーム画像の列に対応してコード列化し、該コード列と予めデータベースに格納された複数のビデオに対応するコード列とを照合するビデオの検索方法であって、
上記フレーム画像は、一定時間間隔毎に抽出したフレーム画像とすることを特徴とするビデオの検索方法。
【請求項4】検索対象のビデオを入力し、該ビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応して該フレーム画像をコード化し、該ビデオを該フレーム画像の列に対応してコード列化し、該コード列と予めデータベースに格納された複数のビデオに対応するコード列とを照合するビデオの検索方法であって、
上記特徴量の計算は、上記フレーム画像をブロック分割し、各ブロック毎の色特徴量を計算することを特徴とするビデオの検索方法。
【請求項5】ビデオを入力し、該ビデオを構成するフレームから一定の時間経過毎に代表フレーム画像を抽出し、抽出された該代表フレーム画像の色、音少なくとも何れかの特徴量を計算し、該特徴量の値が属する範囲に対応した文字コードを割り当てて、該代表フレーム画像をコード化し、該代表フレーム画像の列に対応して上記代表フレームのコードを並べてコード列化し、該コード列で該ビデオを名称付けすることを特徴とするビデオの検索用の名称付け方法。
【発明の詳細な説明】
【0001】
【産業上の利用分野】
本発明は放送中のビデオまたはデータベース中のビデオの検索方法および装置に関し、特にビデオの特徴を手掛かりとした検索が高速に行えるビデオ検索方法におよび装置に関する。
【0002】
【従来の技術】
近年のマルチメディア情報処理システムではビデオやテキスト等様々な情報を蓄積してユーザに提示することが可能であるが、それらを検索する場合、キーワード等の言語による検索しか方法がなかった。この場合はキーワード付けの作業が必要であり、ビデオの各フレーム毎に付ける労力が大きい。さらにキーワードはデータベース構築者が自由に付けるものであるから、ユーザの視点がデータベース構築者と異なる場合にはこれらのキーワードが役に立たなくなるという問題がある。またビデオの場合はキーワード以外に画像独自の特徴から検索したいという要求があるが、画像の特徴量を手掛かりとして検索するためには膨大なフレーム数からなるビデオの特徴量とその問い合わせ用ビデオの特徴量との高速照合技術が必要であり、ビデオに適用できる照合技術はこれまで皆無であった。そのため従来のビデオ検索はユーザが早送りや巻き戻しの機能で再生しながら目で確認して探す方法しか実用的な手段はなかった。したがってビデオをディジタル化してデータベース化しても効率的な利用はできなかった。また放送中のビデオから特定の場面をキャッチするようなビデオ検索システムは存在しなかった。
【0003】
【発明が解決しようとする課題】
本発明の目的は、ビデオ検索のためのキーワード付け作業を行うことなく、検索対象ビデオの特徴量と問い合わせビデオの特徴量との間で高速に照合可能なビデオ検索方法および装置を提供することにある。また対象ビデオは放送中のビデオおよびデータベース中のいずれも対応可能とする。
【0004】
【課題を解決するための手段】
上記目的を達成するために、本発明では検索対象であるビデオを入力し、該ビデオから代表のフレーム画像を抽出し、該フレーム画像の全体または部分から一つまたは複数の特徴量を計算し、該特徴量に対応したコードを割当て、該フレーム画像を該コードまたは一定の順序で並べたコード列で名称をつけ、該ビデオを該フレーム列に対応するフレーム名称列でビデオ名称を作成し、これを用いて問い合わせ用のビデオ名称と照合して結果を出力する。
【0005】
上記代表のフレーム画像は、場面変わりの先頭フレームまたは一定間隔毎に入力したフレーム画像とする。そして特徴量は、ディジタル化された画像やビデオのフレーム列を構成するフレーム間の時間長から計算する。また特徴量に対応したコードの割当は、特徴量を特定の範囲毎に区切り、特徴量がどの範囲に属するかで割り当てるコードを決定する。その際、コードは既存のアルファベットや漢字などのコードを割り当てる。また割当の際特徴量が区切られた範囲の境界近傍の場合には補助コードを追加しておく。
【0006】
一方、問い合わせ用のビデオ名称もビデオの代表のフレーム列のコードから作成し、ユーザが該当するフレーム画像を指定することにより半自動で作成する。尚、問い合わせ用のビデオが複数ある場合はビデオの属性名を付加しておく。
【0007】
そしてビデオ名称の照合は代表のフレーム画像を抽出した時に行うものとし、さらに代表のフレーム間の時間長が一定の範囲内の時のみ行う。ビデオ名称の実際の照合はコード列間の比較である。その比較の際、補助コードが存在する場合、その補助コードが意味する別のコードの可能性を考慮した比較を行う。
【0008】
最後に照合の出力結果は、照合に成功した時刻情報、およびビデオ名称またはビデオ属性名のすくなくとも一つを含んでいる。
【0009】
検索対象が放送中のビデオであって、照合すべきビデオが複数の場面からなるコマーシャルビデオの場合は、照合の出力は放送時刻、コマーシャル名、スポンサー名のすくなくとも一つとする。
【0010】
また検索対象がデータベース中のビデオの場合、ビデオを記憶媒体に蓄積する際、ビデオとともに、該ビデオから代表のフレーム画像を抽出し、該フレームの全体または部分から一つまたは複数の特徴量を計算し、該特徴量に対応したコードを割当て、該フレーム画像を該コードまたは一定の順序で並べたコード列で名称をつけ、該ビデオを該フレーム列に対応するフレーム名称の列でビデオ名称を作成し、該ビデオ名称を索引情報として蓄積し、該記憶媒体の該索引情報と予め用意したビデオの名称の列とを照合するようにする。
【0011】
以上の検索方法を実現する装置は、ビデオ入力手段と、該ビデオの代表のフレーム画像を抽出する手段と、該フレームの全体または部分から一つまたは複数の特徴量を計算する手段と、該特徴量に対応したコードを割当てる手段と、該フレーム画像をコードまたは一定の順序で並べたコード列で名称をつけ、該ビデオを該フレーム列に対応するフレーム名称列でビデオ名称を作成する手段と、該ビデオ名称と予め用意した問い合わせ用のビデオ名称とで照合する手段から構成する。
【0012】
【作用】
上記の方法により、本発明では代表のフレーム画像は、場面変わりの先頭フレーム画像または一定間隔毎に入力したフレームに限定しているので、同様のコード列が並んだ文字数の長いビデオ名称となるのを防ぐことができ、結果的に照合時間を短縮できる効果がある。またビデオの特徴量から導かれる名称に基づく照合を行っており、ビデオ検索がテキスト検索のごとく単純な文字列照合としているため高速に行なえる。ビデオの照合には通常、特徴量同士の数値演算に基づく評価関数で類似度を決定するしか従来は方法がなく、そのため計算に時間がかかっていたが、本発明では照合時、その計算が不要となっており原理的に従来方法よりも高速である。また特徴量はディジタル化された画像やフレーム間の時間長から計算される単純なものであり実時間で計算できる。そしてコードの割当は特徴量がどの範囲に属するかで割り当てるだけの簡単なものであり割当に要する時間が少ない。さらにコードは既存の文字コードを割り当てることにより、汎用の文字列照合の機構が利用可能でありビデオ検索のための特殊な照合機構を新たに開発することが不要となる。
【0013】
そしてまたコード割当の際、隣接するコードに特徴量の値が近い場合、補助コードを追加して照合時に許容範囲をひろげるので、検索漏れ等、性能の劣化を抑止できる。
【0014】
一方、問い合わせ用のビデオ名称が複数の場合にはビデオの属性名を付加することにより、複数の問い合わせ用ビデオのどれと照合がとれたかをユーザがビデオの属性名をみることにより容易に理解することが可能となる。
【0015】
そしてビデオ名称の照合は代表のフレーム画像を抽出したときだけであり、さらに該フレーム間の時間長が一定の範囲内の時のみ行うので、照合回数を削減できる効果がある。
【0016】
そして照合の出力結果は、照合に成功した時刻情報、およびビデオ名称またはビデオ属性名のすくなくとも一つを含んでおり、ユーザは後からビデオ検索結果をまとめて整理することが容易である。
【0017】
検索対象が放送中のビデオであって、照合すべきビデオが複数の場面からなるコマーシャルビデオの場合に放送時刻、コマーシャル名、スポンサー名のすくなくとも一つが照合結果として出力されるので、種類別のコマーシャルの放送回数やその放送時における視聴率等とリンクさせた統計情報が自動的に求められるようになる。また検索対象がデータベース中のビデオの場合、フレーム名称等を索引情報として付加しておくことにより、検索時に特徴量の計算が省略できるのでさらに高速な照合が実現できる。
【0018】
以上の検索方法を実現する装置は、ビデオ入力手段と、代表のフレームを抽出する手段と、特徴量を計算する手段と、コードを割当てる手段と、ビデオ名称を作成する手段と、ビデオ名称を照合する手段から構成されており、これはビデオ入力機能をもつ汎用のワークステーションで実時間処理が実現可能であり安価なビデオ検索装置が達成される。
【0019】
【実施例】
以下、本発明の一実施例を図を用いて説明する。
【0020】
図1は、本発明を実現するためのシステム構成の概略ブロック図の一例である。1はCRT等のディスプレイ装置であり、コンピュータ2の出力画面を表示する。コンピュータ2に対する命令は、ポインティングデバイス3やキーボード4を使って行うことができる。5のビデオ再生装置は、光ディスクやビデオデッキ等である。ビデオ再生装置5から出力される映像信号は、逐次、6のビデオ入力装置によってデジタル画像データに変換され、コンピュータに送られる。また場合によっては放送中の映像を取り込むことも可能あり、放送受信機7からの映像信号をビデオ入力装置6へ入力する。コンピュータ内部では、デジタル画像データは、インタフェース8を介してメモリ9に入り、メモリ9に格納されたプログラムに従って、CPU10によって処理される。10が扱うビデオがビデオ再生装置5から送られている場合は各フレーム画像には、ビデオの先頭から順に番号(フレーム番号)が付けられている。フレーム番号を制御線11によってビデオ再生装置に送ることで、当該場面のビデオが再生される。また放送受信機7から送られてくるビデオの場合、フレーム番号はないので必要に応じて画像を取り込んだ時刻を記録してフレーム番号の代わりに使用する。コンピュータ内部処理の必要に応じて、各種情報を12の外部情報記憶装置に蓄積することができる。メモリ9には、以下に説明する処理によって作成される各種のデータが格納され、必要に応じて参照される。
【0021】
図2は本発明のビデオ検索処理の1実施例の全体ブロック図であり、コンピュータ2の内部で実行される。本発明では検索対象であるビデオはフレーム毎に逐次入力し、メモリ9に一時的に格納する。代表フレーム抽出部20はメモリ9のフレーム画像27から前後のフレーム画像を参照して場面変わりを検出し、検出時のフレーム画像28を抽出する。文字列変換部21はフレーム画像28をその特徴を反映した文字コード列29に変換する。そしてビデオ名称生成部22は順次、文字列変換部21から送られてくる文字コード列を一定の長さのシフトレジスタに記憶しておく。この中に記憶された文字コード列はビデオを構成するフレーム画像列に対応しておりこれをビデオ名称30として出力する。一方、ユーザは対話処理部23で問い合わせ用ビデオの登録、検索開始指示、検索結果の確認を行う。ユーザが指定した代表フレーム画像は文字列変換部24で21の処理と同じく文字コード列32に変換する。問い合わせビデオ名称登録部25は複数の代表フレーム画像の文字コード列32を問い合わせビデオ名称として、属性とともに記憶管理する。属性とはビデオの制作者名、制作年月日、場所、登場人物、目的、動作、などビデオに関連した情報である。これらはユーザが対話処理部23で入力する。
【0022】
尚、登録できるビデオ名称は複数である。文字列照合部26では検索対象のフレーム画像から順次生成したビデオ名称30と問い合わせビデオ名称登録部25に登録されている複数のビデオ名称33との間で、名称を構成している文字コード間の照合を行う。そして名称が一致していれば、検索に成功したものとして、検索結果34を出力する。検索結果は、検索に成功したビデオの属性や検索に成功したフレーム番号あるいは検索に成功した時刻情報である。検索結果34は対話処理部23に戻され、ユーザが確認する。
【0023】
また検索結果34は問い合わせビデオ名称登録部25に通知され、検索の履歴情報を自動的に更新する。
【0024】
本実施例ではビデオを文字列変換部で名称付けすることにより、ビデオとビデオの照合問題を名称と名称の文字列照合問題に置き換えており、テキスト検索のように、ビデオが高速に検索できる効果がある。従来のビデオとビデオの照合では特徴量同士の評価関数で類似度を決定するより方法がなく、照合に時間がかかる問題があったが、本発明によってこの問題が解決された。また複数の代表フレームの文字列を直列に接続して長い文字列の名称で一致をとることにより、多種類のビデオの照合にも対応できる。
【0025】
図3はビデオの名称付けの方法の一つの実施例を示したものである。まずある長さの問い合わせビデオ35をユーザが選択する。そしてその中の代表フレーム画像36をユーザが必要なフレーム数だけ指定する。そして各フレーム画像を複数のブロックに分割してその中で幾つかの特徴量37を計算して特徴ベクトルとする。特徴ベクトルの要素としては、画像の特定色の面積、代表フレーム間の時間長、ビデオに付帯している音の強さの積分値、音の一定強さ以上の時間長などである。尚、ここで述べた特徴以外でもビデオの特徴を記述したノイズに強いものであれば特徴として採用できる。さて各ブロックで求めた特徴ベクトルはすべて集めて特徴ベクトル列38を構成する。そして特徴ベクトルの要素の値域を幾つかに区分して、要素の値がどの区分に入るかで区分に割り当てられているアルファベットの文字コードに変換する。すべての特徴ベクトルの要素を文字コードに置き換え一列に並べることで問い合わせビデオ名称39が生成できる。
【0026】
本実施例では画像をブロックに分割しているが、もちろん画面全体で1ブロックとすることも可能である。ブロックの個数、特徴ベクトルの要素の数、要素の種類、等を変更することにより、検索目的に柔軟に対応可能である。たとえば同一ビデオの検索、類似したビデオの検索、シナリオのテンポが一致しているビデオの検索、色の構成が似ているビデオの検索、構図が一致しているビデオの検索等ユーザの好みの検索目的に対応できる。
【0027】
図4はユーザとの対話に利用する表示画面の一実施例である。ビデオのフレーム画像はコンピュータのディスプレイ上のモニタウインドウ40に再生表示される。同じ画面上に表示されるウインドウには、40のほか、代表フレーム画像の抽出結果を一覧にして表示するウインドウ41、問い合わせビデオの属性を入力するテキストウインドウ42、検索時に使用する特徴の種類を指定するウインドウ43、検索結果を表示するウインドウ44などがある。これらのウインドウは、ポインティングデバイス3の一つであるマウスを使って自由に動かせるカーソル45を操作して画面上の任意の位置に移動できる。テキストの入力にはキーボード4を用いる。ボタン40-1は、ビデオの再生状態を制御するためのボタンで、マウスでクリックすると、ビデオの再生や早送り・巻き戻しといった制御ができる。また、再生するシーンについては、ウインドウ41に一覧表示されている代表フレーム画像をクリックすることによって連動的に選択を行うことができる。そのとき、再生するビデオは、コンピュータに接続されたビデオ再生装置5が出力するビデオを用いることもできるし、外部情報記憶装置に登録されたデジタル化されたビデオでもよい。ビデオ再生装置5の場合には、シーンの先頭のフレーム番号をビデオ再生装置に送り、そのフレーム番号に対応するシーンから再生を開始する。そして、シーン末尾のフレーム番号に到達した時点で再生を中断する命令をビデオ再生装置5に送る。デジタル化されたビデオの場合は、例えば、図5に示す構造体50で表されるビデオデータから、シーン先頭のフレーム番号に対応するビデオデータを抽出してグラフィックデータとして表示する。尚、構造体50には画像データに付随した音データも格納されており、これをスピーカ1-1に出力することもできる。1フレーム分の表示処理が終了すると、次のフレームの表示処理を連続して行い、これにより動画像の表示とする。表示処理に要する時間に合わせ、一定時間あたりに表示するフレーム画像の枚数を調節し、ビデオが早送り気味になったりスロー気味になったりしないようにする。またモニタウインドウ40には放送受信機7からのビデオの表示も行える。
【0028】
ユーザが図4の画面を用いてビデオの検索を行う操作手順を以下のべる。まず問い合わせビデオの指定を行うためにウィンドウ41に並んだ代表フレームを幾つかマウスでクリックして選択する。次にテキストウィンドウ42で、選択したビデオのタイトルや人名等、属性情報をキーボードから入力し登録する。尚、登録数は任意である。次に検索条件に使う特徴量としてシーンの時間長、色、音、分割ブロック数等のうちどれとどれを採用するかをウィンドウ43で指定する。43の中にはdetailボタン43-1があり、これをクリックすると詳細なウィンドウが開かれて、指定した特徴量の値域をユーザの好みに応じて決定できる。尚、この操作は変更要求があるときのみ行う。通常は予めシステムが設定した特微量で検索を行う。さて検索条件が整ったあとは、検索範囲を指定する。この操作はテキストウィンドウ42の中のmodeボタン42-1をクリックし、検索範囲指定モードにすることによって、ビデオの種類や検索時間帯が指定できる。最後にユーザは検索開始要求を出す。これもmodeボタン42-1をクリックして検索要求モードにして、OKボタン42-2をクリックすることで行う。システムを検索処理を開始し、求めた結果をウィンドウ44に表示する。表示内容は属性情報、時間情報等である。
【0029】
本実施例ではユーザは問い合わせビデオの指定を代表フレームを見ながらマウスで指定する簡単な操作で行えるので、パターンの特徴を詳細にキーワードに変換する作業が不要となる。また時間長の特徴、音の特徴、色の特徴等ユーザの好みに応じて変更が可能であり広範な検索の用途に対応できる。
【0030】
図6は図2の対話処理部23の一実施例である。全体制御部60はユーザとの対話と各処理部の制御を行う。処理部はビデオ表示処理部61、問い合わせビデオ指定部62、属性入力処理部63、検索特徴カスタマイズ部64、検索結果表示部65からなる。ビデオ表示処理部61はモニタウインドウ40でのビデオ再生を実行する。問い合わせビデオ指定部62はウインドウ41での代表フレーム画像の一覧表示行い、ユーザがマウスで選択した代表フレームのディジタル画像31を出力する。属性入力処理部63はモード切り換えにより、3つの処理をウインドウ42を介して行う。まず一つ目は問い合わせビデオの属性をキーボードから入力する処理である。二つ目は検索範囲を設定する処理である。例えばビデオ再生装置5の検索開始フレーム番号と終了フレーム番号である。放送受信機7のビデオを検索する場合は、チャンネル番号、検索開始時間、検索終了時間である。三つめは検索開始指令の発行である。検索結果表示部65は検索結果34入力してウィンドウ44に表示する。
【0031】
図7は図2の文字列変換部24の一実施例である。対話処理部23から送られたディジタル画像31をブロック毎に分けて特徴量計算部70が特徴ベクトルを計算する。特徴ベクトルの各要素は値が0から100の範囲になるように正規化し、その要素74を出力する。文字コード割当部4は要素74を文字変換テーブル72を参照して値と文字コードを対応させ文字コード75を出力する。その際要素74の値が文字変換テーブル72の範囲の中央の付近の値ではなく隣接した範囲との境界近傍であるときはその旨文字コードに反映させておく。文字変換テーブル73は72と同じ構成であるが境界部の範囲とそれに対応した補助コードが格納してある。例えば要素の値が10の場合は文字変換テーブル72を参照して文字コード「a」が割り当てられ、それを文字コード75として出力する。この場合文字変換テーブル73には該当する範囲がないので補助コードは出力しない。また例えば要素の値が56の場合は文字コード「c」を同様に文字コード75として出力する。この場合文字変換テーブル73には該当する範囲があり、補助コード「C」を続いて出力する。
【0032】
この実施例では、特徴ベクトルの要素の値が文字コード決定のための範囲の境界付近の場合、その旨通知するための補助コードが出力される。これにより例えばある要素の文字コードがaAの場合ノイズの要因等で変動することがあってもaまたはbと解釈することが可能となり、照合時の安定度が増加する。
【0033】
図8は図2の問い合わせビデオ名称登録部(データベース)25の一実施例である。文字コード列32はビデオ名称登録管理部80の管理下のリスト81で連結された記憶部に登録される。対話処理部23でユーザが入力した属性とともに属性データ82、文字列コードデータ83として記憶される。その際、検索履歴データ84は初期化される。尚、検索履歴データ84は検索結果34が入力されると、検索時刻の登録、検索回数の更新等を行う。照合のためのビデオ名称33はリスト81から順次文字列コードデータ83から読み出し出力する。
【0034】
この実施例では複数の問い合わせビデオの照合が可能であるとともに、検索履歴を管理できるので、発生頻度に基づく問い合わせビデオの更新処理等が可能になる。たとえば全く検索されなかった問い合わせビデオはリストからはずして新たにユーザが登録しなおすことなどに利用できる。
【0035】
図9は図2の代表フレーム抽出部20の一実施例である。検索対象の入力ビデオ27の場面変わりを自動検出して、その時の画像を代表フレーム画像28として出力する。
【0036】
まず現在取り込んだフレームの画像90からカラーヒストグラム特徴91を求める。それと前のフレームで求めたカラーヒストグラム特徴92とを比較部93で比較し、ヒストグラム特徴が類似していれば同一場面、そうでなければ場面変わりと判断する。場面変わりの場合、画像90を代表フレーム画像28として出力する。
【0037】
この実施例では自動的に場面変わりが検出できるが、長時間場面変わりが発生しない場合は一定時間経過毎に画像90を代表フレーム画像28として出力するようにしても良い。
【0038】
代表フレーム画像28は図2の文字列変換部21でフレーム単位に文字コード29に変換される。この文字列変換部21は図7で説明した文字列変換部24と同一であるので説明は省略する。
【0039】
図10は図2のビデオ名称生成部22の一実施例である。代表フレーム画像の検出毎に時系列に送られてくる文字列コード29を、問い合わせビデオ名称群の中の最長文字数を収容できる長さのシフトレジスタ100に左から順次右へシフトしながら入力する。シフトレジスタ20の中には照合すべきビデオ名称が切り出されて常に格納されている状態になる。この場合ビデオ名称はシフトレジスタの右側が先頭文字となる。このシフトレジスタの内容を検索対象のビデオ名称30として出力する。
【0040】
図11は図2の文字列照合部26の一実施例である。この文字列照合部の動作は代表フレーム抽出時のみ行う。まず検索対象のビデオ名称30と問い合わせのビデオ名称33を入力して文字コード列比較部で名称が一致するかどうかを比較する。この比較には2次元参照テーブル111を利用する。テーブルの縦軸がビデオ名称30からの補助コードを含んだ一つのコードに対応し、横軸が問い合わせビデオ名称33からの補助コードを含んだ一つのコードに対応しており、交差位置のテーブルの値を参照し、それが1なら一致、0なら不一致である。一致していればさらに次のコードを30、33からとりだし、順次比較してゆく。問い合わせビデオ名称を構成する全てのコードが一致すれば、ビデオの検索に成功したことになり、検索結果34を出力する。そして残りの問い合わせビデオ名称の照合は打ち切る。一方、コードの不一致を検出するとその時点で、次の問い合わせビデオ名称の照合に移る。
【0041】
この実施例によればコードの一致検出にを2次元参照テーブル111を利用しており、補助コードのついた文字コードの比較が高速に行える。また不一致を検出した時点で照合を打切り次の問い合わせビデオ名称の照合に移るので、問い合わせビデオの数が多くても高速に照合可能である。例えば放送中のビデオの全てのコマーシャル部分を検索する場合でも実時間の照合が可能となる。
【0042】
また検索対象が放送中のビデオであって、照合すべきビデオが複数の場面からなるコマーシャルビデオの場合には放送時刻さらにはコマーシャル名、スポンサー名も問い合わせビデオ名称登録部のリストの属性を参照して検索結果として出力できることは言うまでもない。
【0043】
図12は本発明のビデオ検索処理の別の実施例の全体ブロック図であり、コンピュータ2の内部で実行される。図2のビデオ検索処理の実施例も高速に実行できるが実時間処理すなわち1秒間に30フレームの速度が限界である。その限界を越えるのためのものが図12である。図2の代表フレーム抽出部20と文字列変換部21を廃止し、代わりに代表フレームの文字列入力処理部120を設定したところが異なっている。文字列入力処理部120は予めインデックスとして外部情報記憶装置12に格納しておいた検索対象ビデオの代表フレームの文字列を入力してそれをビデオ名称生成部121に則るだけである。ワークステーションの磁気ディスクの転送速度が例えば10Mバイト/秒とし代表フレーム1枚あたりの文字列のバイト数を10バイトとすると代表フレーム数100万枚を1秒間で入力できる。ビデオの代表フレームは場面変わりが平均5秒に一回程度であるので、結局500万倍の再生速度でビデオを入力していることになる。実際の速度は文字列照合部125の処理で決定される。1000個の問い合わせビデオがある場合、最悪の場合1万バイトの照合が発生するが、ワークステーションの速度で100万バイト照合あたり1秒かかるとすると、これを1/100秒で実行できる。従って本発明のようなインデックスを持たせる方法では、最終的に500倍速の再生速度でビデオ検索を行っているのと同等の効果がある。また検索対象ビデオのインデックスである代表フレームの文字列パターンのうち、発生頻度の高いものを抽出することにより、専門家のビデオ作成のノウハウを獲得することができる。
【0044】
尚、本発明は、ビデオ再生装置や、ビデオ再生装置付きのテレビジョンに対して組み込むことも可能である。
【0045】
【発明の効果】
本発明によれば、ビデオの検索が、ビデオの特徴量から導かれる文字列に基づく照合を行っており、ビデオ検索がテキスト検索のごとく高速に行なえる効果がある。また特徴量はディジタル化された画像やフレーム間の時間長から計算される単純なものでありビデオ再生の実時間で計算できる効果がある。そしてそれらを予め計算して外部情報記憶装置に記憶しておくことにより、ビデオ再生の実時間よりさらに高速に処理できる効果がある。また本発明ではユーザは問い合わせビデオの指定を代表フレーム画像を見ながらマウスで指定する簡単な操作で行えるので、パターンの特徴を詳細にキーワードに変換する作業が不要となる効果がある。さらに検索対象ビデオのインデックスに基づいて、発生頻度の高い文字列パターンを抽出することで、専門家のビデオ作成のノウハウが獲得できる。さらに本発明はビデオ入力機能をもつ汎用のワークステーションシステムで実時間処理が実現可能であり、安価なビデオ検索装置が達成できる効果がある。
【図面の簡単な説明】
【図1】
本発明の一実施例におけるビデオ検索のシステム構成の概略ブロック図である。
【図2】
本発明のビデオ検索処理の実施例の全体ブロック図である。
【図3】
ビデオの文字列による名称付け方法の一実施例を示す図である。
【図4】
ユーザとの対話に利用する表示画面の一実施例を示す図である。
【図5】
デジタル化されたビデオのデータ構造の図である。
【図6】
図2の対話処理部23の一実施例を示す図である。
【図7】
図2の文字列変換部24の一実施例を示す図である。
【図8】
図2の問い合わせビデオ名称登録部25の一実施例を示す図である。
【図9】
図2の代表フレーム抽出部20の一実施例を示す図である。
【図10】
図2のビデオ名称生成部22の一実施例を示す図である。
【図11】
図2の文字列照合部26の一実施例を示す図である。
【図12】
本発明のビデオ検索処理の別の実施例の全体ブロック図である。
【符号の説明】
1…ディスプレィ、2…コンピュータ、3…ポインティングデバイス、4…キーボード、5…ビデオ再生装置、6…ビデオ入力装置、7…放送受信機、12…外部情報記憶装置、20…代表フレーム抽出部、21,24…文字列変換部、22…ビデオ名称生成部、23…対話処理部、25…問い合わせビデオ名称登録部、26…文字列照合部。
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2005-10-25 
出願番号 特願平5-262102
審決分類 P 1 652・ 121- YA (G06F)
最終処分 維持  
前審関与審査官 平井 誠  
特許庁審判長 小林 信雄
特許庁審判官 篠原 功一
久保田 健
登録日 2002-08-16 
登録番号 特許第3340532号(P3340532)
権利者 株式会社日立製作所
発明の名称 ビデオの検索方法および装置  
代理人 作田 康夫  
代理人 作田 康夫  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ