ポートフォリオ機能
| ポートフォリオを新規に作成して保存 |
|
|
| 既存のポートフォリオに追加保存 |
|
PDFをダウンロード
|
| 審決分類 |
審判 全部申し立て 2項進歩性 H04N |
|---|---|
| 管理番号 | 1114549 |
| 異議申立番号 | 異議2003-71831 |
| 総通号数 | 65 |
| 発行国 | 日本国特許庁(JP) |
| 公報種別 | 特許決定公報 |
| 発行日 | 1995-05-19 |
| 種別 | 異議の決定 |
| 異議申立日 | 2003-07-18 |
| 確定日 | 2005-01-12 |
| 異議申立件数 | 1 |
| 訂正明細書 | 有 |
| 事件の表示 | 特許第3368012号「画像データ処理装置」の請求項1ないし9に係る特許に対する特許異議の申立てについて、次のとおり決定する。 |
| 結論 | 訂正を認める。 特許第3368012号の訂正された請求項1ないし3に係る特許を取り消す。 |
| 理由 |
第1 手続の経緯 特許第3368012号の請求項1ないし9に係る発明についての出願は、平成5年10月29日に出願され、平成14年11月8日に設定登録され、その後、特許異議申立人溝呂木寛から特許異議の申立てがなされ、取消理由通知がなされ、その指定期間内である平成16年8月23日に訂正請求がなされたものである。 第2 訂正の適否 1 訂正事項 (1) 特許請求の範囲の請求項1を「【請求項1】画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする画像データ処理装置。」と訂正する。 (2) 特許請求の範囲の請求項4を「【請求項2】前記ダイナミックレンジ拡大手段は、同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成することを特徴とする請求項1記載の画像データ処理装置。」と訂正する。 (3) 特許請求の範囲の請求項6を「【請求項3】前記撮像手段は、複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有することを特徴とする請求項1記載の画像データ処理装置。」と訂正する。 (4) 特許請求の範囲の請求項2、3、5、7、8及び9を削除する。 (5) 明細書の段落番号【0006】及び【0041】を全文訂正明細書のとおり訂正する。 (6) 明細書の段落番号【0042】を削除する。 2 訂正事項について (1) 訂正事項(1)は、「画像データを得るための撮像手段」を追加する訂正で、訂正前の請求項3の内容を追加する訂正であり、特許請求の範囲の減縮を目的とするものである。 「前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段」を追加する訂正は、訂正前の請求項2の内容を追加する訂正であり、特許請求の範囲の減縮を目的とするものである。 また、「出力装置へ出力する画像データのダイナミックレンジ幅を前記出力装置のダイナミックレンジ幅に合わせる処理手段」を「前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段」に変更する訂正は、「処理手段」によって行われる操作を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。 さらに、「前記画像データのダイナミックレンジを変化させるための操作手段とを備えた」を「前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせる」に変更する訂正は、「前記画像データのダイナミックレンジを変化させるための操作」を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。 そして、これら訂正は、本件特許明細書の段落番号【0019】等の記載に基づくものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。 (2) 訂正事項(2)は、訂正前の請求項4を請求項2に繰り上げるとともに請求項1に従属させる訂正であり、明りょうでない記載の釈明を目的とするものである。 また、「ダイナミックレンジ拡大手段」を「前記ダイナミックレンジ拡大手段」に変更する訂正、並びに「同一シーンにおける異なる露光量の複数枚の画像データを合成する」を「同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成する」に変更する訂正は、訂正後の請求項1と訂正後の請求項2との関係を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。 (3) 訂正事項(3)は、訂正前の請求項6を請求項3に繰り上げるとともに請求項1に従属させる訂正であり、明りょうでない記載の釈明を目的とするものである。 また、「撮像手段」を「前記撮像手段」に変更する訂正は、訂正後の請求項1と訂正後の請求項3との関係をより明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。 さらに、「複数の撮像素子と、撮像光の光路中にあって前記各撮像素子に像を分ける分光手段と、前記各撮像素子の露光量を変化させる露光制御手段とを備えている」を「複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有する」に変更する訂正は、「複数の撮像素子」と「分光手段」及び「露光制御手段」との関係をより明りょうにする訂正であり、特許請求の範囲の滅縮を目的とするものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。 (4) 訂正事項(4)は、特許請求の範囲の請求項2、3、5、7、8及び9を削除する訂正であり、特許請求の範囲の減縮を目的とするものである。 (5) 訂正事項(5)は、訂正事項(1)に係る訂正に伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るためにした訂正であり、明りょうでない記載の釈明を目的とするものである。 (6) 訂正事項(6)は、訂正事項(1)ないし (5)に係る訂正に伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るためにした訂正であり、明りょうでない記載の釈明を目的とするものである。 そして、訂正事項(4)ないし(6)は、いずれも、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。 3 むすび 以上のとおりであるから、上記訂正は、特許法120条の4第3項において準用する平成6年改正法による改正前の特許法126条1項ただし書及び2項の規定に適合するので、当該訂正を認める。 第3 異議申立についての判断 1 本件発明 上記のとおり、訂正請求が認められたので、本件発明は次のとおりのものである。 【請求項1】「画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする画像データ処理装置。」(以下、「本件発明1」という。) 【請求項2】「前記ダイナミックレンジ拡大手段は、同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成することを特徴とする請求項1記載の画像データ処理装置。」(以下、「本件発明2」という。) 【請求項3】「前記撮像手段は、複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有することを特徴とする請求項1記載の画像データ処理装置。」(以下、「本件発明3」という。) 2 引用刊行物 (1) 取消理由通知に引用した特開平4-196776号公報(以下「刊行物1」という。)には次の事項が記載されている。 ア 「本発明は撮像装置に関わり、特に電荷結合素子(以下、CCDという)を撮像素子に用いたテレビジヨンカメラ、電子カメラなどの撮像装置に関するものである。」(公報1頁右下欄11〜14行) イ 「本発明はかかる点に鑑み、信号のS/Nの劣化を少なくして信号のダイナミックレンジを広げることができる撮像装置を提供することを目的とする。」(公報2頁右上欄14〜17行) ウ 「加算器4の出力信号をダイナミックレンジ制御部5に入力することにより、信号を適正な出力ピ-ク値(100%)に入るように可変減衰させ、第3図の実線の加算器4の入出力特性を1/2にした一点鎖線の特性を得ることができる。」(公報3頁左下欄5〜10行) エ 「本実施例では1枚のハ-フミラ-と2つのCCDを用いて、一方のCCDしか電子シャッタ機能を動作させていないが、2つのCCD共に電子シャッタ機能を動作させた場合、さらには、複数のハ-フミラー、複数の電子シャッタ付CCDを用いた場合も同様の効果が得られる。」(公報3頁右下欄7〜12行) (2) 同じく、取消理由通知に引用した特開平4-277978号公報(以下「刊行物2」という。)には次の事項が記載されている。 オ 「【0001】【産業上の利用分野】本発明は画像処理装置、特に入力のカラー画像信号を色空間上で縮小写像変換して出力する手段を有する画像処理装置に関するものである。」 カ 「【0008】本発明によれば、入力信号を色空間上で縮小写像変換を行う事により、入力信号の色空間上での広がりが、プリンタの色再現範囲を越えている場合でも、各色の階調を損なう事なく良好な出力画像を得ることができる。」 キ 「【0017】【他の実施例】尚、L軸方向,ab空間での入力信号の縮小写像変換において、その縮小の度合を使用者が外から入力する事により自由に変えることができる。」 3 本件発明1について (1) 刊行物1に記載された発明は、ダイナミックレンジを広げることができる撮像装置を提供することを目的とし、1枚のハーフミラーと2つのCCDを用いていることから、複数枚の画像データを得ていることが理解できる。 そして、「信号を適正な出力ピ-ク値(100%)に入るように可変減衰させ、第3図の実線の加算器4の入出力特性を1/2にした一点鎖線の特性を得ることができる」(前掲ウ)ことから出力装置の特性に応じて圧縮する処理手段を備えているといえる。 (2) 以上を踏まえ、本件発明1と刊行物1に記載された発明とを対比すると、次の一致点、相違点を有する。 【一致点】「画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮することを特徴とする画像データ処理装置。」 【相違点】本件発明1では、出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせるのに対し、刊行物1の発明では、単に、出力装置の特性に応じて圧縮する処理手段を備えているにとどまり、圧縮処理が使用者の要求に依存することが明記されていない点。 (3) 相違点の検討 相違点に関する特許請求の範囲における記載は、「前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせる」とあり、ここで、「前記操作」とは「出力装置の特性に応じて圧縮する操作」を指すものと認められる。 刊行物1でも、制御部5で「出力装置の特性に応じて圧縮する操作」を行っていることが認めらる。(前掲ウ) ところで、技術開発の流れは、手動操作のものを自動操作とすることに各種の工夫・改良が施されるものであることは、一般的に認識されていることである。 刊行物1の発明が、「信号を適正な出力ピ-ク値(100%)に入るように可変減衰させ」と記載されているのみで、手動操作であるとも自動操作であるとも明記されていないが、自動操作に比してより原始的である手動操作を採用しているとみることも、格別不合理ともいえない。 本件発明1では、手動操作の態様として「使用者が出力装置の特性に応じて圧縮する操作を要求」と解することができる記載があるのみで、具体的な手動操作が特定されているものではなく、自動操作に比して、手動操作とすることによる格別な創意・工夫が特定されているとみることもできない。 また、刊行物2には、画像処理の他の実施例として「L軸方向,ab空間での入力信号の縮小写像変換において、その縮小の度合を使用者が外から入力する事により自由に変えることができる。」(前掲キ)と記載されており、手動操作の採用が適宜実施できることを示している。 したがって、使用者の要求による手動操作としたことによる格別な効果も認められず、当該相違点に当業者が格別推考力を要したとは認められない。 4 本件発明2について 本件発明2は、本件発明1を引用する形式で、画像データとして「同一シーンにおける異なる露光量の複数枚の画像データ」を用いた点を特徴とするものであるが、刊行物1においても「1枚のハ-フミラ-と2つのCCDを用いて、一方のCCDしか電子シャッタ機能を動作させていないが、」(前掲エ)と記載されているように、一方のCCDの電子シャッタを動作させていることから、露光量が異なる2枚の画像データを得ていることが明らかである。 したがって、本件発明2の特徴的な事項は刊行物1に記載されている事項であり、本件発明2は格別な効果も認められず、本件発明1と同様、刊行物1記載の発明から当業者が容易に推考できたものである。 5 本件発明3について 本件発明3は、本件発明1を引用する形式で、撮像手段として分光手段と露光制御手段を有することを特徴とするものであるが、刊行物1においても「1枚のハ-フミラ-と2つのCCDを用いて、一方のCCDしか電子シャッタ機能を動作させていないが、」(前掲エ)と記載されているように、分光手段であるハーフミラーを備え、一方のCCDの電子シャッタを動作させていることから、露光制御手段を備えていることも明らかである。 したがって、本件発明3の特徴的な事項は刊行物1に記載されている事項であり、本件発明3は格別な効果も認められず、本件発明1と同様、刊行物1記載の発明から当業者が容易に推考できたものである。 第4 むすび 以上のとおりであるから、訂正請求書により訂正された請求項1ないし3に記載された発明は、前記刊行物1及び2に記載された発明に基づいて当業者が容易に発明をすることができたものであるから、本件発明1ないし3についての特許は特許法29条2項の規定に違反してされたものであり、特許法113条2号に該当し、取り消されるべきものである。 よって結論のとおり決定する。 |
| 発明の名称 |
(54)【発明の名称】 画像データ処理装置 (57)【特許請求の範囲】 【請求項1】 画像データを得るための撮像手段と、 前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、 前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、 前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする画像データ処理装置。 【請求項2】 前記ダイナミックレンジ拡大手段は、同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成することを特徴とする請求項1記載の画像データ処理装置。 【請求項3】 前記撮像手段は、複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有することを特徴とする請求項1記載の画像データ処理装置。 【発明の詳細な説明】 【0001】 【産業上の利用分野】 本発明は、特にダイナミックレンジを広くするようにした画像データ処理装置に関するものである。 【0002】 【従来の技術】 近年、テレビジョンカメラ、電子スチルカメラ等の画像の取り込み手段として、CCD撮像素子を始めとする固体撮像素子が多く使用されている。ところが、この固体撮像素子のダイナミックレンジは銀塩等に比べて狭く、撮影条件によっては画質が著しく劣化する。 【0003】 そこで、固体撮像素子のダイナミックレンジ拡大の方法として、同一シーンにおける露光量の異なる複数枚の画像を撮影し、この複数の画像データを何らかの演算で合成してダイナミックレンジの拡大された画像を得る手法が提案されており、このようにして得られた画像データをモニタ等の出力装置で出力することが考えられている。 【0004】 【発明が解決しようとする課題】 しかしながら、上記のようにダイナミックレンジの拡大された画像データをモニタやプリンタなどの出力装置で出力する場合、出力装置のダイナミックレンジ幅が合成画像のダイナミックレンジ幅より狭いことがある。このような場合、合成画像のダイナミックレンジ幅を出力装置のダイナミックレンジ幅や出力特性に合わせて適切な圧縮操作を行わなければならないが、この圧縮操作を適当に行うと、画像のコントラストが落ちたり、明るさのバランスが崩れ、合成処理を行う前の適正露光で撮られた標準画像に比べて非常に違和感のある画像となってしまう。また、圧縮した結果として良好な画像を得るまでに何回も圧縮操作を行って画像を評価する必要があるという問題点があった。 【0005】 本発明は、上記のような問題点に着目してなされたもので、容易にダイナミックレンジの拡大された良好な画像が得られる画像データ処理装置を提供することを目的としている。 【0006】 【課題を解決するための手段】 本発明に係る画像データ処理装置は、画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする。 【0007】 【0008】 【0009】 【0010】 【0011】 【0012】 【0013】 【0014】 【0015】 【0016】 【0017】 【実施例】 図1は本発明の第1の実施例の構成を示すブロック図である。この図1の画像データ処理装置は、撮像手段aのブロックと、画像合成手段bのブロックからなり、出力装置cからダイナミックレンジの拡大された画像データを出力できるように構成されている。 【0018】 図1において、1は被写体からの撮像光が入射するレンズ、2は光学ローパスフィルタ、3はCCD等の撮像素子、4は撮像素子3の動作を制御する撮像素子制御回路、5は撮像素子3からの画像信号をデジタル信号に変換するA/D変換器、6は画像合成のための計算機で、操作手段dによりダイナミックレンジを拡大する時のダイナミックレンジ拡大手段を構成している。7はその広ダイナミックレンジ画像を合成する時の合成情報を記憶するメモリ(記憶手段)、8はデータ処理回路で、出力画像データのダイナミックレンジ幅を出力装置cのダイナミックレンジ幅あるいは出力特性に合わせる制御手段を構成している。20は色フィルタである。 【0019】 次に動作を説明すると、撮像手段aによる被写体像(不図示)は、レンズ1、光学ローパスフィルタ2及び色フィルタ20を通って撮像素子3に投影される。ここで、撮像素子制御回路4は1回の撮像動作で同一シーンにおける露光量(絞り値、蓄積時間等)の異なる画像信号を順次複数枚得るように構成され、更にこれらの複数の画像信号をメモリ7に記憶する。その後、メモリ7から読み出して計算機6で1枚の広ダイナミックレンジ画像を合成すると同時に、合成時に必要とした画素の値等の合成情報をメモリ7に記憶させておく。また、データ処理回路8は、使用者が出力装置cの特性に合わせて合成画像データのダイナミックレンジ幅の圧縮を要求した時に、上記合成時に記憶しておいた合成情報を基に圧縮操作を行ってデータを出力し、使用者の要求がない時には合成画像データに合成情報をつけ加えて出力するか、もしくはそのまま出力する。 【0020】 次に図1の計算機6における合成アルゴリズムを図2の概念図により説明する。図2において、9は適正(標準)露光量で撮像素子3から得られた画像信号をA/D変換器5で8ビットデータとしたものを棒グラフで表した画像データ(ノーマル画像データと呼ぶ)で、同様に、10,10′は露出を多くして得られた画像データ(ブライト画像データと呼ぶ)、11,11′は露出を少なくして得られた画像データ(ダーク画像データと呼ぶ)、12は合成によりダイナミックレンジが拡大された画像データ、13,13′、14,14′は任意の画素の値を表す点である。 【0021】 以下図2に従って合成アルゴリズムを説明する。ここで、各画像データは図1のA/D変換器5で8ビットデータに変換されていると仮定し、よって画素の値として0〜255の値をもっているものとする。まず、ノーマル画像9とブライト画像10の合成を考える。異なる輝度レベル、つまり被写体の光量の変化に対する撮像素子3の出力が異なる画像を合成する場合、互いの画像データの輝度レベルをそろえる必要がある。このため、ノーマル画像9とブライト画像10の両方でつぶれのない画素を基準点13とすると、ブライト画像10はノーマル画像9に比べて露光量が多いので、この点の値はノーマル画像9よりも大きい。よって図2の13,13′のような位置関係にある。そこで、両画像データの輝度レベルを同じにするため、この基準点13,13′の値を同じにする。そうすると、ブライト画像10が全体的にスライドされ、座標上でブライト画像10′の位置となる。 【0022】 同様に、ノーマル画像9とダーク画像11の合成においても、両方の画像データの輝度レベルを合わせるため、両画像ともつぶれのない画素を基準点14とすると、ダーク画像11はノーマル画像9に比べて露光量が少ないので、この点の値はノーマル画像よりも小さい。よって図の14,14′のような関係にあり、両画像データの輝度レベルを同じにするためこの基準点14,14′の値を同じにすると、ダーク画像11は全体的にスライドされるので、座標上でダーク画像11′の位置となる。 【0023】 すなわち、標準露光の標準画像データとそれと異なる露光の非標準画像データの両画像データから両画像データ共輝度レベルが所定範囲内の共通領域を抽出し、この共通領域の輝度レベルを一致させた後、前記標準画像の輝度レベルが所定範囲外の領域に対応する前記非標準画像の輝度レベルが所定範囲内の領域と置換することによって、1枚の広ダイナミックレンジ画像を合成する。 【0024】 以上のような操作により、各画像の輝度レベルが同じとなる。その後、ノーマル画像9の0〜B(基準点13)までをブライト画像10′のA〜B(基準点13)と取り替え、ノーマル画像9のC(基準点14)〜255までをダーク画像11′のC(基準点14)〜Dと取り替える。また、同時に出力装置cに合わせて画像データを圧縮するための目安として、合成時に基準となった画素の値(A,0,B,C,255,D)をメモリ7に記憶させる。このような操作で3枚の画像データを合成すれば、ダイナミックレンジの拡大された画像データ12が得られる。 【0025】 次に図3を用いて図2の操作の計算機6上での計算法を説明する。図3において、15はノーマル画像データの任意の領域の画素の値を表したもの、16はブライト画像データの領域15と同じ領域の画素の値を表したもの、17は合成後の領域15と16を合成した値を表したものである。 【0026】 まず、ノーマル画像とブライト画像の輝度レベルを同じにするため、両画像データともつぶれのない画素、図2における基準点13を設定する。ここで、基準点13の値としてノーマル画像を100とすると、ブライト画像の基準点13′は200となっている。そして、輝度レベルを合わせるためブライト画像の全ての画素値から200-100である100を減算し、スライドさせる。その後、ノーマル画像の黒つぶれとなっている領域(図3の例では、ノーマル画像15の画素値が0の領域)をブライト画像の値で補充することで合成を行う。以上、ノーマル画像とブライト画像の合成を説明したが、ノーマル画像とダーク画像の合成の場合も同様である。 【0027】 さて、上記のようにしてダイナミックレンジ拡大処理を行った画像データを出力装置cで出力する訳であるが、出力装置cのダイナミックレンジ幅が合成画像データより狭い場合があり、このような場合、合成画像データのダイナミックレンジ幅を圧縮して出力を行わなければならない。図4はダイナミックレンジの広い画像データの圧縮例を示す図で、画像データを知覚色空間上で表したものである。図4において、30は本画像合成処理でダイナミックレンジの拡大された合成画像データ、31は画像データ30を任意の範囲で圧縮したものを示しており、図4の(e)に各座標の定義を示す。また、図4の(a)は合成画像データ30を線形的に圧縮したもの、(b)は明るい部分を強調して圧縮したもの、(c)は暗い部分を強調して圧縮したもの、(d)は明るい部分をカットして圧縮したものを示し、このように自由にダイナミックレンジ幅を変えて出力できることが望ましい。そこで以下、図5を用いてダイナミックレンジの拡大された画像データを出力装置cの特性に合わせて圧縮を行う、データ処理回路8の動作を説明する。 【0028】 図5において、24は本合成アルゴリズムを用いてダイナミックレンジを拡大した画像データ、25及び29は画像データ24を8biｔデータに圧縮した画像データ、26〜28は漸近線である。ここで例として、合成画像データのダイナミックレンジは8biｔ幅以上の値をもち、出力装置cのダイナミックレンジ幅は8biｔであるものについて説明する。 【0029】 図5の(a)の画像データ24は図2の合成画像データ12と同じであり、画素の値として8biｔ以上の幅を持っている。この画像データ24において、A〜B間はブライト画像から、C〜D間はダーク画像から補充したものである。ここで、出力装置cのダイナミックレンジ幅が8biｔ幅であると仮定し、これに合わせて圧縮を行うには、もとの標準画像が図5の(a)のグラフ上で0〜255間に値するので、A〜B間の画像データを0〜B間に、C〜D間の画像データをC〜255間にそれぞれ圧縮を行えば、適正露光の画像データの輝度レベルとほぼ同じで、かつ図2のノーマル画像9よりもダイナミックレンジの拡大された画像を得ることができる。そこで、合成時にメモリ7に記憶してある合成情報(A,B,C,D,0,255)の値を用いて行う。以下、図5の(a)で述べた圧縮操作を計算機上で線形的に行う場合の計算式の例を示す。 【0030】 (1)(A〜B)→(0〜B) NeｗPiｘ=(B-0)÷(B-A)×(OldPiｘ-A)+0 (2)(B〜C)→(B〜C) そのまま (3)(C〜D)→(C〜255) NeｗPiｘ=(255-C)÷(D-C)×(OldPiｘ-C)+C以上、線形式を用いて圧縮を行ったが、図5の(b)のように、直線26〜28を漸近線とするような曲線29を作り出し、非線形的に圧縮を行えば、光の強さに対する出力値が滑らかになるので、より自然な画像が得られる。また、曲線を作り出すことが困難な場合は、短い直線を組み合わせて曲線29に近似させて圧縮を行えば良い。また、これら圧縮操作を本撮像装置以外でも行えることが望ましい。そのような場合には、図6のように、メモリ7の圧縮情報(合成情報)をつけ加えることで、コンピュータなどで上述したような圧縮操作を行うことが可能となる。 【0031】 このように、各画像データの輝度レベルを合わせてから合成を行うことにより、疑似輪郭のない輝度バランスがとれたダイナミックレンジの広い自然な合成画像が得られ、かつ複雑な計算を必要としないので、合成時間が短く、動画にも適用できる。 【0032】 また、ダイナミックレンジを拡大する時に拡大の目安となったA,0,B(基準点),C(基準点),255,Dの値等を記憶しておくことで、その座標を目安として出力装置cのダイナミックレンジ幅に合わせて圧縮を簡単に行えると共に、1枚の広ダイナミックレンジ合成画像から使用者の意志により自由にダイナミックレンジ幅を変えて出力することが可能になる。 【0033】 なお、上記合成する画像データの数は3枚と限らず、2枚以上なら何枚でも差し支えない。 【0034】 図7は本発明の第2の実施例の構成を示すブロック図であり、図1と同一符号は同一構成部分を示している。図7において、18は第1の撮像素子、3は第2の撮像素子、19は第3の撮像素子、20は色フィルタ、21は色信号を輝度信号と色差信号に分ける色差信号生成回路、8は色差信号と輝度信号からRGB信号を作り出す信号処理回路、23はレンズ1からの像を複数の撮像素子3,18,19に分けるプリズム(分光手段)である。 【0035】 図7に従って動作を説明すると、被写体像(不図示)はレンズ1及びプリズム23を通り、さらに光学ローパスフィルタ2及び色フィルタ20を通って撮像素子18,3,19に投影される。ここで、撮像素子制御回路4により1回の撮影動作で、第1の撮像素子18からは適正露光量で色信号、第2の撮像素子3からは露光を多くした輝度信号(以下ブライト輝度信号と呼ぶ)、第3の撮像素子19からは露光を少なくした輝度信号(以下ダーク輝度信号と呼ぶ)を得る。その方法としては各撮像素子の前面に互いに透過率の異なるNDフィルタを設けるか各撮像素子の蓄積時間を異ならせる。こうして得られた各画像信号は、A/D変換器5でデジタル信号に変換される。 【0036】 次に、画像データ合成手段のブロックの説明に入るが、合成アルゴリズムは前述の第1の実施例と同じである。つまり、露光量の異なる複数枚の画像データの輝度レベルを適正露光量で撮った画像データの輝度レベルに合わせて合成するというものである。 【0037】 撮像素子18からの色信号は、色差信号生成回路21に入り、ここで輝度信号Yn(以下ノーマル輝度信号と呼ぶ)及び色差信号R-Yn,B-Ynが作られる。このノーマル輝度信号Ynと撮像素子3からのブライト輝度信号Ybの輝度レベルの差(図2におけるノーマル画像9の基準点13とブライト画像10の基準点13′との画素値の差)を計算機6で計算し、メモリ7に記憶する。同様に、ノーマル輝度信号Ynと撮像素子19からのダーク輝度信号Ydの輝度レベルの差も記憶する。 【0038】 上記のようにして、一旦輝度レベルの差を記憶しておくことにより、次回からブライト輝度信号からこの差を引くだけで、また、ダーク輝度信号にこの差を加えるだけで簡単にノーマル輝度信号の輝度レベルに合わせることが可能となる(図2におけるブライト画像10′及びダーク画像11′)。そして、、この輝度レベルを合わせた信号を計算機6で図2のデータ12のように合成を行い、データ処理回路8で合成画像をノーマル画像のビット幅(今回の例では8biｔ)に輝度レベルが相違しないように圧縮を行い、色差信号生成回路21からの色差信号と組み合わせれば、ダイナミックレンジの拡大された画像を合成することができる。その際、データ処理回路8は第1の実施例と同じ動作をする。 【0039】 以上のような構成で合成を行うことにより、合成によって疑似輪郭となってしまうのを防ぐことができる。また、複数の撮像素子を用いて露光量の異なる複数枚の画像データを同時に取り込み、かつ一旦各輝度信号の輝度レベルの差を記憶しておけば、次回からは簡単な演算で合成が可能となるので、動きのある被写体やムービーにも適用できる。 【0040】 なお、上述の各実施例ではいずれも撮像ブロックと画像データ合成ブロックとが合体化された画像データ処理装置として説明したが、両ブロックが分離されていても本発明の主旨に沿うものであることは明白である。 【0041】 【発明の効果】 以上述べたように、本発明によれば、ダイナミックレンジが拡大された画像データのダイナミックレンジを出力装置の特性に応じて圧縮する操作を使用者がその操作を要求したときに行うことができるので、出力装置の特性に適したダイナミックレンジを有する画像を出力するか否かを使用者の意思によって決定することができる。 【0042】 【図面の簡単な説明】 【図1】 本発明の第1の実施例の構成を示すブロック図 【図2】 合成アルゴリズムの概念図 【図3】 合成アルゴリズムの計算法を示す説明図 【図4】 画像データの圧縮例を示す説明図 【図5】 ダイナミックレンジ拡大データの圧縮例を示す図 【図6】 画像フォーマットを示す図 【図7】 本発明の第2の実施例の構成を示すブロック図 【符号の説明】 3 撮像素子 4 撮像素子制御回路(露光制御手段) 6 計算機(ダイナミックレンジ拡大手段) 8 データ処理回路(制御手段) 18 撮像素子 19 撮像素子 23 プリズム(分光手段) a 撮像手段 c 出力装置 d 操作手段 |
| 訂正の要旨 |
審決(決定)の【理由】欄参照。 |
| 異議決定日 | 2004-11-25 |
| 出願番号 | 特願平5-271940 |
| 審決分類 |
P
1
651・
121-
ZA
(H04N)
|
| 最終処分 | 取消 |
| 前審関与審査官 | 関谷 隆一 |
| 特許庁審判長 |
杉山 務 |
| 特許庁審判官 |
原 光明 橋本恵一 |
| 登録日 | 2002-11-08 |
| 登録番号 | 特許第3368012号(P3368012) |
| 権利者 | キヤノン株式会社 |
| 発明の名称 | 画像データ処理装置 |
| 代理人 | 野口 忠夫 |
| 代理人 | 丹羽 宏之 |
| 代理人 | 丹羽 宏之 |
| 代理人 | 野口 忠夫 |