• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  H04N
管理番号 1121096
異議申立番号 異議2003-73445  
総通号数 69 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 2002-10-11 
種別 異議の決定 
異議申立日 2003-12-25 
確定日 2005-05-11 
異議申立件数
訂正明細書 有 
事件の表示 特許第3428589号「画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置」の請求項1ないし9に係る特許に対する特許異議の申立てについて、次のとおり決定する。 
結論 訂正を認める。 特許第3428589号の請求項1ないし9に係る特許を取り消す。 
理由 1.手続の経緯
特許第3428589号の請求項1ないし9に係る発明は、平成13年3月30日に特許出願され、平成15年5月16日に特許権の設定登録がなされたものであり、その後特許異議申立人より全請求項の特許に対して特許異議の申立がなされ、当審より全請求項に対して取消理由が通知され、その指定期間内である平成16年5月31日に特許権者より意見書とともに訂正請求書が提出されたものである。

2.訂正の許否についての判断
(1)特許権者が、平成16年5月31日付訂正請求書において求めている訂正の内容は、次のとおりである。

(a)特許請求の範囲の請求項1を、
「【請求項1】 画像処理を行うプログラムが記録され、ソフトウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、
b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラムが記録された記録媒体。」
と訂正する。

(b)特許請求の範囲の請求項3を、
「【請求項3】 請求項1または請求項2に記載の記録媒体であって、
前記工程c)は、
c-1)複数の線形画像データ間のマッチング処理を行う工程と、
c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。」
と訂正する。

(c)特許請求の範囲の請求項5 を、
「【請求項5】 請求項1ないし請求項4のいずれかに記載の記録媒体であって、
前記プログラムは前記データ処理装置に、さらに、
e)オぺレータによる操作に基づいて補間倍率を設定する工程と、
f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。」
と訂正する。

(d)特許請求の範囲の請求項8を、
「【請求項8】 ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、
b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラム。」
と訂正する。

(e)特許請求の範囲の請求項9を、
「【請求項9】 γ補正が施された状態で元画像データのすべてが保存された所定のフォルダを格納する記憶手段と、
前記記憶手段から前記複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む画像指定手段と、
前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段と、
を備え、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理装置。」
と訂正する。

(f)発明の詳細な説明における段落【0014】 の「上記課題を解決するため、請求項1の発明は、画像処理を行うプログラムが記録され、ソフ卜ウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、前記プログラムは前記データ処理装置に、a)γ補正が施された複数の元画像データを指定して読み込む工程と、b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、c)前記工程b対において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程とを実行させることを特徴とする。」を、「上記課題を解決するため、請求項1の発明は、画像処理を行うプログラムが記録され、ソフトウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、前記プログラムは前記データ処理装置に、a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、c)前記工程b)において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程とを実行させ、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする。」と訂正する。

(g)発明の詳細な説明における段落【0016】の「請求項3の発明は、請求項1または請求項2に記載の記録媒体であって、前記工程c)は、c-1)複数の線形画像データ間のマッチング処理を行う工程を含むことを特徴とする。」を、「請求項3の発明は、請求項1または請求項2に記載の記録媒体であって、前記工程c)は、c-1)複数の線形画像データ間のマッチング処理を行う工程と、c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程とを含むことを特徴とする。」と訂正する。

(h)発明の詳細な説明における段落【0018】の「請求項5の発明は、請求項1ないし請求項4のいずれかに記載の記録媒体であって、前記ブログラムは前記データ処理装置に、さらに、e)前記工程b)で出力された各線形画像データに対して画素の補問処理を行う工程を含むことを特徴とする。」 を、「請求項5の発明は、請求項1ないし請求項4のいずれかに記載の記録媒体であって、前記プログラムは前記データ処理装置に、さらに、e)オペレータによる操作に基づいて補問倍率を設定する工程と、f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程とを含むことを特徴とする。」と訂正する。

(i)発明の詳細な説明における段落【0021】の「請求項8の発明は、ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、前記プログラムは前記データ処理装置に、a)γ補正が施された複数の元画像データを読み込む工程と、b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程とを実行」させることを特徴とする。」を、「請求項8の発明は、ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、前記プログラムは前記データ処理装置に、a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程とを実行させ、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フオルダに格納されたものであることを特徴とする。」と訂正する。

(j)発明の詳細な説明における段落【0022】の「請求項9の発明は、画像処理装置であって、γ補正が施された元画像データを蓄積するする記憶手段と、前記記憶手段から複数の元画像データを指定して読み込む画像指定手段と、前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段とを備えることを特徴とする。」を、「請求項9の発明は、画像処理装置であって、γ補正が施された状態で元画像データのすべてが保存された所定のフォルダを格納する記憶手段と、前記記憶手段から前記複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む画像指定手段と、前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する合成データ生成手段と、前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段とを備え、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードににおいて得られて前記フォルダに格納されたものであることを特徴とする。」と訂正する。

(2)訂正の許否についての判断
そこで、これらの訂正内容が、すべて許されるべきものであるかどうかについて検討する。
(a)については、 請求項1のa)において「γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、」と訂正する点は、下線部の限定を付加するものであるが、訂正後のものは、本件明細書の【0095】から【0114】までの記載から読み取ることができる。
また、最後の段落で「前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものである」との限定を付加する点は、本件明細書の【0027】から【0039】まで、【0053】、【0054】、【0097】、【0098】及び図面の図3の記載から読み取ることができる。
(b)については、請求項3の工程c)にc-2)の「前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程」を追加するものであるが、この工程は、本件明細書の【0085】及び図面の図18に記載されているということができる。
(c)については、請求項5に追加する、オペレータによる操作に基づいて補間倍率を設定する工程e)と前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補問処理を行う工程f)は、本件明細書の【0073】から【0075】までに記載されているということができる。
(d)については、請求項8に係るものであるが、訂正内容としては(a)と同様であるから、判断も(a)についてと同様である。
(e)については、請求項9に係るものであるが、訂正内容としては(a)と同様の内容であるから、判断も(a)についてと同様である。
そして、(a)〜(e)の訂正内容は、いずれも特許請求の範囲の減縮を目的としているということができる。
(f)〜(j)については、(a)〜(e)の特許請求の範囲の訂正に伴って、発明の詳細な説明の記載をこれと整合させるものであるから、明りょうでない記載の釈明を目的としているということができる。
そして、(a)〜(j)のいずれも、本件明細書及び図面に記載した事項の範囲内のものであって、実質上特許請求の範囲を拡張するものとも変更するものとも認められない。

(3)むすび
以上のとおり、本件訂正は、平成15年法律第47号による改正前の特許法(以下「旧特許法」という。)第120条の4第2項及び同条第3項で準用する同法第126条第2項及び第3項の規定に適合するので、本件訂正を認める。

3.特許異議の申立について
(1)本件発明
特許第3428589号の請求項1ないし9に係る発明は、訂正後の特許請求の範囲の各請求項に記載された次のとおりのものと認められる。(以下、請求項1に係る発明、請求項2に係る発明・・・をそれぞれ「本件発明1」、「本件発明2」・・・という。)
「 【請求項1】 画像処理を行うプログラムが記録され、ソフトウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて指定して読み込む工程と、
b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラムが記録された記録媒体。
【請求項2】 請求項1に記載の記録媒体であって、
前記プログラムは前記データ処理装置に、さらに、
d)前記工程c)において出力された合成画像データに対してγ補正を行い、モニタ表示特性にあわせた画像データを出力する工程、
を実行させることを特徴とする画像処理プログラムが記録された記録媒体。
【請求項3】 請求項1または請求項2に記載の記録媒体であって、
前記工程c)は、
c-1)複数の線形画像データ間のマッチング処理を行う工程と、
c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項4】 請求項1ないし請求項3のいずれかに記載の記録媒体であって、
前記逆γ補正処理は、
出力する前記線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項5】 請求項1ないし請求項4のいずれかに記載の記録媒体であって、
前記プログラムは前記データ処理装置に、さらに、
e)オペレータによる操作に基づいて補間倍率を設定する工程と、
f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項6】 請求項1ないし請求項5のいずれかに記載の記録媒体であって、
前記工程b)は、
b-1)前記元画像データのタグ情報から前記元画像データのγ補正設定情報を読み込む工程と、
b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補正の設定値を算出する工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項7】 請求項6に記載の記録媒体であって、
前記工程b)は、
b-3)前記工程b-1)において、前記タグ情報から前記γ補正設定情報を読み込むことができない場合、当該元画像データのγ補正設定情報としてデフォルト設定情報を割り当てる工程、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項8】 ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、
b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラム。
【請求項9】 γ補正が施された状態で元画像データのすべてが保存された所定のフォルダを格納する記憶手段と、
前記記憶手段から前記複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む画像指定手段と、
前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段と、
を備え、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理装置。 」

(2)本件出願前に頒布された刊行物に記載の事項
特許異議申立人らが提示し当審の取消理由に引用した各刊行物には次のような記載がある。

刊行物1:特開平11-284837号公報(異議申立人提示の甲第1号証)
【発明の詳細な説明】欄の以下の段落番号の箇所には、それぞれ次のような記載がある。
【0006】
【発明が解決しようとする課題】
ところで、あるシーンを光学的に撮影する際に、そのシーンが高コントラストシーンである場合には、撮影媒体の有するダイナミックレンジの関係で、そのシーンの持つ情報(画像)をすべて記録することができず、プリントとして再生するために十分な画像データが得られない場合がある。
特に、デジタルカメラは、撮影ラチチュード(露光寛容度)が狭いので、高度な技術を持たない一般アマチュアでは、最適な条件で撮影を行うのが困難であり、高コントラストシーンでは、画像のハイライト(最低濃度)の白とびやシャドー(最高濃度)黒のつぶれが発生して、著しく画質の低い画像となってしまうことが多々ある。
【0007】
このような問題点を解決するために、デジタルカメラによって、同じシーンを異なる露光条件、例えば、CCDセンサの蓄積時間を変えて低露光量と高露光量の2条件で撮影して、画像シーンのハイライトからシャドーまでの画像データを白とびや黒つぶれなく得、得られた2つの画像(画像データ)を合成する方法や装置が提案されており、例えば、特開平6-141229号、同7-131704号、同7-131718号の各公報に開示されている。
これらによれば、撮影ラチチュードの狭いデジタルカメラでも、十分な画像データのダイナミックレンジを確保して、高コントラストシーンでも白とびや黒つぶれのない好適な画像データを得ることができる。
【0015】
図1に、本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図1に示されるデジタルフォトプリンタ(以下、フォトプリンタ10とする)は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、読み取られた画像データ(画像情報)の画像処理やフォトプリンタ10全体の操作および制御等を行う、本発明にかかる画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上り)プリントとして出力するプリンタ16と、画像処理装置14から出力された画像データを画像ファイルとしてフロッピーディスク等の記録媒体に記録し、あるいは記録媒体に記録された画像データを読み取って画像処理装置14等に供給する記録手段26とを有して構成される。
また、画像処理装置14には、様々な条件の入力(設定)、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、条件の設定/登録画面等を表示するディスプレイ20が接続される。
【0020】
なお、本発明を利用するフォトプリンタ10において、スキャナは、このようなスリット走査によるものに限定はされず、1コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
また、本発明を利用するフォトプリンタ10においては、スキャナ12によって読み取ったフィルムFの画像以外にも、反射原稿の画像を読み取るスキャナ、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、インターネット等のコンピュータ通信、フロッピーディスクやMOディスク(光磁気記録媒体)等の画像データ供給源Rから画像データを受け取って、これを再生したプリントを作成してもよい。
【0021】
前述のように、スキャナ12やデジタルカメラ等から出力されたデジタル信号
は、画像処理装置14(以下、処理装置14とする)に出力される。
処理装置14は、データ処理部40、画像合成部42、および画像処理部44を有して構成される。
なお、処理装置14には、これ以外にも、処理装置14を含むフォトプリンタ10全体の制御や管理を行うCPU、フォトプリンタ10の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系18やディスプレイ20は、このCPU等(CPUバス)を介して各部位に接続される。
【0023】
データ処理部40で処理された画像データは、次いで、画像合成部42に送られる。
画像合成部42は、合成すべき画像データ、すなわち同シーンを異なる露光条件で撮影した複数の画像の画像データが処理装置14に供給された際に、データ処理部40で処理された画像データから、合成する画像データを選択して合成する部位である。従って、露光条件の異なる同シーンが他にない画像データは、画像合成部42で何の処理もされずに、画像処理部44に送られる。
なお、本発明において、データ処理部40で処理された画像データは、必ずしも画像合成部42に供給されるのに限定はされず、例えば、画像合成を行う際には、オペレータが指示を出して、対応する画像データのみを画像合成部42に送るようにし、それ以外の画像データは、画像合成部42を通らずに画像処理部44に送るようにしてもよい。
【0024】
本発明において、同シーンを異なる露光条件で撮影した複数の画像とは、異なる露光量で撮影した同じシーンの画像であり、例えば、フィルムFの画像であれば、カメラの絞りやシャッタースピードを変えて撮影した同シーンの画像であり、デジタルカメラの画像であれば、CCDセンサの蓄積時間(電子シャッタスピード)や絞りを変えて撮影した同シーンの画像である。
特に、スキャナ12での光電的な読み取りが不要であり、画像合成の際の位置合わせが容易である等の点で、露光条件の異なる同一シーンの画像は、デジタルカメラで撮影された画像、中でもAEブラケティング機能を用いて撮影された画像が好適である。また、高速連写が可能なデジタルカメラであれば、動被写体にも対応可能である点でも好ましい。
【0030】
このような撮影情報の取得方法には特に限定はなく、例えば、新写真システムのフィルムであれば、フィルムの磁気記録媒体に記録された撮影時間の情報を用いればよく、デジタルカメラで撮影された画像データや各種の記録媒体から供給しておき、これを読み取ればよい。さらに、オペレータがキーボード18a等を用いて撮影情報を入力してもよい。
また、同シーンの情報としては、新写真システムで磁気記録されるシーン情報も利用可能であり、デジタルカメラ等の撮像デバイスに、同シーンであることを示す情報を画像ファイル(記録媒体)に記録する機能を付けてもよい。
【0033】
合成される画像データは2つに限定されず、3以上の画像データを合成するようにしてもよい。
また、同シーンの画像データのうち、合成に使用されない画像データは不要であるので、合成するデータを選択した時点で、破棄してもよい。
なお、初めから合成すべき画像データが選択されて供給された場合には、合成画像選択部46での処理は不要であり、また、常に合成すべき画像データが選択されて供給される処理装置であれば、合成画像選択部46は不要である。
【0035】
Dメモリ48およびLメモリ50に記憶された画像データfd 1 およびfl 1 は、共に、合成部52に読み出され、合成されて、1つ(1画像)の画像データfとされる。
合成部52は、D-ルックアップテーブル(LUT)54と、L-LUT56と、乗算器58および60と、加算器62および64とを有して構成される。
【0038】
図示例では、画像データを被写体輝度に変換した後に合成を行っているが、2つの画像を滑らかにつなぐという目的に対しては、被写体輝度に変換するLUTを省略してもよい。
また、このような露光条件の違いの補正方法として、高濃度あるいは低濃度の画像データの一方を基準として、他方の画像データを合わせ込む方法も利用できる。この場合には、D-LUT54およびL-LUT56のうち、基準となる画像データに対応するLUTによる露光条件補正は不要にできる。
通常、デジタルカメラ等で撮影され、記録媒体に記録された画像信号はCRTモニタ等に表示した際に画像が好ましく見えるように、γ(階調)変換されているものが多い。そこで、カメラのγ変換特性を知見して、被写体輝度への変換LUTで、その逆変換を行うのが好ましい。例えば、カメラの機種ごとのγ特性をあらかじめ記憶しておき、カメラの機種を前述の撮影情報と同様に取得して、それに応じたγ特性を読み出し、その逆特性をLUTにセットすればよい。
また、例示では、ΔLogEのシフトは加算器64を用いているが、画像データfd 1 等を被写体輝度へ変換するLUTと統合することにより、加算器64を省略することができる。
【0039】
加算器64で処理された被写体輝度データfd 3 は乗算器58で、L-LUT56で処理された画像データfl 2 は乗算器60で、それぞれ処理され、加算器62で加算されて、1つの画像データfとされる。
乗算器58および60は、両データfd 3 およびfl 2 に、重み付け係数WdおよびWlを乗算することにより、両画像データのつなぎ目における偽輪郭の発-生等を防止するものである。
この重み付け係数は、一例として、図4に示されるようなテーブルを用い、式『Wd+Wl=0』を用いて算出される。この例では、高濃度領域はシャドーのつぶれのない画像データfd 3 を用い、定濃度領域ではハイライトの飛びのない画像データfl 2 を用い、両者のつなぎ目では、画像データに応じた重み付けを行って、画像データの合成を行っている。
【0040】
画像合成部42から出力された画像データは、画像処理部44に送られる。
画像処理部44は、データ処理部40で処理されたデジタルの画像データに所定の画像処理を施し、さらに、画像処理済の画像データを3D(三次元)-LUT等を用いて変換して、プリンタ16による画像記録やディスプレイ22への表示に対応する画像データとする部位である。
画像処理部44で施される画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、LUTを用いたグレイバランス調整、階調補正、および濃度調整、マトリクス(MTX)演算による撮影光源種補正や画像の彩度調整、その他、ローパスフィルタ(LPF)、加算器、LUT、MTX等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理、シャープネス(鮮鋭化)処理等が例示される。
なお、画像処理部44での各種の処理条件は、例えば、出力用の画像データを得るための本読み(本スキャン)に先立って行われる、画像を粗に読み取るプレスキャンの画像データや、プリンタ16への出力用の画像データに対応する画像データを間引いた画像データを用いて設定すればよい。

図面の図1として、開示発明の画像処理装置を利用するデジタルフォトプリンタのブロック図が記載されている。

そこでこれらの記載から把握できる発明について検討する。
【0038】にば、デジタルカメラ等で撮影された画像信号はγ(諧調)変換されて記録媒体に記録されることが普通であること、及び、画像を合成するする場合に、γ(諧調)変換がされている画像データについてはその逆変換を行って被写体輝度に変換した後に合成することが好ましいことが説明されている。そして、【0015】には、記録手段は記録媒体に記録された画像データを読み取って画像処理装置14に供給することもできる旨説明されており、この画像処理装置14は複数画像の画像データを合成して1つの画像とするためのものであることが説明されている。また、【0024】には、合成する複数の画像は、デジタルカメラのAEブラケティング機能を用いて撮影した画像が好適である旨、【0033】には、初めから合成すべき画像データが選択されて供給された場合には、合成画像選択部46での処理は不要であり、常に合成すべき画像データが選択されて供給される処理装置であれば、合成画像選択部46は不要であることが説明されている。さらに【0039】には、合成のための画像処理手段として加算器62等を用いることが説明されている。
そうすると、AEブラケティング機能は1度のシャッターレリーズで露光条件を変えた同一シーンの複数の画像を得るようにする機能を意味することを勘案すると、刊行物1には、γ変換が施された複数の画像データを記録する記録媒体と、記録媒体から該複数の画像データを読み込む画像処理装置(手段)と、この読み込んだ画像データに逆変換を行って被写体輝度に変換する手段と、変換後の複数の画像データを加算して合成した画像を得る手段と、を備え、γ変換する前の画像データはAEブラケティング機能で撮影して得られたものである画像処理装置の発明(以下「刊行物1発明」という。)も記載されているということができる。

刊行物2:特開2000-217032号公報(異議申立人提示の甲第2号証)
【発明の詳細な説明】欄の以下の段落番号の箇所には、それぞれ次のような記載がある。
【0001】
【発明の属する技術分野】
この発明は、複数の画像信号から1枚の静止画を生成することができる画像信号処理装置および方法に関する。
【0009】
撮影された画像信号P1と、その次のフレームで撮影された画像信号P2とを1/m画素の精度で位置合わせするために、m倍に拡大し、位置検出回路によって、画像信号P1に対して画像信号P2の位置が検出される。その検出結果から画素ずらし補間、画像変形、さらにn枚の画像信号の画素単位の位置合わせが行われる。n枚の画像信号が合成された後、平均化のためnで割られた後、さらに高域強調フィルタが施される。これらの画像処理がリアルタイムで施される。
【0018】
位置検出回路14では、1フレーム前の画像信号に対して現画像信号はどのような位置にあるか、さらにどのような幾何学的な変形を受けているかが調べられる。この位置検出回路14は、拡大補間回路15、17、ブロック毎の位置検出回路16および処理演算回路18から構成される。現画像信号は、拡大補間回路15へ供給され、2倍〜8倍に拡大される。1フレーム前の画像信号は、拡大補間回路17へ供給され、2倍〜8倍に拡大される。拡大された現画像信号および1フレーム前の画像信号は、ブロック毎の位置検出回路16へ供給される。このとき、小さいブロック毎に処理を行うので、拡大補間回路17は、ブロックサイズだけあれば良く、拡大補間回路15は、サーチ範囲を必要とするため拡大補間回路17より広いサイズが必要である。
【0025】
出力画像メモリ23では、位置検出回路14から供給される整数成分のずれを補正するように、画像信号が書き込まれる。例えば、位置検出回路14で3.7画素分水平方向にずれていると判断された場合、この出力画像メモリ23には、位置検出回路14から整数成分の3が供給される。その整数成分の3のずれを補正するように、出力画像メモリ23では、画素Aから画素Bの方向へ3画素ずれた位置となるように、画像信号が書き込まれる。すなわち、画素ずらし補間回路20で0.7画素ずらされ、この出力画像メモリ23で3画素ずらされる。これによって、水平方向に3.7画素ずれている次のフレームの画像信号と、記憶している画像信号との位置合わせが行われる。位置合わせが行われた記憶している画像信号と、次のフレームの画像信号とは、上述したように加算回路22で加算される。
また、【要約】の【解決手段】欄には、「画像処理回路3では、取り込まれたn枚の画像信号がリアルタイムで位置合わせ、画像変形、加算される。」という記載もある。

刊行物3:特開2000-196889号公報(異議申立人提示の甲第3号証)
【要約】には次のような記載がある。
【課題】 ディザマトリックス変換のためのγ変換の際のビット落ちを防止し、高品質な中間調画像を得ることができる画像形成装置を提供する。
【解決手段】 8ビット入力-12ビット出力のγ変換テーブル1と、16ビット入力-8ビット出力のディザ変換テーブル2を有する。そして、γ変換テーブル1で、画像データのビット幅8ビットを、画像データ(8ビット)+マトリックスサイズ(4ビット)の12ビットに拡張する。そして、このγ変換テーブル1の出力と、副走査カウンタ205、主走査カウンタ205の出力をディザ変換テーブル2に入力し、ディザ変換処理を行って8ビットの補正画像データを出力する。したがって、ディザマトリックスで表現しうる理想的な濃度数を全て用いたデータ変換を行なうγ補正を行なうことで、高品質な中間調画像を得ることが可能となる。

【発明の詳細な説明】欄の以下の段落番号の箇所には、それぞれ次のような記載がある。
【0011】
このように複数画素をまとめて濃度を表現したとしても、画像データと実際の印字濃度との関係は、図12(a)に示すように、やはり非線型な関係になっているので、図12(b)に示すように、中間調補正曲線を演算により導き出して特性曲線をリニアに補正する処理を行う。これが、γ変換テーブル201におけるγ変換であり、例えば図13に示すようにデータ変換を行うよう、γ変換テーブル201を設定する。このようなデータ変換により、画像の階調のリニアリティを向上させている。
【0017】
本実施例において、γ変換テーブル1は、8ビット入力-12ビット出力となっており、ディザ変換テーブル2は、16ビット入力-8ビット出力となっている。

刊行物4:特開2000-137805号公報(異議申立人提示の甲第4号証)
【発明の詳細な説明】欄の以下の段落番号の箇所には、それぞれ次のような記載がある。
【0001】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に、画像データに高速に補正を施す画像処理装置及びその方法に関する。
【0047】
図9の(a)において、プリンタにおけるカラー調整画面の例を操作窓W11に示す。操作窓W11においては、通常の利用の際には「自動設定」を選択しておくことにより、印刷時の画像データに応じて適切な補正処理が実行される。例えば、処理対象となる画像データにおいてガンマ補正タグが利用可能であればガンマ補正タグを利用した補正が自動的に行われる。一方、ガンマ補正タグが利用不可能であれば、該画像ファイルのプレビュー画像を検索し、プレビュー画像が存在すればそれを解析してガンマ補正値を決定する。また、画像ファイルのプレビュー画像が存在しなければ、印刷時に画像全体を解析してガンマ補正値を決定する。このように、適宜処理を自動的に切り替えて、印刷を実行する。
【0056】
例えば、「ファイルのプレビュー画像を解析」の項目が設定された際には、印刷対象ファイルに対応するプレビュー画像が存在すれば、これを解析してガンマ補正値を決定する。この時、画像ファイルに画像補正タグが存在していても、これは無視される。また、ファイルのプレビュー画像が存在しなければ、「印刷時に解析」が強制的に実行される。同様に、「ガンマ補正タグ使用」の項目が設定された際においても、画像ファイルがガンマ補正タグを有していない場合は、強制的に「印刷時に解析」が実行される。いずれの場合においても、印刷時の解析が実行される際には、その解析における種々の設定値として現在の設定値が用いられる。尚、解析に関する設定が一度もなされていない場合には、デフォルト値が用いられる。

(3)本件各発明と各刊行物に開示の発明との対比・判断
先に、本件発明9について判断する。
本件発明9と刊行物1発明を対比する。
刊行物1発明における「γ変換」が本件発明9の「γ補正」と同じことを意味していることは明らかであり、また、刊行物1発明における「逆変換を行って被写体輝度に変換する」は、逆γ補正を行うことによりγ補正を行う前の被写体の輝度に比例した画像データとすることを意味しており、被写体の輝度に比例した画像データは線形画像データといえるから、本件発明9の「各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する」と同様のことを表現していることは明らかである。さらに、刊行物1発明における画像処理装置部は記録手段に記録された画像データを読み取って合成処理なども行うものであるから、AEブラケティング機能で撮影しγ変換が施されて記録手段に記録された画像を画像合成に利用すべく画像処理装置に取り入れる手段は、本件発明9の記憶手段から複数の元画像データを読み込む画像指定手段に相当することが明らかである。また、刊行物1発明における「AEブラケティング機能」は、本件発明9でいうところの「デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモード」において実行される機能といえることも明らかである。
そうすると、本件発明9と刊行物1発明は、表現は異なっていても意味するところが同じものは本件発明9の表現に倣って整理すると、次の一致点及び相違点がある。
[一致点]
「γ補正が施された状態で元画像データのすべてが記憶される記憶手段と、
前記記憶手段から複数の元画像データを読み込む画像指定手段と、
前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段と、
を備え、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて記憶されたものであることを特徴とする画像処理装置。」
[相違点]
本件発明9では、記憶手段に格納記憶される形式が1つの画像に合成処理する元画像データのすべてを保存するフォルダ形式であって、オペレータの操作による前記フォルダの指定に基づいて元画像データのすべてを画像指定手段に読み込むようにしているのに対して、刊行物1にはこの点に関する言及は見当たらず、刊行物1発明では、そのようにしていない点。

そこで、この相違点について検討する。
まず、本件発明9における「フォルダ」について意味するところを検討するに、本件明細書の発明の詳細な説明の【0095】以下の説明によると、合成する前の画像データ個々がそれぞれ元画像ファイルとして構成され、1つの画像として合成することとなる元画像ファイルのすべてをもって1つのフォルダを構成するものと解されから、本件発明9における「フォルダ」は、1つの画像に合成する複数のすべての画像データを一括して記憶保存して、これから適宜一括して読み出すことができる複数画像情報の記憶単位のことを意味していると解される。
そして、本願発明9が、フォルダに1つの画像に合成処理する元画像データのすべてを保存するようにしている点は、1つの画像に合成処理する際に、それに利用する元画像データを一々選択指定しなくてすむようにするためであるが、このようなことは刊行物1の記載から当業者であれば適宜推考しうるものと認められる。すなわち、刊行物1には、合成する複数の画像は、デジタルカメラのAEブラケティング機能を用いて撮影した画像が好適である旨、及び、初めから合成すべき画像データが選択されて供給された場合には、合成画像選択部46での処理は不要であることが説明されており、AEブラケティング機能を用いて撮影した画像のすべてを画像合成に利用するようにした場合においては、初めから合成すべき画像データが選択されて供給された場合に該当することとなって、利用する元画像データを一々選択指定しなくてすむようになり、合成画像選択部46での処理(選択指定)は不要となるが、AEブラケティング機能で撮影する画像は2ないし数画像が普通であってそのように少ない画像数の場合はその画像全部を画像合成に利用するようにすることは当業者ならばまず最初に考える事項程度のものと認められるから、1つの画像に合成処理する元画像データのすべてを単位として保存するようにする点は、当業者が適宜推考し得る程度のものと認められる。
そして、1つの画像に合成処理する複数の元画像のデータでフォルダという階層が1段階上の蓄積(格納)単位を作り、画像合成するときはこのフォルダを指定することにより蓄積(格納)したものから画像合成すべき全画像データが読み込まれるようにしたことについて検討すると、データベースなどの検索装置において、データを共通事項に応じて階層構造として分類しておき、適宜の階層を指定してその階層以下に含まれるすべてのデータを取り出すことができるようにすることはきわめて普通にみられる常識的技術であって、このような技術を画像合成に適用することに特段の困難性があるとは認められないから、本件発明9のように、1つの画像に合成処理する複数の画像単位でフォルダという階層が1段階上の蓄積(格納)単位を作り、画像合成するときはこのフォルダを指定することにより画像合成すべき全画像が読み込まれるようにすることは、当業者ならば容易に推考できる程度のものと認められる。
そうすると、本件発明9は、刊行物1発明に本件出願時点における上記常識的技術を適用することにより当業者が容易になしえたものと認められる。

次に、本件発明8について検討する。
本件発明8は、いわゆるコンピュータプログラムに係る発明であるが、その特徴とする点は、本件発明9の記憶手段に格納されているフォルダに保存された複数の元画像データを読み込む作業以降の各手段が行う作業を工程として時系列的に特定しただけのものであるから、本件発明8も、本件発明9についての判断と同様に、刊行物1発明に本件出願時点における上記常識的技術を適用することにより当業者が容易になしえたものと認められる。

次に、本件発明1について検討する。
本件発明1は、いわゆるコンピュータプログラムが記録された記録媒体に係る発明であるが、その特徴とするプログラムに関する点は、本件発明8のプログラムにおけるc)工程において「加算を含む画像処理を行い」と特定されている点を「演算処理を行い」と上位概念で特定した点を除いて異ならないが、下位概念で特定されている点を上位概念で特定してもその下位概念部分を特に排除するような限定がなされない限りその上位概念は下位概念を含んでいる点で発明の新規性進歩性の有無の判断に影響は及ぼさないないから、本件発明1も、本件発明8についての判断と同様に、刊行物1発明に本件出願時点における上記常識的技術を適用することにより当業者が容易になしえたものと認められる。

本件発明2について検討する。
本件発明2は、本件発明1において実行されるプログラムに、データ処理装置にさらに、d)前記工程c)において出力された合成画像データに対してγ補正を行い、モニタ表示特性にあわせた画像データを出力する工程、を実行させるようにしたものであるが、刊行物1の【0038】には「通常、デジタルカメラ等で撮影され、記録媒体に記録された画像信号はCRTモニタ等に表示した際に画像が好ましく見えるように、γ(階調)変換されているものが多い。」と記載されているように、記録された画像信号をそのままCRT等に表示した際に画像が好ましく見えるようにするために、あらかじめγ(階調)変換しておくことは慣用技術といえるから、合成画像データに対してγ補正を行い、モニタ表示特性にあわせた画像データを出力する工程をさらに付加するようにすることは当業者が適宜なし得る事項にすぎないものと認められる。
そうすると、本件発明2も、刊行物1に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

本件発明3について検討する。
本件発明3は、本件発明1または2において実行されるプログラムに、データ処理装置に行わせるc)工程がc-1)複数の線形画像データ間のマッチング処理を行う工程と、c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程と、を含むようにしたものである。
ところが、刊行物2に、複数の画像信号から1枚の静止画を生成する過程で、n枚の画像信号の画素単位の位置合わせを行うことが記載されており、このn枚の画像信号の画素単位の位置合わせを行うのは、本件発明3のc-1)工程の複数の線形画像データ間のマッチング処理を行うことに相当するということができる。 また、本件発明3のc-2)工程についてみると、複数の線形画像データが相互に重ならない部分の画素データは、そもそも加算などの演算対象にすること自体意味のないことであるから、そのようなデータをあらかじめ削除するようにしておくことは、当業者が適宜なしうる設計事項程度のことと認められる。
そうすると、本件発明3も、刊行物1及び2に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

本件発明4について検討する。
本件発明4は、本件発明1ないし3のいずれかにおいて実行されるプログラムに、逆γ補正処理が、出力する線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理を含むようにしたものである。
逆γ補正処理において、出力する線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させることについては、明細書の発明の詳細な説明の【0065】から【0068】に説明されている。
そこでその説明内容についてみると、【0067】の記載における「横軸をγ補正後の出力データ」は「横軸を逆γ補正後の出力データ」の誤記としても(γ補正後のデータは逆γ補正前のデータであるから、横軸をγ補正後のデータとすると、縦軸と横軸は同じものとなる。)、【0068】の「8bitの画像データを10bitの画像データに変換することにより、変換直後には、使用されない階調領域が存在することになる。しかし、後の合成処理によって、これら10bitの複数の画像データ間で画素値の平均処理等がおこなわれた場合には、これら未使用の階調領域が使用される場合が生じる。」という説明は、図17を参酌しても何故「変換直後には、使用されない階調領域が存在することにな」るのか理解しがたい。すなわち、図17においては、8bitの00000000が10bitの0000000000に対応し、8bitの11111111(10進法で表して255)が10bitの1111111111(10進法で表して1023)に対応し、これらの間の数値も(ある8bitの数値は2つの10bitの数値に対応することはあるが)8bitの数値と10bitの数値とは図17のような関係となっているものであるから、8bitの数値も10bitの数値もその中間の値(最大値の2分の1の値)を超える数値は最上位のbitが1となり、従って、最大値と最小値の間のすべての数値において常に0となるようなbitはあり得ないから、10bitのうちに常に0となるようなビットがあることを意味すると解される「使用されない階調領域」が、何故変換直後に存在するのか明らかでなく、そのような諧調領域は存在しないものと考えられる。
一方、【0066】には、デジタルカメラで撮影されたγ補正する前の画像データは10bitでこれをγ補正して8bitにすることが普通である旨説明されている。
そうすると、画像を合成するために加算などを行うときに、(その画像データがγ補正されたものでは非線形性となっていて利用しがたいので、)線形性を得るために逆γ補正するときは、γ補正する前のものと同じ画像データ形式、すなわち10bitの画像データとするようにすることは、当業者ならばまず最初に考える程度のことと考えられ、そのようにすることは、逆γ補正処理は、出力する線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理を含んでいることとなるから、結局、逆γ補正処理が、出力する線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理を含むようにした点は当業者ならば適宜推考し得る程度のものと認められ、本件発明4も、刊行物1及び2に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

本件発明5について検討する。
本件発明5は、本件発明1ないし4のいずれかにおいて実行されるプログラムに、前記プログラムは前記データ処理装置に、さらに、e)オペレータによる操作に基づいて補間倍率を設定する工程と、f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程、を含むようにしたものである。
ところが、刊行物2に、画像信号をm倍に拡大補間してそれらを加算することにより合成することが記載されており、mの数値例として2〜8が示されている。 刊行物2には、この数値範囲の数値がどのようにして決められるのか説明されていないが、1つの数値でなく数値範囲として示されているから、この範囲の中の数値、例えば2,4または8等をその装置の利用者が選択指定できるようにすることは、当業者ならば容易に推考できるものと認められる。そして、そのように選択指定できるようにしたものは、e)オペレータによる操作に基づいて補間倍率を設定する工程と、f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程、を経るようになることは明らかであるから、結局、本件発明5も、刊行物1及び2に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

本件発明6について検討する。
本件発明6は、本件発明1ないし5のいずれかにおいて実行されるプログラムのb)工程に、b-1)前記元画像データのタグ情報から前記元画像データのγ補正設定情報を読み込む工程と、b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補正の設定値を算出する工程と、を含むことを特徴とするものである。
他方、刊行物4には、画像データのガンマ補正タグをみて、印刷出力の際の補正を自動的に行われるようにすることが記載されており、この記載からは、出力情報を得る際にガンマ補正タグの情報を利用して出力情報がより適切なものとなるように補正を施す、ということが把握できる。そうすると、画像合成する際にγ補正されている画像に逆γ補正を施して合成することは刊行物1などで公知の技術であるから、画像データに逆γ補正をするための情報を、γ補正に関する情報のタグから得て補正のための設定値を算出するようにする、すなわちb)工程に、b-1)前記元画像データのタグ情報から前記元画像データのγ補正設定情報を読み込む工程と、b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補正の設定値を算出する工程と、を含むようにすることも当業者であれば容易に推考できるものと認められる。そうすると、本件発明6も、刊行物1、2及び4に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

本件発明7について検討する。
本件発明7は、本件発明6において実行されるプログラムのb)工程に、b-3)前記工程b-1)において、前記タグ情報から前記γ補正設定情報を読み込むことができない場合、当該元画像データのγ補正設定情報としてデフォルト設定情報を割り当てる工程、を含むことを特徴とするものである。
ところが、情報処理手段を利用して制御を行う装置全般において、利用者が可変値を設定できるものにおいても、設定が省略されたり設定し忘れた場合等にも処理自体はできるように、設定される可能性の高い値等をデフォルト値として事前に準備しておき設定が省略されたり設定し忘れた場合等にこの値に設定するようにすることが慣用技術となっている。また、刊行物4には、ガンマ補正タグが利用不可能で、しかも画像の解析に関する設定が一度もなされていない場合には、デフォルト値が用いられることが説明されており、これから、処理に必要な情報がタグ等から得られない場合には、デフォルト値を用いるようにする、ということことが把握できるから、本件発明6において実行されるプログラムのb)工程に、b-3)前記工程b-1)において、前記タグ情報から前記γ補正設定情報を読み込むことができない場合、当該元画像データのγ補正設定情報としてデフォルト設定情報を割り当てる工程、を含むようにすることは、当業者が容易に推考できる程度のものと認められる。そうすると、本件発明7も、刊行物1、2及び4に記載された発明と当業者の常識的技術に基づいて容易になしえたものと認められる。

4.むすび
以上のとおり、本件請求項1ないし9に係る発明は、刊行物1、2及び4に記載された発明ならびに当業者の常識的技術に基づいて当業者が容易に発明をすることができたものであるから、これらについての特許は、特許法第29条第2項の規定に違反してされたものである。
従って、本件請求項1ないし9に係る発明についての特許は、旧特許法第113条第2号に該当し、取り消されるべきものである。
よって、結論のとおり決定する。
 
発明の名称 (54)【発明の名称】
画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置
(57)【特許請求の範囲】
【請求項1】 画像処理を行うプログラムが記録され、ソフトウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、
b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラムが記録された記録媒体。
【請求項2】 請求項1に記載の記録媒体であって、
前記プログラムは前記データ処理装置に、さらに、
d)前記工程c)において出力された合成画像データに対してγ補正を行い、モニタ表示特性にあわせた画像データを出力する工程、
を実行させることを特徴とする画像処理プログラムが記録された記録媒体。
【請求項3】 請求項1または請求項2に記載の記録媒体であって、
前記工程c)は、
c-1)複数の線形画像データ間のマッチング処理を行う工程と、
c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項4】 請求項1ないし請求項3のいずれかに記載の記録媒体であって、
前記逆γ補正処理は、
出力する前記線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項5】 請求項1ないし請求項4のいずれかに記載の記録媒体であって、
前記プログラムは前記データ処理装置に、さらに、
e)オペレータによる操作に基づいて補間倍率を設定する工程と、
f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項6】 請求項1ないし請求項5のいずれかに記載の記録媒体であって、
前記工程b)は、
b-1)前記元画像データのタグ情報から前記元画像データのγ補正設定情報を読み込む工程と、
b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補正の設定値を算出する工程と、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項7】 請求項6に記載の記録媒体であって、
前記工程b)は、
b-3)前記工程b-1)において、前記タグ情報から前記γ補正設定情報を読み込むことができない場合、当該元画像データのγ補正設定情報としてデフォルト設定情報を割り当てる工程、
を含むことを特徴とする画像処理プログラムが記録された記録媒体。
【請求項8】 ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、
前記プログラムは前記データ処理装置に、
a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、
b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、
c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程と、
を実行させ、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理プログラム。
【請求項9】 γ補正が施された状態で元画像データのすべてが保存された所定のフォルダを格納する記憶手段と、
前記記憶手段から前記複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む画像指定手段と、
前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段と、
を備え、
前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする画像処理装置。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、複数の画像を合成することにより、高解像度の画像、階調幅を広げた画像等を生成する画像処理ソフトウェアの処理技術に関する。
【0002】
【従来の技術】
デジタルカメラなどの画像撮影装置によって複数回に渡り静止画を撮影し、撮影された複数の画像データを合成することにより、高画質の画像を生成する従来技術が存在する。
【0003】
(1)特開平9-261526においては、ブレの影響が出ない程度にシャッタースピードを短く設定し、連続して撮影した複数枚の画像をブレ量に応じて加算合成することにより、ブレ補正を行う技術が開示されている。
【0004】
(2)特開平10-108057においては、合焦位置を変更した複数回の撮影によって得られた複数の画像データを合成することにより、距離の異なる被写体全てにピントの合った画像データを生成する技術が開示されている。
【0005】
(3)特公平8-17456においては、奇数フィールドと偶数フィールドとで露出時間を変えて撮影し、両者のうち、つぶれていない部分を合成することにより、実質的にダイナミックレンジを広げた画像データを生成する技術が開示されている。
【0006】
(4)特許第2635917においては、撮像素子を移動させて撮影した4ポジションの画像データから1枚の静止画像を作成することにより、画像の高解像度化を図る技術が開示されている。
【0007】
さらに、上記の例に留まらず、複数の静止画を合成することにより様々な映像効果を引き出す技術、画質の改善を可能とした技術が実施されている。
【0008】
【発明が解決しようとする課題】
このような複数画像の合成処理により、様々な映像効果を得ることや、画質を改善することが可能となるが、これらは、合成対象である画像データの階調特性に直線性が確保されていることが前提となっている。
【0009】
ここで、CCDやCMOSセンサ等の半導体撮像素子は、入出力特性の直線性が優れていることが知られている。したがって、CCDからの出力データをそのまま利用して合成処理を行う画像合成システムにおいては問題はない。
【0010】
これに対し、一般のデジタルカメラにおいては、CCDからの出力データであるアナログ信号をA/D変換した後、パソコンモニタの表示特性に合わせたγ補正を行っている。つまり、デジタルカメラから出力される画像ファイルは、γ補正処理が施された後に、TIFFないしJPEG形式で出力されたファイルである。
【0011】
このようにしてデジタルカメラから出力された画像ファイルは、パソコンモニタを通して見る限りにおいては、入出力特性の直線性は問題ない。しかし、ファイルとして記録されている画像データの入出力特性は非線形になっている。
【0012】
従って、一般のデジタルカメラで撮影された画像データを利用して、加算処理を行うことは本来できないし、無理に多重合成処理を行った場合には、出力画像データの階調特性は狂ってしまう結果となる。
【0013】
そこで、本発明は上記問題点に鑑み、デジタルカメラから出力された画像ファイルに対して、画質の劣化を招くことなく、パソコン上で加算処理を行うことを可能としたソフトウェアを提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解決するため、請求項1の発明は、画像処理を行うプログラムが記録され、ソフトウェアによって動作可能なデータ処理装置によって読み取り可能な記録媒体であって、前記プログラムは前記データ処理装置に、a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、b)読み込んだ各元画像データに対して逆γ補正処理を行い、それぞれ線形画像データを出力する工程と、c)前記工程b)において出力された複数の線形画像データ間で演算処理を行い、合成画像データを出力する工程とを実行させ、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする。
【0015】
請求項2の発明は、請求項1に記載の記録媒体であって、前記プログラムは前記データ処理装置に、さらに、d)前記工程c)において出力された合成画像データに対してγ補正を行い、モニタ表示特性にあわせた画像データを出力する工程を実行させることを特徴とする。
【0016】
請求項3の発明は、請求項1または請求項2に記載の記録媒体であって、前記工程c)は、c-1)複数の線形画像データ間のマッチング処理を行う工程と、c-2)前記工程c-1)後に、前記複数の線形画像データが相互に重ならない部分の画素データを削除する工程とを含むことを特徴とする。
【0017】
請求項4の発明は、請求項1ないし請求項3のいずれかに記載の記録媒体であって、前記逆γ補正処理は、出力する前記線形画像データの階調ビット数を、読み込んだ前記元画像データよりも増加させる処理を含むことを特徴とする。
【0018】
請求項5の発明は、請求項1ないし請求項4のいずれかに記載の記録媒体であって、前記プログラムは前記データ処理装置に、さらに、e)オペレータによる操作に基づいて補間倍率を設定する工程と、f)前記工程e)で設定された前記補間倍率に従って、前記工程b)で出力された各線形画像データに対して画素の補間処理を行う工程とを含むことを特徴とする。
【0019】
請求項6の発明は、請求項1ないし請求項5のいずれかに記載の記録媒体であって、前記工程b)は、b-1)前記元画像データのタグ情報から前記元画像データのγ補正設定情報を読み込む工程と、b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補正の設定値を算出する工程とを含むことを特徴とする。
【0020】
請求項7の発明は、請求項6に記載の記録媒体であって、前記工程b)は、b-3)前記工程b-1)において、前記タグ情報から前記γ補正設定情報を読み込むことができない場合、当該元画像データのγ補正設定情報としてデフォルト設定情報を割り当てる工程を含むことを特徴とする。
【0021】
請求項8の発明は、ソフトウェアによって動作可能なデータ処理装置にインストールされることにより、前記データ処理装置のハードウェア資源を利用して画像処理を実行するプログラムであって、前記プログラムは前記データ処理装置に、a)γ補正が施された状態で所定のフォルダに保存された複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む工程と、b)各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する工程と、c)前記工程b)において出力された複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する工程とを実行させ、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする。
【0022】
請求項9の発明は、画像処理装置であって、γ補正が施された状態で元画像データのすべてが保存された所定のフォルダを格納する記憶手段と、前記記憶手段から前記複数の元画像データのすべてをオペレータの操作による前記フォルダの指定に基づいて読み込む画像指定手段と、前記画像指定手段が読み込んだ各元画像データに逆γ補正処理を行うことにより、それぞれ線形画像データを出力する線形データ生成手段と、前記線形データ生成手段が出力した複数の線形画像データ間で加算を含む画像処理を行い、合成画像データを出力する合成データ生成手段とを備え、前記複数の元画像データは、デジタルカメラの撮影モードのうち、合成処理の対象とする複数の画像を撮影するモードにおいて得られて前記フォルダに格納されたものであることを特徴とする。
【0023】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0024】
図1は、デジタルカメラ1、および、デジタルカメラ1で撮影した画像データに対して画像処理を行うデータ処理装置としてのパーソナルコンピュータ(以下、パソコンと略す)2を示している。
【0025】
デジタルカメラ1で撮影された画像データは、たとえば、メモリカード11に記録される。オペレータは、画像データの記録されたメモリカード11をデジタルカメラ1から抜き出し、パソコン2に装備されたカードスロット25に挿入する。そして、パソコン2上で動作する画像ソフトウェア等によって、デジタルカメラ1で撮影した画像を閲覧することが可能である。また、画像処理ソフトウェアを利用することによって、撮影した画像に画像処理を施すことが可能である。
【0026】
デジタルカメラ1で撮影した画像データは、また、USBケーブル等を利用してパソコン2側に転送するようにしてもよい。パソコン2に取り込まれた画像は、ディスプレイ23において確認することや、画像ソフトウェアを利用して、プリンタ30に出力することが可能である。
【0027】
{1.複数回撮影により生成された画像データ}
<1-1 画像処理モード>
デジタルカメラ1は、出力した画像ファイルに対して様々な画像処理を施すことを前提としたいくつかの撮影モード(以下、画像処理モードと呼ぶ)を有している。
【0028】
画像処理モードは、レリーズ時に撮影条件を変えて、もしくは、撮影条件をそのままで、被写体を連続して複数回撮影し、その撮影によって得られた複数枚の撮影画像をそれぞれメモリカード11に記録するモードである。
【0029】
このモードで連続して撮影された複数枚の撮影画像は、パソコン2等の画像処理装置で所定の画像処理が施され、合成して元の撮影画像よりも画質や映像効果の高い画像を生成するために用いられる。
【0030】
本実施の形態におけるデジタルカメラ1は、画像処理モードとして、「ボケ味調整モード」、「階調調整モード」、「超解像モード」などを有している。以下、3つの画像処理モードについて概略を説明するが、ここでは、簡単のため、2つの撮影画像A,Bから1つの合成画像データを生成する場合を例として説明する。
【0031】
「ボケ味調整モード」とは、1回のシャッタ操作で合焦位置を変化させて連続して2回の撮影動作を行い、主被写体(たとえば人物など)に対して焦点を合わせた撮影画像Aと、主被写体の背景に焦点を合わせた撮影画像Bとを得る撮影モードである。後の画像処理において、これら撮影画像A,Bを合成することにより所望のボケ具合を有する画像を得ることが可能である。
【0032】
「階調調整モード」とは、1回のシャッタ操作で露光条件を変化させて連続して2回の撮影動作を行い、主被写体に対して露出を合わせた撮影画像Aと、主被写体の背景に露出を合わせた撮影画像Bとを得る撮影モードである。後の画像処理において、これら撮影画像A,Bを合成することにより、たとえば、画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得ることが可能である。
【0033】
「超解像モード」とは、1回のシャッタ操作でピントや露出条件を変えないで連続して最低2回の撮影動作を行い、A回目の撮影とB回目の撮影との間で僅かに異なるカメラアングルの相違により画面内の主被写体の位置が微小変化した撮影画像Aと撮影画像Bとを得る撮影モードである。主被写体に対する撮影位置が互いに微小変化した撮影画像A,Bとを合成することにより、元の撮影画像よりも解像度の高い画像を得ることが可能である。
【0034】
<1-2 保存形態>
デジタルカメラ1で撮影された画像データは、メモリカード11に記録される。通常の撮影モードにおいては、メモリカード11には、JPEG等の圧縮処理が施された撮影画像のデータと、この画像データから作成されたサムネイル画像のデータと、撮影画像に関する情報が記述されたタグ情報とが、たとえばEXIF(Exchangeable Image File Format)形式の画像ファイルとして記録される。
【0035】
図2は、メモリカード11に記録された画像ファイルの記録方式を示している。画像ファイルは、タグ情報を格納する付加情報エリア51、撮影画像のデータを格納する実画像エリア52、サムネイル画像のデータを格納するサムネイル画像エリア53とに区分されている。
【0036】
上述した画像処理モードで撮影された撮影画像A,Bについても基本的には、同様の方式でメモリカード11に記録される。ただし、実画像エリア52には、撮影画像が非圧縮のTIFF(Tag Image File Format)形式の画像データとして記録される。これは、撮影画像A,Bは画像合成によって画質を改善するためのものであるから、画質の低下要因となる非可逆圧縮処理は行わないためである。
【0037】
また、撮影画像A,Bはボケ味や階調や解像度などの優れた画像を形成するために用いられるので、各画像ファイルのタグ情報には画像合成用の撮影画像であることが認識できる情報が含まれている。なお、撮影画像A,Bともサムネイル画像が記録される。
【0038】
タグ情報には、撮影焦点距離や撮影Fナンバーなどの撮影条件についての情報や、想定γ値が記録されている。想定γ値は、その画像ファイルが表示されると想定されているモニタの表示特性である。たとえば、パソコン等のディスプレイを想定している場合には、γ値は2.2と想定し、それに対応したγ補正が施されていることになる。
【0039】
図3は、メモリカード11に記録された各画像ファイルの保存形態を示している。撮影画像A,Bは、パソコン2において合成処理を行うために、それらの組み合わせが明確となるように保存されていることが望ましい。そこで、これら撮影画像A,Bは同一のフォルダ内に保存するようにしている。図に示すfolder11は、合成処理の対象となる1群の画像ファイルを保存しているフォルダである。ここでは、合成処理の対象となる撮影画像のファイルがP000001.tif〜P000010.tifまで10ファイルが存在していることを示している。これら各画像ファイルは前述の如く、非圧縮の撮影画像データと、サムネイル画像データと、タグ情報とが図2に示す保存方式で記録されている。
【0040】
{2.γ補正と線形性}
パソコン等のディスプレイの表示特性は、一般に非線形である。たとえば、図4に示すように、入力画像データの輝度値と、表示画像の輝度値との間の関係は、γ=2.2の非線形特性をもっている。
【0041】
したがって、ディスプレイ上で画像ファイルを正しい色で表示させるためには、画像入力装置は、ディスプレイの表示特性を考慮したγ補正を行ったうえで画像ファイルを出力する必要がある。このため、画像入力装置においては、図5に示すように,入力した画像にγ補正をかけて出力するようにしている。つまり、デジタルカメラ1から出力された画像ファイルは、全てγ補正処理がかけられたデータである。
【0042】
しかし、このγ補正がかけられたデータは、ディスプレイに表示させた際の入出力特性の線形性を確保するものであり、データ自体には線形性が保たれていない。このようなγ補正がかけられた画像データを用いて、合成処理を行った場合には、階調特性が狂うこととなる。
【0043】
そこで、本実施の形態における画像処理装置においては、以下に示すように、階調特性を正常に保ちながら、合成処理を行うことを可能とするものである。
【0044】
{3.画像処理装置の構成}
次に、画像処理装置の構成について説明する。本実施の形態においては、画像処理装置は、パソコン2と、パソコン2にインストールされた画像処理プログラム65などにより構成されている。
【0045】
図1および図6に示すように、パソコン2には、マウス221、キーボード222等からなる操作部22と、ディスプレイ23が接続されている。パソコン2の本体は、CPU213、メモリ215、ビデオドライバ216、ハードディスク24等を備えており、ハードディスク24内には、画像処理プログラム65が保存されている。また、ビデオドライバ216を制御することにより、画像ファイルなどをディスプレイ23に表示する。
【0046】
また、パソコン2には、外部とのインタフェースとして、カードIF211、通信IF214を備えている。CPU213上で動作するプログラムは、カードIF211を介してメモリカード11内のデータを読み取ることが可能であり、通信IF214を介して外部と通信可能としている。通信IF214は、USBインタフェースやLANインタフェースなどを含んでいる。
【0047】
また、パソコン2は記録メディアドライブ212を備えており、記録メディアドアライブ212に挿入したCD-ROMもしくはDVD-ROM等のメディア12にアクセス可能である。
【0048】
本実施の形態にかかる画像処理プログラム65は、メディア12を媒体として提供されてもよいし、通信IF214を介して、インターネットやLAN上のサーバなどから供給されるようにしてもよい。
【0049】
{4.超解像度処理}
<4-1 ファイル選択による処理フロー>
次に、画像処理プログラム65の処理内容について図7から図15までの図面を参照しながら説明する。以下の説明では、合成処理の対象となる画像ファイルは、デジタルカメラ1において「超解像モード」で撮影された画像ファイルであり、画像処理プログラム65を実行させて、超解像処理を行う場合を例として説明する。
【0050】
まず、図7および図8のフローチャートを用いて超解像処理を説明する。オペレータは、操作部22を用いた所定の操作を行い、画像処理プログラム65を起動させる。これにより、たとえば、ディスプレイ23には、画像処理メニューが表示される。画像処理メニューには、「ボケ味調整処理」、「階調調整処理」、「超解像処理」などの処理メニューが一覧表示されている。さらに、オペレータが所定の操作を行い「超解像処理」を選択することによって、図9に示すように、超解像処理画面71がディスプレイ23に表示される。
【0051】
オペレータは、次に、ファイルボタン713を選択する。ボタンの選択は、たとえば、マウス221を操作してカーソル90をファイルボタン713上に移動させたうえで、選択指示を出すことによって行われる。
【0052】
ファイルボタン713が選択されると、ファイル指定画面72が表示される。ファイル指定画面72は、ハードディスク24内に蓄積されている元画像ファイル60を指定する画面である。
【0053】
ここで、元画像ファイル60とは、デジタルカメラ1において画像処理モードで撮影された画像ファイル(前述した撮影画像A,B等)である。デジタルカメラ1で出力された元画像ファイル60は、前述のごとく、メモリカード11や通信IF214を利用して、ハードディスク24内に保存されている。
【0054】
オペレータが、元画像ファイル60が保存されているフォルダ名を、フォルダ指定エリア721に指定すると、ファイル表示エリア722には、指定したフォルダ内のファイルが一覧表示される。ここでは、例としてfolder11内の元画像ファイルP000001.tifとP000002.tifの2つのファイルに対する処理について示す。
【0055】
オペレータは、マウス221等を操作することにより、指定するファイル名を個別に指定したうえでOKボタン723を選択する。これにより、ファイル指定操作が完了する。操作を中止するときには、キャンセルボタン724を選択すればよい。
【0056】
オペレータがマウス221等を操作して、これら2つの元画像ファイル60を指定すると、この指定操作に応答して、指定された元画像ファイル60がハードディスク24からメモリ215内に読み込まれる(ステップS101)。ここでは、元画像ファイル60A,60Bの2つの画像ファイルが指定されたものとする。
【0057】
これによって、各元画像ファイル60A,60Bの各実画像エリア52に記録されている元画像データ61A,61B、各サムネイル画像エリア53に記録されているサムネイル画像67A,67B、各タグ情報エリア51に記録されているタグ情報68A,68Bがメモリ215に読み込まれる。なお、図6中、元画像データ61A,61Bを元画像データ61として図示し、サムネイル画像67A,67Bをサムネイル画像データ67として図示し、タグ情報68A,68Bをタグ情報68として図示している。
【0058】
次に、読み込んだサムネイル画像データ67A,67Bが、超解像処理画面71のサムネイル画像表示エリア711,712に表示される(ステップS102)。図9は、2つのサムネイル画像データ67A,68Bが表示された状態を示している。表示されている画像は、実際には、わずかにアングルのことなる2枚の画像である。
【0059】
この状態で画像処理プログラム65は、超解像処理の実行待機状態となる(ステップS103)。そして、オペレータが、マウス221等を操作して、実行ボタン715を選択すると、超解像処理の実行指示ありと判断し(ステップS103でYes)、1枚目の元画像データ61Aが読み込まれ(ステップS104)、超解像処理を開始する。
【0060】
なお、超解像処理の実行に先立って各種設定操作を行うことが可能である。オペレータが、設定ボタン716を選択することによって、図11に示すような設定画面73が表示される。後述するが、この画面において、γ値や補間倍率などの設定値を変更することが可能である。
【0061】
超解像処理の実行が開始すると、図12に示すように、カーソル90が時計表示91に変化して実行状態に推移したことを示すとともに、プログレスバー92が表示されて、実行経過を視覚的に表示するようにしている。なお、実行を中止したい場合には、中止ボタン717を選択することによって、超解像処理を中止することができる。
【0062】
次に、元画像ファイル60Aのタグ情報68Aを参照し、γ設定値の記述があるか否かを判定する(ステップS105)。ここで、γ設定値とは、図2で示した想定γ値のことであり、元画像データ61Aが、デジタルカメラ1で撮影された際に、どのようなγ補正が施されたかを確定する情報となる。
【0063】
元画像データ61Aのタグ情報に、想定γ値が記録されている場合には(ステップS105でYes)、当該元画像データ61Aに対して、想定γ値と同じγ値を用いた階調変換を行う(ステップS106)。この処理を逆γ補正処理と呼ぶ。
【0064】
たとえば、想定γ値が2.2である場合には、デジタルカメラ1において、その画像データには、γ=1/2.2=0.455のγ補正処理が行われていることになる。したがって、このγ補正処理が行われている画像データに対して、γ=2.2の逆γ補正処理を行うことにより、画像データの線形性を確保するのである。
【0065】
また、逆γ補正処理は、入力画像データに対して、出力画像データのビット数を増加させるようにしている。たとえば、元画像データ61が8bitの画像データである場合に、逆γ補正処理を行うことにより、その出力される画像データは10bitの画像データとなるように処理するのである。
【0066】
デジタルカメラで撮影された画像データは、デジタルカメラのCCDから、例えば10bitの画像データとして出力される。そして、デジタルカメラにおいては、さらに、10bitの画像データにγ補正を行い8bitの画像データとして出力している。図17は、横軸をγ補正前の入力データ、縦軸をγ補正後の出力データとした、γ関数を示すものである。つまり、入力データの最大輝度(1023)が、γ補正後の最大輝度(255)となるようなγ補正が行われている。
【0067】
したがって、逆γ補正処理においては、逆に、図17の縦軸を逆γ補正前の入力データ、横軸をγ補正後の出力データとするような変換が行われるのである。
【0068】
8bitの画像データを10bitの画像データに変換することにより、変換直後には、使用されない階調領域が存在することになる。しかし、後の合成処理によって、これら10bitの複数の画像データ間で画素値の平均処理等がおこなわれた場合には、これら未使用の階調領域が使用される場合が生じる。したがって、合成画像を生成するうえでは有効な処理となるのである。以下の説明において、逆γ補正処理は、すべて、階調のビット数を増加させる処理となっている。
【0069】
元画像データ61Aのタグ情報68Aに、想定γ値が記録されていない場合には(ステップS105でNo)、デフォルトγ値を想定γ値とみなして逆γ補正処理が行われる(ステップS107)。図11に示す設定画面73における入力エリア731は、デフォルトγ値の入力フォームであり、たとえば、図では、デフォルトγ値=2.2に設定されていることを示している。また、入力エリア732には、デフォルトγ値の設定値に対して、どのようなγ補正が施されているかを示す値が表示される。オペレータは、この入力エリア731に数値を入力することでデフォルトγ値を任意に変更することが可能である。デフォルトγ値を変更する場合には、所望の値を入力エリア731に入力したうえでOKボタン734を選択する。また、キャンセルする場合には、キャンセルボタン735を選択すればよい。
【0070】
ステップS106もしくはステップS107において、逆γ補正処理が行われると、次に、1枚目の元画像データ61Aに補間処理を行い、画像サイズを元の画像サイズのn倍にする。
【0071】
補間処理について説明する。超解像処理においては、カメラアングルの僅かな相違により撮影位置がわずかに変位した元画像データ61A,61Bを合成することにより、解像度の高い画像を得る処理である。
【0072】
ここで、撮影位置がわずかに変位した元画像データ61A,61Bを合成する際には、両画像データの位置合わせをしたうえで、元画像データ61A,61Bを合成する必要がある。この位置合わせ処理においては、元画像データ61A,61Bの解像度が高ければ高い程、高い精度で位置合わせを行うことが可能である。
【0073】
そこで、合成処理に先立って、元画像データ61A,61Bについて補間処理を行い、各画像データの解像度を高くしたうえで、位置合わせ処理を行うようにしているのである。
【0074】
補間処理は、キュービック・コンボリュージョン法、クゥオドラティックスプライン法、インテグレーティング・リサンプラー法など周知の方式が存在し、いずれの方式を採用するかは特に限定されない。また、図11に示した設定画面73において、オペレータは、補間倍率を任意に設定することが可能である。オペレータは、キーボード222等を操作して補間倍率入力エリア733内に数値を入力することによって、補間倍率を設定することが可能である。図では、補間倍率入力エリア733に補間倍率が4.0に設定されている状態を示している。また、上述した各補間方法(キュービック・コンボリュージョン法等)を選択するようにしてもよい。
【0075】
再び、図7のフローチャートを参照して説明する。ステップS108において、設定された補間倍率(n倍)に従って画素データが補間されると、元画像データ61Aは、線形画像データ62Aとしてメモリ215に書き込まれる。
【0076】
次に、2枚目の元画像データ61Bが読み込まれる(ステップS109)。元画像データ61Bに関しても、同様に、まず、タグ情報68B内に想定γ値が設定されているか否かの判定を行い(ステップS110)、想定γ値が設定されている場合には、想定γ値に基づいて逆γ補正処理を行う(ステップS111)。また、想定γ値が設定されていない場合には、デフォルトγ値による逆γ補正処理を行う(ステップS112)。
【0077】
次に、元画像データ61Bに対しても、同様に、補間処理を行い、画像サイズを元のサイズのn倍にする(ステップS113)。ステップS108,S113の補間処理においては、元画像データ61A,61Bは、ともに、各画素間にあらたな画素を補間することにより、そのサイズは4倍になっているものとする。このようにして、元画像データ61Bの画素データが補間されると、メモリ215には、線形画像データ62Bとして書き込まれる。なお、図中、線形画像データ62A,62Bを線形画像データ62と総称して図示している。
【0078】
このようにして、逆γ補正処理が行われることにより、線形性を有し、かつ、補間処理が施された2つの線形画像データ62A,62Bがメモリ215に書き込まれる。
【0079】
次に、図8に示すように、線形画像データ62A,62Bとの位置合わせ(レジストレーション処理)が行われる(ステップS114)。レジストレーション処理は、合成対象となる両画像の位置のずれを決定する処理である。
【0080】
ここで、図18を参照しながら、第1画像F1と第2画像F2の位置合わせを行う方法について説明する。位置合わせは、第2画像F2をX方向およびY方向について平行移動させながら、数1の式で示す相関係数C(ξ,η)が最小となる移動量を求めるものである。
【0081】
【数1】*IMG[P26-0362-1]。
【0082】
数1式において、x,yは画像中心を原点とする直角XY平面座標系における座標変数であり、P1(x,y)は第1画像F1の座標位置(x,y)における画素データのレベルを表し、P2(x-ξ,y-η)は第2画像F2の座標位置(xーξ,yーη)における画素データのレベルを表している。すなわち、数1式で示す相関係数C(ξ,η)は、両画像の対応する画素データのレベルの差を二乗し、その値を全画素データにおいて総和したものである。そして、第2画像F2の移動量となる(ξ,η)を変化させた時、相関係数Cが最小となる(ξ,η)が、最も両画像の図柄がマッチングする第2画像F2の移動量となるわけである。
【0083】
本実施の形態では、例えば第2画像F2のX座標の移動量となるξを-80〜+80まで、Y座標の移動量であるηを-60〜+60までそれぞれ変化させて、相関係数Cが最小となる移動量(ξ,η)を(x3,y3)として算出するようにしている。なお、X、Yの移動量±80、±60は、画像サイズや想定されるずれ量によって適宜設定すればよい。
【0084】
また、この位置合わせ処理においては、人間の視覚特性上解像度に与える影響の大きいGの色成分のみを用いるようにしてもよい。このようにした場合、人間の視覚特性上解像度に与える影響の小さいR,Bの色成分については、Gの色成分で算出された移動量を利用することで、位置合わせ処理の簡略化をすることができる。
【0085】
そして、線形画像データ62Bを、ステップS114で求めたずれ量に基づいて平行移動させて、線形画像データ62Bと線形画像データ62Aの位置を合わせる(ステップS115)。そして、平行移動を行った後に両画像データの重ならない部分の画素データを削除する。このようにして、画像の合成に必要にならない部分(図18のハッチングによって示した部分)の画素データの削除を行い、正確な位置合わせが行われた、合成に必要な画素データのみを取得することができる。
【0086】
次に、線形画像データ62Aと線形画像データ62Bとを平均処理することにより、あらたな合成画像データ63を生成する(ステップS116)。ここで、平均処理とは、位置合わせが行われた線形画像データ62A,62Bの同一座標位置の各輝度値の平均をとり、この平均輝度値を画素値とする新たな画像を生成する処理である。
【0087】
以上の処理によって、元画像ファイル60A,60Bとから、1枚の合成画像データ63が生成される。この合成処理は、元画像データ61A,61Bとを、逆γ補正処理することによって線形画像としたうえで合成しているため、階調特性に狂いが生じることはない。
【0088】
次に、合成された画像をモニタに表示することを考慮して、合成画像データ63にγ補正を施す(ステップS117)。このγ補正処理は、元画像ファイル60のタグ情報68に含まれていた想定γ値に基づいて行われる。
【0089】
元画像ファイル60A(もしくは60B)のタグ情報に含まれていた想定γ値が2.2である場合、デジタルカメラ1において元画像データ60A,60Bには、それぞれγ=1/2.2のγ補正処理が施されている。そして、この元画像データ61A,61Bは、それぞれステップS106,S111において、γ=2.2の逆γ補正処理が行われているので、再び、合成画像データ63に対して、γ=1/2.2のγ補正処理を行うことにより、モニタの階調特性に適合した画像データに戻すのである。
【0090】
γ補正処理が行われると、図13に示すように、結果表示画面74が表示され(ステップS118)、オペレータは、ディスプレイ23上で、生成された合成画像を確認することができる。
【0091】
合成画像表示ウィンドウ74を表示させると、画像保存の指示待ち状態となる(ステップS119)。ここで、オペレータが、結果表示画面74に設けられた保存ボタン741をマウス221等の操作により選択すると、画像保存指示がされたと判断し(ステップS119でYes)、合成画像データ63と、合成画像データ63から生成されるサムネイル画像と、タグ情報とからなる合成画像ファイル64が生成され、ハードディスク24に保存される。
【0092】
画像保存処理を終了すると、再び、図9に示す超解像画面71の表示状態に復帰する。また、合成画像データ63が、結果表示画面74に表示されている状態で、オペレータが、キャンセルボタン742を選択した場合には、メモリ215に一時保存されている線形画像データ62や合成画像データ63が削除され、再び、図9に示す状態に復帰する。
【0093】
このようにして、ハードディスク24に保存された合成画像データ63は、わずかに異なるカメラアングルの相違により撮影された2枚の元画像データ61A,61Bとを合成することにより、元の撮影画像よりも解像度の高い画像となっている。さらに、2枚の元画像データ61A,61Bに対して、逆γ補正処理を施し、その階調特性に線形性をもたせたうえで合成処理を行っているため、その加算処理において、階調特性にひずみが生じることなく、高解像度、かつ、画質の優れた合成画像が得られるのである。
【0094】
以上、「超解像モード」で撮影された画像ファイルに対して、「超解像処理」を実行する場合を例として説明したが、「ボケ味調整モード」、「階調調整モード」で撮影された画像ファイルに対して、それぞれ「ボケ味調整処理」、「階調調整処理」を実行させる場合も同様である。それぞれの画像処理の目的は異なるが、いずれの場合であっても、上述した処理フローと同様に、元画像データを逆γ補正したうえで、演算処理を行うことにより、階調特性をひずませることなく、画質の優れた合成画像を得ることができるのである。
【0095】
<4-2 フォルダ選択によるバッチ処理フロー>
次に、バッチ処理フローについて説明する。上記<4-1>で説明した超解像処理は、まず、ステップS101において、複数の元画像ファイルを個別に指定することから始まる。バッチ処理フローにおいては、フォルダを指定することにより、個々のファイルの指定操作を不要とし、一括処理することが可能である。
【0096】
図14および図15のフローチャートを参照しながら、バッチ処理フローについて説明する。図9に示した超解像処理画面71が表示された状態において、オペレータが、マウス221等を操作することにより、バッチ処理ボタン714を選択する。これによって、図16に示すように、フォルダ指定画面75が表示される。
【0097】
ここで、オペレータは、マウス221等を操作し、ハードディスク24内に階層構造をもって保存されている元画像ファイル60の所在を探り、特定のフォルダを指定する。ここでは、図3に示したようなフォルダ構成において、オペレータがfolder11を選択した場合を例に説明する。
【0098】
オペレータによって、folder11が選択されると、画像処理プログラム65は、folder11に保存されている全てのファイルを指定する(ステップS201)。そして、フォルダ指定画面75が終了し、再び、超解像処理画面71がアクティブとなり、超解像処理の指示待ち状態となる(ステップS202)。
【0099】
そして、オペレータが、実行ボタン715を選択操作することにより、超解像処理の指示ありと判定し(ステップS202でYes)、次に、逆γ補正未処理ファイルリストを生成する(ステップS203)。
【0100】
初期状態では、逆γ補正未処理ファイルリストには、選択されたすべての元画像ファイル60のファイル名がリストアップされる。つまり、この例では、P000001.tif〜P000010.tifの10個のファイル名がリストされている。
【0101】
次に、画像処理プログラム65は、繰り返し処理のカウンタkに1をセットする(ステップS204)。このカウンタkは、P000001.tif〜P000010.tifの10個のファイルにシーケンシャルに振られる番号に対応することになる。
【0102】
そして、k番目の元画像ファイル60(k=1において、P000001.tif)を読み込み(ステップS205)、タグ情報68の中に、想定γ値が設定されているか否かの判定を行い(ステップS206)、想定γ値が設定されている場合(ステップS206でYes)には、想定γ値に基づいた逆γ補正処理を行う(ステップS207)。また、想定γ値が設定されていない場合(ステップS206でNo)には、デフォルトγ値に基づいて逆γ補正処理を行う(ステップS208)。
【0103】
さらに、k番目(1番目)元画像データ61に対して補間処理を行い、画素データの補間を行う(ステップS209)。このように、逆γ補正処理と補間処理が行われた元画像データ61は、線形画像データ62として保存され、逆γ補正未処理ファイルリストから、k番目(1番目)の元画像ファイル(P000001.tif)名が削除され、リストが更新される(ステップS210)。
【0104】
そして、逆γ補正未処理ファイルリストに、未処理のファイルが残っていないかの判定を行い(ステップS211)、未処理ファイルがある場合(ステップS211でNo)には、カウンタkを1インクリメントし(ステップS212)、ステップS205に戻り、k+1番目(2番目)の元画像ファイル(P000002.tif)について、同様に、逆γ補正処理と補間処理を行う。
【0105】
以上の処理を繰り返し、10番目の元画像ファイル(P000010.tif)までの処理が終了すると、未処理ファイルがないと判定し(ステップS211でYes)、繰り返し処理を終了し、次のステップに移行する。
【0106】
次に、画像処理プログラム65は、重ね合わせ未処理リストを作成する(ステップS213)。初期状態では、重ね合わせ未処理リストには、逆γ補正処理が行われたすべての元画像ファイル60のファイル名がリストアップされる。つまり、ここでは、P000001.tif〜P000010.tifの10個のファイル名がリストされている。
【0107】
次に、画像処理プログラムは繰り返し処理のカウンタkに2をセットし(ステップS214)、1番目の線形画像データ62とk番目(2番目)の線形画像データ62のレジストレーション処理を行う(ステップS215)。そして、k番目(2番目)の線形画像データ62を平行移動し、1番目の線形画像データ62にk番目(2番目)の線形画像データ62を加算する(ステップS216)。加算処理は、位置合わせをした両線形画像データの各座標位置の輝度値を加算し、加算した輝度値を1番目の線形画像データ62の新たな画素値とする処理である。
【0108】
加算処理が終了すると、重ね合わせ未処理リストから、k番目(2番目)の元画像ファイルのファイル名(P000002.tif)を削除し、リストを更新する(ステップS217)。
【0109】
そして、重ね合わせ未処理リストに、未処理ファイルが残っていないかの判定を行い(ステップS218)、未処理ファイルが残っている場合(ステップS218でNo)には、kを1インクリメントし(ステップS219)、再び、ステップS215において、1番目の線形画像データ62と3番目の線形画像データ62とのレジストレーション処理を行い、加算処理を行う(ステップS215,S216)。ここで、1番目の線形画像データ62は、繰り返し処理の1回目において、2番目の線形画像データ62の画素値が加算されているので、繰り返し処理の2回目においては、1番目から3番目までの線形画像データ62が加算処理されることになる。
【0110】
このような処理を10番目の線形画像データ62まで処理することにより、重ね合わせ未処理リストから未処理ファイルがなくなると(ステップS218でYes)、1番目から10番目までの全ての線形画像データ62が加算されている1番目の線形画像データ62の各画素値に対して平均処理を行う(ステップS220)。この例では、10個の線形画像データ62を加算しているので、加算された画像データの各画素値を10で割ることにより、合成画像データ63が生成される。
【0111】
次に、合成画像データ63に、γ補正処理を行い(ステップS221)、図13で示したように、合成画像データ63を表示する(ステップS222)。ここで、オペレータが、保存ボタン741を選択すると、画像保存が指示されたと判定し(ステップS223でYes)、合成画像データ63に、サムネイル画像データ、タグ情報が付加されて合成画像ファイル64が作成され、合成画像ファイル64が、ハードディスク24に保存する(ステップS224)。
【0112】
オペレータがキャンセルボタン742を選択した場合(ステップS223でNo)には、メモリ214に一時保存されている線形画像データ、合成画像データを消去し、再び、超解像処理画面71に戻る。
【0113】
このようにして、同様に、高解像度、かつ、高画質の合成画像を生成することが可能であるが、バッチ処理を行う場合には、合成対象である個々の元画像ファイルを指定する操作が不要であるので、煩雑な操作をすることなく、合成処理を行うことが可能である。
【0114】
また、ボケ味調整処理や階調調整処理においても、同様に、バッチ処理を行うことで、操作性の向上を図りながら、画質に優れた合成画像を得ることが可能である。
【0115】
【発明の効果】
以上説明したように、請求項1記載の発明では、γ補正が施された複数の元画像データに対して逆γ補正を行い、階調特性に線形性をもたせたうえで、合成処理を行うので、階調特性を狂わせることなく、高画質の合成画像を生成することが可能である。
【0116】
請求項2記載の発明では、逆γ補正を行い合成された合成画像データに対して、再び、γ補正を施したうえでファイル出力するので、生成された合成画像ファイルは、通常の画像ファイルと同様、パソコン等のモニタにおいて正常に表示することが可能である。
【0117】
請求項3記載の発明では、階調特性に線形性をもたせた複数の画像データに対して、マッチング処理を行い位置合わせをしたうえで合成処理を行うことにより、高画質の合成画像データを出力することが可能である。
【0118】
請求項4記載の発明では、逆γ補正処理は、階調ビット数を増加させるようにしているので、元画像ファイルの階調ビット数を越えた領域で、合成処理が可能となる。
【0119】
請求項5記載の発明では、逆γ補正を施した画像データについて、画素の補間処理を行い、解像度を上昇させたうえで合成処理を行うので、より精度の高い合成処理が可能となる。
【0120】
請求項6記載の発明では、元画像データのタグ情報に記録されているγ補正設定情報をもとに、逆γ補正を行うことにより、確実に、線形性を有する画像データに変換することが可能である。
【0121】
請求項7記載の発明では、元画像データのタグ情報にγ補正設定情報が記録されていない場合であっても、デフォルト設定されたγ値をもとに、逆γ補正を行うことが可能である。
【0122】
請求項8記載の発明は、逆γ補正を行ったうえで合成処理を行うプログラムに関するものであり、当該プログラムをコンピュータにインストールすることにより、コンピュータにおいて当該画像処理を実行させることが可能である。
【0123】
請求項9記載の発明は、逆γ補正を行ったうえで合成処理を行う装置に関するものであり、デジタルカメラ等で撮影された複数の画像ファイルに対して、階調特性を狂わせることなく合成処理を実行することが可能である。
【図面の簡単な説明】
【図1】
画像処理を行うパソコンとデジタルカメラとを示す概観図である。
【図2】
画像ファイルの記録方式を示す図である。
【図3】
フォルダごとに管理される画像ファイルの保存状態を示す図である。
【図4】
ディスプレイの表示特性を示す図である。
【図5】
デジタルカメラにおいて行われるγ補正の特性を示す図である。
【図6】
パソコンのブロック構成図である。
【図7】
ファイル指定による超解像処理のフローチャートである。
【図8】
ファイル指定による超解像処理のフローチャートである。
【図9】
ディスプレイ上に表示された超解像処理画面を示す図である。
【図10】
ファイル選択画面を示す図である
【図11】
設定画面を示す図である。
【図12】
超解像処理実行中における超解像処理画面を示す図である。
【図13】
超解像処理の結果表示画面を示す図である。
【図14】
バッチ処理による超解像処理のフローチャートである。
【図15】
バッチ処理による超解像処理のフローチャートである。
【図16】
ディスプレイ上に表示されたフォルダ指定画面を示す図である。
【図17】
階調ビット数が変化するγ関数を示す図である。
【図18】
レジストレーション処理を示す図である。
【符号の説明】
1 デジタルカメラ
2 パソコン
11 メモリカード
24 ハードディスク
60 元画像ファイル
61 元画像データ
62 線形画像データ
63 合成画像データ
64 合成画像ファイル
65 画像処理プログラム
71 超解像処理画面
72 ファイル指定画面
73 設定画面
74 結果表示画面
75 フォルダ指定画面
213 CPU
215 メモリ
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2005-03-23 
出願番号 特願2001-100063(P2001-100063)
審決分類 P 1 651・ 121- ZA (H04N)
最終処分 取消  
特許庁審判長 小川 謙
特許庁審判官 大野 弘
江頭 信彦
登録日 2003-05-16 
登録番号 特許第3428589号(P3428589)
権利者 コニカミノルタフォトイメージング株式会社
発明の名称 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置  
代理人 吉竹 英俊  
代理人 吉竹 英俊  
代理人 吉田 茂明  
代理人 吉田 茂明  
代理人 有田 貴弘  
代理人 有田 貴弘  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ