• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  H04N
管理番号 1114550
異議申立番号 異議2003-72585  
総通号数 65 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 2002-05-24 
種別 異議の決定 
異議申立日 2003-10-21 
確定日 2005-01-05 
異議申立件数
訂正明細書 有 
事件の表示 特許第3399457号「画像処理方法、デジタルカメラ、および記録媒体」の請求項1ないし7に係る特許に対する特許異議の申立てについて、次のとおり決定する。 
結論 訂正を認める。 特許第3399457号の請求項1ないし7に係る特許を取り消す。 
理由 第1 手続の経緯
特許第3399457号の請求項1ないし7に係る発明についての出願は、平成12年11月15日に出願され、平成15年2月21日に設定登録され、その後、大木茂及び島田洋から特許異議の申立てがなされ、取消理由通知がなされ、その指定期間内である平成16年7月23日に訂正請求がなされたものである。

第2 訂正の適否
1 訂正事項
a) 特許請求の範囲の請求項1を、
「【請求項1】 デジタルカメラで撮影された、行アドレスと列アドレスとを有する一連の画像データの画像処理方法であって、
(a)前記画像データを略等分割に分割指定する工程と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する工程と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する工程と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う工程と、
(e)前記工程(c)および前記工程(d)を繰り返し、分割指定された画像データに対して画像処理を実行する工程と、
(f)前記工程(e)完了後、前記工程(b)ないし前記工程(e)を繰り返し、前記画像データ全体の画像処理を実行する工程と、
を備えることを特徴とする画像処理方法。」と訂正する。

b) 特許請求の範囲の請求項4を、
「【請求項4】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は列方向に順次実行され、
前記工程(d)における画像処理は行方向に順次実行されることを特徴とする画像処理方法。」と訂正する。

c) 特許請求の範囲の請求項5を、
「【請求項5】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は行方向に順次実行され、
前記工程(d)における画像処理は列方向に順次実行されることを特徴とする画像処理方法。」と訂正する。

d) 特許請求の範囲の請求項6を、
「【請求項6】 撮影によって得られた行アドレスと列アドレスとを有する一連の画像データをバッファメモリに順次格納し画像処理を繰り返し行うことにより、一連の画像データ全てに対して画像処理を実行する画像処理手段を備えるデジタルカメラであって、
(a)前記画像データを略等分割に分割指定する手段と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する手段と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する手段と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う手段と、
(e)分割指定された画像データに対して繰り返し画像処理を実行する手段と、
を備えることを特徴とするデジタルカメラ。」と訂正する。

e) 発明の詳細な説明における段落0008、0011ないし0013、0081の記載を添付した全文訂正明細書のとおり訂正する。

2 訂正事項について
上記訂正事項a)は、分割する工程を具体的に略等分割するように規定し、更にバッファメモリの構成を具体的に規定するもので、特許請求の範囲の減縮を目的とするもので、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
また上記訂正事項b)ないしd)は、上記訂正事項a)と同趣旨の訂正を行うものである。
さらに、上記訂正事項e)は、特許請求の範囲との整合を取るためのものであり、明りょうでない記載の釈明を目的とするものである。

したがって、上記訂正事項a)ないしe)は、特許法120条の4第2項ただし書きに規定する特許請求の範囲の減縮及び明りようでない記載の釈明に相当するものである。
また、上記訂正事項は、願書に添付した明細書又は図面に記載した事項の範囲内の訂正であり、実質上特許請求の範囲を拡張し、又は変更するものでもない。

3 むすび
以上のとおりであるから、上記訂正は、特許法120条の4第2項及び3項で準用する特許法126条2項及び3項の規定に適合するので、当該訂正を認める。

第3 異議申立について
1 引用刊行物
(1) 異議申立人大木茂が提出し、取消理由に引用した甲第1号証である特開2000-92349号公報(平成12年3月31日公開、以下「刊行物1」という。)には次の事項が記載されている。

ア 段落0001「【発明の属する技術分野】本発明は、静止画撮像装置に用いて好適な画像処理装置に関し、特に回路規模を削減した画像処理装置に関する。」

イ 段落0002ないし0011には、ディジタル・スチル・カメラが有するCCDイメージセンサ201より得られた画像信号を入力処理/画像処理回路202に供給して画像処理すること、及び画像サイズが大きくなるほどバッファの回路規模が大きくなり、生産コストが高くなることが記載されている。

ウ 図1の説明として段落0015には、「本発明は、例えば図1に示す構成のディジタル・スチル・カメラ1に適用される。ディジタル・スチル・カメラ1は、画像信号を生成する画像生成部10と、画像データに所定の信号処理を行う信号処理部20と、SDRAMからなるイメージメモリ32と、信号処理部20の制御を行う制御部40とを備える。」

エ 「【0047】また、解像度変換回路28は、例えば[p×q]の画像データを[m×n]の画像データに変換する解像度変換処理を行うものである。解像度変換回路28は、主に、CCDイメージセンサ11で生成された画像データが高解像度のときに所定の解像度に抑えるために行う処理であるが、低解像度の画像デー夕を高解像度になるように処理してもよい。
【0048】解像度変換回路28は、具体的には図5に示すように、画像データバス33から入力される画像データを記憶する入力バッファ71と、入力バッファ71からの画像データを水平方向にバッファリングする水平方向バッファ72と、水平方向バッファ72からの画像データに水平方向の解像度変換処理を行う水平方向変換処理回路73と、水平方向変換処理回路73からの画像データを垂直方向にバッファリングする垂直方向バッファ74と、垂直方向の解像度変換処理を行う垂直方向変換処理回路75と、出力の際にバッファリングをする出力バッファ76とを備える。」

オ 段落0059ないし0065には、画像データの垂直方向の解像度を変更する場合として、概略次の記載がある。
メモリコントローラ22は、イメージメモリ32から、垂直方向バッファ74に、1画面分(p×q画素)の画像データを各ライン毎にNピクセルずつ垂直方向に読み出す。なお、イメージメモリ32には、1画面分の画像データが記憶されており、1画面がp×qピクセルで構成される。
メモリコントローラ22は、図11に示すように、先ず、水平方向にNピクセル分の画像データを、1行目、2行目、・・・q行目の順に読み出す。すなわち、左端からNピクセル分の画像データ、すなわち、(1,1)、(1,q)、(N,q)、(N,1)で囲まれる範囲(N×pピクセル分)の画像データ群を読み出す。
また、メモリコントローラは、上記読出しを行った後、次に、(N-1,1)、(N-1,q)、(N-2,q)、(N-2,1)で囲まれる範囲の画像データを読み出す。また、メモリコントローラ22は、上記のようにして読み出された直前の画像データ群のうち、最後の2列目の画像データを含むようにして水平方向にNピクセル分の画像データを各ライン毎に読み出す。
解像度変換回路28の垂直方向バッファ74には、第1から第3のバッファメモリ91、92、93が設けられ、1ラインずつの画像データが記憶される。解像度変換回路28の垂直方向変換処理回路75は、3ライン分の画像データに基づいて、補間処理を行い、垂直方向の画像データの解像度変換を行う。

カ 段落0066ないし段落0068には、次の記載がある。
「段落【0066】以上のように、メモリコントローラ22は、垂直方向[解]像度変換に必要なバッファメモリの容量が1ライン分に満たなくても、バッファメモリの容量に合わせて読み出しを行うことによって、解像度変換回路28に垂直方向の解像度変換を行わせることができる。
【0067】なお、ここでは、画像データ群の間の読み出し重複は2列となっているが重複が2列より大きい場合や、重複がない場合も考えられる。また、解像度変換に限らず、カメラ信号処理等の画像信号処理にも適用される。
【0068】また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。」

2 訂正明細書の請求項1に係る発明
(1) 訂正明細書の請求項1に係る発明は、その特許請求の範囲に記載された次の事項により特定されるとおりのものである。(以下「訂正発明1」という。)
「【請求項1】デジタルカメラで撮影された、行アドレスと列アドレスとを有する一連の画像データの画像処理方法であって、
(a)前記画像データを略等分割に分割指定する工程と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する工程と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する工程と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う工程と、
(e)前記工程(c)および前記工程(d)を繰り返し、分割指定された画像データに対して画像処理を実行する工程と、
(f)前記工程(e)完了後、前記工程(b)ないし前記工程(e)を繰り返し、前記画像データ全体の画像処理を実行する工程と、
を備えることを特徴とする画像処理方法。」

(2) 対比
前記アないしウの記載から、「ディジタル・スチル・カメラが有する固体撮像素子で撮像された画像データは、イメージメモリ32に格納され、信号処理部20が有する解像度変換回路28が、メモリコントローラ22によってイメージメモリ32から画像データを読出させては解像度変換し、それを再びイメージメモリ32に格納する。」ことが認められる。
そして、ディジタル・スチル・カメラによる画像は2次元的な広がりを持ち、それを記憶しているイメージメモリ32から画像データを読出し、解像度変換し、イメージメモリ32に格納するわけであるから、その行方向及び列方向のアドレスを用いて読み書きしていることは、当業者に明らかである。
さらに、刊行物1には、ディジタル・スチル・カメラで撮影され、行方向、列方向の座標で表わされる画像データを処理する画像処理方法であり、
(A)p×qビクセルで表わされる画像データから(解像度変換するため)、図11に示すようにN×qピクセルに分割している点、
(B)前記N×qピクセルを構成する細分化された1列のNビクセルを順次読み出す点、
(C)読出した細分化されたNピクセルデー夕をバッファメモリ74に格納する点
(D)このバッファメモリ74に格納された画像データを画像処理を行う点、
(E)N×qピクセルの処理が完了した場合には、次のN×qピクセルの処理を行うため、工程(B)ないし(D)を繰り返し行い、p×qピクセルの画像データ全体に対する画像処理を実行する点、
が記載されている。

(3) 相違点
以上を踏まえ、訂正発明1と刊行物1の画像表示装置とを対比すると、
「デジタルカメラで撮影された、行アドレスと列アドレスとを有する一連の画像データの画像処理方法であって、
(a)前記画像データを分割指定する工程と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する工程と、
(c)細分割された画像データを順次、バッファメモリ領域に格納する工程と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う工程と、
(e)前記工程(c)および前記工程(d)を繰り返し、分割指定された画像データに対して画像処理を実行する工程と、
(f)前記工程(e)完了後、前記工程(b)ないし前記工程(e)を繰り返し、前記画像データ全体の画像処理を実行する工程と、
を備えることを特徴とする画像処理方法」の点で一致し、次の点で相違する。

相違点1:訂正発明1では、画像データを略等分割に分割指定する工程を備えているのに対し、刊行物1では分割の割合が等分割といえる工程を備えているか否か不明な点。
相違点2:訂正発明1では、細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する工程を備えているのに対し、刊行物1では、格納するバッファメモリの領域が所定のメモリの一部であることが明記されていない点。

(4) 相違点の検討
相違点1について
刊行物1では、その図11及びその説明において画像データ群(1)ないし(3)は等分割されていることが明らかであるが、メモリ全体を等分割しているか否か不明なことも確かである。
そこで検討するに、メモリ全体を処理することが必要な場合、余りが出ないように全体を規則的に等分して処理することは、通常誰もが考えることであり、不規則に分割することは特別な場合を除き採用しないとみることが自然の理解である。
したがって、刊行物1において等分割することがメモリ全体について示されていなくても当業者であれば容易に想到しうる程度の事項である。

相違点2について
デジタルカメラに使用されるメモリとしてDRAMは周知なものであり、DRAMがバッファメモリとして使用されることも刊行物1の発明を含め当業者に慣用されている技術である。
刊行物1では、バッファメモリの領域がDRAMにおいてその占める領域が明らかでないが、デジタルカメラにおいて、イメージデータと共に、イメージデータの管理やイメージデータに付随する管理データが必須なものであることは明らかであるから、刊行物1においてもメモリ全体をバッファとして利用しているとみるよりも、他のデータもメモリに格納しているとみることが自然である。
なお、デジタルカメラに使用されるDRAMの一部をデータ管理領域とすることは、例えば、特開平7-74994号公報や特開平11-331759号公報にもみられる技術である。

以上、各相違点に何ら進歩性は認められず、また、発明を工程で表した方法の発明についても同様であり、相違点全体としても格別当業者が困難を要した事項は認められない。
さらに、効果についても当業者が予測し得ない格別顕著な事項は認められない。
したがって、訂正発明1は、前記刊行物1に記載された発明に基づいて当業者が容易に発明をすることができたものである。

3 請求項2に係る発明
(1) 請求項2に係る発明は、その特許請求の範囲の請求項2に記載された次の事項により特定されるとおりのものである。(以下、訂正されていないが「訂正発明2」という。以下、同様。)
「【請求項2】 請求項1記載の画像処理方法において、
前記工程(d)における画像処理はマトリクスを用いて行われることを特徴とする画像処理方法。」

(2) 訂正発明2の特徴的な要件及び判断
訂正発明2の特徴は、訂正発明1に加え、画像処理はマトリクスを用いて行う点を、更に要件としている点である。
そこで検討するに、取消理由に引用した甲第2号証である特開平4-42376号公報(以下「刊行物2」という。)には、デジタル画像処理に関する発明について次の記載がある。
「以下に本発明のフィルタリング処理の実施例について説明する。
第1図は本発明の実施例の処理手順を示すフロー図である。
はじめに原画像を上述のようにして分割したサイズがn×nの小領域のデータを読み込む(第1図S1)。
次に、読み込んだn×nの小領域のデータをフーリエ変換する(S2)。より詳しくは2次元離散的フーリエ変換(DFT)を行う。フーリエ変換の結果の周波数成分の配置は、n×nの小領域をフーリエ変換した場合は、第7図(2)のようにn×nのマトリクス上に配置される。第7図(2)のマトリクスの左上隅7aが直流成分に相当し、左上7b、右上7c、左下7d、右下7eの各隅の周辺が低周波成分、中央部近辺7fが高周波数成分に対応する。」(公報3頁左下欄3〜下から2行目)
刊行物2には、デジタルカメラについての記載はないものの、デジタル画像データを処理する技術に関するものであり、この技術は種々の画像処理に適用できることが明らかであるから、訂正発明2は、当該事項を刊行物1の発明に単に適用したにすぎず、この程度のことは当業者が容易になし得たものと認められる。

4 請求項3に係る発明
(1) 請求項3に係る発明は、その特許請求の範囲の請求項3に記載された次の事項により特定されるとおりのものである。(以下、「訂正発明3」という。)
「【請求項3】 請求項1または請求項2記載の画像処理方法において、
前記工程(d)における画像処理はフィルタ処理であることを特徴とする画像処理方法。」

(2) 訂正発明3の特徴的な要件及び判断
訂正発明3の特徴は、訂正発明1に加え、又は請求項2を引用している部分は、訂正発明2に加え、画像処理はフィルタ処理であることを、更に要件としている点である。
そこで検討するに、前記刊行物2には、デジタル画像処理に関する発明について、マトリクスを用いての処理に加えてフィルタ処理も記載されており、訂正発明2と同様、訂正発明3は、当該事項を刊行物1の発明に単に適用したにすぎず、この程度のことは当業者が容易になし得たものと認められる。

5 請求項4及び5に係る発明
(1) 請求項4及び5に係る発明は、その特許請求の範囲の請求項4及び5に記載された次の事項により特定されるとおりのものである。(以下、「訂正発明4」、「訂正発明5」という。)
「【請求項4】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は列方向に順次実行され、
前記工程(d)における画像処理は行方向に順次実行されることを特徴とする画像処理方法。」
「【請求項5】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は行方向に順次実行され、
前記工程(d)における画像処理は列方向に順次実行されることを特徴とする画像処理方法。」

(2) 訂正発明4及び5の特徴的な要件及び判断
訂正発明4の特徴は、訂正発明1ないし3に加え、バッファメモリへの格納と画像処理の実行方向を、列方向の後、行方向とし、同じく訂正発明5の特徴は、行方向の後、列方向としたことを、更に要件としている点である。
そこで検討するに、前掲の刊行物1の段落【0068】には、「また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。」と記載され、行方向と列方向は当業者が適宜採用しうる程度の変更にすぎないことが理解できる。
したがって、訂正発明4及び5の発明に当業者が格別推考力を要したとは認められない。

6 請求項6に係る発明
(1) 請求項6に係る発明は、その特許請求の範囲の請求項6に記載された次の事項により特定されるとおりのものである。(以下、「訂正発明6」という。)
「【請求項6】 撮影によって得られた行アドレスと列アドレスとを有する一連の画像データをバッファメモリに順次格納し画像処理を繰り返し行うことにより、一連の画像データ全てに対して画像処理を実行する画像処理手段を備えるデジタルカメラであって、
(a)前記画像データを略等分割に分割指定する手段と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する手段と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する手段と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う手段と、
(e)分割指定された画像データに対して繰り返し画像処理を実行する手段と、
を備えることを特徴とするデジタルカメラ。」

(2) 訂正発明6の特徴的な要件及び判断
訂正発明6の特徴は、訂正発明1をデジタルカメラという装置で表現した点である。
訂正発明6は訂正発明1と実質的な相違は存在せず、訂正発明1と同様、当業者であれば容易に発明できたものである。

7 請求項7に係る発明
(1) 請求項7に係る発明は、その特許請求の範囲の請求項7に記載された次の事項により特定されるとおりのものである。(以下、「訂正発明7」という。)
「【請求項7】デジタルカメラに内蔵されたマイクロコンピュータにインストールされることにより、当該デジタルカメラを請求項6に記載のデジタルカメラとして機能させるためのプログラムを記録してあることを特長とする、コンピュータ読み取り可能な記録媒体。」

(2) 訂正発明7の特徴的な要件及び判断
訂正発明7の特徴は、訂正発明6記載のデジタルカメラを機能させる記録媒体である点である。
デジタルカメラ内にCPUを設けることやCPUがコンピュータプログラムに従って処理することは、デジタルカメラを含む情報処理の技術常識であり、プログラムを記憶している記憶媒体が存在することも当然のことであり、刊行物1に明確な記載がなくとも、当業者であれば普通に採用する技術といえる。
したがって、訂正発明7は、単に記録媒体に記録したにすぎず、当業者であれば容易に発明できたものである。

第4 むすび
以上のとおりであるから、本件訂正明細書の訂正発明1ないし7は、前記刊行物に記載された発明に基づいて当業者が容易に発明をすることができたものであるから、本件訂正された請求項1ないし7に係る特許は特許法29条2項の規定に違反してされたものである。
したがって、本件訂正発明1ないし7についての特許は、特許法113条2号に該当し、取り消されるべきものである。
よって結論のとおり決定する。
 
発明の名称 (54)【発明の名称】
画像処理方法、デジタルカメラ、および記録媒体
(57)【特許請求の範囲】
【請求項1】 デジタルカメラで撮影された、行アドレスと列アドレスとを有する一連の画像データの画像処理方法であって、
(a)前記画像データを略等分割に分割指定する工程と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する工程と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する工程と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う工程と、
(e)前記工程(c)および前記工程(d)を繰り返し、分割指定された画像データに対して画像処理を実行する工程と、
(f)前記工程(e)完了後、前記工程(b)ないし前記工程(e)を繰り返し、前記画像データ全体の画像処理を実行する工程と、
を備えることを特徴とする画像処理方法。
【請求項2】 請求項1に記載の画像処理方法において、
前記工程(d)における画像処理はマトリクスを用いて行われることを特徴とする画像処理方法。
【請求項3】 請求項1または請求項2に記載の画像処理方法において、
前記工程(d)における画像処理はフィルタ処理であることを特徴とする画像処理方法。
【請求項4】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は列方向に順次実行され、
前記工程(d)における画像処理は行方向に順次実行されることを特徴とする画像処理方法。
【請求項5】 請求項1ないし請求項3のいずれかに記載の画像処理方法において、
前記工程(c)における画像データのバッファメモリ領域への格納は行方向に順次実行され、
前記工程(d)における画像処理は列方向に順次実行されることを特徴とする画像処理方法。
【請求項6】 撮影によって得られた行アドレスと列アドレスとを有する一連の画像データをバッファメモリに順次格納し画像処理を繰り返し行うことにより、一連の画像データ全てに対して画像処理を実行する画像処理手段を備えるデジタルカメラであって、
(a)前記画像データを略等分割に分割指定する手段と、
(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する手段と、
(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する手段と、
(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う手段と、
(e)分割指定された画像データに対して繰り返し画像処理を実行する手段と、
を備えることを特徴とするデジタルカメラ。
【請求項7】 デジタルカメラに内蔵されたマイクロコンピュータにインストールされることにより、当該デジタルカメラを請求項6に記載のデジタルカメラとして機能させるためのプログラムを記録してあることを特徴とする、コンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特にバッファメモリを利用する画像処理技術に関する。
【0002】
【従来の技術】
デジタルカメラにおける画像処理については、画像処理過程で一時的にデータを格納するバッファメモリを利用して行われている。
【0003】
図11は、このバッファメモリを利用した従来例に係る画像処理を説明する図である。
【0004】
この画像処理については、画像データを表現するm行n列のマトリクスHiに関して空間フィルタ処理のためのマトリクスFiを方向G1(X方向)に1画素づつ移動させて行われる。そして、空間フィルタFiがマトリクスHiの端部に到達すると方向G2に移動し方向G3に1画素づつ移動させる。以上の動作を繰り返すことによって画像データ全体の画像処理が行えることとなる。
【0005】
ここでは、例えばマトリクスHiにおける注目画素Fcの直上の画素行および直下の画素行とを、データ配列Hiに対応する列幅nを有するバッファエリアのデータ配列Hgに格納して画像処理が行われる。
【0006】
【発明が解決しようとする課題】
しかしながら、上記の画像処理では、デジタルカメラの画素数の向上による画像データ容量の増加(例えば500万画素8ビットで約15MB)に伴い、それに応じたサイズのバッファメモリが必要となるため、メモリの効率的な利用が求められている。
【0007】
本発明は、上記課題に鑑みてなされたものであり、メモリの有効活用が図れる画像処理技術を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記の課題を解決するため、請求項1の発明は、デジタルカメラで撮影された、行アドレスと列アドレスとを有する一連の画像データの画像処理方法であって、(a)前記画像データを略等分割に分割指定する工程と、(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する工程と、(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する工程と、(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う工程と、(e)前記工程(c)および前記工程(d)を繰り返し、分割指定された画像データに対して画像処理を実行する工程と、(f)前記工程(e)完了後、前記工程(b)ないし前記工程(e)を繰り返し、前記画像データ全体の画像処理を実行する工程とを備える。
【0009】
また、請求項2の発明は、請求項1の発明に係る画像処理方法において、前記工程(d)における画像処理はマトリクスを用いて行われる。
【0010】
また、請求項3の発明は、請求項1または請求項2の発明に係る画像処理方法において、前記工程(d)における画像処理はフィルタ処理である。
【0011】
また、請求項4の発明は、請求項1ないし請求項3のいずれかの発明に係る画像処理方法において、前記工程(c)における画像データのバッファメモリ領域への格納は列方向に順次実行され、前記工程(d)における画像処理は行方向に順次実行される。
【0012】
また、請求項5の発明は、請求項1ないし請求項3のいずれかの発明に係る画像処理方法において、前記工程(c)における画像データのバッファメモリ領域への格納は行方向に順次実行され、前記工程(d)における画像処理は列方向に順次実行される。
【0013】
また、請求項6の発明は、撮影によって得られた行アドレスと列アドレスとを有する一連の画像データをバッファメモリに順次格納し画像処理を繰り返し行うことにより、一連の画像データ全てに対して画像処理を実行する画像処理手段を備えるデジタルカメラであって、(a)前記画像データを略等分割に分割指定する手段と、(b)分割指定された領域毎に画像データをさらに行もしくは列方向に細分割する手段と、(c)細分割された画像データを順次、所定のメモリにおいて一部を占めるバッファメモリ領域に格納する手段と、(d)前記バッファメモリ領域に格納された画像データ単位で、画像処理を行う手段と、(e)分割指定された画像データに対して繰り返し画像処理を実行する手段とを備える。
【0014】
また、請求項7の発明は、デジタルカメラに内蔵されたマイクロコンピュータにインストールされることにより、当該デジタルカメラを請求項6の発明に係るデジタルカメラとして機能させるためのプログラムを記録してある。
【0015】
【発明の実施の形態】
<デジタルカメラの要部構成>
図1〜図4は、本発明の実施形態に係るデジタルカメラ1の要部構成を示す図であり、図1は正面図、図2は背面図、図3は側面図、図4は底面図に相当する。これらの図は必ずしも三角図法に則っているものではなく、デジタルカメラ1の要部構成を概念的に例示することを主眼としている。
【0016】
デジタルカメラ1は、図1に示すように、箱形のカメラ本体部2と直方体状の撮像部3(太線で図示)とから構成されている。撮像部3は撮像レンズであるマクロ機能付きズームレンズ301の後方位置の適所にCCD(Charge Coupled Device)カラーエリアセンサを備えた撮像回路が設けられている。また、銀塩レンズシャッターカメラと同様に、撮像部3内の適所にフラッシュ光の被写体からの反射光を受光する調光センサ305を備えた調光回路と、また被写体の距離を測定するための測距センサAF、光学ファインダー31が設けられている。
【0017】
一方、撮像部本体3の内部には、上記ズ-ムレンズ301のズーム比の変更と収容位置、撮像位置間のレンズ移動を行うためのズームモータM1及び合焦を行うためのモータM2とが設けられている。
【0018】
カメラ本体部2の前面には、左端部の適所にグリップ部4が設けられ、中央部の上部適所に内蔵フラッシュ5が、カメラ本体部2の上面にはシャッターボタン9が設けられている。
【0019】
一方、図2に示すように、カメラ本体部2の背面には、略中央に撮影画像のモニタ表示(ビューファインダーに相当)及び記録画像の再生表示等を行うための液晶ディスプレイ(LCD:Liquid Crystal Display)10が設けられている。また、LCD10の下方位置に、デジタルカメラの操作を行うキースイッチ群26と、電源スイッチ27とが設けられている。また、電源スイッチ27の左端には、電源ON状態で点灯するLED281、メモリカードにアクセス中状態を表示するLED282が設けられている。
【0020】
更に、カメラ本体部2の背面には、「撮影モード」と「再生モード」とを切替設定する撮影/再生モード設定スイッチ14が設けられている。撮影モードは、写真撮影を行うモードであり、再生モードは、メモリカード8に記録された撮影画像をLCD10に再生表示するモードである。撮影/再生モード設定スイッチ14は、3接点のスライドスイッチからなり、例えば下にセットすると撮影モードが、中央にセットすると再生モードが、上にセットするとメニューモードが設定される。
【0021】
また、カメラ背面右方には、4連スイッチ28が設けられており、ボタン281、282を押すことにより、ズームモータM1を駆動することによってズーミングを行い、ボタン283、284を押すことによって露出補正を行う。
【0022】
さて、図2において、撮像部3の背面側には、LCD表示をオンオフされるためのLCDボタン32が設けられており、このLCDボタン32を押す毎にLCD表示のオンオフ状態が切り替わる。例えば、専ら、光学ファインダー31のみを用いて撮影するときには、節電の目的で、LCD表示をオフするようにする。マクロ撮影時には、マクロボタン33を押すことにより、フォーカスモータM2が駆動されレンズ301がマクロ撮影可能な状態になる。
【0023】
図3の側面図に示すように、デジタルカメラ1の側面には、DC入力端子29が設けられている。
【0024】
図4に示すように、カメラ本体部2の底面には、電池充填室18と2枚のメモリカード8a、8bのカード充填室17(17a、17b)とが設けられ、充填口17は、クラムシェルタイプの蓋15aにより閉塞されるようになっている。この蓋15aには、開口部が設けられており、カード充填室17にメモリカード以外のカード、例えばUSBカード等を装着した場合でもカードのコネクタ部分が外部に露出しているため、蓋15aを閉じた状態で外部機器と結線することが可能な構成となっている。
【0025】
また、デジタルカメラ1は、4本の単三形乾電池を直列接続してなる電源電池Eを駆動源としている。
【0026】
<デジタルカメラ1の機能ブロック>
図5は、デジタルカメラ1の機能ブロック図である。
【0027】
まず、撮像部3の内部ブロックに関して説明する。
【0028】
CCD303は、m行n列の画素配列を有し、レンズ301により結像された被写体の光像を、R(赤)、G(緑)、B(青)の色成分の画像信号(各画素で受光された画素信号の信号列からなる信号)に光電変換して出力する。
【0029】
撮像部3における露出制御は、絞りが固定的となっているので、CCD303の露光量、すなわちシャッタースピードに相当するCCD303の電荷蓄積時間を調整して行われる。被写体輝度が低輝度時に適切なシャッタースピードが設定できない場合には、CCD303から出力される画像信号のレベル調整を行うことにより露光不足による不適正露出が補正される。すなわち、低輝度時は、シャッタースピードとゲイン調整とを組み合わせて露出制御が行われる。画像信号のレベル調整は、信号処理回路313内のAGC回路313bのゲイン調整において行われる。
【0030】
タイミングジェネレータ(TG)314は、タイミング制御回路202から送信される基準クロックに基づきCCD303の駆動制御信号を生成するものである。タイミングジェネレータ314は、例えば、積分開始/終了(露出開始/終了)のタイミング信号、各画素の受光信号の読出制御信号(水平同期信号、垂直同期信号、転送信号等)等のクロック信号を生成し、CCD303に出力する。
【0031】
信号処理回路313は、CCD303から出力される画像信号(アナログ信号)に所定のアナログ信号処理を施すものである。信号処理回路313は、CDS(相関二重サンプリング)回路313aとAGC(オートゲインコントロール)回路313bとを有し、CDS回路313aにより画像信号のノイズの低減を行い、AGC回路313bでゲインを調整することにより画像信号のレベル調整を行う。
【0032】
調光回路304は、フラッシュ撮影における内蔵フラッシュ5の発光量を全体制御部211により設定された所定の発光量に制御するものである。フラッシュ撮影においては、露出開始と同時に被写体からのフラッシュ光の反射光が調光センサ305により受光され、この受光量が所定の発光量に達すると、調光回路304から制御部内に設けられたFL制御回路から発光停止信号STPが出力される。フラッシュ制御回路217は、この発光停止信号STPに応答して内蔵フラッシュ5の発光を強制的に停止し、これにより内蔵フラッシュ5の発光量が所定の発光量に制御される。
【0033】
次に、カメラ本体部2の内部ブロックに関して説明する。
【0034】
カメラ本体部2内において、A/D変換部205は、画像信号の各画素信号を10ビットのデジタル信号に変換するものである。A/D変換部205は、タイミング制御回路202から入力されるA/D変換用のクロックに基づいて各画素信号(アナログ信号)を10ビットのデジタル信号に変換する。
【0035】
カメラ本体部2内には、基準クロック、タイミングジェネレータ314、A/D変換器205に対するクロックを生成するタイミング制御回路202が設けられている。タイミング制御回路202は、全体制御部211により制御される。
【0036】
黒レベル補正回路206は、A/D変換された画素信号(以下、画素データ)を基準の黒レベルに補正するものである。また、WB回路207は、γ補正後にホワイトバランスも併せて調整されるように、R、G、Bの各色成分の画素データのレベル変換を行うものである。WB回路207は、全体制御部211から入力される、レベル変換テーブルを用いてR、G、Bの各色成分の画素データのレベルを変換する。なお、レベル変換テーブルの各色成分の変換係数(特性の傾き)は全体制御部211により撮影画素毎に設定される。
【0037】
γ補正回路208は、画素データのγ特性を補正するものである。DRAM209は、その一部が画像メモリとして機能し、A/D変換部205から出力される画素データを記憶するメモリである。また、DRAM209は、CCD303がm行n列の画素を有している場合、m×n画素分の画素データ以上の記憶容量を有し、各画素データが対応する画素位置に記憶されるようになっている。
【0038】
図6は、このDRAM209内のメモリ領域の割付けを示す概念図である。
【0039】
DRAM209は、複数のメモリ領域に区分されており、その中にはプログラムを格納する領域Mp、CCD303によって取得した画像データを格納する領域Mi、後述する画像処理の際に利用するバッファエリアMbが割当てられている。
【0040】
図5に戻って説明を続ける。
【0041】
VRAM210は、LCD10に再生表示される画像データのバッファメモリである。VRAM210は、LCD10の画素数に対応した画像データの記憶容量を有している。
【0042】
撮影モードにおいて、撮影待機状態においては、撮像部3により所定間隔毎に撮像された画像の各画素データをA/D変換器205〜γ補正回路208により所定の信号処理を施された後、DRAM209に記憶されるとともに、全体制御部211を介してVRAM210に転送され、LCD10に表示される(ライブビュー表示)。これにより撮影者は、LCD10に表示された画像により被写体像を視認することができる。また、再生モードにおいては、メモリカード8から読出された画像が全体制御部211で所定の信号処理が施された後、VRAM210に転送され、LCD10に再生表示される。
【0043】
カードI/F212は、メモリカード8への画像データの書込み及び画像データの読出しを行うためのインターフェースである。上述の通り、このデジタルカメラ1においては、2枚のメモリカード8の装着が可能であり、カード装填室17a、17bも2つある。
【0044】
フラッシュ制御回路217は、内蔵フラッシュ5の発光を制御する回路である。フラッシュ制御回路217は、全体制御部211の制御信号に基づき内蔵フラッシュ5の発光の有無、発光量及び発光タイミング等を制御し、調光回路304から入力される発光停止信号STPに基づき、内蔵フラッシュ5の発光量を制御する。
【0045】
RTC219は、撮影日時を管理するための計時回路である。図示しない別の電源で駆動される。
【0046】
操作部250は、上述した、各種スイッチ、ボタンが設けられている。
【0047】
シャッターボタン9は、銀塩カメラで採用されているような半押し状態(S1)と押し込んだ状態(S2)とが検出可能な2段階スイッチになっている。待機状態でシャッターボタン9を半押し(S1)状態にすると、測距センサからの測距情報によって距離情報を全体制御部211へ入力する。全体制御部211の指示によって、AFモータM2を駆動し、合焦位置へレンズ301を移動させる。
【0048】
全体制御部211は、CPUからなり、上述した撮像部3内及びカメラ本体部2内の各部材の駆動を有機的に制御してデジタルカメラ1の撮影動作を総括制御するものである。この全体制御部211のフラッシュROM211aには、記録媒体であるメモリカード8に記録されているプログラムデータをカードI/F212を介して格納することができる。これにより、この格納したプログラムをデジタルカメラ1の動作に反映することができる。
【0049】
また、全体制御部211は、露出制御値(シャッタースピード(SS))を設定するための輝度判定部とシャッタースピード設定部とを備えている。輝度判定部は、撮影待機状態において、CCD303により1/30(秒)毎に取り込まれる画像を利用して被写体の明るさを判定するものである。すなわち、輝度判定部は、DRAM209に更新的に記憶される画像データを用いて被写体の明るさを判定するものである。
【0050】
シャッタースピード設定部は、輝度判定部による被写体の明るさの判定結果に基づいてシャッタースピード(CCD303の積分時間)を設定するものである。
【0051】
さらに、全体制御部211は、上記撮影画像の記録処理を行うために、フィルタ処理を行うフィルタ部とサムネイル画像および圧縮画像を生成する記録画像生成部とを備え、メモリカード8に記録された画像をLCD10に再生するために、再生画像を生成する再生画像生成部を備えている。
【0052】
フィルタ部は、デジタルフィルタにより記録すべき画像の高周波成分を補正して輪郭に関する画質の補正を行うものである。
【0053】
記録画像生成部は、DRAM209から画素データを読み出してメモリカード8に記録すべきサムネイル画像と圧縮画像とを生成する。記録画像生成部は、DRAM209内の処理済画像データをラスタ走査方向に走査しつつ、横方向と縦方向との両方向でそれぞれ8画素毎に画素データを読み出し、順次、メモリカード8に転送することで、サムネイル画像を生成しつつ、メモリカード8aまたは8bに記録する。
【0054】
メモリカード8への記録に際しては、DRAM209から全画素データを読み出し、これらの画素データに2次元DCT変換、ハフマン符号化等のJPEG方式による所定の圧縮処理を施す。
【0055】
全体制御部211は、撮影モードにおいて、シャッターボタン9により撮影が指示されると、撮影指示後にDRAM209に取り込まれた画像のサムネイル画像と圧縮率設定スイッチ12で設定された圧縮率によりJPEG方式で圧縮された圧縮画像とを生成し、撮影画像に関するタグ情報(コマ番号、露出値、シャッタースピード、圧縮率、撮影日、撮影時のフラッシュのオンオフのデータ、シーン情報、画像の判定結果等の情報)とともに両画像をメモリカード8に記憶する。
【0056】
図7に示すように、デジタルカメラ1によって記録された画像の各コマは、タグの部分とJPEG形式で圧縮された高解像度の画像データ(1600×1200画素)とサムネイル表示用の画像データ(80×60画素)とが記録されている。この1コマ分の画像データの容量は、約1MBとなっている。
【0057】
撮影/再生モード設定スイッチ14を再生モードに設定したときには、メモリカード8内のコマ番号の最も大きな画像データが読み出され、全体制御部211内の再生画像生成部にて、データ伸張され、これがVRAM210に転送されることにより、LCD10には、コマ番号の最も大きな画像すなわち直近に撮影された画像が表示される。
【0058】
<デジタルカメラ1の動作>
図8は、デジタルカメラ1における画像処理の動作を示すフローチャートである。この動作については、全体制御部211において自動的に実行される。
【0059】
また、図9は、デジタルカメラ1における画像処理を説明するための図である。図9(a)は、画像データのメモリ領域Mi(図6)を表現した画素マトリクスHiを示している。このマトリクスHiについては、CCD303の画素行列に対応してm行n列となっている。図9(a)において、列方向がX方向、行方向がY方向を示している。図9(b)は、上記のバッファエリアMb(図6)を表現した画素マトリクスHbを示している。
【0060】
この画像処理として、次の数1に示すする3行3列の平滑化の空間フィルタFiを用いた処理を例に挙げて説明する。
【0061】
【数1】

【0062】
空間フィルタFiにおいては、数1に示す行列の中心(2行2列目)が画像処理で着目される注目画素に相当することとなる。この空間フィルタFiについては、マトリクスHbに内包されるとともに、マトリクスHbのY方向の幅に応じた正方行列となっている。
【0063】
ステップS1では、マトリクスHiをX方向(列方向)に2つのマトリクスH1(平行斜線で図示)、H2に等分割指定する。具体的には、等分割されるメモリアドレスを指定する。ここで、マトリクスH1、H2のX方向の画素数は、(n/2+1)となっている。このように、厳密に2等分されずに境界部分に1画素分のマージンを見込んでいるのは、中心線Cx近傍の画素に関してステップS2での画像処理により不連続とならないようにするためである。
【0064】
ステップS2では、マトリクスH1に関して空間フィルタFiを方向D1(X方向)に1画素づつ移動させながら画像処理を行う。この画像処理においては、例えばマトリクスH1における注目画素Fcの画素行直上の画素行および直下の画素行とをマトリクスHbに格納して順次画像処理を行い、その処理結果をマトリクスH1における注目画素Fcに戻す。これにより、空間フィルタFiによるフィルタ処理が適切に行えることとなる。
【0065】
ここで、空間フィルタFiの右端がマトリクスH1の右端に到達した場合には、方向D2に示すようにY方向に1画素分移動させるとともに、空間フィルタFiの左端をマトリクスH1の左端に移動させる。この際、マトリクスHbには、マトリクスHiにおける1行下に移動した注目画素の直上の行および直下の行のデータが更新して格納される。そして、上記と同様に、空間フィルタFiを方向D3(X方向)に1画素づつ移動させながら画像処理を行う。このように、行方向に細分割してラスタ走査しつつ画像処理を行うことにより、確実に画像処理が行えるとともに画像処理の高速化が図れることとなる。
【0066】
この画像処理で利用されるバッファエリアHbのX方向の長さは、分割された領域となるマトリクスH1のX方向の分割長さと等しくなっている。
【0067】
ステップS3では、マトリクスH1についての画像処理が完了したか、すなわち、空間フィルタFiの端が最下行右端Eに到達したかを判定する。ここで、画像処理が完了した場合には、ステップS4に進み、完了していない場合には、ステップS2に戻る。
【0068】
ステップS4では、ステップS2の動作と同様に、マトリクスH2に関して空間フィルタFiをラスタ走査しつつ画像処理を行う。
【0069】
ステップS5では、ステップS3と同様に、マトリクスH2について画像処理が完了したかを判定する。ここで、画像処理が完了していない場合には、ステップS4に戻る。
【0070】
以上のデジタルカメラ1の動作により、バッファエリアのサイズが、図11(b)に示すメモリ領域Hgに対して約1/2で足り、DRAM209のうちバッファエリアが占めるメモリ領域を低減できるため、メモリの有効活用が図れることとなる。
【0071】
<変形例>
◎上記の実施形態については、列方向に2分割するのは必須でなく、図10に示すように行方向に2分割して画像処理を行っても良い。
【0072】
図10は、本発明の変形例に係る画像処理を説明するための図である。図10(a)は、画像データのメモリ領域Mi(図7)を画素行列で表現したマトリクスHiを示している。
【0073】
この画像処理については、マトリクスHiをY方向(行方向)に2等分するように2つのマトリクスH3、H4に分割し、それぞれのマトリクスH3、H4について上記実施形態と同一の空間フィルタFiをY方向にラスタ走査(方向E1、E2、E3)しつつ画像処理を行う。この分割においても、マージンとして中心線Cyに隣接する1画素分を見込んでいる。
【0074】
この場合、上記実施形態と同様に、マトリクスHiを分割しているため、バッファエリアのマトリクスHcの画素数が減少することとなる。
【0075】
これにより、バッファエリアのサイズが、図11(b)に示すメモリ領域Hgに対して約1/2で足り、DRAM209のうちバッファエリアが占めるメモリ領域を低減できるため、メモリの有効活用が図れることとなる。
【0076】
◎画像データについては、2分割を行うのは必須でなく、3分割以上でも良い。この場合には、メモリ領域の低減がさらに図れることとなる。
【0077】
また、分割については、等分割するのは必須でなく、相互に大きさの異なる分割を行っても良い。さらに、行方向、列方向各々に分割を行っても良い。
【0078】
画像処理については、本実施形態に示した平滑化フィルタ処理だけでなく、シェーディング補正にも適用できる。さらに撮影時のみだけでなく、記録されている画像データを読み出してLCD10に表示する際にも用いられる。
【0079】
◎バッファエリアの幅については、i行j列の空間フィルタを用いる場合、一般的に画素数jとなるが、また画素数jより大きくても良い。
【0080】
◎バッファメモリについては、DRAMの中に設けるのは必須でなく、独立して設けても良い。
【0081】
【発明の効果】
以上説明したように、請求項1ないし請求項7の発明によれば、略等分割に分割指定される領域毎にさらに行もしくは列方向に細分割された画像データを順次バッファメモリ領域に格納して画像処理を行う。その結果、メモリの有効活用が図れる。
【0082】
特に、請求項2の発明については、画像処理がマトリクスを用いて行われるため、画像処理が適切に行える。
【0083】
また、請求項3の発明については、画像処理がフィルタ処理であるため、画像処理が迅速に行える。
【図面の簡単な説明】
【図1】
本発明の実施形態に係るデジタルカメラ1の要部構成を示す図である。
【図2】
デジタルカメラ1の要部構成を示す図である。
【図3】
デジタルカメラ1の要部構成を示す図である。
【図4】
デジタルカメラ1の要部構成を示す図である。
【図5】
デジタルカメラ1の機能ブロック図である。
【図6】
DRAM209内のメモリ領域割付けを示す概念図である。
【図7】
メモリカード8に記録される画像データの構成を示す図である。
【図8】
デジタルカメラ1における画像処理の動作を示すフローチャートである。
【図9】
デジタルカメラ1における画像処理を説明するための図である。
【図10】
本発明の変形例に係る画像処理を説明するための図である。
【図11】
従来例に係る画像処理を説明するための図である。
【符号の説明】
1 デジタルカメラ
209 DRAM
211 全体制御部
303 CCD
Fi 空間フィルタ
Hi 画像データのマトリクス
H1、H2、H3、H4 分割された画像データのマトリクス
Hb、Hc、Hg バッファエリアのマトリクス
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2004-11-12 
出願番号 特願2000-348090(P2000-348090)
審決分類 P 1 651・ 121- ZA (H04N)
最終処分 取消  
前審関与審査官 関谷 隆一  
特許庁審判長 杉山 務
特許庁審判官 高瀬 勤
藤内光武
登録日 2003-02-21 
登録番号 特許第3399457号(P3399457)
権利者 コニカミノルタフォトイメージング株式会社
発明の名称 画像処理方法、デジタルカメラ、および記録媒体  
代理人 吉田 茂明  
代理人 吉竹 英俊  
代理人 有田 貴弘  
代理人 有田 貴弘  
代理人 吉田 茂明  
代理人 吉竹 英俊  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ