• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き1号特許請求の範囲の減縮 訂正する G06T
審判 訂正 ただし書き2号誤記又は誤訳の訂正 訂正する G06T
管理番号 1195711
審判番号 訂正2009-390012  
総通号数 114 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2009-06-26 
種別 訂正の審決 
審判請求日 2009-02-12 
確定日 2009-04-15 
訂正明細書 有 
事件の表示 特許第4161731号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第4161731号に係る明細書及び図面を本件審判請求書に添付された訂正明細書及び図面のとおり訂正することを認める。 
理由 1.手続きの経緯
本件訂正審判に係る特許第4161731号は,平成15年2月13日に出願され,平成20年8月1日に特許権の設定登録がなされ,平成21年2月12日に本件訂正審判が請求されたものである。

2.請求の趣旨
本件審判の請求の要旨は,特許第4161731号の明細書を,審判請求書に添付した訂正明細書のとおり訂正することを求めるものであり,その訂正事項は,以下に示す訂正事項1ないし11のとおりである。

(1)訂正事項1
発明の名称に「画像処理装置および方法,記録媒体,並びにプログラム」とあるのを「画像処理装置,記録媒体,並びにプログラム」と訂正する。
(2)訂正事項2
請求項1に「少なくとも1次元方向」とあるのを「1次元方向」と訂正する。
(3)訂正事項3
請求項1に「少なくとも1次元方向」とあるのを「1次元方向」と訂正する。
(4)訂正事項4
請求項2に「少なくとも1次元方向」とあるのを「1次元方向」と訂正する。
(5)訂正事項5
請求項2に「少なくとも1次元方向」とあるのを「1次元方向」と訂正する。
(6)訂正事項6
請求項3に「少なくとも2次元方向」とあるのを「1次元方向」と訂正する。
(7)訂正事項7
請求項4を削除する。
(8)訂正事項8
「請求項5」とあるのを「請求項4」と訂正する。
(9)訂正事項9
(訂正前の)請求項5に「少なくとも1次元方向」,「少なくとも2次元方向」とあるのを「1次元方向」と訂正する。
(10)訂正事項10
「請求項6」とあるのを「請求項5」と訂正する。
(11)訂正事項11
(訂正前の)請求項6に「少なくとも1次元方向」,「少なくとも2次元方向」とあるのを「1次元方向」と訂正する。

3.訂正の適否
ア 前記(7)の「請求項4を削除する」訂正は,請求項を削除するものであるから,特許請求の範囲の減縮を目的とするものといえる。そして,前記(8)の「請求項5」を「請求項4」とする訂正,前記(10)の「請求項6」を「請求項5」とする訂正は,当該「請求項4」が削除されたことにもともなうものである。また,前記(1)の発明の名称から「方法」を削除する訂正は,上記のように方法発明である「請求項4を削除する」訂正がなされ,他に方法発明が存在しなくなったことにともなうものである。
イ 前記(2)ないし(5)の「少なくとも1次元方向」とあるのを「1次元方向」とする訂正は,「少なくとも」を削除することで,1次元方向に加え,2次元方向以上を含むものから,「1次元方向」のみに限定するものである。よって,特許請求の範囲の減縮を目的とするものである。
ウ 前記(6)の「少なくとも2次元方向」とあるのを「1次元方向」と訂正する点について検討する。訂正対象である「少なくとも2次元方向」との記載の前には「前記」とあるが,当該記載以前に「少なくとも2次元方向」との記載はなく,方向に関する記載としては「少なくとも1次元方向」との記載があるのみである。してみれば,訂正対象である「少なくとも2次元方向」との記載は「少なくとも1次元方向」の誤記であることは明らかであり,このような訂正は,誤記の訂正を目的とするものといえる。そして,「少なくとも1次元方向」とあるのを「1次元方向」とする訂正は,前記ウのとおり,特許請求の範囲の減縮を目的とするものであるから,当該(6)の訂正事項は,誤記の訂正及び特許請求の範囲の減縮を目的とするものである。
エ 前記(9)及び(11)の「少なくとも1次元方向」,「少なくとも2次元方向」を「1次元方向」と訂正する点について検討する。「少なくとも1次元方向」を「1次元方向」とする訂正は前記イのとおり,「少なくとも2次元方向」を「1次元方向」とする訂正は前記ウのとおりであるから,当該(9)及び(11)の訂正事項は,誤記の訂正及び特許請求の範囲の減縮を目的とするものである。
オ そして,前記(1)ないし(11)の各訂正は,願書に添付した明細書又は図面に記載された事項の範囲内のものであり,実質上特許請求の範囲を拡張し,又は変更するものではない。また,訂正後における特許請求の範囲に記載されている事項により構成される発明が特許出願の際独立して特許を受けることができないものでもない。

4.むすび
以上のとおりであるから,本件審判の請求は,特許法第126条第1項ただし書き第1号及び第2号に掲げる事項を目的とし,かつ同第3項ないし第5項の規定に適合する。
よって,結論のとおり審決する。
 
発明の名称 (54)【発明の名称】
画像処理装置、記録媒体、並びにプログラム
(57)【特許請求の範囲】
【請求項1】
現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により前記現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した、前記検出素子により射影された画素値を有する複数の画素からなる画像データにおける、前記現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出手段と、
前記データ定常性検出手段により検出された前記データの定常性に対応して、前記画像データの、時空間方向のうち1次元方向の位置に対応する前記画素の前記画素値が、現実世界の光信号を表す第1の関数を近似する多項式である第2の関数の前記1次元方向の積分により取得された画素値であるとして、前記現実世界の光信号を表す前記第1の関数を前記第2の関数で近似することで、前記第1の関数を推定する実世界推定手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記実世界推定手段は、前記定常性検出手段により検出された前記データの定常性に対応する線からの前記1次元方向に沿った距離に対応する前記画素の前記画素値が、前記第2の関数の前記1次元方向の積分により取得された前記画素値であるとして、前記現実世界の光信号を表す前記第1の関数を、多項式である前記第2の関数で近似することで、前記第1の関数を推定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記実世界推定手段により推定された前記第1の関数である前記第2の関数を、前記1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値を生成する画素値生成手段をさらに備える
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により前記現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した、前記検出素子により射影された画素値を有する複数の画素からなる画像データにおける、前記現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出ステップと、
前記データ定常性検出ステップの処理により検出された前記データの定常性に対応して、前記画像データの、時空間方向のうち1次元方向の位置に対応する前記画素の前記画素値が、現実世界の光信号を表す第1の関数を近似する多項式である第2の関数の前記1次元方向の積分により取得された画素値であるとして、前記現実世界の光信号を表す前記第1の関数を前記第2の関数で近似することで、前記第1の関数を推定する実世界推定ステップと
を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項5】
現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により前記現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した、前記検出素子により射影された画素値を有する複数の画素からなる画像データにおける、前記現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出ステップと、
前記データ定常性検出ステップの処理により検出された前記データの定常性に対応して、前記画像データの、時空間方向のうち1次元方向の位置に対応する前記画素の前記画素値が、現実世界の光信号を表す第1の関数を近似する多項式である第2の関数の前記1次元方向の積分により取得された画素値であるとして、前記現実世界の光信号を表す第1の関数を前記第2の関数で近似することで、前記第1の関数を推定する実世界推定ステップと
を含むことを特徴とする画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、データが取得された現実世界を考慮した信号処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
実世界(現実世界)における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
【0003】
また、第1の次元を有する現実世界の信号である画像をセンサによって検出することにより得た、第1の次元に比較し次元が少ない第2の次元を有し、第1の信号に対する歪を含む第1の画像データを取得し、第1の画像データに基づく画像処理を行うことにより、第1の画像データに比して歪の軽減された第2の画像データを生成するようにしているものもある(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開2001-250119号公報
【0005】
【発明が解決しようとする課題】
しかしながら、データが取得された現実世界を考慮した画像処理はこれまで考えられていなかった。
【0006】
本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像処理装置は、現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおける、現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出手段と、データ定常性検出手段により検出されたデータの定常性に対応して、画像データの、時空間方向のうち1次元方向の位置に対応する画素の画素値が、現実世界の光信号を表す第1の関数を近似する多項式である第2の関数の1次元方向の積分により取得された画素値であるとして、現実世界の光信号を表す第1の関数を第2の関数で近似することで、第1の関数を推定する実世界推定手段を備えることを特徴とする。
【0008】
実世界推定手段は、定常性検出手段により検出されたデータの定常性に対応する線からの1次元方向に沿った距離に対応する画素の画素値が、第2の関数の1次元方向の積分により取得された画素値であるとして、前記現実世界の光信号を表す第1の関数を、多項式である第2の関数で近似することで、第1の関数を推定することができる。
【0009】
実世界推定手段により推定された第1の関数である第2の関数を、1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画値を生成する画素値生成手段をさらに設けるようにすることができる。
【0010】
本発明の画像処理方法は、現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおける、現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出ステップと、データ定常性検出ステップの処理により検出されたデータの定常性に対応して、画像データの、時空間方向のうち1次元方向の位置に対応する画素の画素値が、現実世界の光信号を表す第1の関数を近似する第2の関数の1次元方向の積分により取得された画素値であるとして、現実世界の光信号を表す第1の関数を第2の関数で近似することで、第1の関数を推定する実世界推定ステップとを含むことを特徴とする。
【0011】
本発明の記録媒体のプログラムは、現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおける、現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出ステップと、データ定常性検出ステップの処理により検出されたデータの定常性に対応して、画像データの、時空間方向のうち1次元方向の位置に対応する画素の画素値が、現実世界の光信号を表す第1の関数を近似する第2の関数の1次元方向の積分により取得された画素値であるとして、現実世界の光信号を表す第1の関数を第2の関数で近似することで、第1の関数を推定する実世界推定ステップとを含むことを特徴とする。
【0012】
本発明のプログラムは、現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおける、現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を有しているというデータの定常性を検出する定常性検出ステップと、データ定常性検出ステップの処理により検出されたデータの定常性に対応して、画像データの、時空間方向のうち1次元方向の位置に対応する画素の画素値が、現実世界の光信号を表す第1の関数を近似する第2の関数の1次元方向の積分により取得された画素値であるとして、現実世界の光信号を表す第1の関数を第2の関数で近似することで、第1の関数を推定する実世界推定ステップとを含むことを特徴とする。
【0013】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、現実世界の光信号は、物からの光信号の強度の分布における当該物の長さ方向の任意の位置において、当該長さ方向に直交する方向の位置の変化に対応するレベルの変化としての断面形状が同じであるという現実世界の光信号の定常性を有し、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおける、現実世界の光信号の定常性から変化した所定の次元の方向に一定の特徴を
有しているというデータの定常性が検出され、検出されたデータの定常性に対応して、画像データの、時空間方向のうち1次元方向の位置に対応する画素の画素値が、現実世界の光信号を表す第1の関数を近似する第2の関数の1次元方向の積分により取得された画素値であるとして、現実世界の光信号を表す第1の関数を第2の関数で近似することで、第1の関数が推定される。
【0014】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【0015】
【発明の実施の形態】
図1は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界1の事象(現象)は、センサ2により取得され、データ化される。実世界1の事象とは、光(画像)、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどをいう。実世界1の事象は、時空間方向に分布している。例えば、実世界1の画像は、実世界1の光の強度の時空間方向の分布である。
【0016】
センサ2に注目すると、空間、時間、および質量の次元を有する実世界1の事象のうち、センサ2が取得可能な、実世界1の事象が、センサ2により、データ3に変換される。センサ2によって、実世界1の事象を示す情報が取得されるとも言える。
【0017】
すなわち、センサ2は、実世界1の事象を示す情報を、データ3に変換する。空間、時間、および質量の次元を有する実世界1の事象(現象)を示す情報である信号がセンサ2により取得され、データ化されるとも言える。
【0018】
以下、実世界1における、画像、音声、圧力、温度、質量、濃度、明るさ/暗さ、またはにおいなどの事象の分布を、実世界1の事象を示す情報である信号とも称する。また、実世界1の事象を示す情報である信号を、単に、実世界1の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【0019】
センサ2から出力されるデータ3(検出信号)は、実世界1の事象を示す情報を、実世界1に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ3は、実世界1の3次元の空間方向および時間方向の画像が、2次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ3がデジタルデータであるとき、データ3は、サンプリングの単位に応じて、丸められている。データ3がアナログデータであるとき、データ3において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【0019】
このように、所定の次元を有する実世界1の事象を示す情報である信号をデータ3(検出信号)に射影することにより、実世界1の事象を示す情報の一部が欠落する。すなわち、センサ2が出力するデータ3において、実世界1の事象を示す情報の一部が欠落している。
【0021】
しかしながら、射影により実世界1の事象を示す情報の一部が欠落しているものの、データ3は、実世界1の事象(現象)を示す情報である信号を推定するための有意情報を含んでいる。
【0022】
本発明においては、実世界1の情報である信号を推定するための有意情報として、データ3に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。
【0023】
ここで、実世界1に注目すると、実世界1の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界1の物体(有体物)において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。
【0024】
従って、実世界1の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。
【0025】
より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【0026】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。
【0027】
また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。
【0028】
同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。
【0029】
このように、実世界1(現実世界)の事象は、所定の次元の方向に一定の特徴を有しているので、実世界1の信号は、所定の次元の方向に一定の特徴を有する。
【0030】
本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界1(現実世界)の信号の定常性とは、実世界1(現実世界)の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。
【0031】
実世界1(現実世界)には、このような定常性が無数に存在する。
【0032】
次に、データ3に注目すると、データ3は、センサ2により、所定の次元を有する実世界1の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ3は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。
【0033】
しかしながら、上述したように、センサ2が出力するデータ3において、実世界1の情報の一部が欠落しているので、データ3から、実世界1(現実世界)の信号に含まれる定常性の一部が欠落してしまう。
【0034】
換言すれば、データ3は、データの定常性として、実世界1(現実世界)の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データ3が有している、所定の次元の方向に一定の特徴である。
【0035】
本発明においては、実世界1の事象を示す情報である信号を推定するための有意情報として、データ3が有する、データの定常性が利用される。
【0036】
例えば、本発明においては、データの定常性を利用して、データ3を信号処理することで、欠落した、実世界1の事象を示す情報が生成される。
【0037】
なお、本発明においては、実世界1の事象を示す情報である信号の次元の、長さ(空間)、時間、および質量のうち、空間方向または時間方向の定常性が利用される。
【0038】
図1に戻り、センサ2は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界1の画像を撮像し、得られたデータ3である画像データを信号処理装置4に出力する。センサ2は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。
【0039】
信号処理装置4は、例えば、パーソナルコンピュータなどで構成される。
【0040】
信号処理装置4は、例えば、図2で示されるように構成される。CPU(Cenｔｒal Pｒｏceｓｓing Uniｔ)21は、ROM(Read Onlｙ Memｏｒｙ)22、または記憶部28に記憶されているプログラムに従って各種の処理を実行する。RAM(Randｏm Acceｓｓ Memｏｒｙ)23には、CPU21が実行するプログラムやデータなどが適宜記憶される。これらのCPU21、ROM22、およびRAM23は、バス24により相互に接続されている。
【0041】
CPU21にはまた、バス24を介して入出力インタフェース25が接続されている。入出力インタフェース25には、キーボード、マウス、マイクロホンなどよりなる入力部26、ディスプレイ、スピーカなどよりなる出力部27が接続されている。CPU21は、入力部26から入力される指令に対応して各種の処理を実行する。そして、CPU21は、処理の結果得られた画像や音声等を出力部27に出力する。
【0042】
入出力インタフェース25に接続されている記憶部28は、例えばハードディスクなどで構成され、CPU21が実行するプログラムや各種のデータを記憶する。通信部29は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部29はセンサ2の出力するデータ3を取り込む取得部として働く。
【0043】
また、通信部29を介してプログラムを取得し、記憶部28に記憶してもよい。
【0044】
入出力インタフェース25に接続されているドライブ30は、磁気ディスク51、光ディスク52、光磁気ディスク53、或いは半導体メモリ54などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部28に転送され、記憶される。
【0045】
図3は、信号処理装置4を示すブロック図である。
【0046】
なお、信号処理装置4の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【0047】
図3に構成を示す信号処理装置4においては、データ3の一例である画像データが入力され、入力された画像データ(入力画像)からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ2により取得された実世界1の信号が推定される。そして、推定された実世界1の信号を基に、画像が生成され、生成された画像(出力画像)が出力される。すなわち、図3は、画像処理装置である信号処理装置4の構成を示す図である。
【0048】
信号処理装置4に入力された入力画像(データ3の一例である画像データ)は、データ定常性検出部101および実世界推定部102に供給される。
【0049】
データ定常性検出部101は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部102および画像生成部103に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向(時間方向および空間方向の角度または傾き)、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部101の構成の詳細は、後述する。
【0050】
実世界推定部102は、入力画像、およびデータ定常性検出部101から供給されたデータ定常性情報を基に、実世界1の信号を推定する。すなわち、実世界推定部102は、入力画像が取得されたときセンサ2に入射された、実世界の信号である画像を推定する。実世界推定部102は、実世界1の信号の推定の結果を示す実世界推定情報を画像生成部103に供給する。実世界推定部102の構成の詳細は、後述する。
【0051】
画像生成部103は、実世界推定部102から供給された、推定された実世界1の信号を示す実世界推定情報を基に、実世界1の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部103は、データ定常性検出部101から供給されたデータ定常性情報、および実世界推定部102から供給された、推定された実世界1の信号を示す実世界推定情報を基に、実世界1の信号により近似した信号を生成して、生成した信号を出力する。
【0052】
すなわち、画像生成部103は、実世界推定情報を基に、実世界1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部103は、データ定常性情報および実世界推定情報を基に、実世界1の画像により近似した画像を生成して、生成した画像を出力画像として出力する。
【0053】
例えば、画像生成部103は、実世界推定情報を基に、推定された実世界1の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部103は、外挿補間により、画像を生成して、生成した画像を出力画像として出力する。
【0054】
画像生成部103の構成の詳細は、後述する。
【0055】
次に、図4乃至図7を参照して、本発明の原理を説明する。
【0056】
図4は、従来の信号処理装置121における処理の原理を説明する図である。従来の信号処理装置121は、データ3を処理の基準とすると共に、データ3を処理の対象として、高解像度化などの処理を実行する。従来の信号処理装置121においては、実世界1が考慮されることはなく、データ3が最終的な基準となり、データ3に含まれている情報以上の情報を出力として得ることはできない。
【0057】
また、従来の信号処理装置121において、データ3に存在する、センサ2による歪み(実世界1の情報である信号とデータ3との差)は全く考慮されないので、従来の信号処理装置121は、歪みを含んだままの信号を出力することになる。さらに、信号処理装置121の処理の内容によっては、データ3に存在する、センサ2による歪みがさらに増幅されて、増幅された歪みを含むデータが出力されることになる。
【0058】
このように、従来の信号処理においては、データ3が取得された実世界1(の信号)そのものが考慮されることはなかった。換言すれば、従来の信号処理においては、データ3に含まれている情報の枠内で実世界1を捉えていたので、データ3に含まれている情報および歪みにより、信号処理の限界が決定される。
【0059】
これに対して、本発明の信号処理においては、実世界1(の信号)そのものを明確に考慮して、処理が実行される。
【0060】
図5は、本発明に係る信号処理装置4における処理の原理を説明する図である。
【0061】
実世界1の事象を示す情報である信号をセンサ2が取得し、センサ2が、実世界1の情報である信号を射影したデータ3を出力する点では、従来と同様である。
【0062】
しかしながら、本発明においては、センサ2により取得された、実世界1の事象を示す情報である信号が明確に考慮される。すなわち、データ3が、センサ2による歪み(実世界1の情報である信号とデータ3との差)を含むことを意識して信号処理がなされる。
【0063】
このようにすることで、本発明の信号処理においては、データ3に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界1の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。すなわち、本発明によれば、センサ2に入力された、実世界1の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0064】
図6および図7は、本発明の原理をより具体的に説明する図である。
【0065】
図6で示されるように、例えば、画像である、実世界1の信号が、レンズ、または光学LPF(Lｏｗ Paｓｓ Filｔeｒ)などでなる光学系141により、センサ2の一例であるCCD(Chaｒge Cｏｕｐled Deｖice)の受光面に結像される。センサ2の一例であるCCDは、積分特性を有しているので、CCDから出力されるデータ3には、実世界1の画像との差が生じることになる。センサ2の積分特性の詳細については、後述する。
【0066】
本発明の信号処理においては、CCDにより取得された実世界1の画像と、CCDにより撮像され、出力されたデータ3との関係が明確に考慮される。すなわち、データ3と、センサ2で取得された実世界の情報である信号との関係が明確に考慮される。
【0067】
より具体的には、図7で示されるように、信号処理装置4は、モデル161を用いて、実世界1を近似(記述)する。モデル161は、例えば、N個の変数で表現される。より正確には、モデル161は、実世界1の信号を近似(記述)する。
【0068】
モデル161を予測するために、信号処理装置4は、データ3から、M個のデータ162を抽出する。データ3から、M個のデータ162を抽出するとき、信号処理装置4は、データ3に含まれるデータの定常性を利用する。換言すれば、信号処理装置4は、データ3に含まれるデータの定常性を基に、モデル161を予測するためのデータ162を抽出する。結果的に、モデル161は、データの定常性に拘束されることになる。
【0069】
すなわち、モデル161は、センサ2で取得されたとき、データ3においてデータの定常性を生じさせる、定常性(所定の次元の方向に一定の特徴)を有する実世界1の事象(を示す情報(信号))を近似する。
【0070】
ここで、データ162の数Mが、モデルの変数の数N以上であれば、M個のデータ162から、N個の変数で表現されるモデル161を予測することができる。
【0071】
このように、実世界1(の信号)を近似(記述)するモデル161を予測することにより、信号処理装置4は、実世界1の情報である信号を考慮することができる。
【0072】
次に、センサ2の積分効果について説明する。
【0073】
画像を撮像するセンサ2である、CCDまたはCMOS(Cｏmｐlemenｔaｒｙ Meｔal-Oｘide Semicｏndｕcｔｏｒ)センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を2次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面(受光領域)として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して1つの画素値に変換される。
【0074】
図8乃至図11を参照して、画像の空間的時間的な積分について説明する。
【0075】
イメージセンサは、現実世界の対象物(オブジェクト)を撮像し、撮像の結果得られた画像データを1フレーム単位で出力する。すなわち、イメージセンサは、実世界1の対象物で反射された光である、実世界1の信号を取得し、データ3を出力する。
【0076】
例えば、イメージセンサは、1秒間に30フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、1/30秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【0077】
図8は、イメージセンサ上の画素の配置の例を説明する図である。図8中において、A乃至Iは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。1つの画素に対応する1つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界1の画像を撮像するとき、1つの検出素子は、画像データを構成する1つの画素に対応する1つの画素値を出力する。例えば、検出素子の空間方向Xの位置(X座標)は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Yの位置(Y座標)は、画像データにより表示される画像上の縦方向の位置に対応する。
【0078】
実世界1の光の強度の分布は、3次元の空間方向および時間方向に広がりを有するが、イメージセンサは、2次元の空間方向および時間方向で、実世界1の光を取得し、2次元の空間方向および時間方向の光の強度の分布を表現するデータ3を生成する。
【0079】
図9で示されるように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、受光面(受光領域)(検出領域)に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、3次元の空間上の位置、および時刻により、強度が決定される実世界1の情報(信号)である。実世界1の光の強度の分布は、3次元の空間上の位置ｘ,ｙ、およびｚ、並びに時刻ｔを変数とする関数F(ｘ,ｙ,ｚ,ｔ)で表すことができる。
【0080】
CCDである検出素子に蓄積される電荷の量は、2次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、2次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間(受光面)および時間(シャッタ時間)に対して、積分効果があるとも言える。
【0081】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ3として出力される。従って、イメージセンサから出力される個々の画素値は、実世界1の情報(信号)の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、1次元の空間に射影した値を有する。
【0082】
すなわち、1つの画素の画素値は、F(ｘ,ｙ,ｔ)の積分で表される。F(ｘ,ｙ,ｔ)は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Pは、式(1)で表される。
【0083】
【数1】

【0084】
式(1)において、ｘ_(1)は、検出素子の受光面の左側の境界の空間座標(X座標)である。ｘ_(2)は、検出素子の受光面の右側の境界の空間座標(X座標)である。式(1)において、ｙ_(1)は、検出素子の受光面の上側の境界の空間座標(Y座標)である。ｙ_(2)は、検出素子の受光面の下側の境界の空間座標(Y座標)である。また、ｔ_(1)は、入射された光の電荷への変換を開始した時刻である。ｔ_(2)は、入射された光の電荷への変換を終了した時刻である。
【0085】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【0086】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界1の光の波形は、積分値としての画素値に隠されてしまう。
【0087】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【0088】
このように、実世界1の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界1の画像の定常性の一部が欠落し、実世界1の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界1の画像の定常性から変化してしまった定常性が含まれることがある。
【0089】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【0090】
図10は、画素D乃至画素Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。図10のF(ｘ)は、空間上(検出素子上)の空間方向Xの座標ｘを変数とする、実世界1の光の強度の分布を表す関数の例である。言い換えれば、F(ｘ)は、空間方向Yおよび時間方向に一定である場合の、実世界1の光の強度の分布を表す関数の例である。図10において、Lは、画素D乃至画素Fに対応する検出素子の受光面の空間方向Xの長さを示す。
【0091】
1つの画素の画素値は、F(ｘ)の積分で表される。例えば、画素Eの画素値Pは、式(2)で表される。
【0092】
【数2】

【0093】
式(2)において、ｘ_(1)は、画素Eに対応する検出素子の受光面の左側の境界の空間方向Xの空間座標である。ｘ_(2)は、画素Eに対応する検出素子の受光面の右側の境界の空間方向Xの空間座標である。
【0094】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【0095】
図11は、時間の経過と、1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図11のF(ｔ)は、時刻ｔを変数とする、実世界1の光の強度の分布を表す関数である。言い換えれば、F(ｔ)は、空間方向Yおよび空間方向Xに一定である場合の、実世界1の光の強度の分布を表す関数の例である。ｔ_(ｓ)は、シャッタ時間を示す。
【0096】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【0097】
なお、図11で示される例において、シャッタ時間ｔ_(ｓ)とフレーム間隔とが同一である。
【0098】
1つの画素の画素値は、F(ｔ)の積分で表される。例えば、フレーム#nの画素の画素値Pは、式(3)で表される。
【0099】
【数3】

【0100】
式(3)において、ｔ_(1)は、入射された光の電荷への変換を開始した時刻である。ｔ_(2)は、入射された光の電荷への変換を終了した時刻である。
【0101】
以下、センサ2による空間方向の積分効果を単に空間積分効果と称し、センサ2による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【0102】
次に、積分効果を有するイメージセンサにより取得されたデータ3に含まれるデータの定常性の例について説明する。
【0103】
図12は、実世界1の線状の物(例えば、細線)の画像、すなわち光の強度の分布の例を示す図である。図12において、図中の上方向の位置は、光の強度(レベル)を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Xの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Yの位置を示す。
【0104】
実世界1の線状の物の画像には、所定の定常性が含まれる。すなわち、図12で示される画像は、長さ方向の任意の位置において、断面形状(長さ方向に直交する方向の位置の変化に対するレベルの変化)が同じであるという定常性を有する。
【0105】
図13は、図12で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【0106】
図14は、図13に示す画像データの模式図である。
【0107】
図14で示される模式図は、イメージセンサの画素の並び(画素の縦または横の並び)とずれた方向に延びる、各画素の受光面の長さLよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図14で示される画像データが取得されたときにイメージセンサに入射された画像は、図12の実世界1の線状の物の画像である。
【0108】
図14において、図中の上方向の位置は、画素値を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Xの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Yの位置を示す。図14における画素値を示す方向は、図12におけるレベルの方向に対応し、図14における空間方向X、および空間方向Yは、図12における方向と同じである。
【0109】
各画素の受光面の長さLよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状(かまぼこ型)で表される。各円弧形状は、ほぼ同じ形状である。1つの円弧形状は、縦に1列の画素の上、または横に1列の画素の上に形成される。例えば、図14における1つの円弧形状は、縦に1列の画素の上に形成される。
【0110】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界1の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Yにおける断面形状が同じであるという定常性が失われている。また、実世界1の線状の物の画像が有していた定常性は、縦に1列の画素の上、または横に1列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【0111】
図15は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像、すなわち光の強度の分布の例を示す図である。図15において、図中の上方向の位置は、光の強度(レベル)を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Xの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Yの位置を示す。
【0112】
背景とは異なる色の、直線状の縁を有する物の実世界1の画像には、所定の定常性が含まれる。すなわち、図15で示される画像は、縁の長さ方向の任意の位置において、断面形状(縁に直交する方向の位置の変化に対するレベルの変化)が同じであるという定常性を有する。
【0113】
図16は、図15で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図16で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【0114】
図17は、図16に示す画像データの模式図である。
【0115】
図17で示される模式図は、イメージセンサの画素の並び(画素の縦または横の並び)とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像を、イメージセンサで撮像して得られた画像データの模式図である。図17で示される画像データが取得されたときにイメージセンサに入射された画像は、図15で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像である。
【0116】
図17において、図中の上方向の位置は、画素値を示し、図中の右上方向の位置は、画像の空間方向の一方向である空間方向Xの位置を示し、図中の右方向の位置は、画像の空間方向の他の方向である空間方向Yの位置を示す。図17における画素値を示す方向は、図15におけるレベルの方向に対応し、図17における空間方向X、および空間方向Yは、図15における方向と同じである。
【0117】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ(ｐaｗl)形状で表される。各つめ形状は、ほぼ同じ形状である。1つのつめ形状は、縦に1列の画素の上、または横に1列の画素の上に形成される。例えば、図17において、1つのつめ形状は、縦に1列の画素の上に形成される。
【0118】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像が有していた定常性は、縦に1列の画素の上、または横に1列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【0119】
データ定常性検出部101は、このような、例えば、入力画像であるデータ3が有するデータの定常性を検出する。例えば、データ定常性検出部101は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部101は、図14で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部101は、図17で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。
【0120】
また、データ定常性検出部101は、同様の形状の並び方を示す、空間方向の角度(傾き)を検出することにより、データの定常性を検出する。
【0121】
また、例えば、データ定常性検出部101は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度(動き)を検出することにより、データの定常性を検出する。
【0122】
さらに、例えば、データ定常性検出部101は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。
【0123】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像がセンサ2により射影されたデータ3の部分を2値エッジとも称する。
【0124】
次に、本発明の原理をさらに具体的に説明する。
【0125】
図18で示されるように、従来の信号処理においては、データ3から、例えば、所望の高解像度データ181が生成される。
【0126】
これに対して、本発明に係る信号処理においては、データ3から、実世界1が推定され、推定の結果に基づいて、高解像度データ181が生成される。すなわち、図19で示されるように、実世界1が、データ3から推定され、高解像度データ181が、データ3を考慮して、推定された実世界1から生成される。
【0127】
実世界1から高解像度データ181を生成するためには、実世界1とデータ3との関係を考慮する必要がある。例えば、実世界1が、CCDであるセンサ2により、データ3に射影されるとどうなるかが考慮される。
【0128】
CCDであるセンサ2は、上述したように、積分特性を有する。すなわち、データ3の1つの単位(例えば、画素値)は、実世界1の信号をセンサ2の検出素子(例えば、CCD)の検出領域(例えば、受光面)で積分することにより算出することができる。
【0129】
これを高解像度データ181について当てはめると、仮想的な高解像度のセンサが実世界1の信号をデータ3に射影する処理を、推定された実世界1に適用することにより、高解像度データ181を得ることができる。
【0130】
換言すれば、図20で示されるように、データ3から実世界1の信号を推定できれば、実世界1の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に(時空間方向に)積分することにより、高解像度データ181に含まれる1つの値を得ることができる。
【0131】
例えば、センサ2の検出素子の検出領域の大きさに比較して、実世界1の信号の変化が、より小さいとき、データ3は、実世界1の信号の小さい変化を表すことができない。そこで、データ3から推定された実世界1の信号を、実世界1の信号の変化に比較して、より小さい領域毎に(時空間方向に)積分することにより、実世界1の信号の小さい変化を示す高解像度データ181を得ることができる。
【0132】
すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界1の信号を検出領域で積分することにより、高解像度データ181を得ることができる。
【0133】
本発明において、画像生成部103は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界1の信号を積分することにより、高解像度データ181を生成する。
【0134】
次に、データ3から、実世界1を推定するために、本発明においては、データ3と実世界1との関係、定常性、およびデータ3における空間混合が利用される。
【0135】
ここで、混合とは、データ3において、実世界1における2つの物体に対する信号が混合されて1つの値となることをいう。
【0136】
空間混合とは、センサ2の空間積分効果による、2つの物体に対する信号の空間方向の混合をいう。
【0137】
実世界1そのものは、無限の数の事象からなり、従って、実世界1そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ3から、実世界1の全ての事象を予測することはできない。
【0138】
同様に、データ3から、実世界1の信号の全てを予測することはできない。
【0139】
そこで、図21で示されるように、本発明においては、実世界1の信号のうち、定常性を有し、関数f(ｘ,ｙ,ｚ,ｔ)で表すことができる部分に注目し、関数f(ｘ,ｙ,ｚ,ｔ)で表すことができる、定常性を有する実世界1の信号の部分が、N個の変数で表現されるモデル161で近似される。そして、図22で示されるように、モデル161が、データ3の中の、M個のデータ162から予測される。
【0140】
M個のデータ162からモデル161の予測を可能にするには、第1に、モデル161を、定常性に基づいて、N個の変数で表し、第2に、センサ2の積分特性に基づいて、N個の変数で表現されるモデル161とM個のデータ162との関係を示す、N個の変数を使用した式を立てることが必要である。モデル161が、定常性に基づいて、N個の変数で表されているので、N個の変数で表現されるモデル161とM個のデータ162との関係を示す、N個の変数を使用した式は、定常性を有する実世界1の信号の部分と、データの定常性を有するデータ3の部分との関係を記述しているとも言える。
【0141】
換言すれば、N個の変数で表現されるモデル161で近似される、定常性を有する実世界1の信号の部分は、データ3において、データの定常性を生じさせる。
【0142】
データ定常性検出部101は、定常性を有する実世界1の信号の部分によって、データの定常性が生じたデータ3の部分、およびデータの定常性が生じた部分の特徴を検出する。
【0143】
例えば、図23で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像において、図23中Aで示す、注目する位置における縁は、傾きを有している。図23のBの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向Xの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向Xの長さおよび空間方向Yの長さで示される方向で表すことができる。
【0144】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像が、センサ2で取得されて、データ3が出力されたとき、データ3において、実世界1の画像における、縁の注目する位置(A)に対する、図23中A’で示す位置に、縁に対応するつめ形状が並び、実世界1の画像の縁の傾きに対応する、図23中B’で示す傾きの方向に、縁に対応するつめ形状が並ぶ。
【0145】
N個の変数で表現されるモデル161は、このような、データ3において、データの定常性を生じさせる、実世界の1の信号の部分を近似する。
【0146】
N個の変数で表現されるモデル161とM個のデータ162との関係を示す、N個の変数を使用した式を立てるとき、データ3において、データの定常性が生じている部分の値を利用する。
【0147】
この場合において、図24で示される、データ3において、データの定常性が生じ、混合領域に属する値に注目して、実世界1の信号を積分した値が、センサ2の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ3における複数の値について、複数の式を立てることができる。
【0148】
図24において、Aは、縁の注目する位置を示し、A’は、実世界1の画像における、縁の注目する位置(A)に対する、画素(の位置)を示す。
【0149】
ここで、混合領域とは、データ3において、実世界1における2つの物体に対する信号が混合されて1つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像に対するデータ3において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。
【0150】
図25は、式を立てる場合における、実世界1における2つの物体に対する信号および混合領域に属する値を説明する図である。
【0151】
図25中の左側は、センサ2の1つの検出素子の検出領域で取得される、空間方向Xおよび空間方向Yに所定の広がりを有する、実世界1における2つの物体に対する実世界1の信号を示す。図25中の右側は、図25中の左側に示す実世界1の信号がセンサ2の1つの検出素子によって射影された、データ3の1つの画素の画素値Pを示す。すなわち、センサ2の1つの検出素子によって取得された、空間方向Xおよび空間方向Yに所定の広がりを有する、実世界1における2つの物体に対する実世界1の信号が射影された、データ3の1つの画素の画素値Pを示す。
【0152】
図25のLは、実世界1における1つの物体に対する、図25の白い部分の実世界1の信号のレベルを示す。図25のRは、実世界1における他の1つの物体に対する、図25の斜線で表される部分の実世界1の信号のレベルを示す。
【0153】
ここで、混合比αは、センサ2の1つの検出素子の、空間方向Xおよび空間方向Yに所定の広がりを有する検出領域に入射された、2つの物体に対する信号(の面積)の割合を示す。例えば、混合比αは、センサ2の1つの検出素子の検出領域の面積に対する、空間方向Xおよび空間方向Yに所定の広がりを有する、センサ2の1つの検出素子の検出領域に入射された、レベルLの信号の面積の割合を示す。
【0154】
この場合において、レベルL、レベルR、および画素値Pの関係は、式(4)で表すことができる。
【0155】
α×L+(1-α)×R=P ・・・(4)
【0156】
なお、レベルRは、注目している画素の右側に位置している、データ3の画素の画素値とすることができる場合があり、レベルLは、注目している画素の左側に位置している、データ3の画素値とすることができる場合がある。
【0157】
また、混合比αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ2に対して撮像の対象となる実世界1の物体が移動しているとき、時間方向に、センサ2の1つの検出素子の検出領域に入射される、2つの物体に対する信号の割合は変化する。センサ2の1つの検出素子の検出領域に入射された、時間方向に割合が変化する、2つの物体に対する信号は、センサ2の検出素子によって、データ3の1つの値に射影される。
【0158】
センサ2の時間積分効果による、2つの物体に対する信号の時間方向の混合を時間混合と称する。
【0159】
データ定常性検出部101は、例えば、実世界1における2つの物体に対する実世界1の信号が射影された、データ3における画素の領域を検出する。データ定常性検出部101は、例えば、実世界1の画像の縁の傾きに対応する、データ3における傾きを検出する。
【0160】
そして、実世界推定部102は、例えば、データ定常性検出部101で検出された、所定の混合比αを有する画素の領域、および領域の傾きを基に、N個の変数で表現されるモデル161とM個のデータ162との関係を示す、N個の変数を使用した式を立てて、立てた式を解くことにより、実世界1の信号を推定する。
【0161】
さらに、具体的な実世界1の推定について説明する。
【0162】
関数F(ｘ,ｙ,ｚ,ｔ)で表される実世界の信号のうち、空間方向Zの断面(センサ2の位置)における関数F(ｘ,ｙ,ｔ)で表される実世界の信号を、空間方向Xにおける位置ｘ、空間方向Yにおける位置ｙ、および時刻ｔで決まる近似関数f(ｘ,ｙ,ｔ)で近似することを考える。
【0163】
ここで、センサ2の検出領域は、空間方向Xおよび空間方向Yに広がりを有する。換言すれば、近似関数f(ｘ,ｙ,ｔ)は、センサ2で取得される、空間方向および時間方向に広がりを有する実世界1の信号を近似する関数である。
【0164】
センサ2による実世界1の信号の射影によって、データ3の値P(ｘ,ｙ,ｔ)が得られるものとする。データ3の値P(ｘ,ｙ,ｔ)は、例えば、イメージセンサであるセンサ2が出力する、画素値である。
【0165】
ここで、センサ2による射影を定式化できる場合、近似関数f(ｘ,ｙ,ｔ)を射影して得られた値を射影関数S(ｘ,ｙ,ｔ)と表すことができる。
【0166】
射影関数S(ｘ,ｙ,ｔ)を求める上で、以下に示す問題がある。
【0167】
第1に、一般的に、実世界1の信号を表す関数F(ｘ,ｙ,ｚ,ｔ)は、無限の次数の関数となりうる。
【0168】
第2に、たとえ、実世界の信号を関数として記述できたとしても、センサ2の射影を介した、射影関数S(ｘ,ｙ,ｔ)を定めることは、一般的にはできない。すなわち、センサ2による射影の動作、言い換えればセンサ2の入力信号と出力信号との関係を知らないので、射影関数S(ｘ,ｙ,ｔ)を定めることはできない。
【0169】
第1の問題点に対して、実世界1の信号を近似する関数f(ｘ,ｙ,ｔ)を記述可能な関数(例えば、有限次数の関数)である関数f_(i)(ｘ,ｙ,ｔ)および変数ｗ_(i)の積和で表現することを考える。
【0170】
また、第2の問題点に対して、センサ2による射影を定式化することで、関数f_(i)(ｘ,ｙ,ｔ)の記述から、関数S_(i)(ｘ,ｙ,ｔ)を記述することができる。
【0171】
すなわち、実世界1の信号を近似する関数f(ｘ,ｙ,ｔ)を関数f_(i)(ｘ,ｙ,ｔ)および変数ｗ_(i)の積和で表現すると、式(5)が得られる。
【0172】
【数4】

【0173】
例えば、式(6)で示されるように、センサ2の射影を定式化することにより、式(5)から、データ3と実世界の信号の関係を式(7)のように定式化することができる。
【0174】
【数5】

【0175】
【数6】

式(7)において、jは、データのインデックスである。
【0176】
式(7)のN個の変数ｗ_(i)(i=1乃至N)が共通であるM個のデータ群(j=1乃至M)が存在すれば、式(8)を満たすので、データ3から実世界のモデル161を求めることができる。
【0177】
N≦M ・・・(8)
Nは、実世界1を近似するモデル161を表現する変数の数である。Mは、データ3に含まれるデータ162の数である。
【0178】
実世界1の信号を近似する関数f(ｘ,ｙ,ｔ)を式(5)で表すことにより、ｗ_(i)として変数の部分を独立させることができる。このとき、iは、そのまま変数の数を示すことになる。また、f_(i)で示される関数の形を独立させることができ、f_(i)として所望の関数を利用することができるようになる。
【0179】
従って、関数f_(i)の形に依存せず、変数ｗ_(i)の数Nを定義でき、変数ｗ_(i)の数Nとデータの数Mとの関係で変数ｗ_(i)を求めることができる。
【0180】
すなわち、以下の3つを用いることで、データ3から実世界1を推定することができるようになる。
【0181】
第1に、N個の変数を定める、すなわち、式(5)を定める。これは、定常性を用いて実世界1を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル161で実世界1の信号を記述することができる。
【0182】
第2に、例えば、センサ2による射影を定式化して、式(7)を記述する。例えば、実世界1の信号の積分を行った結果がデータ3であると定式化する。
【0183】
第3に、M個のデータ162を集めて、式(8)を満足させる。例えば、データ定常性検出部101で検出された、データの定常性を有する領域から、データ162が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ162が集められる。
【0184】
このように、式(5)によって、データ3と実世界1との関係を記述し、M個のデータ162を集めることで、式(8)を満たすことにより、実世界1を推定することができる。
【0185】
より具体的には、N=Mのとき、変数の数Nと式の数Mが等しいので、連立方程式を立てることにより、変数ｗ_(i)を求めることができる。
【0186】
また、N＜Mのとき、様々な解法を適用できる。例えば、最小自乗法により、変数ｗ_(i)を求めることができる。
【0187】
ここで、最小自乗法による解法について、詳細に記載する。
【0188】
まず、式(7)に従って、実世界1からデータ3を予測する式(9)を示す。
【0189】
【数7】

【0190】
式(9)において、P’_(j)(ｘ_(j),ｙ_(j,)ｔ_(j))は、予測値である。
【0191】
予測値P’と実測値Pとの差分自乗和Eは、式(10)で表される。
【0192】
【数8】

【0193】
差分自乗和Eが最小になるように、変数ｗ_(i)が求められる。従って、各変数ｗ_(k)による式(10)の偏微分値は0とされる。すなわち、式(11)が成り立つ。
【0194】
【数9】

【0195】
式(11)から式(12)が導かれる。
【0196】
【数10】

【0197】
式(12)がK=1乃至Nで成り立つとき、最小自乗法による解が得られる。このときの正規方程式は、式(13)で示される。
【0198】
【数11】

ただし、式(13)において、S_(i)(ｘ_(j),ｙ_(j),ｔ_(j))は、S_(i)(j)と記述した。
【0199】
【数12】

【0200】
【数13】

【0201】
【数14】

【0202】
式(14)乃至式(16)から、式(13)は、S_(MAT)W_(MAT)=P_(MAT)と表すことができる。
【0203】
式(13)において、S_(i)は、実世界1の射影を表す。式(13)において、P_(j)は、データ3を表す。式(13)において、ｗ_(i)は、実世界1の信号の特徴を記述し、求めようとする変数である。
【0204】
従って、式(13)にデータ3を入力し、行列解法などによりW_(MAT)を求めることで、実世界1を推定することが可能になる。すなわち、式(17)を演算することにより、実世界1を推定することができるようになる。
【0205】
W_(MAT)=S_(MAT)^(-1)P_(MAT) ・・・(17)
【0206】
なお、S_(MAT)が正則でない場合、S_(MAT)の転置行列を利用して、W_(MAT)を求めることができる。
【0207】
実世界推定部102は、例えば、式(13)にデータ3を入力し、行列解法などによりW_(MAT)を求めることで、実世界1を推定する。
【0208】
ここで、さらにより具体的な例を説明する。例えば、実世界1の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界1の信号の断面形状が一定で、実世界1の信号の断面が等速で移動すると仮定する。そして、センサ2による実世界1の信号からデータ3への射影を、実世界1の信号の時空間方向の3次元で積分で定式化する。
【0209】
実世界1の信号の断面形状が、等速で移動するとの仮定から、式(18)および式(19)が得られる。
【0210】
【数15】


【0211】
【数16】

ここで、ｖ_(ｘ)およびｖ_(ｙ)は、一定である。
【0212】
実世界1の信号の断面形状は、式(18)および式(19)を用いることで、式(20)と表される。
【0213】
f(ｘ’,ｙ’)=f(ｘ+ｖ_(ｘ)ｔ,ｙ+ｖ_(ｙ)ｔ) ・・・(20)
【0214】
センサ2による実世界1の信号からデータ3への射影を、実世界1の信号の時空間方向の3次元で積分で定式化すれば、式(21)が得られる。
【0215】
【数17】

【0216】
式(21)において、S(ｘ,ｙ,ｔ)は、空間方向Xについて、位置ｘ_(ｓ)から位置ｘ_(e)まで、空間方向Yについて、位置ｙ_(ｓ)から位置ｙ_(e)まで、時間方向ｔについて、時刻ｔ_(ｓ)から時刻ｔ_(e)までの領域、すなわち時空間の直方体で表される領域の積分値を示す。
【0217】
式(21)を定めることができる所望の関数f(ｘ’,ｙ’)を用いて、式(13)を解けば、実世界1の信号を推定することができる。
【0218】
以下では、関数f(ｘ’,ｙ’)の一例として、式(22)に示す関数を用いることとする。
【0219】
f(ｘ’,ｙ’)=ｗ_(1)ｘ’+ｗ_(2)ｙ’+ｗ_(3)
=ｗ_(1)(ｘ+ｖ_(ｘ)ｔ)+ｗ_(2)(ｙ+ｖ_(ｙ)ｔ)+ｗ_(3)
・・・(22)
【0220】
すなわち、実世界1の信号が、式(18)、式(19)、および式(22)で表される定常性を含むと仮定している。これは、図26で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。
【0221】
式(21)に、式(22)を代入することにより、式(23)が得られる。
【0222】
【数18】

ただし、
Vｏlｕme=(ｘ_(e)-ｘ_(ｓ))(ｙ_(e)-ｙ_(ｓ))(ｔ_(e)-ｔ_(ｓ))
S_(0)(ｘ,ｙ,ｔ)=Vｏlｕme/2×(ｘ_(e)+ｘ_(ｓ)+ｖ_(ｘ)(ｔ_(e)+ｔ_(ｓ)))
S_(1)(ｘ,ｙ,ｔ)=Vｏlｕme/2×(ｙ_(e)+ｙ_(ｓ)+ｖ_(ｙ)(ｔ_(e)+ｔ_(ｓ)))
S_(2)(ｘ,ｙ,ｔ)=1
である。
【0223】
図27は、データ3から抽出される、M個のデータ162の例を示す図である。例えば、27個の画素値が、データ162として抽出され、抽出された画素値が、P_(j)(ｘ,ｙ,ｔ)とされる。この場合、jは、0乃至26である。
【0224】
図27に示す例において、nである時刻ｔの注目する位置に対応する画素の画素値がP_(13)(ｘ,ｙ,ｔ)であり、データの定常性を有する画素の画素値の並ぶ方向(例えば、データ定常性検出部101で検出された、同じ形状であるつめ形状が並ぶ方向)が、P_(4)(ｘ,ｙ,ｔ)、P_(13)(ｘ,ｙ,ｔ)、およびP_(22)(ｘ,ｙ,ｔ)を結ぶ方向であるとき、nである時刻ｔにおける、画素値P_(9)(ｘ,ｙ,ｔ)乃至P_(17)(ｘ,ｙ,ｔ)、nより時間的に前である、n-1である時刻ｔにおける、画素値P_(0)(ｘ,ｙ,ｔ)乃至P_(8)(ｘ,ｙ,ｔ)、およびnより時間的に後である、n+1である時刻ｔにおける、画素値P_(18)(ｘ,ｙ,ｔ)乃至P_(26)(ｘ,ｙ,ｔ)が抽出される。
【0225】
ここで、センサ2であるイメージセンサから出力された、データ3である画素値が取得された領域は、図28で示されるように、時間方向および2次元の空間方向に広がりを有する。そこで、例えば、図29で示されるように、画素に対応する直方体(画素値が取得された領域)の重心を、画素の時空間方向の位置として使用することができる。図29中の丸は、重心を示す。
【0226】
27個の画素値P_(0)(ｘ,ｙ,ｔ)乃至P_(26)(ｘ,ｙ,ｔ)、および式(23)から、式(13)を生成し、Wを求めることで、実世界1を推定することが可能になる。
【0227】
このように、実世界推定部102は、例えば、27個の画素値P_(0)(ｘ,ｙ,ｔ)乃至P_(26)(ｘ,ｙ,ｔ)、および式(23)から、式(13)を生成し、Wを求めることで、実世界1の信号を推定する。
【0228】
なお、関数f_(i)(ｘ,ｙ,ｔ)として、ガウス関数、またはシグモイド関数などを利用することができる。
【0229】
図30乃至図34を参照して、推定された実世界1の信号から、データ3に対応する、より高解像度の高解像度データ181を生成する処理の例について説明する。
【0230】
図30で示されるように、データ3は、時間方向および2次元の空間方向に実世界1の信号が積分された値を有する。例えば、センサ2であるイメージセンサから出力された、データ3である画素値は、検出素子に入射された光である、実世界1の信号が、時間方向に、検出時間であるシャッタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。
【0231】
これに対して、図31で示されるように、空間方向により解像度の高い高解像度データ181は、推定された実世界1の信号を、時間方向に、データ3を出力したセンサ2の検出時間と同じ時間で積分するとともに、空間方向に、データ3を出力したセンサ2の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。
【0232】
なお、空間方向により解像度の高い高解像度データ181を生成する場合において、推定された実世界1の信号が積分される領域は、データ3を出力したセンサ2の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データ181に、データ3に対して、空間方向に整数倍の解像度を持たせることは勿論、5/3倍など、データ3に対して、空間方向に有理数倍の解像度を持たせることができる。
【0233】
また、図32で示されるように、時間方向により解像度の高い高解像度データ181は、推定された実世界1の信号を、空間方向に、データ3を出力したセンサ2の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ3を出力したセンサ2の検出時間に比較して、より短い時間で積分することにより、生成される。
【0234】
なお、時間方向により解像度の高い高解像度データ181を生成する場合において、推定された実世界1の信号が積分される時間は、データ3を出力したセンサ2の検出素子のシャッタ時間と全く無関係に設定することができる。例えば、高解像度データ181に、データ3に対して、時間方向に整数倍の解像度を持たせることは勿論、7/4倍など、データ3に対して、時間方向に有理数倍の解像度を持たせることができる。
【0235】
図33で示されるように、動きボケを除去した高解像度データ181は、推定された実世界1の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。
【0236】
さらに、図34で示されるように、時間方向および空間方向により解像度の高い高解像度データ181は、推定された実世界1の信号を、空間方向に、データ3を出力したセンサ2の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ3を出力したセンサ2の検出時間に比較して、より短い時間で積分することにより、生成される。
【0237】
この場合において、推定された実世界1の信号が積分される領域および時間は、データ3を出力したセンサ2の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。
【0238】
このように、画像生成部103は、例えば、推定された実世界1の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。
【0239】
以上のように、実世界1の信号を推定することにより、実世界1の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。
【0240】
図35乃至図39を参照して、本発明に係る信号処理装置4の、入力画像の例と、処理の結果の例を示す。
【0241】
図35は、入力画像の元の画像を示す図である。図36は、入力画像の例を示す図である。図36で示される入力画像は、図35で示される画像の2×2の画素からなるブロックに属する画素の画素値の平均値を、1つの画素の画素値として生成された画像である。すなわち、入力画像は、図35で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。
【0242】
図35で示される元の画像において、上下方向から、ほぼ5度時計方向に傾いた細線の画像が含まれている。同様に、図36で示される入力画像において、上下方向から、ほぼ5度時計方向に傾いた細線の画像が含まれている。
【0243】
図37は、図36で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング(写像)されることにより、高画質の画像に変換される。
【0244】
図37で示される画像において、細線の画像が、図35の元の画像とは異なるものになっていることがわかる。
【0245】
図38は、データ定常性検出部101による、図36の例で示される入力画像から細線の領域を検出した結果を示す図である。図38において、白い領域は、細線の領域、すなわち、図14で示される円弧形状が並んでいる領域を示す。
【0246】
図39は、図36で示される画像を入力画像として、本発明に係る信号処理装置4から出力された出力画像の例を示す図である。図39で示されるように、本発明に係る信号処理装置4によれば、図35で示される元の画像の細線の画像により近い画像を得ることができる。
【0247】
図40は、本発明に係る信号処理装置4による、信号の処理を説明するフローチャートである。
【0248】
ステップS101において、データ定常性検出部101は、定常性の検出の処理を実行する。データ定常性検出部101は、データ3である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部102および画像生成部103に供給する。
【0249】
データ定常性検出部101は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップS101の処理において、データ定常性検出部101より検出されるデータの定常性は、データ3に含まれる、実世界1の画像の定常性の一部であるか、または、実世界1の信号の定常性から変化してしまった定常性である。
【0250】
例えば、データ定常性検出部101は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部101は、同様の形状の並び方を示す、空間方向の角度(傾き)を検出することにより、データの定常性を検出する。
【0251】
ステップS101における、定常性の検出の処理の詳細は、後述する。
【0252】
なお、データ定常性情報は、データ3の特徴を示す特徴量として利用することができる。
【0253】
ステップS102において、実世界推定部102は、実世界の推定の処理を実行する。すなわち、実世界推定部102は、入力画像、およびデータ定常性検出部101から供給されたデータ定常性情報を基に、実世界1の信号を推定する。例えば、ステップS102の処理において、実世界推定部102は、実世界1を近似(記述)するモデル161を予測することにより、実世界1の信号を推定する。実世界推定部102は、推定された実世界1の信号を示す実世界推定情報を画像生成部103に供給する。
【0254】
例えば、実世界推定部102は、線状の物の幅を予測することにより、実世界1の信号を推定する。また、例えば、実世界推定部102は、線状の物の色を示すレベルを予測することにより、実世界1の信号を推定する。
【0255】
ステップS102における、実世界の推定の処理の詳細は、後述する。
【0256】
なお、実世界推定情報は、データ3の特徴を示す特徴量として利用することができる。
【0257】
ステップS103において、画像生成部103は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部103は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部103は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。
【0258】
例えば、ステップS103の処理において、画像生成部103は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部103は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップS103における、画像の生成の処理の詳細は、後述する。
【0259】
このように、本発明に係る信号処理装置4は、データ3からデータの定常性を検出し、検出したデータの定常性を基に、実世界1を推定する。そして、信号処理装置4は、推定された実世界1を基に、より実世界1に近似した信号を生成する。
【0260】
以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。
【0261】
また、第1の次元を有する現実世界の信号である第1の信号が射影され、現実世界の信号の定常性の一部が欠落した第1の次元よりも少ない第2の次元の第2の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第1の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0262】
次に、データ定常性検出部101の構成の詳細について説明する。
【0263】
図41は、データ定常性検出部101の構成を示すブロック図である。
【0264】
図41に構成を示すデータ定常性検出部101は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ3に含まれるデータの定常性を検出する。すなわち、図41に構成を示すデータ定常性検出部101は、細線である実世界1の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ3に含まれるデータの定常性を検出する。
【0265】
より具体的には、図41に構成を示すデータ定常性検出部101は、細線の画像を空間積分効果を有するセンサ2で撮像して得られたデータ3に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状(かまぼこ型)が配置される領域を検出する。
【0266】
データ定常性検出部101は、データ3である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分(以下、定常成分とも称する)以外の画像データの部分(以下、非定常成分と称する)を抽出し、抽出された非定常成分と入力画像とから、実世界1の細線の画像が射影された画素を検出し、入力画像における、実世界1の細線の画像が射影された画素からなる領域を検出する。
【0267】
非定常成分抽出部201は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部202および単調増減検出部203に供給する。
【0268】
例えば、図42で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界1の画像がデータ3に射影されたとき、図43で示されるように、非定常成分抽出部201は、データ3である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図43において、実線は、データ3の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図43において、Aは、細線の画像が射影された画素の画素値を示し、PLは、背景を近似する平面を示す。
【0269】
このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。
【0270】
非定常成分抽出部201は、実世界1の光信号である画像が射影され、実世界1の画像の定常性の一部が欠落した、データ3である画像データの複数の画素の画素値の不連続部を検出する。
【0271】
非定常成分抽出部201における非定常成分の抽出の処理の詳細は、後述する。
【0272】
頂点検出部202および単調増減検出部203は、非定常成分抽出部201から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部202および単調増減検出部203は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を0に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部202および単調増減検出部203は、入力画像の各画素の画素値から、平面PLで近似される値を引き算することにより、入力画像から非定常成分を除去する。
【0273】
入力画像から背景を除去することができるので、頂点検出部202乃至連続性検出部204は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部202乃至連続性検出部204における処理がより容易になる。
【0274】
なお、非定常成分抽出部201は、入力画像から非定常成分を除去した画像データを頂点検出部202および単調増減検出部203に供給するようにしてもよい。
【0275】
以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。
【0276】
ここで、頂点検出部202乃至連続性検出部204が検出しようとする、細線の画像が射影された画像データについて説明する。
【0277】
図42で示される細線の画像が射影された画像データの空間方向Yの断面形状(空間方向の位置の変化に対する画素値の変化)は、光学LPFがないとした場合、センサ2であるイメージセンサの空間積分効果から、図44に示す台形、または図45に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学LPFを備え、イメージセンサは、光学LPFを通過した画像を取得し、取得した画像をデータ3に射影するので、現実には、細線の画像データの空間方向Yの断面形状は、図46に示すようなガウス分布に類似した形状となる。
【0278】
頂点検出部202乃至連続性検出部204は、細線の画像が射影された画素であって、同じ断面形状(空間方向の位置の変化に対する画素値の変化)が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界1の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部202乃至連続性検出部204は、入力画像における、縦に1列の画素の上に、円弧形状(かまぼこ型)が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【0279】
また、頂点検出部202乃至連続性検出部204は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界1の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部202乃至連続性検出部204は、入力画像における、横に1列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界1の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【0280】
まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。
【0281】
頂点検出部202は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部203に供給する。画面の上下方向に1列に並ぶ画素を対象とした場合、頂点検出部202は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部202は、1つの画像、例えば、1つのフレームの画像から、1または複数の頂点を検出する。
【0282】
1つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。
【0283】
例えば、頂点検出部202は、1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部202は、検出された頂点を示す頂点情報を単調増減検出部203に供給する。
【0284】
頂点検出部202が、頂点を検出しない場合もある。例えば、1つの画像の画素の画素値が全て同じ値であるとき、または、1若しくは2の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。
【0285】
単調増減検出部203は、頂点検出部202から供給された、頂点の位置を示す頂点情報を基に、頂点検出部202で検出された頂点に対して上下方向に1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部204に供給する。
【0286】
より具体的には、単調増減検出部203は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。
【0287】
また、単調増減検出部203は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。
【0288】
以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。
【0289】
例えば、単調増減検出部203は、頂点に対して縦に1列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部203は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【0290】
さらに、単調増減検出部203は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【0291】
例えば、単調増減検出部203は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【0292】
このように、単調増減検出部203は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【0293】
図47は、空間方向Yの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。
【0294】
図47乃至図49において、Pは、頂点を示す。図41で構成が示されるデータ定常性検出部101の説明において、Pは、頂点を示す。
【0295】
頂点検出部202は、各画素の画素値と、これに空間方向Yに隣接する画素の画素値とを比較して、空間方向Yに隣接する2つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点Pを検出する。
【0296】
頂点Pと、頂点Pの空間方向Yの両側の画素とからなる領域は、頂点Pの画素値に対して、空間方向Yの両側の画素の画素値が単調に減少する単調減少領域である。図47において、Aで示す矢印、およびBで示す矢印は、頂点Pの両側に存在する単調減少領域を示す。
【0297】
単調増減検出部203は、各画素の画素値と、その画素に空間方向Yに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部203は、検出された、差分の符号が変化する画素と、その手前側(頂点P側)の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。
【0298】
図47において、差分の符号が変化する画素と、その手前側(頂点P側)の画素との境界である細線領域の境界はCで示される。
【0299】
さらに、単調増減検出部203は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向Yに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部203は、検出された、差分の符号が変化する画素と、その手前側(頂点P側)の画素との境界を細線領域の境界とする。
【0300】
図47において、差分の符号が変化する画素と、その手前側(頂点P側)の画素との境界である細線領域の境界はDで示される。
【0301】
図47で示されるように、細線の画像が射影された画素からなる細線領域Fは、細線領域の境界Cと、細線領域の境界Dとに挟まれる領域とされる。
【0302】
単調増減検出部203は、このような単調増減領域からなる細線領域Fの中から、予め定めた閾値より長い細線領域F、すなわち、閾値より多い数の画素を含む細線領域Fを求める。例えば、閾値が3であるとき、単調増減検出部203は、4つ以上の画素を含む細線領域Fを検出する。
【0303】
さらに、このように検出された細線領域Fの中から、単調増減検出部203は、頂点Pの画素値、および頂点Pの右側の画素の画素値、および頂点Pの左側の画素の画素値を、それぞれ閾値と比較し、頂点Pの画素値が閾値を超え、頂点Pの右側の画素の画素値が閾値以下であり、頂点Pの左側の画素の画素値が閾値以下である頂点Pが属する細線領域Fを検出し、検出された細線領域Fを細線の画像の成分を含む画素からなる領域の候補とする。
【0304】
言い換えれば、頂点Pの画素値が閾値以下であるか、頂点Pの右側の画素の画素値が閾値を超えるか、または頂点Pの左側の画素の画素値が閾値を超える頂点Pが属する細線領域Fは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【0305】
すなわち、図48で示されるように、単調増減検出部203は、頂点Pの画素値を閾値と比較すると共に、頂点Pに対して、空間方向X(点線AA’で示す方向)に隣接する画素の画素値を、閾値と比較し、頂点Pの画素値が閾値を超え、空間方向Xに隣接する画素の画素値が閾値以下である、頂点Pが属する細線領域Fを検出する。
【0306】
図49は、図48の点線AA’で示す空間方向Xに並ぶ画素の画素値を表す図である。頂点Pの画素値が閾値Th_(S)を超え、頂点Pの空間方向Xに隣接する画素の画素値が、閾値Th_(S)以下である、頂点Pが属する細線領域Fは、細線の成分を含む。
【0307】
なお、単調増減検出部203は、背景の画素値を基準として、頂点Pの画素値と背景の画素値との差分を閾値と比較すると共に、頂点Pに対して、空間方向Xに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点Pの画素値と背景の画素値との差分が閾値を超え、空間方向Xに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点Pが属する細線領域Fを検出するようにしてもよい。
【0308】
単調増減検出部203は、頂点Pを基準として、画素値が単調減少し、画素値の符号が頂点Pと同じである画素からなる領域であって、その頂点Pが閾値を超え、頂点Pの右側の画素の画素値が閾値以下であり、頂点Pの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部204に供給する。
【0309】
画面の上下方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。
【0310】
このように、頂点検出部202および単調増減検出部203は、細線の画像が射影された画素において、空間方向Yの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。
【0311】
連続性検出部204は、単調増減検出部203から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。
【0312】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【0313】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部204は、検出された連続している領域を示すデータ定常性情報を出力する。
【0314】
すなわち、連続性検出部204は、長さ方向に連続するという、実世界1の細線の画像の定常性から生じた、細線を撮像して得られたデータ3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部202および単調増減検出部203において検出された領域の候補をさらに絞り込む。
【0315】
図50は、単調増減領域の連続性を検出の処理を説明する図である。
【0316】
図50に示すように、連続性検出部204は、画面の縦方向に1列に並ぶ画素からなる細線領域Fについて、横方向に隣接する画素を含んでいるとき、2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、2つの細線領域Fの間に連続性がないとする。例えば、画面の縦方向に1列に並ぶ画素からなる細線領域F_(-1)は、画面の縦方向に1列に並ぶ画素からなる細線領域F_(0)の画素と横方向に隣接する画素を含んでいるとき、細線領域F_(0)と連続しているとされる。画面の縦方向に1列に並ぶ画素からなる細線領域F_(0)は、画面の縦方向に1列に並ぶ画素からなる細線領域F_(1)の画素と横方向に隣接する画素を含んでいるとき、細線領域F_(1)と連続しているとされる。
【0317】
このように、頂点検出部202乃至連続性検出部204により、画面の上下方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。
【0318】
頂点検出部202乃至連続性検出部204は、上述したように、画面の上下方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。
【0319】
なお、処理の順序は、本発明を限定するものではなく、並列に実行するようにしても良いことは当然である。
【0320】
すなわち、頂点検出部202は、画面の左右方向に1列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部203に供給する。頂点検出部202は、1つの画像、例えば、1フレームの画像から、1または複数の頂点を検出する。
【0321】
例えば、頂点検出部202は、1フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部202は、検出された頂点を示す頂点情報を単調増減検出部203に供給する。
【0322】
頂点検出部202が、頂点を検出しない場合もある。
【0323】
単調増減検出部203は、頂点検出部202で検出された頂点に対して左右方向に1列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部204に供給する。
【0324】
より具体的には、単調増減検出部203は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【0325】
例えば、単調増減検出部203は、頂点に対して横に1列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部203は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【0326】
さらに、単調増減検出部203は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【0327】
例えば、単調増減検出部203は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【0328】
このように、単調増減検出部203は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【0329】
単調増減検出部203は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。
【0330】
さらに、このように検出された細線領域の中から、単調増減検出部203は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。
【0331】
言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【0332】
なお、単調増減検出部203は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。
【0333】
単調増減検出部203は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部204に供給する。
【0334】
画面の左右方向に1列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ1列の画素であって、細線の画像が射影されたものからなる領域を含む。
【0335】
連続性検出部204は、単調増減検出部203から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。
【0336】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【0337】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部204は、検出された連続している領域を示すデータ定常性情報を出力する。
【0338】
すなわち、連続性検出部204は、長さ方向に連続するという、実世界1の細線の画像の定常性から生じた、細線を撮像して得られたデータ3における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部202および単調増減検出部203において検出された領域の候補をさらに絞り込む。
【0339】
図51は、平面での近似により定常成分を抽出した画像の例を示す図である。図52は、図51に示す画像から頂点を検出し、単調減少している領域を検出した結果を示す図である。図52において、白で示される部分が、検出された領域である。
【0340】
図53は、図52に示す画像から、隣接している領域の連続性を検出して、連続性が検出された領域を示す図である。図53において、白で示される部分が、連続性が検出された領域である。連続性の検出により、領域がさらに特定されていることがわかる。
【0341】
図54は、図53に示す領域の画素値、すなわち、連続性が検出された領域の画素値を示す図である。
【0342】
このように、データ定常性検出部101は、入力画像であるデータ3に含まれている定常性を検出することができる。すなわち、データ定常性検出部101は、細線である実世界1の画像がデータ3に射影されることにより生じた、データ3に含まれるデータの定常性を検出することができる。データ定常性検出部101は、データ3から、細線である実世界1の画像が射影された画素からなる領域を検出する。
【0343】
図55は、定常性検出部101における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。
【0344】
定常性検出部101は、図55に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図55に示すように、画素値がそれぞれP0、P1、P2である画素が並んでいるとき、定常性検出部101は、差分d0=P0-P1および差分d1=P1-P2を計算する。さらに、定常性検出部101は、差分d0および差分d1の絶対値を算出する。
【0345】
画素値P0、P1、およびP2に含まれている非定常性成分が同一であるとき、差分d0および差分d1には、細線の成分に対応した値のみが設定されることになる。
【0346】
従って、定常性検出部101は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その2つの差分の絶対値に対応する画素(2つの差分の絶対値に挟まれた画素)に細線の成分が含まれていると判定する。
【0347】
定常性検出部101においては、このような、簡便な方法で細線を検出することもできる。
【0348】
図56は、定常性検出の処理を説明するフローチャートである。
【0349】
ステップS201において、非定常成分抽出部201は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部201は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部202および単調増減検出部203に供給する。非定常成分の抽出の処理の詳細は、後述する。
【0350】
ステップS202において、頂点検出部202は、非定常成分抽出部201から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップS202において、頂点検出部202は、頂点を検出する。
【0351】
すなわち、頂点検出部202は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップS202において、頂点検出部202は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。
【0352】
頂点検出部202は、検出した頂点を示す頂点情報を単調増減検出部203に供給する。
【0353】
ステップS203において、単調増減検出部203は、非定常成分抽出部201から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップS203において、単調増減検出部203は、頂点検出部202から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。
【0354】
単調増減検出部203は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に1列に並ぶ画素の画素値を基に、縦に並ぶ1列の画素であって、1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップS203において、単調増減検出部203は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に1列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部203は、頂点および頂点に対して縦に1列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部203は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。
【0355】
単調増減検出部203は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部204に供給する。
【0356】
また、単調増減検出部203は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に1列に並ぶ画素の画素値を基に、横に並ぶ1列の画素であって、1つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップS203において、単調増減検出部203は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に1列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部203は、頂点および頂点に対して横に1列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部203は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。
【0357】
単調増減検出部203は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部204に供給する。
【0358】
ステップS204において、単調増減検出部203は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部201は、入力画像の1つの画面(例えば、フレームまたはフィールドなど)の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。
【0359】
ステップS204において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップS202に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。
【0360】
ステップS204において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップS205に進み、連続性検出部204は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部204は、単調増減領域情報で示される、画面の縦方向に1列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、2つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、2つの単調増減領域の間に連続性がないとする。例えば、連続性検出部204は、単調増減領域情報で示される、画面の横方向に1列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、2つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、2つの単調増減領域の間に連続性がないとする。
【0361】
連続性検出部204は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部204から出力されるデータ定常性情報は、実世界1の細線の画像が射影された画素からなる、定常領域である細線領域を示す。
【0362】
ステップS206において、定常性方向検出部205は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部205は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。
【0363】
ステップS206において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップS205に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。
【0364】
ステップS206において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。
【0365】
このように、入力画像であるデータ3に含まれている定常性が検出される。すなわち、細線である実世界1の画像がデータ3に射影されることにより生じた、データ3に含まれるデータの定常性が検出され、データ3から、細線である実世界1の画像が射影された画素からなる、データの定常性を有する領域が検出される。
【0366】
なお、図41で構成が示されるデータ定常性検出部101は、データ3のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。
【0367】
例えば、図57に示すように、連続性検出部204は、フレーム#nにおいて、検出されたデータの定常性を有する領域、フレーム#n-1において、検出されたデータの定常性を有する領域、およびフレーム#n+1において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。
【0368】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【0369】
より具体的には、図57において、Gは、フレーム#nにおいて、検出されたデータの定常性を有する領域、フレーム#n-1において、検出されたデータの定常性を有する領域、およびフレーム#n+1において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きベクトルを示し、G’は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きベクトルGおよび動きベクトルG’は、時間方向のデータの定常性の一例である。
【0370】
さらに、図41で構成が示されるデータ定常性検出部101は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。
【0371】
図58は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部201の構成を示すブロック図である。
【0372】
図58に構成を示す非定常成分抽出部201は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。
【0373】
入力画像は、ブロック抽出部221に供給されるとともに、そのまま出力される。
【0374】
ブロック抽出部221は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部221は、7×7の画素からなるブロックを抽出し、平面近似部222に供給する。例えば、ブロック抽出部221は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。
【0375】
平面近似部222は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部222は、式(24)で表される平面でブロックに含まれる画素の画素値を近似する。
【0376】
ｚ=aｘ+bｙ+c ・・・(24)
【0377】
式(24)において、ｘは、画素の画面上の一方の方向(空間方向X)の位置を示し、ｙは、画素の画面上の他の一方の方向(空間方向Y)の位置を示す。ｚは、平面で示される近似値を示す。aは、平面の空間方向Xの傾きを示し、bは、平面の空間方向Yの傾きを示す。式(24)において、cは、平面のオフセット(切片)を示す。
【0378】
例えば、平面近似部222は、回帰の処理により、傾きa、傾きb、およびオフセットcを求めることにより、式(24)で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部222は、棄却を伴う回帰の処理により、傾きa、傾きb、およびオフセットcを求めることにより、式(24)で表される平面で、ブロックに含まれる画素の画素値を近似する。
【0379】
例えば、平面近似部222は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式(24)で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。
【0380】
なお、平面近似部222は、式(24)で表される平面でブロックを近似すると説明したが、式(24)で表される平面に限らず、より高い自由度をもった関数、例えば、n次の多項式で表される面でブロックを近似するようにしてもよい。
【0381】
繰り返し判定部223は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式(25)は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値ｚiとの差分である誤差eiを示す式である。
【0382】
【数19】

【0383】
式(25)において、ｚハット(ｚに^を付した文字をｚハットと記述する。以下、本明細書において、同様に記載する。)は、ブロックの画素値を近似した平面で示される近似値を示し、aハットは、ブロックの画素値を近似した平面の空間方向Xの傾きを示し、bハットは、ブロックの画素値を近似した平面の空間方向Yの傾きを示す。式(25)において、cハットは、ブロックの画素値を近似した平面のオフセット(切片)を示す。
【0384】
繰り返し判定部223は、式(25)で示される、近似値とブロックの対応する画素の画素値との誤差eiが、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部223は、棄却した画素を示す棄却情報を平面近似部222に供給する。
【0385】
さらに、繰り返し判定部223は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、ブロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部223は、平面近似部222に、ブロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。
【0386】
定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。
【0387】
繰り返し判定部223は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。
【0388】
5×5の画素からなるブロックについて、標準誤差e_(ｓ)は、例えば、式(26)で算出される。
【0389】
【数20】

ここで、nは、画素の数である。
【0390】
なお、繰り返し判定部223は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の2乗の和を算出して、以下の処理を実行するようにしてもよい。
【0391】
ここで、ラスタスキャン方向に1画素ずつずれたブロックを平面で近似するとき、図59に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。
【0392】
繰り返し判定部223は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報(式(24)の平面の傾きおよび切片)を、非定常成分情報として出力する。
【0393】
なお、繰り返し判定部223は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部202乃至定常性方向検出部205は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。
【0394】
図60乃至図67を参照して、非定常成分抽出の処理の結果の例を説明する。
【0395】
図60は、細線が含まれる画像から、元の画像の2×2の画素の画素値の平均値を画素値として生成した入力画像の例を示す図である。
【0396】
図61は、図60で示される画像を、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。図61で示される例において、注目している1つの画素に対する5×5の画素からなるブロックを平面で近似した。図61において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。
【0397】
図61から、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした場合、非定常部の周辺に広く、大きな値が求められていることが確認できる。
【0398】
図62乃至図67で示される例において、注目している1つの画素に対する7×7の画素からなるブロックを平面で近似した。7×7の画素からなるブロックを平面で近似する場合、1つの画素が49のブロックに繰り返し含まれることになるので、定常成分を含む画素は、最も多くて49回、棄却されることになる。
【0399】
図62は、図60で示される画像を、棄却をして平面で近似したとき、得られる標準誤差を画素値とした画像である。
【0400】
図62において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。棄却をしない場合に比較して、棄却をした場合、全体として、標準誤差がより小さくなることがわかる。
【0401】
図63は、図60で示される画像を、棄却をして平面で近似したとき、棄却された回数を画素値とした画像を示す図である。図63において、白い画素はより大きい画素値、すなわち、棄却された回数がより多い画素であり、黒い画素はより小さい画素値、すなわち、棄却された回数がより少ない画素である。
【0402】
図63から、細線の画像が射影された画素は、より多く棄却されていることがわかる。棄却された回数を画素値とした画像を用いて、入力画像の非定常部をマスクする画像を生成することも可能である。
【0403】
図64は、ブロックの画素値を近似した平面の空間方向Xの傾きを画素値とした画像を示す図である。図65は、ブロックの画素値を近似した平面の空間方向Yの傾きを画素値とした画像を示す図である。
【0404】
図66は、ブロックの画素値を近似した平面で示される近似値からなる画像を示す図である。図66で示される画像からは、細線が消えていることがわかる。
【0405】
図67は、図60で示される、元の画像の2×2の画素のブロックの平均値を画素の画素値として生成した画像と、図66で示される、平面で示される近似値からなる画像との差分からなる画像を示す図である。図67の画像の画素値は、非定常成分が除去されるので、細線の画像が射影された値のみを含む。図67からもわかるように、元の画素値と近似した平面で示される近似値との差分からなる画像では、元の画像の定常成分がうまく抽出できていることが確認できる。
【0406】
棄却された回数、ブロックの画素の画素値を近似する平面の空間方向Xの傾き、ブロックの画素の画素値を近似する平面の空間方向Yの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差eiは、入力画像の特徴量としても利用することができる。
【0407】
図68は、ステップS201に対応する、図58に構成を示す非定常成分抽出部201による、非定常成分の抽出の処理を説明するフローチャートである。
【0408】
ステップS221において、ブロック抽出部221は、入力画素から、所定の数の画素からなるブロックを抽出し、抽出したブロックを平面近似部222に供給する。例えば、ブロック抽出部221は、入力画素から、まだ、選択されていない画素のうち、1つの画素を選択し、選択された画素を中心とする7×7の画素からなるブロックを抽出する。例えば、ブロック抽出部221は、ラスタスキャン順に画素を選択することができる。
【0409】
ステップS222において、平面近似部222は、抽出されたブロックを平面で近似する。平面近似部222は、例えば、回帰の処理により、抽出されたブロックの画素の画素値を、平面で近似する。例えば、平面近似部222は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップS223において、繰り返し判定部223は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数をカウントすることにより、繰り返し判定を実行する。
【0410】
ステップS224において、繰り返し判定部223は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップS225に進む。
【0411】
なお、ステップS224において、繰り返し判定部223は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップS225に進むようにしてもよい。
【0412】
ステップS225において、繰り返し判定部223は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部222に通知する。手続きは、ステップS222に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。
【0413】
ステップS225において、ラスタスキャン方向に1画素ずつずれたブロックがステップS221の処理で抽出される場合、図59に示すように、細線の成分を含む画素(図中の黒丸で示す)は、複数回棄却されることになる。
【0414】
ステップS224において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップS226に進む。
【0415】
なお、ステップS224において、繰り返し判定部223は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップS225に進むようにしてもよい。
【0416】
ステップS226において、繰り返し判定部223は、ブロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。
【0417】
ステップS227において、ブロック抽出部221は、入力画像の1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップS221に戻り、まだ処理の対象となっていない画素からブロックを抽出して、上述した処理を繰り返す。
【0418】
ステップS227において、入力画像の1つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。
【0419】
このように、図58に構成を示す非定常成分抽出部201は、入力画像から非定常成分を抽出することができる。非定常成分抽出部201が入力画像の非定常成分を抽出するので、頂点検出部202および単調増減検出部203は、入力画像と、非定常成分抽出部201で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。
【0420】
なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向Xの傾き(式(24)におけるaハット)、平面の空間方向Yの傾き(式(24)におけるbハット)、平面で置き換えたときのレベル(式(24)におけるcハット)、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。
【0421】
図69は、ステップS201に対応する非定常成分の抽出の処理に代わる、図58に構成を示す非定常成分抽出部201による、定常成分の抽出の処理を説明するフローチャートである。ステップS241乃至ステップS245の処理は、ステップS221乃至ステップS225の処理と同様なので、その説明は省略する。
【0422】
ステップS246において、繰り返し判定部223は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部223は、平面による近似値と、真値である画素値との差分を出力する。
【0423】
なお、繰り返し判定部223は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。
【0424】
ステップS247の処理は、ステップS227の処理と同様なので、その説明は省略する。
【0425】
平面が非定常成分を近似しているので、非定常成分抽出部201は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部202乃至連続性検出部204は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部202乃至連続性検出部204における処理がより容易になる。
【0426】
図70は、ステップS201に対応する非定常成分の抽出の処理に代わる、図58に構成を示す非定常成分抽出部201による、定常成分の抽出の他の処理を説明するフローチャートである。ステップS261乃至ステップS265の処理は、ステップS221乃至ステップS225の処理と同様なので、その説明は省略する。
【0427】
ステップS266において、繰り返し判定部223は、画素毎の、棄却の回数を記憶し、ステップS262に戻り、処理を繰り返す。
【0428】
ステップS264において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップS267に進み、繰り返し判定部223は、入力画像の1つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップS261に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。
【0429】
ステップS267において、入力画像の1つの画面の全画素について、処理を終了したと判定された場合、ステップS268に進み、繰り返し判定部223は、まだ選択されていない画素から1つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部223は、ステップS268において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。
【0430】
ステップS268において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップS269に進み、繰り返し判定部223は、選択された画素の画素値(入力画像における画素値)を入力画像の定常成分として出力し、ステップS270に進む。
【0431】
ステップS268において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステップS269の処理をスキップして、手続きは、ステップS270に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。
【0432】
なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部223は、0を設定した画素値を出力するようにしてもよい。
【0433】
ステップS270において、繰り返し判定部223は、入力画像の1つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップS268に戻り、まだ処理の対象となっていない画素から1つの画素を選択して、上述した処理を繰り返す。
【0434】
ステップS270において、入力画像の1つの画面の全画素について処理を終了したと判定された場合、処理は終了する。
【0435】
このように、非定常成分抽出部201は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部201は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。
【0436】
図71は、ステップS201に対応する非定常成分の抽出の処理に代わる、図58に構成を示す非定常成分抽出部201による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップS281乃至ステップS288の処理は、ステップS261乃至ステップS268の処理と同様なので、その説明は省略する。
【0437】
ステップS289において、繰り返し判定部223は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部223は、入力画像から非定常成分を除去した画像を定常性情報として出力する。
【0438】
ステップS290の処理は、ステップS270の処理と同様なので、その説明は省略する。
【0439】
このように、非定常成分抽出部201は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。
【0440】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第1の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を推定し、推定された光信号を第2の画像データに変換するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0441】
図72は、データ定常性検出部101の他の構成を示すブロック図である。
【0442】
図72に構成を示すデータ定常性検出部101においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に1列または水平方向に1列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【0443】
データの定常性の角度とは、基準軸と、データ3が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ3における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【0444】
基準軸は、例えば、空間方向Xを示す軸(画面の水平方向)、または空間方向Yを示す軸(画面の垂直方向)などとすることができる。
【0445】
入力画像は、アクティビティ検出部401およびデータ選択部402に供給される。
【0446】
アクティビティ検出部401は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部402および定常方向導出部404に供給する。
【0447】
例えば、アクティビティ検出部401は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【0448】
アクティビティ検出部401は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部402および定常方向導出部404に供給する。
【0449】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図73で示されるように、垂直方向に1列の画素に円弧形状(かまぼこ型)またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、45度乃至90度のいずれかの値である。
【0450】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に1列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Xを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、0度乃至45度のいずれかの値である。
【0451】
例えば、アクティビティ検出部401は、図74で示される、注目画素を中心とした3×3の9つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部401は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和h_(diff)は、式(27)で求められる。
【0452】
h_(diff)=Σ(P_(i+1,j)-P_(i,j)) ・・・(27)
【0453】
同様に、縦に隣接する画素についての画素値の差分の和ｖ_(diff)は、式(28)で求められる。
【0454】
ｖ_(diff)=Σ(P_(i,j+1)-P_(i,j)) ・・・(28)
【0455】
式(27)および式(28)において、Pは、画素値を示し、iは、画素の横方向の位置を示し、jは、画素の縦方向の位置を示す。
【0456】
アクティビティ検出部401は、算出された横に隣接する画素についての画素値の差分の和h_(diff)および縦に隣接する画素についての画素値の差分の和ｖ_(diff)を比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部401は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【0457】
例えば、横に1列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に1列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ3である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向(以下、非定常方向とも称する)の差分は大きい。
【0458】
例えば、図75に示すように、アクティビティ検出部401は、算出された横に隣接する画素についての画素値の差分の和h_(diff)および縦に隣接する画素についての画素値の差分の和ｖ_(diff)を比較して、横に隣接する画素についての画素値の差分の和h_(diff)が大きい場合、基準軸を基準としたデータの定常性の角度が、45度乃至135度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和ｖ_(diff)が大きい場合、基準軸を基準としたデータの定常性の角度が、0度乃至45度のいずれかの値、または135度乃至180度のいずれかの値であると判定する。
【0459】
例えば、アクティビティ検出部401は、判定の結果を示すアクティビティ情報をデータ選択部402および定常方向導出部404に供給する。
【0460】
なお、アクティビティ検出部401は、5×5の25の画素からなるブロック、または7×7の49の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【0461】
データ選択部402は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部401から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に1列または水平方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0462】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、45度乃至135度のいずれかの値なので、データ選択部402は、注目画素および基準軸を基準とした45度乃至135度の範囲の所定の角度毎に、垂直方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0463】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、0度乃至45度または135度乃至180度のいずれかの値なので、データ選択部402は、注目画素および基準軸を基準とした0度乃至45度または135度乃至180度の範囲の所定の角度毎に、水平方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0464】
また、例えば、データの定常性の角度が45度乃至135度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部402は、注目画素および基準軸を基準とした45度乃至135度の範囲の所定の角度毎に、垂直方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0465】
データの定常性の角度が0度乃至45度または135度乃至180度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部402は、注目画素および基準軸を基準とした0度乃至45度または135度乃至180度の範囲の所定の角度毎に、水平方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0466】
データ選択部402は、抽出した画素からなる複数の組を誤差推定部403に供給する。
【0467】
誤差推定部403は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【0468】
例えば、誤差推定部403は、1つの角度に対応する、垂直方向に1列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部403は、1つの角度に対応する、水平方向に1列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【0469】
誤差推定部403は、検出した相関を示す相関情報を定常方向導出部404に供給する。誤差推定部403は、相関を示す値として、データ選択部402から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部404に供給する。
【0470】
定常方向導出部404は、誤差推定部403から供給された相関情報に基いて、欠落した実世界1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部404は、誤差推定部403から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【0471】
以下の説明において、適宜、0度乃至90度の範囲(いわゆる第1象限)のデータの定常性の角度を検出するものとして説明する。
【0472】
図76は、図72に示すデータ定常性検出部101のより詳細な構成を示すブロック図である。
【0473】
データ選択部402は、画素選択部411-1乃至画素選択部411-Lを含む。誤差推定部403は、推定誤差算出部412-1乃至推定誤差算出部412-Lを含む。定常方向導出部404は、最小誤差角度選択部413を含む。
【0474】
まず、アクティビティ情報で示される、データの定常性の角度が45度乃至135度のいずれかの値であるときの画素選択部411-1乃至画素選択部411-Lの処理を説明する。
【0475】
画素選択部411-1乃至画素選択部411-Lは、空間方向Xを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【0476】
例えば、図77で示されるように、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列に属する画素から、注目画素を中心として9つの画素を画素の組として選択する。
【0477】
図77において、マス目状の1つの四角(1つのマス目)は、1つの画素を示す。図77において、中央に示す丸は、注目画素を示す。
【0478】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側の縦に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図77において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側の縦に1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0479】
例えば、図77で示されるように、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側の縦に1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として9つの画素を画素の組として選択する。
【0480】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側に2つめの縦に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図77において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側に2つめの縦に1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0481】
例えば、図77で示されるように、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、左側に2つめの縦に1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として9つの画素を画素の組として選択する。
【0482】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側の縦に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図77において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側の縦に1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0483】
例えば、図77で示されるように、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側の縦に1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として9つの画素を画素の組として選択する。
【0484】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側に2つめの縦に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図77において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側に2つめの縦に1列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0485】
例えば、図77で示されるように、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する縦に1列の画素の列の、右側に2つめの縦に1列の画素の列に属する画素から、直線に最も近い位置の画素を中心として9つの画素を画素の組として選択する。
【0486】
このように、画素選択部411-1乃至画素選択部411-Lは、それぞれ、画素の組を5つ選択する。
【0487】
画素選択部411-1乃至画素選択部411-Lは、互いに異なる角度(に設定された直線)についての、画素の組を選択する。例えば、画素選択部411-1は、45度についての、画素の組を選択し、画素選択部411-2は、47.5度についての、画素の組を選択し、画素選択部411-3は、50度についての、画素の組を選択する。画素選択部411-1乃至画素選択部411-Lは、52.5度から135度までの、2.5度毎の角度についての、画素の組を選択する。
【0488】
なお、画素の組の数は、例えば、3つ、または7つなど、任意の数とすることができ、本発明を限定するものではない。また、1つの組として選択された画素の数は、例えば、5つ、または13など、任意の数とすることができ、本発明を限定するものではない。
【0489】
なお、画素選択部411-1乃至画素選択部411-Lは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部411-1乃至画素選択部411-Lは、縦方向に121個の画素(注目画素に対して、上方向に60画素、下方向に60画素)から、画素の組を選択する。この場合、データ定常性検出部101は、空間方向Xを示す軸に対して、88.09度まで、データの定常性の角度を検出することができる。
【0490】
画素選択部411-1は、選択した画素の組を推定誤差算出部412-1に供給し、画素選択部411-2は、選択した画素の組を推定誤差算出部412-2に供給する。同様に、画素選択部411-3乃至画素選択部411-Lのそれぞれは、選択した画素の組を推定誤差算出部412-3乃至推定誤差算出部412-Lのそれぞれに供給する。
【0491】
推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部412-1乃至推定誤差算出部412-Lは、相関を示す値として、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【0492】
より具体的には、推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に2つめの縦に1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【0493】
そして、推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に1列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から2番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に2つめの縦に1列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【0494】
推定誤差算出部412-1乃至推定誤差算出部412-Lは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【0495】
推定誤差算出部412-1乃至推定誤差算出部412-Lは、検出された相関を示す情報を、最小誤差角度選択部413に供給する。例えば、推定誤差算出部412-1乃至推定誤差算出部412-Lは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部413に供給する。
【0496】
なお、推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【0497】
最小誤差角度選択部413は、互いに異なる角度についての、推定誤差算出部412-1乃至推定誤差算出部412-Lにおいて検出された相関に基いて、欠落した実世界1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部413は、互いに異なる角度についての、推定誤差算出部412-1乃至推定誤差算出部412-Lにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【0498】
例えば、最小誤差角度選択部413は、推定誤差算出部412-1乃至推定誤差算出部412-Lから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部413は、選択された総和が算出された画素の組について、注目画素に対して、左側に2つめの縦に1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に2つめの縦に1列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【0499】
図77で示されるように、最小誤差角度選択部413は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Sを求める。最小誤差角度選択部413は、図78で示すように、式(29)から、欠落した実世界1の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Xを示す軸を基準としたデータの定常性の角度θを検出する。
【0500】
θ=ｔan^(-1)(ｓ/2) ・・・(29)
【0501】
次に、アクティビティ情報で示される、データの定常性の角度が0度乃至45度および135度乃至180度のいずれかの値であるときの画素選択部411-1乃至画素選択部411-Lの処理を説明する。
【0502】
画素選択部411-1乃至画素選択部411-Lは、空間方向Xを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に1列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【0503】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、上側の横に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、上側の横に1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0504】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、上側に2つめの横に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、上側に2つめの横に1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0505】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、下側の横に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、下側の横に1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0506】
画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、下側に2つめの横に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部411-1乃至画素選択部411-Lは、注目画素が属する横に1列の画素の列の、下側に2つめの横に1列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【0507】
このように、画素選択部411-1乃至画素選択部411-Lは、それぞれ、画素の組を5つ選択する。
【0508】
画素選択部411-1乃至画素選択部411-Lは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部411-1は、0度についての、画素の組を選択し、画素選択部411-2は、2.5度についての、画素の組を選択し、画素選択部411-3は、5度についての、画素の組を選択する。画素選択部411-1乃至画素選択部411-Lは、7.5度から45度および135度から180度までの、2.5度毎の角度についての、画素の組を選択する。
【0509】
画素選択部411-1は、選択した画素の組を推定誤差算出部412-1に供給し、画素選択部411-2は、選択した画素の組を推定誤差算出部412-2に供給する。同様に、画素選択部411-3乃至画素選択部411-Lのそれぞれは、選択した画素の組を推定誤差算出部412-3乃至推定誤差算出部412-Lのそれぞれに供給する。
【0510】
推定誤差算出部412-1乃至推定誤差算出部412-Lは、画素選択部411-1乃至画素選択部411-Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部412-1乃至推定誤差算出部412-Lは、検出された相関を示す情報を、最小誤差角度選択部413に供給する。
【0511】
最小誤差角度選択部413は、推定誤差算出部412-1乃至推定誤差算出部412-Lにおいて検出された相関に基いて、欠落した実世界1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【0512】
次に、図79のフローチャートを参照して、ステップS101の処理に対応する、図72で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明する。
【0513】
ステップS401において、アクティビティ検出部401およびデータ選択部402は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部401およびデータ選択部402は、同一の注目画素を選択する。例えば、アクティビティ検出部401およびデータ選択部402は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【0514】
ステップS402において、アクティビティ検出部401は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部401は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【0515】
アクティビティ検出部401は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部402および定常方向導出部404に供給する。
【0516】
ステップS403において、データ選択部402は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部402は、注目画素が属する縦または横に1列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【0517】
ステップS404において、データ選択部402は、ステップS402の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部402は、所定の範囲の角度を有し、空間方向Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に1列または2列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部402は、角度毎に、画素の組を選択する。
【0518】
データ選択部402は、選択した画素の組を誤差推定部403に供給する。
【0519】
ステップS405において、誤差推定部403は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部403は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【0520】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【0521】
誤差推定部403は、算出された相関を示す情報を、定常方向導出部404に供給する。
【0522】
ステップS406において、定常方向導出部404は、ステップS405の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界1の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部404は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【0523】
定常方向導出部404は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【0524】
ステップS407において、データ選択部402は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップS401に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【0525】
ステップS407において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【0526】
このように、データ定常性検出部101は、欠落した実世界1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【0527】
なお、図72で構成が示されるデータ検出部101は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に1列または水平方向に1列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【0528】
例えば、図80に示すように、データ選択部402は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム#n、フレーム#n-1、およびフレーム#n+1のそれぞれから、垂直方向に1列または水平方向に1列の所定の数の画素からなる画素の組を、複数抽出する。
【0529】
フレーム#n-1は、フレーム#nに対して時間的に前のフレームであり、フレーム#n+1は、フレーム#nに対して時間的に後のフレームである。すなわち、フレーム#n-1、フレーム#n、およびフレーム#n+1は、フレーム#n-1、フレーム#n、およびフレーム#n+1の順で表示される。
【0530】
誤差推定部403は、抽出した画素からなる複数の組について、1つの角度および1つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部404は、画素の組の相関に基づいて、欠落した実世界1の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【0531】
図81は、図72に示すデータ定常性検出部101のより詳細な他の構成を示すブロック図である。図76に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【0532】
データ選択部402は、画素選択部421-1乃至画素選択部421-Lを含む。誤差推定部403は、推定誤差算出部422-1乃至推定誤差算出部422-Lを含む。
【0533】
図81で示すデータ定常性検出部101においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【0534】
まず、アクティビティ情報で示される、データの定常性の角度が45度乃至135度のいずれかの値であるときの画素選択部421-1乃至画素選択部421-Lの処理を説明する。
【0535】
図82の左側に示すように、図76で示されるデータ定常性検出部101においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図81で示されるデータ定常性検出部101においては、図82の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図81で示されるデータ定常性検出部101においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。
【0536】
画素選択部421-1乃至画素選択部421-Lは、45度乃至135度の範囲の、空間方向Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【0537】
画素選択部421-1乃至画素選択部421-Lは、注目画素が属する縦に1列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。
【0538】
画素選択部421-1乃至画素選択部421-Lは、注目画素が属する縦に1列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に1列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。
【0539】
すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【0540】
例えば、空間方向Xに対してほぼ45度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ2で撮像された場合、細線の画像は、空間方向Yに1列に並ぶ3つの画素に円弧形状が形成されるように、データ3に射影される。これに対して、空間方向Xに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ2で撮像された場合、細線の画像は、空間方向Yに1列に並ぶ、多数の画素に円弧形状が形成されるように、データ3に射影される。
【0541】
画素の組に同じ数の画素が含まれるとすると、細線が空間方向Xに対してほぼ45度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向Xに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。
【0542】
そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部421-1乃至画素選択部421-Lは、設定する直線が空間方向Xに対して45度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向Xに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素および画素の組を選択する。
【0543】
例えば、図83および図84で示されるように、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、45度以上63.4度未満の範囲(図83および図84において、Aで示す範囲)にあるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に5画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、5つの画素を画素の組として選択する。
【0544】
すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、45度以上63.4度未満の範囲にあるとき、入力画像から、それぞれ5つの画素からなる、11の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に5画素乃至9画素離れた位置にある。
【0545】
図84において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図84において、1列の画素の数は、注目画素に対して、縦に1列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図84において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。
【0546】
図85で示されるように、例えば、画素選択部421-1は、設定された直線の角度が、45度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に5画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、5つの画素を画素の組として選択する。すなわち、画素選択部421-1は、入力画像から、それぞれ5つの画素からなる、11の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に5画素離れた位置にある。
【0547】
なお、図85乃至図92において、点線で表された四角(点線で仕切られた1つのマス目)は、1つの画素を示し、実線で表された四角は、画素の組を示す。図85乃至図92において、注目画素の空間方向Xの座標を0とし、注目画素の空間方向Yの座標を0とした。
【0548】
また、図85乃至図92において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図85乃至図92において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。
【0549】
図86で示されるように、例えば、画素選択部421-2は、設定された直線の角度が、60.9度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした5つの画素を画素の組として選択すると共に、注目画素に対して、横方向に5画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、5つの画素を画素の組として選択する。すなわち、画素選択部421-2は、入力画像から、それぞれ5つの画素からなる、11の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に9画素離れた位置にある。
【0550】
例えば、図83および図84で示されるように、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、63.4度以上71.6度未満の範囲(図83および図84において、Bで示す範囲)にあるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に4画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、7つの画素を画素の組として選択する。
【0551】
すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、63.4度以上71.6度未満の範囲囲にあるとき、入力画像から、それぞれ7つの画素からなる、9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、8画素乃至11画素である。
【0552】
図87で示されるように、例えば、画素選択部421-3は、設定された直線の角度が、63.4度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に4画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、7つの画素を画素の組として選択する。すなわち、画素選択部421-3は、入力画像から、それぞれ7つの画素からなる、9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に8画素離れた位置にある。
【0553】
また、図88で示されるように、例えば、画素選択部421-4は、設定された直線の角度が、70.0度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした7つの画素を画素の組として選択すると共に、注目画素に対して、横方向に4画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、7つの画素を画素の組として選択する。すなわち、画素選択部421-4は、入力画像から、それぞれ7つの画素からなる、9つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に11画素離れた位置にある。
【0554】
例えば、図83および図84で示されるように、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、71.6度以上76.0度未満の範囲(図83および図84において、Cで示す範囲)にあるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に3画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、9つの画素を画素の組として選択する。
【0555】
すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、71.6度以上76.0度未満の範囲にあるとき、入力画像から、それぞれ9つの画素からなる、7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、9画素乃至11画素である。
【0556】
図89で示されるように、例えば、画素選択部421-5は、設定された直線の角度が、71.6度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に3画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、9つの画素を画素の組として選択する。すなわち、画素選択部421-5は、入力画像から、それぞれ9つの画素からなる、7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に9画素離れた位置にある。
【0557】
また、図90で示されるように、例えば、画素選択部421-6は、設定された直線の角度が、74.7度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした9つの画素を画素の組として選択すると共に、注目画素に対して、横方向に3画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、9つの画素を画素の組として選択する。すなわち、画素選択部421-6は、入力画像から、それぞれ9つの画素からなる、7つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に11画素離れた位置にある。
【0558】
例えば、図83および図84で示されるように、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、76.0度以上87.7度以下の範囲(図83および図84において、Dで示す範囲)にあるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした11の画素を画素の組として選択すると共に、注目画素に対して、横方向に2画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、11の画素を画素の組として選択する。すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度が、76.0度以上87.7度以下の範囲にあるとき、入力画像から、それぞれ11の画素からなる、5つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、8画素乃至50画素である。
【0559】
図91で示されるように、例えば、画素選択部421-7は、設定された直線の角度が、76.0度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした11の画素を画素の組として選択すると共に、注目画素に対して、横方向に2画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、11の画素を画素の組として選択する。すなわち、画素選択部421-7は、入力画像から、それぞれ11の画素からなる、5つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に8画素離れた位置にある。
【0560】
また、図92で示されるように、例えば、画素選択部421-8は、設定された直線の角度が、87.7度であるとき、注目画素に対して、縦に1列の画素の列から、注目画素を中心とした11の画素を画素の組として選択すると共に、注目画素に対して、横方向に2画素以内の距離にある、左側および右側の縦に1列の画素の列に属する画素から、それぞれ、11の画素を画素の組として選択する。すなわち、画素選択部421-8は、入力画像から、それぞれ11の画素からなる、5の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に50画素離れた位置にある。
【0561】
このように、画素選択部421-1乃至画素選択部421-Lは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。
【0562】
画素選択部421-1は、選択した画素の組を推定誤差算出部422-1に供給し、画素選択部421-2は、選択した画素の組を推定誤差算出部422-2に供給する。同様に、画素選択部421-3乃至画素選択部421-Lのそれぞれは、選択した画素の組を推定誤差算出部422-3乃至推定誤差算出部422-Lのそれぞれに供給する。
【0563】
推定誤差算出部422-1乃至推定誤差算出部422-Lは、画素選択部421-1乃至画素選択部421-Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部422-1乃至推定誤差算出部422-Lは、画素選択部421-1乃至画素選択部421-Lのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。
【0564】
推定誤差算出部422-1乃至推定誤差算出部422-Lは、検出された相関を示す情報を、最小誤差角度選択部413に供給する。例えば、推定誤差算出部422-1乃至推定誤差算出部422-Lは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部413に供給する。
【0565】
次に、アクティビティ情報で示される、データの定常性の角度が0度乃至45度および135度乃至180度のいずれかの値であるときの画素選択部421-1乃至画素選択部421-Lの処理を説明する。
【0566】
画素選択部421-1乃至画素選択部421-Lは、0度乃至45度または135度乃至180度の範囲の、空間方向Xを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【0567】
画素選択部421-1乃至画素選択部421-Lは、注目画素が属する横に1列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。
【0568】
画素選択部421-1乃至画素選択部421-Lは、注目画素が属する横に1列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側および下側の横に1列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に1列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。
【0569】
すなわち、画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部421-1乃至画素選択部421-Lは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【0570】
画素選択部421-1は、選択した画素の組を推定誤差算出部422-1に供給し、画素選択部421-2は、選択した画素の組を推定誤差算出部422-2に供給する。同様に、画素選択部421-3乃至画素選択部421-Lのそれぞれは、選択した画素の組を推定誤差算出部422-3乃至推定誤差算出部422-Lのそれぞれに供給する。
【0571】
推定誤差算出部422-1乃至推定誤差算出部422-Lは、画素選択部421-1乃至画素選択部421-Lのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。
【0572】
推定誤差算出部422-1乃至推定誤差算出部422-Lは、検出された相関を示す情報を、最小誤差角度選択部413に供給する。
【0573】
次に、図93のフローチャートを参照して、ステップS101の処理に対応する、図81で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明する。
【0574】
ステップS421およびステップS422の処理は、ステップS401およびステップS402の処理と同様なので、その説明は省略する。
【0575】
ステップS423において、データ選択部402は、ステップS422の処理で検出されたアクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部402は、注目画素が属する縦または横に1列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。
【0576】
ステップS424において、データ選択部402は、ステップS422の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部402は、所定の範囲の角度を有し、空間方向Xを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部402は、角度毎に、画素の組を選択する。
【0577】
データ選択部402は、選択した画素の組を誤差推定部403に供給する。
【0578】
ステップS425において、誤差推定部403は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部403は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。
【0579】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【0580】
誤差推定部403は、算出された相関を示す情報を、定常方向導出部404に供給する。
【0581】
ステップS426およびステップS427の処理は、ステップS406およびステップS407の処理と同様なので、その説明は省略する。
【0582】
このように、データ定常性検出部101は、欠落した実世界1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図81に構成を示すデータ定常性検出部101は、特に、データの定常性の角度が45度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。
【0583】
なお、図81で構成が示されるデータ定常性検出部101においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に1列または水平方向に1列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【0584】
図94は、データ定常性検出部101のさらに他の構成を示すブロック図である。
【0585】
図94に構成を示すデータ定常性検出部101においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたブロックと周辺のブロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【0586】
データ選択部441は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出し、抽出したブロックを誤差推定部442に供給する。
【0587】
例えば、データ選択部441は、注目画素を中心とした5×5画素からなるブロック、注目画素の周辺から、注目画素および基準軸を基準とした所定の角度の範囲毎に、5×5画素からなる2つのブロックを抽出する。
【0588】
誤差推定部442は、データ選択部441から供給された、注目画素を中心としたブロックと、注目画素の周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部443に供給する。
【0589】
例えば、誤差推定部442は、角度の範囲毎に、注目画素を中心とした5×5画素からなるブロックと、1つの角度の範囲に対応する、5×5画素からなる2つのブロックとについて、画素値の相関を検出する。
【0590】
定常性方向導出部443は、誤差推定部442から供給された相関情報に基いて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部443は、誤差推定部442から供給された相関情報に基いて、注目画素を中心とした5×5画素からなるブロックに対して最も相関の強い、5×5画素からなる2つのブロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【0591】
図95は、図94に示すデータ定常性検出部101のより詳細な構成を示すブロック図である。
【0592】
データ選択部441は、画素選択部461-1乃至画素選択部461-Lを含む。誤差推定部442は、推定誤差算出部462-1乃至推定誤差算出部462-Lを含む。定常方向導出部443は、最小誤差角度選択部463を含む。
【0593】
例えば、データ選択部441には、画素選択部461-1乃至画素選択部461-8が設けられる。例えば、誤差推定部442には、推定誤差算出部462-1乃至推定誤差算出部462-8が設けられる。
【0594】
画素選択部461-1乃至画素選択部461-Lのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる2つのブロックを抽出する。
【0595】
図96は、画素選択部461-1乃至画素選択部461-Lにより抽出される、5×5画素のブロックの例を説明する図である。図96における中央の位置は、注目画素の位置を示す。
【0596】
なお、5×5画素のブロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。
【0597】
例えば、画素選択部461-1は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、0度乃至18.4度および161.6度乃至180.0度の範囲に対応した、注目画素に対して、右側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Aで示す)を抽出し、注目画素に対して、左側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中A’で示す)を抽出する。画素選択部461-1は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-1に供給する。
【0598】
画素選択部461-2は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、18.4度乃至33.7度の範囲に対応した、注目画素に対して、右側に10画素移動し、上側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Bで示す)を抽出し、注目画素に対して、左側に10画素移動し、下側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中B’で示す)を抽出する。画素選択部461-2は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-2に供給する。
【0599】
画素選択部461-3は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、33.7度乃至56.3度の範囲に対応した、注目画素に対して、右側に5画素移動し、上側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Cで示す)を抽出し、注目画素に対して、左側に5画素移動し、下側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中C’で示す)を抽出する。画素選択部461-3は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-3に供給する。
【0600】
画素選択部461-4は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、56.3度乃至71.6度の範囲に対応した、注目画素に対して、右側に5画素移動し、上側に10画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Dで示す)を抽出し、注目画素に対して、左側に5画素移動し、下側に10画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中D’で示す)を抽出する。画素選択部461-4は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-4に供給する。
【0601】
画素選択部461-5は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、71.6度乃至108.4度の範囲に対応した、注目画素に対して、上側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Eで示す)を抽出し、注目画素に対して、下側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中E’で示す)を抽出する。画素選択部461-5は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-5に供給する。
【0602】
画素選択部461-6は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、108.4度乃至123.7度の範囲に対応した、注目画素に対して、左側に5画素移動し、上側に10画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Fで示す)を抽出し、注目画素に対して、右側に5画素移動し、下側に10画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中F’で示す)を抽出する。画素選択部461-6は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-6に供給する。
【0603】
画素選択部461-7は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、123.7度乃至146.3度の範囲に対応した、注目画素に対して、左側に5画素移動し、上側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Gで示す)を抽出し、注目画素に対して、右側に5画素移動し、下側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中G’で示す)を抽出する。画素選択部461-7は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-7に供給する。
【0604】
画素選択部461-8は、注目画素を中心とした、5×5画素のブロックを抽出すると共に、146.3度乃至161.6度の範囲に対応した、注目画素に対して、左側に10画素移動し、上側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中Hで示す)を抽出し、注目画素に対して、右側に10画素移動し、下側に5画素移動した位置にある画素を中心とした、5×5画素のブロック(図96中H’で示す)を抽出する。画素選択部461-8は、抽出した、5×5画素の3つのブロックを推定誤差算出部462-8に供給する。
【0605】
以下、注目画素を中心とした、所定の数の画素からなるブロックを注目ブロックと称する。
【0606】
以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるブロックを参照ブロックと称する。
【0607】
このように、画素選択部461-1乃至画素選択部461-8は、例えば、注目画素を中心として、25×25画素の範囲から、注目ブロックおよび参照ブロックを抽出する。
【0608】
推定誤差算出部462-1乃至推定誤差算出部462-Lは、画素選択部461-1乃至画素選択部461-Lから供給された、注目ブロックと、2つの参照ブロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部463に供給する。
【0609】
例えば、推定誤差算出部462-1は、注目画素を中心とした、5×5画素からなる注目ブロックと、0度乃至18.4度および161.6度乃至180.0度の範囲に対応して抽出された、注目画素に対して、右側に5画素移動した位置にある画素を中心とした、5×5画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【0610】
この場合において、推定誤差算出部462-1は、図97に示されるように、注目ブロックの中央の画素と参照ブロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に2画素乃至右側に2画素のいずれか、上側に2画素乃至下側に2画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの25種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目ブロックおよび参照ブロックとからなる範囲は、9×9画素である。
【0611】
図97において、四角は、画素を示し、Aは、参照ブロックを示し、Bは、注目ブロックを示す。図97において、太線は、注目画素を示す。すなわち、図97は、参照ブロックに対して、注目ブロックが右側に2画素、および上側に1画素移動した場合の例を示す図である。
【0612】
さらに、推定誤差算出部462-1は、注目画素を中心とした、5×5画素からなる注目ブロックと、0度乃至18.4度および161.6度乃至180.0度の範囲に対応して抽出された、注目画素に対して、左側に5画素移動した位置にある画素を中心とした、5×5画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【0613】
そして、推定誤差算出部462-1は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部463に供給する。
【0614】
推定誤差算出部462-2は、5×5画素からなる注目ブロックと、18.4度乃至33.7度の範囲に対応して抽出された、5×5画素の2つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部462-2は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部463に供給する。
【0615】
同様に、推定誤差算出部462-3乃至推定誤差算出部462-8のそれぞれは、5×5画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、5×5画素の2つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部462-3乃至推定誤差算出部462-8のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部463に供給する。
【0616】
最小誤差角度選択部463は、推定誤差算出部462-1乃至推定誤差算出部462-8から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照ブロックの位置から、2つの参照ブロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【0617】
ここで、参照ブロックの位置と、データの定常性の角度の範囲との関係について説明する。
【0618】
実世界の信号を近似する近似関数f(ｘ)をn次の一次元多項式で近似した場合、近似関数f(ｘ)は、式(30)で表すことができる。
【0619】
【数21】

【0620】
近似関数f(ｘ)で近似される実世界1の信号の波形が、空間方向Yに対して一定の傾き(角度)を有する場合、式(30)における、ｘをｘ+γｙとすることにより得られた式(31)で、実世界1の信号を近似する近似関数(ｘ,ｙ)は、表現される。
【0621】
【数22】

【0622】
γは、空間方向Yの位置の変化に対する、空間方向Xの位置の変化の割合を示す。以下、γをシフト量とも称する。
【0623】
図98は、注目画素の位置と、角度θを有する直線との空間方向Xの距離を0としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Xの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。
【0624】
例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向Xの座標ｘが1増加する位置と、角度θを有する直線との空間方向Xの距離は、1であり、注目画素の左側に隣接する画素の位置、すなわち空間方向Xの座標ｘが1減少する位置と、角度θを有する直線との空間方向Xの距離は、-1である。注目画素の上側に隣接する画素の位置、すなわち空間方向Yの座標ｙが1増加する位置と、角度θを有する直線との空間方向Xの距離は、-γであり、注目画素の下側に隣接する画素の位置、すなわち空間方向Yの座標ｙが1減少する位置と、角度θを有する直線との空間方向Xの距離は、γである。
【0625】
角度θが45度を超え、90度未満であり、シフト量γが、0を超え、1未満であるとき、シフト量γと角度θとの間には、γ=1/ｔanθの関係式が成り立つ。図99は、シフト量γと角度θとの関係を示す図である。
【0626】
ここで、シフト量γの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Xの距離の変化に注目する。
【0627】
図100は、シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Xの距離を示す図である。図100において、右上がりの一点鎖線は、シフト量γに対する、注目画素の下側に隣接する画素の位置と直線との空間方向Xの距離を示し、右下がりの一点鎖線は、シフト量γに対する、注目画素の上側に隣接する画素の位置と直線との空間方向Xの距離を示す。
【0628】
図100において、右上がりの二点鎖線は、シフト量γに対する、注目画素から、2画素下側で、1画素左側に位置する画素の位置と直線との空間方向Xの距離を示し、右下がりの二点鎖線は、シフト量γに対する、注目画素から、2画素上側で、1画素右側に位置する画素の位置と直線との空間方向Xの距離を示す。
【0629】
図100において、右上がりの三点鎖線は、シフト量γに対する、注目画素から、1画素下側で、1画素左側に位置する画素の位置と直線との空間方向Xの距離を示し、右下がりの三点鎖線は、シフト量γに対する、注目画素から、1画素上側で、1画素右側に位置する画素の位置と直線との空間方向Xの距離を示す。
【0630】
図100から、シフト量γに対して、距離が最も小さい画素がわかる。
【0631】
すなわち、シフト量γが0乃至1/3であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。すなわち、角度θが71.6度乃至90度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。
【0632】
シフト量γが1/3乃至2/3であるとき、注目画素に対して、2画素上側で、1画素右側に位置する画素、および注目画素に対して、2画素下側で、1画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが56.3度乃至71.6度であるとき、注目画素に対して、2画素上側で、1画素右側に位置する画素、および注目画素に対して、2画素下側で、1画素左側に位置する画素から、直線までの距離が最小である。
【0633】
また、シフト量γが2/3乃至1であるとき、注目画素に対して、1画素上側で、1画素右側に位置する画素、および注目画素に対して、1画素下側で、1画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが45度乃至56.3度であるとき、注目画素に対して、1画素上側で、1画素右側に位置する画素、および注目画素に対して、1画素下側で、1画素左側に位置する画素から、直線までの距離が最小である。
【0634】
角度θが0度から45度までの範囲の直線と画素との関係も、同様に考えることができる。
【0635】
図98に示す画素を、注目ブロックおよび参照ブロックに置き換えて、参照ブロックと直線との空間方向Xの距離を考えることができる。
【0636】
図101に、注目画素を通り、空間方向Xの軸に対して角度θの直線との距離が最小の参照ブロックを示す。
【0637】
図101におけるA乃至HおよびA’乃至H’は、図96におけるA乃至HおよびA’乃至H’の参照ブロックを示す。
【0638】
すなわち、注目画素を通り、空間方向Xの軸を基準とした、0度乃至18.4度および161.6度乃至180.0度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とAおよびA’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、AおよびA’の参照ブロックとの相関が最も強いとき、注目ブロックと、AおよびA’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、0度乃至18.4度および161.6度乃至180.0度の範囲にあると言える。
【0639】
注目画素を通り、空間方向Xの軸を基準とした、18.4度乃至33.7度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とBおよびB’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、BおよびB’の参照ブロックとの相関が最も強いとき、注目ブロックと、BおよびB’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、18.4度乃至33.7度の範囲にあると言える。
【0640】
注目画素を通り、空間方向Xの軸を基準とした、33.7度乃至56.3度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とCおよびC’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、CおよびC’の参照ブロックとの相関が最も強いとき、注目ブロックと、CおよびC’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、33.7度乃至56.3度の範囲にあると言える。
【0641】
注目画素を通り、空間方向Xの軸を基準とした、56.3度乃至71.6度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とDおよびD’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、DおよびD’の参照ブロックとの相関が最も強いとき、注目ブロックと、DおよびD’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、56.3度乃至71.6度の範囲にあると言える。
【0642】
注目画素を通り、空間方向Xの軸を基準とした、71.6度乃至108.4度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とEおよびE’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、EおよびE’の参照ブロックとの相関が最も強いとき、注目ブロックと、EおよびE’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、71.6度乃至108.4度の範囲にあると言える。
【0643】
注目画素を通り、空間方向Xの軸を基準とした、108.4度乃至123.7度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とFおよびF’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、FおよびF’の参照ブロックとの相関が最も強いとき、注目ブロックと、FおよびF’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、108.4度乃至123.7度の範囲にあると言える。
【0644】
注目画素を通り、空間方向Xの軸を基準とした、123.7度乃至146.3度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とGおよびG’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、GおよびG’の参照ブロックとの相関が最も強いとき、注目ブロックと、GおよびG’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、123.7度乃至146.3度の範囲にあると言える。
【0645】
注目画素を通り、空間方向Xの軸を基準とした、146.3度乃至161.6度のいずれかの角度θを有する直線と、A乃至HおよびA’乃至H’の参照ブロックのそれぞれとの空間方向Xの距離のうち、直線とHおよびH’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、HおよびH’の参照ブロックとの相関が最も強いとき、注目ブロックと、HおよびH’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、146.3度乃至161.6度の範囲にあると言える。
【0646】
このように、データ定常性検出部101は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。
【0647】
なお、図94に構成を示すデータ定常性検出部101においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。
【0648】
さらに、図94に構成を示すデータ定常性検出部101は、相関が最も強い参照ブロックの周辺の参照ブロックの相関を利用することにより、検出するデータの定常性の角度の範囲を1/2に、すなわち、検出するデータの定常性の角度の分解能を2倍にすることができる。
【0649】
例えば、注目ブロックと、EおよびE’の参照ブロックとの相関が最も強いとき、最小誤差角度選択部463は、図102で示されるように、注目ブロックに対する、DおよびD’の参照ブロックの相関と、注目ブロックに対する、FおよびF’の参照ブロックの相関とを比較する。注目ブロックに対する、DおよびD’の参照ブロックの相関が、注目ブロックに対する、FおよびF’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部463は、データの定常性の角度に、71.6度乃至90度の範囲を設定する。また、この場合、最小誤差角度選択部463は、データの定常性の角度に、代表値として81度を設定するようにしてもよい。
【0650】
注目ブロックに対する、FおよびF’の参照ブロックの相関が、注目ブロックに対する、DおよびD’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部463は、データの定常性の角度に、90度乃至108.4度の範囲を設定する。また、この場合、最小誤差角度選択部463は、データの定常性の角度に、代表値として99度を設定するようにしてもよい。
【0651】
最小誤差角度選択部463は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を1/2にすることができる。
【0652】
尚、図102を参照して説明した手法を、簡易16方位検出手法とも称する。
【0653】
このように、図94に構成を示すデータ定常性検出部101は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。
【0654】
次に、図103のフローチャートを参照して、ステップS101の処理に対応する、図94で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明する。
【0655】
ステップS441において、データ選択部441は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部441は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【0656】
ステップS442において、データ選択部441は、注目画素を中心とする所定の数の画素からなる注目ブロックを選択する。例えば、データ選択部441は、注目画素を中心とする5×5画素からなる注目ブロックを選択する。
【0657】
ステップS443において、データ選択部441は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部441は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックの大きさを基準とした、所定の位置の画素を中心とする5×5画素からなる参照ブロックを選択する。
【0658】
データ選択部441は、注目ブロックおよび参照ブロックを誤差推定部442に供給する。
【0659】
ステップS444において、誤差推定部442は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部442は、算出された相関を示す相関情報を定常方向導出部443に供給する。
【0660】
ステップS445において、定常方向導出部443は、注目ブロックに対して、相関が最も強い参照ブロックの位置から、欠落した実世界1の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【0661】
定常方向導出部443は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【0662】
ステップS446において、データ選択部441は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップS441に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【0663】
ステップS446において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【0664】
このように、図94に構成を示すデータ定常性検出部101は、より簡単な処理で、欠落した実世界1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図94に構成を示すデータ定常性検出部101は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。
【0665】
なお、図94で構成が示されるデータ検出部101は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたブロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出し、注目画素を中心としたブロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【0666】
例えば、図104に示すように、データ選択部441は、注目フレームであるフレーム#nから注目画素を順に選択し、フレーム#nから、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。また、データ選択部441は、フレーム#n-1およびフレーム#n+1のそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。データ選択部441は、抽出したブロックを誤差推定部442に供給する。
【0667】
誤差推定部442は、データ選択部441から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部443に供給する。定常性方向導出部443は、誤差推定部442から供給された相関情報に基いて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界1の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【0668】
また、データ定常性検出部101は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。
【0669】
図105は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部101の構成を示すブロック図である。
【0670】
データ定常性検出部481-1乃至481-3のそれぞれは、上述した、または後述するデータ定常性検出部101と同様の構成を有し、入力画像のコンポーネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。
【0671】
データ定常性検出部481-1は、入力画像の第1のコンポーネント信号を基に、データの定常性を検出し、第1のコンポーネント信号から検出されたデータの定常性を示す情報を決定部482に供給する。例えば、データ定常性検出部481-1は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部482に供給する。
【0672】
データ定常性検出部481-2は、入力画像の第2のコンポーネント信号を基に、データの定常性を検出し、第2のコンポーネント信号から検出されたデータの定常性を示す情報を決定部482に供給する。例えば、データ定常性検出部481-2は、入力画像の色差信号であるI信号を基に、データの定常性を検出し、I信号から検出されたデータの定常性を示す情報を決定部482に供給する。
【0673】
データ定常性検出部481-3は、入力画像の第3のコンポーネント信号を基に、データの定常性を検出し、第3のコンポーネント信号から検出されたデータの定常性を示す情報を決定部482に供給する。例えば、データ定常性検出部481-3は、入力画像の色差信号であるQ信号を基に、データの定常性を検出し、Q信号から検出されたデータの定常性を示す情報を決定部482に供給する。
【0674】
決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。
【0675】
例えば、決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。
【0676】
さらに、例えば、決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン(中央値)を最終的なデータの定常性とするようにしてもよい。
【0677】
また、例えば、決定部482は、外部から入力された信号を基に、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。
【0678】
なお、決定部482は、データ定常性検出部481-1乃至481-3から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。
【0679】
図106は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部101の他の構成を示す図である。
【0680】
コンポーネント処理部491は、入力画像のコンポーネント信号を基に、1つの信号を生成し、データ定常性検出部492に供給する。例えば、コンポーネント処理部491は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。
【0681】
例えば、コンポーネント処理部491は、入力画像の各コンポーネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。
【0682】
データ定常性検出部492は、コンポーネント処理部491から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。
【0683】
データ定常性検出部492は、上述した、または後述するデータ定常性検出部101と同様の構成を有し、コンポーネント処理部491から供給された信号を対象として、上述した、または後述する処理を実行する。
【0684】
このように、データ定常性検出部101は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部101は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度(傾き)、混合比、またはデータの定常性を有する領域を検出することができる。
【0685】
なお、コンポーネント信号は、輝度信号および色差信号に限らず、RGB信号、またはYUV信号など他の方式のコンポーネント信号であっても良い。
【0686】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0687】
また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基いて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0688】
図107は、データ定常性検出部101のさらに他の構成を示すブロック図である。
【0689】
図107に示されるデータ定常性検出部101においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。
【0690】
フレームメモリ501は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部502に供給する。フレームメモリ501は、1つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して1つ前(過去)のフレームの画素の画素値を画素取得部502に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部502に、動画である入力画像のフレームの画素の画素値を供給することができる。
【0691】
画素取得部502は、フレームメモリ501から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部502は、注目画素を中心とする5×5画素からなる領域を選択する。
【0692】
画素取得部502が選択する領域の大きさは、本発明を限定するものではない。
【0693】
画素取得部502は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部503に供給する。
【0694】
度数検出部503は、画素取得部502から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部503における、相関値に基づく度数の設定の処理の詳細は、後述する。
【0695】
度数検出部503は、検出した度数を回帰直線演算部504に供給する。
【0696】
回帰直線演算部504は、度数検出部503から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部504は、度数検出部503から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部504は、度数検出部503から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部504は、演算された回帰線および演算の結果を示す演算結果パラメータを角度算出部505に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【0697】
角度算出部505は、回帰直線演算部504から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部505は、回帰直線演算部504から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界1の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。角度算出部505は、力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。
【0698】
図108乃至図110を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。
【0699】
図108において、丸は、1つの画素を示し、2重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、30である画素値を示し、白は、120である画素値を示す。
【0700】
図108で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。
【0701】
図107に構成を示すデータ定常性検出部101は、図108で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。
【0702】
図109は、図108で示される画素の画素値を数値で表した図である。丸は、1つの画素を示し、丸の中の数値は、画素値を示す。
【0703】
例えば、注目画素の画素値は、120であり、注目画素の上側の画素の画素値は、100であり、注目画素の下側の画素の画素値は、100である。また、注目画素の左側の画素の画素値は、80であり、注目画素の右側の画素の画素値は、80である。同様に、注目画素の左下側の画素の画素値は、100であり、注目画素の右上側の画素の画素値は、100である。注目画素の左上側の画素の画素値は、30であり、注目画素の右下側の画素の画素値は、30である。
【0704】
図107に構成を示すデータ定常性検出部101は、図109で示される入力画像に対して、図110で示されるように、回帰直線Aを引く。
【0705】
図111は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Aとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図111に示すように、山脈状に変化している。
【0706】
図107に構成を示すデータ定常性検出部101は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Aを引く。データ定常性検出部101により求められた回帰直線Aは、注目画素の周辺におけるデータの定常性を表現している。
【0707】
入力画像における、基準軸を基準としたデータの定常性の角度は、図112で示されるように、回帰直線Aと、例えば、基準軸である空間方向Xを示す軸との角度θを求めることにより、検出される。
【0708】
次に、図107に構成を示すデータ定常性検出部101における、回帰直線の具体的な算出方法について説明する。
【0709】
度数検出部503は、例えば、画素取得部502から供給された、注目画素を中心とする、空間方向Xに9画素、空間方向Yに5画素、計45画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【0710】
例えば、度数検出部503は、式(32)で示される演算により、度数を算出することにより、領域に属する、座標(ｘ_(i),ｙ_(j))の度数L_(i,j)を検出する。
【0711】
【数23】

【0712】
式(32)において、P_(0,0)は、注目画素の画素値を示し、P_(i,j)は、座標(ｘ_(i),ｙ_(j))の画素の画素値を示す。Thは、閾値を示す。
【0713】
iは、領域内における、空間方向Xの画素の順番を示し、1≦i≦kである。jは、領域内における、空間方向Yの画素の順番を示し、1≦j≦lである。
【0714】
kは、領域における、空間方向Xの画素の数を示し、lは、領域における、空間方向Yの画素の数を示す。例えば、領域が、空間方向Xに9画素、空間方向Yに5画素、計45画素からなるとき、kは、9であり、lは、5である。
【0715】
図113は、画素取得部502において取得される領域の例を示す図である。図113において、点線の四角は、1つの画素を示す。
【0716】
例えば、図113で示されるように、領域が、空間方向Xについて、注目画素を中心とした9画素、空間方向Yについて、注目画素を中心とした5画素からなり、注目画素の座標(ｘ,ｙ)が(0,0)であるとき、領域の左上の画素の座標(ｘ,ｙ)は、(-4,2)であり、領域の右上の画素の座標(ｘ,ｙ)は、(4,2)であり、領域の左下の画素の座標(ｘ,ｙ)は、(-4,-2)であり、領域の右下の画素の座標(ｘ,ｙ)は、(4,-2)である。
【0717】
領域の左側の画素の、空間方向Xにおける、画素の順番iは、1であり、領域の右側の画素の、空間方向Xにおける、画素の順番iは、9である。領域の下側の画素の、空間方向Yにおける、画素の順番jは、1であり、領域の上側の画素の、空間方向Yにおける、画素の順番jは、5である。
【0718】
すなわち、注目画素の座標(ｘ_(5),ｙ_(3))を(0,0)としたとき、領域の左上の画素の座標(ｘ_(1),ｙ_(5))は、(-4,2)であり、領域の右上の画素の座標(ｘ_(9),ｙ_(5))は、(4,2)であり、領域の左下の画素の座標(ｘ_(1),ｙ_(1))は、(-4,-2)であり、領域の右下の画素の座標(ｘ_(9),ｙ_(1))は、(4,-2)である。
【0719】
度数検出部503は、式(32)において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界1の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像が射影された、入力画像における、2値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【0720】
なお、度数検出部503は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【0721】
また、式(32)において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【0722】
閾値Thは、任意の値とすることができる。例えば、閾値Thは、30とすることができる。
【0723】
このように、度数検出部503は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【0724】
また、例えば、度数検出部503は、式(33)で示される演算により、度数を算出することにより、領域に属する、座標(ｘ_(i),ｙ_(j))の度数L_(i,j)を検出する。
【0725】
【数24】

【0726】
座標(ｘ_(i),ｙ_(j))における度数をL_(i,j)(1≦i≦k,1≦j≦l)としたとき、座標ｘ_(i)における、空間方向Yの度数L_(i,j)の和ｑ_(i)は、式(34)で表され、座標ｙ_(j)における、空間方向Xの度数L_(i,j)の和h_(j)は、式(35)で表される。
【0727】
【数25】

【0728】
【数26】

【0729】
度数の総和ｕは、式(36)で表される。
【0730】
【数27】

【0731】
図113で示される例において、注目画素の座標の度数L_(5,3)は、3であり、注目画素の上側の画素の座標の度数L_(5,4)は、1であり、注目画素の右上側の画素の座標の度数L_(6,4)は、4であり、注目画素に対して、2画素上側であって、1画素右側の画素の座標の度数L_(6,5)は、2であり、注目画素に対して、2画素上側であって、2画素右側の画素の座標の度数L_(7,5)は、3である。また、注目画素の下側の画素の座標の度数L_(5,2)は、2であり、注目画素の左側の画素の座標の度数L_(4,3)は、1であり、注目画素の左下側の画素の座標の度数L_(4,2)は、3であり、注目画素に対して、1画素下側であって、2画素左側の画素の座標の度数L_(3,2)は、2であり、注目画素に対して、2画素下側であって、2画素左側の画素の座標の度数L_(3,1)は、4である。図113で示される領域の他の画素の座標の度数は、0であり、図113において、0である度数の記載は省略する。
【0732】
図113で示される領域において、空間方向Yの度数の和ｑ_(1)は、iが1である度数Lが全て0なので、0であり、ｑ_(2)は、iが2である度数Lが全て0なので、0である。ｑ_(3)は、度数L_(3,2)が2であり、度数L_(3,1)が4なので、6である。同様に、ｑ_(4)は、4であり、ｑ_(5)は、6であり、ｑ_(6)は、6であり、ｑ_(7)は、3であり、ｑ_(8)は、0であり、ｑ_(9)は、0である。
【0733】
図113で示される領域において、空間方向Xの度数の和h_(1)は、度数L_(3,1)が4なので、4である。h_(2)は、度数L_(3,2)が2であり、度数L_(4,2)が3であり、度数L_(5,2)が2なので、7である。同様に、h_(3)は、4であり、h_(4)は、5であり、h_(5)は、5である。
【0734】
図113で示される領域において、度数の総和ｕは、25である。
【0735】
空間方向Yの度数L_(i,j)の和ｑ_(i)に、座標ｘ_(i)を乗じた結果を加算した和T_(ｘ)は、式(37)で表される。
【0736】
【数28】

【0737】
空間方向Xの度数L_(i,j)の和h_(j)に、座標ｙ_(j)を乗じた結果を加算した和T_(ｙ)は、式(37)で表される。
【0738】
【数29】

【0739】
例えば、図113で示される領域において、ｑ_(1)が0であり、ｘ_(1)が-4なので、ｑ_(1)ｘ_(1)は0であり、ｑ_(2)が0であり、ｘ_(2)が-3なので、ｑ_(2)ｘ_(2)は0である。同様に、ｑ_(3)が6であり、ｘ_(3)が-2なので、ｑ_(3)ｘ_(3)は-12であり、ｑ_(4)が4であり、ｘ_(4)が-1なので、ｑ_(4)ｘ_(4)は、-4であり、ｑ_(5)が6であり、ｘ_(5)が0なので、ｑ_(5)ｘ_(5)は0である。同様に、ｑ_(6)が6であり、ｘ_(6)が1なので、ｑ_(6)ｘ_(6)は6であり、ｑ_(7)が3であり、ｘ_(7)が2なので、ｑ_(7)ｘ_(7)は6であり、ｑ_(8)が0であり、ｘ_(8)が3なので、ｑ_(8)ｘ_(8)は0であり、ｑ_(9)が0であり、ｘ_(9)が4なので、ｑ_(9)ｘ_(9)は0である。従って、ｑ_(1)ｘ_(1)乃至ｑ_(9)ｘ_(9)の和であるT_(ｘ)は、-4である。
【0740】
例えば、図113で示される領域において、h_(1)が4であり、ｙ_(1)が-2なので、h_(1)ｙ_(1)は-8であり、h_(2)が7であり、ｙ_(2)が-1なので、h_(2)ｙ_(2)は-7である。同様に、h_(3)が4であり、ｙ_(3)が0なので、h_(3)ｙ_(3)は0であり、h_(4)が5であり、ｙ_(4)が1なので、h_(4)ｙ_(4)は、5であり、h_(5)が5であり、ｙ_(5)が2なので、h_(5)ｙ_(5)は10である。従って、h_(1)ｙ_(1)乃至h_(5)ｙ_(5)の和であるT_(ｙ)は、0である。
【0741】
また、Q_(i)を以下のように定義する。
【0742】
【数30】

【0743】
ｘの変動S_(ｘ)は、式(40)で表される。
【0744】
【数31】

【0745】
ｙの変動S_(ｙ)は、式(41)で表される。
【0746】
【数32】

【0747】
共変動S_(ｘｙ)は、式(42)で表される。
【0748】
【数33】

【0749】
式(43)に示す1次の回帰直線を求めることを考える。
【0750】
ｙ=aｘ+b ・・・(43)
【0751】
傾きaおよび切片bは、最小自乗法により、以下のように求めることができる。
【0752】
【数34】

【0753】
【数35】

【0754】
ただし、正しい回帰直線を求めるための必要条件は、度数L_(i,j)が、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部503は、度数L_(i,j)がガウス分布するように、領域の画素の画素値を度数L_(i,j)に変換する必要がある。
【0755】
回帰直線演算部504は、式(44)および式(45)で示される演算を実行して、回帰直線を求める。
【0756】
角度算出部505は、式(46)に示す演算により、回帰直線の傾きaを、基準軸である空間方向Xの軸に対する角度θに変換する。
【0757】
θ=ｔan^(-1)(a) ・・・(46)
【0758】
なお、回帰直線演算部504が所定の曲線である回帰線を演算する場合、角度算出部505は、基準軸に対する、注目画素の位置における回帰線の角度θを求める。
【0759】
ここで、画素毎にデータの定常性を検出するためには、切片bは、不要である。そこで、式(47)に示す1次の回帰直線を求めることを考える。
【0760】
ｙ=aｘ ・・・(47)
【0761】
この場合、回帰直線演算部504は、最小自乗法により、傾きaを式(48)で求めることができる。
【0762】
【数36】

【0763】
図114のフローチャートを参照して、ステップS101の処理に対応する、図107で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明する。
【0764】
ステップS501において、画素取得部502は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部502は、ラスタスキャン順に、注目画素を選択する。ステップS502において、画素取得部502は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部503に供給する。例えば、画素取得部502は、注目画素を中心とした、9×5画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【0765】
ステップS503において、度数検出部503は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部503は、式(32)に示される演算により、画素値を度数L_(i,j)に変換する。この場合において、度数L_(i,j)がガウス分布するように、領域の画素の画素値が度数L_(i,j)に変換される。度数検出部503は、変換された度数を回帰直線演算部504に供給する。
【0766】
ステップS504において、回帰直線演算部504は、度数検出部503から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部504は、度数検出部503から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部504は、式(44)および式(45)で示される演算を実行して、回帰直線を求める。回帰直線演算部504は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部505に供給する。
【0767】
ステップS505において、角度算出部505は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部505は、式(46)に示す演算により、回帰直線の傾きaを、基準軸である空間方向Xの軸に対する角度θに変換する。角度算出部505は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。
【0768】
なお、角度算出部505は、傾きaを示すデータ定常性情報を出力するようにしてもよい。
【0769】
ステップS506において、画素取得部502は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップS501に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【0770】
ステップS506において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【0771】
このように、図107に構成を示すデータ定常性検出部101は、欠落した実世界1の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【0772】
特に、図107に構成を示すデータ定常性検出部101は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。
【0773】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0774】
なお、図107に構成を示すデータ定常性検出部101は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。
【0775】
図115は、データ定常性検出部101のさらに他の構成を示すブロック図である。
【0776】
図115に示されるデータ定常性検出部101においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出する。
【0777】
フレームメモリ601は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部602に供給する。フレームメモリ601は、1つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して1つ前(過去)のフレームの画素の画素値を画素取得部602に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部602に、動画である入力画像のフレームの画素の画素値を供給することができる。
【0778】
画素取得部602は、フレームメモリ601から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部602は、注目画素を中心とする5×5画素からなる領域を選択する。
【0779】
画素取得部602が選択する領域の大きさは、本発明を限定するものではない。
【0780】
画素取得部602は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部603に供給する。
【0781】
度数検出部603は、画素取得部602から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部603における、相関値に基づく度数の設定の処理の詳細は、後述する。
【0782】
度数検出部603は、検出した度数を回帰直線演算部604に供給する。
【0783】
回帰直線演算部604は、度数検出部603から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部604は、度数検出部603から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部604は、度数検出部603から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部604は、演算された回帰線および演算の結果を示す演算結果パラメータを領域算出部605に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【0784】
領域算出部605は、回帰直線演算部604から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像においてデータの定常性を有する領域を検出する。
【0785】
図116は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Aとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図116に示すように、山脈状に変化している。
【0786】
図115に構成を示すデータ定常性検出部101は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Aを引く。データ定常性検出部101により求められた回帰直線Aは、注目画素の周辺におけるデータの定常性を表現している。
【0787】
回帰直線を引くということは、ガウス関数を前提とした近似を意味する。図117に示すように、図115に構成を示すデータ定常性検出部101は、例えば、標準偏差を求めることで、細線の画像が射影された、データ3における領域の、おおよその幅を知ることができる。また、例えば、図115に構成を示すデータ定常性検出部101は、相関係数を基に、細線の画像が射影された、データ3における領域の、おおよその幅を知ることができる。
【0788】
次に、図115に構成を示すデータ定常性検出部101における、回帰直線の具体的な算出方法について説明する。
【0789】
度数検出部603は、例えば、画素取得部602から供給された、注目画素を中心とする、空間方向Xに9画素、空間方向Yに5画素、計45画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【0790】
例えば、度数検出部603は、式(49)で示される演算により、度数を算出することにより、領域に属する、座標(ｘ_(i),ｙ_(j))の度数L_(i,j)を検出する。
【0791】
【数37】

【0792】
式(49)において、P_(0,0)は、注目画素の画素値を示し、P_(i,j)は、座標(ｘ_(i),ｙ_(j))の画素の画素値を示す。Thは、閾値を示す。
【0793】
iは、領域内における、空間方向Xの画素の順番を示し、1≦i≦kである。jは、領域内における、空間方向Yの画素の順番を示し、1≦j≦lである。
【0794】
kは、領域における、空間方向Xの画素の数を示し、lは、領域における、空間方向Yの画素の数を示す。例えば、領域が、空間方向Xに9画素、空間方向Yに5画素、計45画素からなるとき、Kは、9であり、lは、5である。
【0795】
図118は、画素取得部602において取得される領域の例を示す図である。図118において、点線の四角は、1つの画素を示す。
【0796】
例えば、図118で示されるように、領域が、空間方向Xについて、注目画素を中心とした9画素、空間方向Yについて、注目画素を中心とした5画素からなり、注目画素の座標(ｘ,ｙ)が(0,0)であるとき、領域の左上の画素の座標(ｘ,ｙ)は、(-4,2)であり、領域の右上の画素の座標(ｘ,ｙ)は、(4,2)であり、領域の左下の画素の座標(ｘ,ｙ)は、(-4,-2)であり、領域の右下の画素の座標(ｘ,ｙ)は、(4,-2)である。
【0797】
領域の左側の画素の、空間方向Xにおける、画素の順番iは、1であり、領域の右側の画素の、空間方向Xにおける、画素の順番iは、9である。領域の下側の画素の、空間方向Yにおける、画素の順番jは、1であり、領域の上側の画素の、空間方向Yにおける、画素の順番jは、5である。
【0798】
すなわち、注目画素の座標(ｘ_(5),ｙ_(3))を(0,0)としたとき、領域の左上の画素の座標(ｘ_(1),ｙ_(5))は、(-4,2)であり、領域の右上の画素の座標(ｘ_(9),ｙ_(5))は、(4,2)であり、領域の左下の画素の座標(ｘ_(1),ｙ_(1))は、(-4,-2)であり、領域の右下の画素の座標(ｘ_(9),ｙ_(1))は、(4,-2)である。
【0799】
度数検出部603は、式(49)において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界1の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像が射影された、入力画像における、2値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【0800】
なお、度数検出部603は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【0801】
また、式(49)において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【0802】
閾値Thは、任意の値とすることができる。例えば、閾値Thは、30とすることができる。
【0803】
このように、度数検出部603は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【0804】
また、例えば、度数検出部603は、式(50)で示される演算により、度数を算出することにより、領域に属する、座標(ｘ_(i),ｙ_(j))の度数L_(i,j)を検出する。
【0805】
【数38】

【0806】
座標(ｘ_(i),ｙ_(j))における度数をL_(i,j)(1≦i≦k,1≦j≦l)としたとき、座標ｘ_(i)における、空間方向Yの度数L_(i,j)の和ｑ_(i)は、式(51)で表され、座標ｙ_(j)における、空間方向Xの度数L_(i,j)の和h_(j)は、式(52)で表される。
【0807】
【数39】

【0808】
【数40】

【0809】
度数の総和ｕは、式(53)で表される。
【0810】
【数41】

【0811】
図118で示される例において、注目画素の座標の度数L_(5,3)は、3であり、注目画素の上側の画素の座標の度数L_(5,4)は、1であり、注目画素の右上側の画素の座標の度数L_(6,4)は、4であり、注目画素に対して、2画素上側であって、1画素右側の画素の座標の度数L_(6,5)は、2であり、注目画素に対して、2画素上側であって、2画素右側の画素の座標の度数L_(7,5)は、3である。また、注目画素の下側の画素の座標の度数L_(5,2)は、2であり、注目画素の左側の画素の座標の度数L_(4,3)は、1であり、注目画素の左下側の画素の座標の度数L_(4,2)は、3であり、注目画素に対して、1画素下側であって、2画素左側の画素の座標の度数L_(3,2)は、2であり、注目画素に対して、2画素下側であって、2画素左側の画素の座標の度数L_(3,1)は、4である。図118で示される領域の他の画素の座標の度数は、0であり、図118において、0である度数の記載は省略する。
【0812】
図118で示される領域において、空間方向Yの度数の和ｑ_(1)は、iが1である度数Lが全て0なので、0であり、ｑ_(2)は、iが2である度数Lが全て0なので、0である。ｑ_(3)は、度数L_(3,2)が2であり、度数L_(3,1)が4なので、6である。同様に、ｑ_(4)は、4であり、ｑ_(5)は、6であり、ｑ_(6)は、6であり、ｑ_(7)は、3であり、ｑ_(8)は、0であり、ｑ_(9)は、0である。
【0813】
図118で示される領域において、空間方向Xの度数の和h_(1)は、度数L_(3,1)が4なので、4である。h_(2)は、度数L_(3,2)が2であり、度数L_(4,2)が3であり、度数L_(5,2)が2なので、7である。同様に、h_(3)は、4であり、h_(4)は、5であり、h_(5)は、5である。
【0814】
図118で示される領域において、度数の総和ｕは、25である。
【0815】
空間方向Yの度数L_(i,j)の和ｑ_(i)に、座標ｘ_(i)を乗じた結果を加算した和T_(ｘ)は、式(54)で表される。
【0816】
【数42】

【0817】
空間方向Xの度数L_(i,j)の和h_(j)に、座標ｙ_(j)を乗じた結果を加算した和T_(ｙ)は、式(55)で表される。
【0818】
【数43】

【0819】
例えば、図118で示される領域において、ｑ_(1)が0であり、ｘ_(1)が-4なので、ｑ_(1)ｘ_(1)は0であり、ｑ_(2)が0であり、ｘ_(2)が-3なので、ｑ_(2)ｘ_(2)は0である。同様に、ｑ_(3)が6であり、ｘ_(3)が-2なので、ｑ_(3)ｘ_(3)は-12であり、ｑ_(4)が4であり、ｘ_(4)が-1なので、ｑ_(4)ｘ_(4)は、-4であり、ｑ_(5)が6であり、ｘ_(5)が0なので、ｑ_(5)ｘ_(5)は0である。同様に、ｑ_(6)が6であり、ｘ_(6)が1なので、ｑ_(6)ｘ_(6)は6であり、ｑ_(7)が3であり、ｘ_(7)が2なので、ｑ_(7)ｘ_(7)は6であり、ｑ_(8)が0であり、ｘ_(8)が3なので、ｑ_(8)ｘ_(8)は0であり、ｑ_(9)が0であり、ｘ_(9)が4なので、ｑ_(9)ｘ_(9)は0である。従って、ｑ_(1)ｘ_(1)乃至ｑ_(9)ｘ_(9)の和であるT_(ｘ)は、-4である。
【0820】
例えば、図118で示される領域において、h_(1)が4であり、ｙ_(1)が-2なので、h_(1)ｙ_(1)は-8であり、h_(2)が7であり、ｙ_(2)が-1なので、h_(2)ｙ_(2)は-7である。同様に、h_(3)が4であり、ｙ_(3)が0なので、h_(3)ｙ_(3)は0であり、h_(4)が5であり、ｙ_(4)が1なので、h_(4)ｙ_(4)は、5であり、h_(5)が5であり、ｙ_(5)が2なので、h_(5)ｙ_(5)は10である。従って、h_(1)ｙ_(1)乃至h_(5)ｙ_(5)の和であるT_(ｙ)は、0である。
【0821】
また、Q_(i)を以下のように定義する。
【0822】
【数44】

【0823】
ｘの変動S_(ｘ)は、式(57)で表される。
【0824】
【数45】

【0825】
ｙの変動S_(ｙ)は、式(58)で表される。
【0826】
【数46】

【0827】
共変動S_(ｘｙ)は、式(59)で表される。
【0828】
【数47】

【0829】
式(60)に示す1次の回帰直線を求めることを考える。
【0830】
ｙ=aｘ+b ・・・(60)
【0831】
傾きaおよび切片bは、最小自乗法により、以下のように求めることができる。
【0832】
【数48】

【0833】
【数49】

【0834】
ただし、正しい回帰直線を求めるための必要条件は、度数L_(i,j)が、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部603は、度数L_(i,j)がガウス分布するように、領域の画素の画素値を度数L_(i,j)に変換する必要がある。
【0835】
回帰直線演算部604は、式(61)および式(62)で示される演算を実行して、回帰直線を求める。
【0836】
また、画素毎にデータの定常性を検出するためには、切片bは、不要である。そこで、式(63)に示す1次の回帰直線を求めることを考える。
【0837】
ｙ=aｘ ・・・(63)
【0838】
この場合、回帰直線演算部604は、最小自乗法により、傾きaを式(64)で求めることができる。
【0839】
【数50】

【0840】
データの定常性を有する領域を特定する第1の手法においては、式(60)に示す回帰直線の推定誤差が利用される。
【0841】
ｙの変動S_(ｙ・ｘ)は、式(65)で示される演算で求められる。
【0842】
【数51】

【0843】
推定誤差の分散は、変動を用いて、式(66)で示される演算で求められる。
【0844】
【数52】

【0845】
よって、標準偏差は、以下の式で導出される。
【0846】
【数53】

【0847】
ただし、標準偏差は、細線の画像が射影された領域を対象とする場合、細線の幅に値する量なので、一概に、標準偏差が大きいことをもって、データの定常を有する領域ではないという判断をすることはできない。しかしながら、例えば、クラス分類適応処理が破綻するのは、データの定常を有する領域の中でも、細線の幅が狭い部分なので、クラス分類適応処理が破綻する可能性が大きい領域を検出するために、標準偏差を用いて検出された領域を示す情報を利用することができる。
【0848】
領域算出部605は、式(67)で示される演算により、標準偏差を算出して、標準偏差を基に、入力画像における、データの定常性を有する領域を算出する。例えば、領域算出部605は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域とする。例えば、領域算出部605は、回帰直線を中心として、回帰直線から標準偏差以内の距離の領域を、データの定常性を有する領域として算出する。
【0849】
第2の手法においては、度数の相関をデータの定常を有する領域の検出に用いる。
【0850】
相関係数ｒ_(ｘｙ)は、ｘの変動S_(ｘ)、ｙの変動S_(ｙ)、および共変動S_(ｘｙ)を基に、式(68)で示される演算で求めることができる。
【0851】
【数54】

【0852】
相関には、正の相関と負の相関があるので、領域算出部605は、相関係数ｒ_(ｘｙ)の絶対値を求めて、相関係数ｒ_(ｘｙ)の絶対値が1に近いほど、相関が強いと判定する。より具体的には、領域算出部605は、閾値と、相関係数ｒ_(ｘｙ)の絶対値とを比較し、相関係数ｒ_(ｘｙ)の絶対値が閾値以上である領域を、データの定常性を有する領域として検出する。
【0853】
図119のフローチャートを参照して、ステップS101の処理に対応する、図115で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明する。
【0854】
ステップS601において、画素取得部602は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部602は、ラスタスキャン順に、注目画素を選択する。ステップS602において、画素取得部602は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部603に供給する。例えば、画素取得部602は、注目画素を中心とした、9×5画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【0855】
ステップS603において、度数検出部603は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部603は、式(49)で示される演算により、画素値を度数L_(i,j)に変換する。この場合において、度数L_(i,j)がガウス分布状に分布するように、領域の画素の画素値が度数L_(i,j)に変換される。度数検出部603は、変換された度数を回帰直線演算部604に供給する。
【0856】
ステップS604において、回帰直線演算部604は、度数検出部503から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部604は、度数検出部603から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部604は、式(61)および式(62)で示される演算を実行して、回帰直線を求める。回帰直線演算部604は、算出された結果である回帰直線を示す演算結果パラメータを領域算出部605に供給する。
【0857】
ステップS605において、領域算出部605は、回帰直線についての標準偏差を算出する。例えば、領域算出部605は、式(67)に示す演算により、回帰直線に対する標準偏差を算出する。
【0858】
ステップS606において、領域算出部605は、標準偏差から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部605は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域として特定する。
【0859】
領域算出部605は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【0860】
ステップS607において、画素取得部602は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップS601に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【0861】
ステップS607において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【0862】
図120のフローチャートを参照して、ステップS101の処理に対応する、図115で構成が示されるデータ定常性検出部101による、データの定常性の検出の他の処理を説明する。ステップS621乃至ステップS624の処理は、ステップS601乃至ステップS604の処理と同様なので、その説明は省略する。
【0863】
ステップS625において、領域算出部605は、回帰直線についての相関係数を算出する。例えば、領域算出部605は、式(68)で示される演算により、回帰直線に対する相関係数を算出する。
【0864】
ステップS626において、領域算出部605は、相関係数から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部605は、予め記憶している閾値と相関係数の絶対値とを比較し、相関係数の絶対値が閾値以上である領域を、データの定常性を有する領域として特定する。
【0865】
領域算出部605は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【0866】
ステップS627の処理は、ステップS607の処理と同様なので、その説明は省略する。
【0867】
このように、図115に構成を示すデータ定常性検出部101は、欠落した実世界1の光信号の定常性に対応する、画像データにおける、データの定常性を有する領域を検出することができる。
【0868】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【0869】
図121は、データ定常性検出部101のその他の実施の形態の構成を示している。
【0870】
図121のデータ定常性検出部101は、データ選択部701、データ足し込み部702、および、定常方向導出部703より構成される。
【0871】
データ選択部701は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部702に出力する。
【0872】
データ足し込み部702は、データ選択部701より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部703に出力する。このデータ足し込み部702による足し込み演算とは、後述する最小自乗法の演算に用いるサメーションの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。
【0873】
定常方向導出部703は、データ足し込み部702より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度(例えば、細線、または2値エッジなどの傾き、または方向)を演算し、これをデータ定常性情報として出力する。
【0874】
次に、図122を参照して、データ定常性検出部101における定常性(方向、または、角度)を検出する動作の概要について説明する。尚、図122,図123中、図6,図7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0875】
図122で示されるように、実世界1の信号(例えば、画像)は、光学系141(例えば、レンズ、またはLPF(Lｏｗ Paｓｓ Filｔeｒ)などからなる)により、センサ2(例えば、CCD(Chaｒge Cｏｕｐled Deｖice)、または、CMOS(Cｏmｐlemenｔaｒｙ Meｔal-Oｘide Semicｏndｕcｔｏｒ)など)の受光面に結像される。センサ2は、例えば、CCDやCMOSのような積分特性を有する素子から構成される。このような構成により、センサ2から出力されるデータ3から得られる画像は、実世界1の画像とは異なる画像となる(実世界1の画像とは差が生じることになる)。
【0876】
そこで、データ定常性検出部101は、図123で示されるように、モデル705を用いて、実世界1を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル705は、例えば、N個の変数で表現される。より正確には、モデル705は、実世界1の信号を近似(記述)する。
【0877】
データ定常性検出部101は、モデル705を予測するために、データ3から、M個のデータ706を抽出する。その結果、モデル705は、データの定常性に拘束されることになる。
【0878】
すなわち、モデル705は、センサ2で取得されたとき、データ3においてデータのデータ定常性を生じさせる、定常性(所定の次元の方向に一定の特徴)を有する実世界1の事象(を示す情報(信号))を近似する。
【0879】
ここで、データ706の数Mが、モデル705の変数の数N以上であれば、M個のデータ706から、N個の変数で表現されるモデル705を予測することができる。
【0880】
さらに、データ定常性検出部101は、実世界1(の信号)を近似(記述)するモデル705を予測することにより、実世界1の情報である信号に含まれるデータ定常性を、例えば、細線や2値エッジの方向(傾き、または、所定の方向を軸としたときの軸とのなす角度)として導出し、データ定常性情報として出力する。
【0881】
次に、図124を参照して、入力画像より細線の方向(角度)をデータ定常性情報として出力するデータ定常性検出部101について説明する。
【0882】
データ選択部701は、水平・垂直判定部711、および、データ取得部712から構成されている。水平・垂直判定部711は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部712、および、データ足し込み部702にそれぞれ出力する。
【0883】
より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易16方位検出手法をここで使用してもよい。図125で示されるように、水平・垂直判定部711は、注目画素と、その注目画素に隣接する画素間の差分(画素間の画素値の差分)のうち、水平方向の画素間の差分(アクティビティ)の和(hdiff)と、垂直方向の画素間の差分(アクティビティ)の和(ｖdiff)の差分(hdiff-ｖdiff)を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図125においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和がhdiffで示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和がｖdiffで示される。
【0884】
このように求められた水平方向の画素間の画素値の差分和hdiffと、垂直方向の画素間の画素値の差分和ｖdiffに基づいて、水平・垂直判定部711は、(hdiff-ｖdiff)が正であれば、垂直方向よりも水平方向の画素間の画素値の変化(アクティビティ)が大きいので、図126で示されるように、水平方向に対する角度がθ(0度≦θ≦180度)で示される場合、45度＜θ≦135度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化(アクティビティ)が大きいので、0度≦θ＜45度、または、135度＜θ≦180度、すなわち、水平方向に近い角度の細線に属している画素であると判定する(細線が続く方向(角度)に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化(アクティビティ)は小さくなるはずである)。
【0885】
また、水平・垂直判定部711は、入力画像の各画素を識別するカウンタ(図示せず)を備えており、適宜必要に応じて使用する。
【0886】
尚、図125においては、注目画素を中心として、3画素×3画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として5画素×5画素や、7画素×7画素など、それ以上の画素数のブロックに基づいて判定するようにしてもよい。
【0887】
データ取得部712は、水平・垂直判定部711より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のブロック単位で画素値を読み出し(取得し)、読み出した(取得した)注目画素毎に対応する複数の画素間における、水平・垂直方向判定部711の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のブロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部702に出力する。尚、以下においては、データ取得部712により、注目画素に対応して取得される複数の画素のブロックを取得ブロックと称する(取得ブロックは、例えば、後述する図139で示される複数の画素(各マス目で示される)のうち、黒線の正方形が示された画素を注目画素とするとき、その上下3画素分と、左右1画素分の合計15画素などである)。
【0888】
データ足し込み部702の差分足し込み部721は、データ選択部701より入力された差分データを検出し、データ選択部701の水平・垂直判定部711より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部703に出力する。より具体的には、複数の画素のうち水平・垂直判定部711による判定方向に隣接する画素iと画素(i+1)の画素間の画素値の差分データをｙiとし、注目画素に対応する取得ブロックがn個の画素から構成された場合、差分足し込み部721は、水平方向、または、垂直方向毎に(ｙ1)^(2)+(ｙ2)^(2)+(ｙ3)^(2)+・・・を足し込んで演算し、定常方向導出部703に出力する。
【0889】
MaｘMin取得部722は、データ選択部701より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるブロック(以下、ダイナミックレンジブロックと称する(ダイナミックレンジブロックは、後述する図139で示される取得ブロックの画素のうち、例えば、画素ｐiｘ12について、黒の実線で囲まれている、ダイナミックレンジブロックB1で示される、画素ｐiｘ12の上下3画素分の合計7画素などである))に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジDｒi(取得ブロック内のi番目の画素に対応する、ダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値の差分)を演算(検出)して、差分足し込み部723に出力する。
【0890】
差分足し込み部723は、MaｘMin取得部722より入力されたダイナミックレンジDｒiと、データ選択部701より入力された差分データを検出し、検出したダイナミックレンジDｒiと差分データに基づいて、データ選択部701の水平・垂直判定部711より入力される水平方向、または、垂直方向毎に、ダイナミックレンジDｒiと差分データｙiを乗じた値を足し込んで、演算結果を定常方向導出部703に出力する。すなわち、差分足し込み部723が出力する演算結果は、水平方向、または、垂直方向毎にｙ1×Dｒ1+ｙ2×Dｒ2+ｙ3×Dｒ3+・・・となる。
【0891】
定常方向導出部703の定常方向演算部731は、データ足し込み部702より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度(方向)を演算し、演算された角度を定常性情報として出力する。
【0892】
ここで、細線の方向(細線の傾き、または、角度)の演算方法について説明する。
【0893】
図127Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線(図中、右上がりで、かつ斜め方向の白線)は、実際には、図127Bで示されるように表示されている。すなわち、現実世界においては、図127Cで示されるように、画像は、細線のレベル(図127C中では濃度の薄い斜線部)と背景レベルの2種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサ2により撮像された画像、すなわち、画素単位で撮像された画像は、図127Bで示されるように、その積分効果により背景レベルと細線レベルとが空間的に混合した画素が、その比率(混合比)を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックが細線方向に繰り返して配置されたような画像となる。尚、図127Bにおいて、各正方形状のマス目は、CCDの1画素を示し、各辺の長さをd_CCDであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする(従って、斜線のない白色のマス目が画素値の最大値となる)。
【0894】
図128Aで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図128Bで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。
【0895】
同様にして、センサ2で撮像された画像は、図129Aで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたブロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図129Bで示すように、背景のレベルとなる領域(背景領域)と、細線のレベルの中間のレベルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図129Bにおいて縦軸は、画素数であるが、1画素の面積は(d_CCD)^(2)となるため、図129Bの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。
【0896】
これは、図130Aの実際の画像中の白線で囲まれる部分(31画素×31画素の画像)においても、図130Bで示されるように同様の結果が得られる。すなわち、図130Aで示される背景部分(図130A中では、黒色に見える部分)は、図130Bで示されるように、画素値レベルの低い(画素値が20付近の)画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図130Bの画素値レベルが低くない部分、すなわち、画素値レベルが40付近乃至160付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。
【0897】
ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図131Aで示される矢印方向(Y座標方向)に見ると、図131Bで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレベルとなり、細線領域を通過して再び背景領域に戻ると、レベルの低い背景のレベルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。
【0898】
これに対して、センサ2で撮像された画像のうち、図131A中の矢印の向きに対応する、図132Aの空間方向X=X1上の画素(図132Aにおいては、黒丸で示されている画素)の画素値と、その画素の空間方向Yの関係は、図132Bに示されるようになる。尚、図132Aにおいて、右上がりの2本の白線の間が、現実世界の画像上における細線を示している。
【0899】
すなわち、図132Bで示されるように、図132A中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向Yの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図132Bで示すように、山型の波形が形成される。また、図132Aの空間方向X=X0,X2に対応する各画素の画素値の変化は、空間方向Yのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。
【0900】
例えば、図133Aで示されるような、実際にセンサ2により撮像された画像における場合においても、図133Bで示されるように、同様の結果が得られる。すなわち、図133Bは、図133Aの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向X(図中では、X=561,562,563)毎の、空間方向Yに対応した画素値の変化を示している。このように、実際のセンサ2により撮像された画像においても、X=561においては、Y=730付近で、X=562においては、Y=705付近で、X=563においては、Y=685付近で、それぞれピークとなる山型の波形となっている。
【0901】
このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサ2により撮像された画像の画素値の変化を示す波形は山型の波形となる。
【0902】
すなわち、換言すれば、現実世界の画像のレベルは、図131Bで示されるような波形になるべきところが、センサ2により撮像されることにより、撮像された画像は、図132Bで示されるように、その変化に歪が生じて、現実世界の画像とは異なる(現実世界の情報が欠落した)波形に変化していると言える。
【0903】
そこで、このセンサ2により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ2より取得された画像のデータから現実世界を近似的に記述するためのモデル(図123のモデル705に相当する)を設定する。例えば、細線の場合、図134で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをB1、図中右側の背景部分のレベルをB2、細線部分のレベルをL、細線の混合比をα、細線の幅をW、細線の水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向(傾き、または、基準軸に対する角度)を求める。
【0904】
このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図135で示されるように、統一してB(=B1=B2)とする。また、細線の幅を1画素以上であるものとする。このように設定された現実世界をセンサ2で撮像するとき、撮像された画像は、図136Aで示されるように撮像されることになる。尚、図136Aにおいて、右上がりの2本の白線の間が、現実世界の画像上における細線を示している。
【0905】
すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近いレベルとなり、垂直方向(空間方向Yの方向)に対して細線から離れるに従って画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値Bと、細線レベルの画素値Lが、混合比αで混合された画素値となっている。
【0906】
このように、撮像された画像の各画素を注目画素とした場合、データ取得部712は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得ブロックを構成する画素毎に、ダイナミックレンジブロックを抽出し、そのダイナミックレンジブロックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図136Aで示すように、取得ブロック中の所定の画素(図中の1マスの中に黒の実線で正方形が記述された画素ｐiｘ4)に対応したダイナミックレンジブロックの画素(例えば、図中の黒の実線で囲まれた画素ｐiｘ1乃至7の7画素))が抽出された場合、その各画素に対応する現実世界の画像は、図136Bで示されるようになる。
【0907】
すなわち、図136Bで示されるように、画素ｐiｘ1は、左部の略1/8の面積を占める部分が背景領域となり、右部の略7/8の面積を占める部分が細線領域となる。画素ｐiｘ2は、略全領域が細線領域となる。画素ｐiｘ3は、左部の略7/8の面積を占める部分が細線領域となり、右部1/8の面積を占める部分が背景領域となる。画素ｐiｘ4は、左部の略2/3の面積を占める部分が細線領域となり、右部の略1/3の面積を占める部分が背景領域となる。画素ｐiｘ5は、左部の略1/3の面積を占める部分が細線領域となり、右部の略2/3の面積を占める部分が背景領域となる。画素ｐiｘ6は、左部の略1/8の面積を占める部分が細線領域となり、右部の略7/8の面積を占める部分が背景領域となる。さらに、画素ｐiｘ7は、全体が背景領域となる。
【0908】
結果として、図136で示されるダイナミックレンジブロックの各画素ｐiｘ1乃至7の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル:前景レベルの混合比は、画素ｐiｘ1が略1:7、画素ｐiｘ2が略0:1、画素ｐiｘ3が略1:7、画素ｐiｘ4が略1:2、画素ｐiｘ5が略2:1、画素ｐiｘ6が略7:1、および、画素ｐiｘ7が略1:0となる。
【0909】
従って、抽出されたダイナミックレンジブロックの画素ｐiｘ1乃至7の各画素の画素値は、画素ｐiｘ2が最も高く、次いで画素ｐiｘ1,3が続き、以下画素値が高い順に画素ｐiｘ4,5,6,7となる。従って、図136Bで示される場合、最大値は、画素ｐiｘ2の画素値であり、最小値は、画素ｐiｘ7の画素値となる。
【0910】
また、図137Aで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。
【0911】
ここで、細線の方向を示す傾きG_(fl)は、空間方向Xの単位距離に対する、空間方向Yへの変化(距離の変化)の比であるので、図137Aで示されるような場合、図中の空間方向Xへの1画素の距離に対する、空間方向Yの距離が傾きG_(fl)となる。
【0912】
空間方向X0乃至X2の各々の空間方向Yに対する画素値の変化は、図137Bで示されるように、各空間方向X毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサ2により撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向Xの最大値となる空間方向Yの間隔Sが、細線の傾きG_(fl)となる。すなわち、図137Cで示されるように、水平方向に1画素の距離に対する垂直方向の変化量が傾きG_(fl)となる。従って、この細線の傾きG_(fl)(水平方向を基準軸としたときの角度に対応する)は、図137Cで示すように、その傾きに対応する水平方向を基準軸とした細線の角度をθとして表現する場合、以下の式(69)で示される関係が成立することになる。
【0913】
θ=Tan^(-1)(G_(fl))(=Tan^(-1)(S)) ・・・(69)
【0914】
また、図135で示されるようなモデルを設定し、さらに、空間方向Yの画素と画素値の関係が、図137Bで示される山型の波形が、完全な三角波形(立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形)であると仮定する場合、図138で示すように、所定の注目画素の空間方向Xにおける、空間方向Y上に存在する各画素の画素値の最大値をMaｘ=L(ここでは、現実世界の細線のレベルに対応する画素値)、最小値をMin=B(ここでは、現実世界の背景のレベルに対応する画素値)とするとき、以下の式(70)で示される関係が成立する。
【0915】
L-B=G_(fl)×d_ｙ ・・・(70)
【0916】
ここで、d_ｙは、空間方向Yの画素間の画素値の差分を示す。
【0917】
すなわち、空間方向の傾きG_(fl)は、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾きSが小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾きG_(fl)が大きいほど、空間方向Yの画素間の画素値の差分d_ｙは小さく、傾きSが小さいほど、空間方向Yの画素間の画素値の差分d_ｙは大きくなる。
【0918】
そこで、上述の式(70)の関係が成立する傾きG_(fl)を求めることにより、細線の基準軸に対する角度θを求めることが可能となる。式(70)は、傾きG_(fl)を変数とする1変数の関数であるため、注目画素について、周辺の画素間の画素値の(垂直方向の)差分d_ｙ、並びに、最大値、および、最小値の差分(L-B)を1組用いれば求めることが可能であるが、上述のように、空間方向Yの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出ブロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジDｒを求めるとともに、抽出ブロックの各画素毎の空間方向Yの画素間の画素値の差分d_ｙを用いて、最小自乗法により統計的に求める。
【0919】
ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出ブロック、および、ダイナミックレンジブロックについて、詳細を説明する。
【0920】
抽出ブロックは、例えば、図139で示すように、注目画素(図中の黒の実線で正方形が描かれているマス目の画素)の、空間方向Yについて上下3画素分、空間方向Xについて、左右1画素分の合計15画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分d_ｙは、例えば、画素ｐiｘ11に対応する差分がd_ｙ11で示されるとき、空間方向X=X0の場合、画素ｐiｘ11とｐiｘ12、ｐiｘ12とｐiｘ13、ｐiｘ13とｐiｘ14、ｐiｘ14とｐiｘ15、ｐiｘ15とｐiｘ16、ｐiｘ16とｐiｘ17の画素間の画素値の差分d_ｙ11乃至d_ｙ16が得られることになる。このとき、空間方向X=X1,X2についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素間の画素値の差分d_ｙは、18個存在することになる。
【0921】
さらに、抽出ブロックの各画素について、ダイナミックレンジブロックの画素が、例えば、画素ｐiｘ11については、水平・垂直判定部711の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図139で示されるように、画素ｐiｘ11を含めて、垂直方向(空間方向Y)の上下方向にそれぞれ3画素分のダイナミックレンジブロックB1の範囲の7画素であるものとすると、このダイナミックレンジブロックB1の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジDｒ11とする。同様にして、抽出ブロックの画素ｐiｘ12については、図139中のダイナミックレンジブロックB2の7画素から同様にしてダイナミックレンジDｒ12を求める。このようにして、抽出ブロック内の18個の画素間差分d_ｙiと、対応するダイナミックレンジDｒiとの組み合わせに基づいて、最小自乗法を用いて統計的に傾きG_(fl)が求められる。
【0922】
次に、1変数の最小自乗法の解法について説明する。尚、ここでは、水平・垂直判定部711の判定結果が垂直方向であったものとする。
【0923】
1変数の最小自乗法による解法は、例えば、図140で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値Dｒi_cからなる直線の傾きG_(fl)を求めるものである。そこで、上述の式(70)で示される関係から以下のような手法により、傾きSが求められる。
【0924】
すなわち、上述の式(70)は、最大値と最小値の差分をダイナミックレンジDｒとするとき、以下の式(71)で示すように記述される。
【0925】
Dｒ=G_(fl)×d_ｙ ・・・(71)
【0926】
上述の式(71)に、抽出ブロックの各画素間についての差分d_ｙiを代入することによりダイナミックレンジDｒi_cが求められることになる。従って、各画素について、以下の式(72)の関係が満たされることになる。
【0927】
Dｒi_c=G_(fl)×d_ｙi ・・・(72)
【0928】
ここで、差分d_ｙiは、各画素iの空間方向Yの画素間の画素値の差分(例えば、画素iに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分)であり、Dｒi_cは、画素iについて式(70)が成立するときに得られるダイナミックレンジである。
【0929】
上述のように、ここでいう最小自乗法は、抽出ブロックの画素iのダイナミックレンジDｒi_cと、図136を参照して説明した方法で得られる、画素iの実測値となるダイナミックレンジDｒi_ｒとの差分自乗和Qが、画像内のすべての画素において最小となるときの傾きG_(fl)を求める方法である。従って、差分自乗和Qは以下の式(73)により求められることになる。
【0930】
【数55】

【0931】
式(73)で示される差分自乗和Qは、2次関数であるので、変数G_(fl)(傾きG_(fl))について図141で示すような下に凸の曲線となるため、傾きG_(fl)が最小となるG_(fl)minが最小自乗法の解となる。
【0932】
式(73)で示される差分自乗和Qは、変数G_(fl)で微分されると、以下に示す式(74)で示されるdQ/dG_(fl)となる。
【0933】
【数56】

【0934】
式(74)が、0となるG_(fl)が図141で示す差分自乗和Qの最小値をとるG_(fl)minとなるので、式(74)が0となるときの式を展開することにより、以下の式(75)で傾きG_(fl)が求められることになる。
【0935】
【数57】

【0936】
上述の式(75)は、いわゆる、1変数(傾きG_(fl))の正規方程式となる。
【0937】
このようにして、得られた傾きG_(fl)を上述の式(69)に代入することにより、細線の傾きG_(fl)に対応する、水平方向を基準軸としたときの細線の角度θを得ることができる。
【0938】
尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度θが45度≦θ＜135度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度θが0度≦θ＜45度、または、135度≦θ＜108度度となる、水平方向に近い細線上の画素である場合、画素iに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分d_ｘiとなり、同様に、画素iに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブロックの画素についても、画素iに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。
【0939】
また、同様の手法により、2値エッジの傾きに対応する角度を求めることも可能である。
【0940】
すなわち、図142Aで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分(図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分)(以下、このように、2値のレベルからなる画像上のエッジ部分を2値エッジとも称する)は、実際には、図142Bで示されるように表示されている。すなわち、現実世界においては、図142Cで示されるように、画像では、第1のレベル(旗の地のレベル)と、第2のレベル(文字のレベル(図142C中では濃度の薄い斜線部))との2種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサ2により撮像された画像、すなわち、画素単位で撮像された画像は、図142Bで示されるように、第1のレベルと第2のレベルとが空間的に混合した画素が、その比率(混合比)を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックがエッジが構成されている方向に繰り返して配置されたような領域を境とした第1のレベルの画素が配置される部分と、第2のレベルの画素が配置される部分とが存在する画像となる。
【0941】
すなわち、図143Aで示されるように、空間方向X=X0,X1,X2について、それぞれの空間方向Yへの画素値の変化は、図143B中では、各画素値は、図中の下から2値エッジ(図143A中の右上がりの直線)の境界手前付近までは、所定の最小値の画素値になっているが、2値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点P_(E)において、画素値が所定の最大値となる。より詳細には、空間方向X=X0の変化は、図143Bで示されるように、画素値の最小値となる点P_(S)を通過した後、徐々に画素値が増大し、画素値の最大値となる点P0となる。これに対して、空間方向X=X1に対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図143Bで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向Yの正方向にずれて、図中の点P1を経由して、画素値の最大値にまで増大する。さらに、空間方向X=X2における空間方向Yの画素値の変化は、空間方向Yの正の方向にさらにずれ込んだ図中の点P2を経由して減少し、画素値の最大値から最小値となる。
【0942】
これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図144Aの実際の画像中の白線で囲まれる部分(31画素×31画素の画像)において、背景部分(図144A中では、黒色に見える部分)は、図144Bで示されるように、画素値の低い(画素値が90付近の)画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図144Bの画素値が低くない部分、すなわち、画素値が100付近乃至200付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域(図144A中では、白色に見える部分)の画素が、220で示される画素値の付近に多く分布している。
【0943】
この結果、図145Aで示されるエッジ画像における所定の空間方向Xに対する、空間方向Yの画素値の変化は、図145Bで示されるようになものとなる。
【0944】
すなわち、図145Bは、図145Aの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向X(図中では、X=658,659,660)毎の、空間方向Yに対応した画素値の変化を示している。このように、実際のセンサ2により撮像された画像においても、X=658において、画素値は、Y=374付近で増大を開始し(図中、黒丸で示される分布)、X=382付近で最大画素値に到達する。また、X=659においては、空間方向Yに対して正方向にずれ込んで、画素値は、Y=378付近で増大を開始し(図中、黒三角で示される分布)、X=386付近で最大画素値に到達する。さらに、X=660においては、空間方向Yに対して、さらに、正方向にずれ込んで、画素値は、Y=382付近で増大を開始し(図中、黒四角で示される分布)、X=390付近で最大画素値に到達する。
【0945】
そこで、このセンサ2により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ2より取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、2値エッジの場合、図146で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをV1、図中右側の文字部分のレベルをV2、2値エッジ付近の画素間の混合比をα、エッジの水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向(傾き、または、基準軸に対する角度)を求める。
【0946】
ここで、エッジの方向を示す傾きは、空間方向Xの単位距離に対する、空間方向Yへの変化(距離の変化)の比であるので、図147Aで示されるような場合、図中の空間方向Xへの1画素の距離に対する、空間方向Yの距離が傾きとなる。
【0947】
空間方向X0乃至X2の各々の空間方向Yに対する画素値の変化は、図147Bで示されるように、各空間方向X毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサ2により撮像された画像において、エッジは、類似した画素値の変化(今の場合、最小値から最大値へと変化する、所定の空間方向Y上の画素値の変化)が空間的に連続する方向であるので、各空間方向Xにおいて、空間方向Yの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向Yの間隔Sが、エッジの傾きG_(fe)となる。すなわち、図147Cで示されるように、水平方向に1画素の距離に対する垂直方向の変化量が傾きG_(fe)となる。
【0948】
ところで、この関係は、図137A乃至Cを参照して上述した細線の傾きG_(fl)における関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、2値エッジにおける場合の関係式は、図148で示すものとなり、背景領域の画素値をV1、文字領域の画素値をV2、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をαとし、エッジの傾きをG_(fe)とおけば、成立する関係式は、上述の式(69)乃至式(71)と同様となる(ただし、G_(fl)は、G_(fe)に置き換えられる)。
【0949】
このため、図124で示されるデータ定常性検出部101は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、2値エッジの傾きとを総称して、傾きG_(f)と称する。また、上述の式(73)乃至式(75)の式における傾きG_(fl)は、G_(fe)であってもよいものであり、結果として、傾きG_(f)と置き換えて考えるものとする。
【0950】
次に、図149のフローチャートを参照して、データ定常性の検出の処理を説明する。
【0951】
ステップS701において、水平・垂直判定部711は、入力画像の各画素を識別するカウンタTを初期化する。
【0952】
ステップS702において、水平・垂直判定部711は、後段の処理に必要なデータの抽出処理を実行する。
【0953】
ここで、図150のフローチャートを参照して、データを抽出する処理について説明する。
【0954】
ステップS711において、データ選択部701の水平・垂直判定部711は、各注目画素Tについて、図125を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する9画素の水平方向に隣接する画素間の画素値の差分(アクティビティ)の和hdiffと、垂直方向に隣接する画素間の画素値の差分(アクティビティ)の和ｖdiffとを演算し、さらに、その差分(hdiff-ｖdiff)を求め、差分(hdiff-ｖdiff)≧0の場合、その注目画素Tが、水平方向を基準軸としたとき、その基準軸との角度θが45度≦θ＜135度となる、垂直方向に近い細線、または、2値エッジ付近の画素であるものとみなし、使用する抽出ブロックを垂直方向に対応したものとする判定結果をデータ取得部712、および、データ足し込み部702に出力する。
【0955】
一方、差分(hdiff-ｖdiff)＜0の場合、水平・垂直判定部711は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、2値エッジのなす角度θが0度≦θ＜45度、または、135度≦θ＜180度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出ブロックを水平方向に対応したものとする判定結果をデータ取得部712、および、データ足し込み部702に出力する。
【0956】
すなわち、細線、または、2値エッジの傾きが垂直方向に近いと言うことは、例えば、図131Aで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出ブロックを設定する(縦長な抽出ブロックを設定する)。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出ブロックを設定するようにする(横長な抽出ブロックを設定する)。このようにすることにより、不要な計算量を増やすことなく、正確な最大値と最小値の演算が可能となる。
【0957】
ステップS712において、データ取得部712は、注目画素について水平・垂直判定部711より入力される水平方向、または、垂直方向の判定結果に対応した抽出ブロックの画素を抽出する。すなわち、例えば、図139で示されるように、注目画素を中心として、(水平方向に3画素)×(垂直方向に7画素)の合計21画素を抽出ブロックとして抽出し、記憶する。
【0958】
ステップS713において、データ取得部712は、抽出ブロックの各画素について、水平・垂直判定部711の判定結果に対応した方向に対応するダイナミックレンジブロックの画素を抽出し、記憶する。すなわち、図139を参照して、上述したように、例えば、抽出ブロックの画素ｐiｘ11については、今の場合、水平・垂直判定部711の判定結果が垂直方向になるので、データ取得部712は、垂直方向に、ダイナミックレンジブロックB1を、同様にして、画素ｐiｘ12は、ダイナミックレンジブロックB2を抽出する。その他の抽出ブロックについても同様にしてダイナミックレンジブロックが抽出される。
【0959】
すなわち、このデータ抽出処理により、所定の注目画素Tについて、正規方程式の演算に必要な画素の情報がデータ取得部712に蓄えられることになる(処理される領域が選択されることになる)。
【0960】
ここで、図149のフローチャートの説明に戻る。
【0961】
ステップS703において、データ足し込み部702は、正規方程式(ここでは、式(74))の演算の各項に必要な値の足し込み処理を実行する。
【0962】
ここで、図151のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【0963】
ステップS721において、差分足し込み部721は、データ選択部701の水平・垂直判定部711の判定結果に応じて、データ取得部712に記憶されている抽出ブロックの画素間の画素値の差分を求め(検出し)、さらに、2乗(自乗)して足し込む。すなわち、水平・垂直判定部711の判定結果が垂直方向である場合、差分足し込み部721は、抽出ブロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに2乗して足し込む。同様にして、水平・垂直判定部711の判定結果が水平方向である場合、差分足し込み部721は、抽出ブロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに2乗して足し込む。結果として、差分足し込み部721は、上述の式(75)の分母となる項の差分の自乗和を生成し、記憶する。
【0964】
ステップS722において、MaｘMin取得部722は、データ取得部712に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、ステップS723において、その最大値と最小値との差分からダイナミックレンジを求め(検出し)、差分足し込み部723に出力する。すなわち、図136Bで示されているような、画素ｐiｘ1乃至7からなる7画素のダイナミックレンジブロックの場合、ｐiｘ2の画素値が最大値として検出され、ｐiｘ7の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。
【0965】
ステップS724において、差分足し込み部723は、データ取得部712に記憶されている抽出ブロックの画素間のうち、データ選択部701の水平・垂直判定部711の判定結果に対応する方向に隣接する画素間の画素値の差分を求め(検出し)、MaｘMin取得部722より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部721は、上述の式(75)の分子となる項の和を生成し、記憶する。
【0966】
ここで、図149のフローチャートの説明に戻る。
【0967】
ステップS704において、差分足し込み部721は、抽出ブロックの全ての画素の画素間の画素値の差分(水平・垂直判定部711の判定結果に対応する方向に隣接する画素間の画素値の差分)を足し込んだか否かを判定し、例えば、抽出ブロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップS702に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップS702乃至S704の処理が繰り返される。
【0968】
ステップS704において、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップS705にいて、差分足し込み部721,723は、自らで記憶している足し込み結果を定常方向導出部703に出力する。
【0969】
ステップS706において、定常方向演算部731は、データ足し込み部702の差分足し込み部721より入力された、取得ブロックの各画素間のうち、水平・垂直判定部711により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部723より入力された、取得ブロックの各画素間のうち、水平・垂直判定部711により判定された方向に隣接する画素間の画素値の差分、および、取得ブロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式(75)で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度(細線、または、2値エッジの傾きを示す角度)を演算し、出力する。
【0970】
ステップS707において、データ取得部712は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、2値エッジの角度の情報を出力していないと判定した場合、ステップS708において、カウンタTを1インクリメントして、その処理は、ステップS702に戻る。すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップS702乃至S708の処理が繰り返されることになる。このカウンタTによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【0971】
ステップS707において、入力画像の全ての画素について処理がなされたと判定された場合、ステップS709において、データ取得部712は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップS701に戻り、それ以降の処理が繰り返される。
【0972】
ステップS709において、次の入力画像はないと判定された場合、その処理は、終了する。
【0973】
以上の処理により、細線、または、2値エッジの角度が、定常性情報として検出されて、出力される。
【0974】
このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、2値エッジの角度とほぼ一致する。すなわち、図152Aで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向Yへの傾きの変化は、図152Bで示されるように、相関を用いた方法により得られる細線の傾きを示す角度(図中の黒丸印)と、図124で示されたデータ定常性検出部101により統計処理により得られる細線の角度(図中の黒三角印)は、細線近傍の空間方向Yの座標上で、それぞれがほぼ一致している。尚、図152Bにおいては、図中の黒実線で挟まれた空間方向Y=680乃至730が細線上の座標である。
【0975】
同様にして、図153Aで示すような画像の白線で囲まれる範囲の画像について、2値エッジ上の所定の水平方向の座標上の空間方向Yへの傾きの変化は、図153Bで示されるように、相関を用いた方法により得られる2値エッジの傾きを示す角度(図中の黒丸印)と、図124で示されたデータ定常性検出部101により統計処理により得られる2値エッジの角度(図中の黒三角印)は、細線近傍の空間方向Yの座標上で、それぞれがほぼ一致している。尚、図153Bにおいては、空間方向Y=376(付近)乃至388(付近)が細線上の座標であるである。
【0976】
結果として、図124に示されるデータ定常性検出部101は、データの定常性として細線、または、2値エッジの角度を求める際、所定の画素からなるブロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、2値エッジの傾きを示す角度(ここでは、水平方向を基準軸とした角度)を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、2値エッジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。
【0977】
また、以上においては、データ定常性検出部101は、細線、または、2値エッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部101の定常方向導出部703の定常方向演算部731は、最小自乗法により求められた細線、または、2値エッジの傾きG_(f)を、そのまま定常性情報として出力するようにしてもよい。
【0978】
さらに、以上においては、式(75)において、ダイナミックレンジDｒi_ｒは、抽出ブロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジブロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジDｒi_ｒは、抽出ブロックの各画素について演算することなく、抽出ブロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。
【0979】
すなわち、以下の式(76)のように、画素間の画素値の差分のみを足し込むことにより細線の角度θ(傾きG_(f))を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。
【0980】
【数58】


【0981】
次に、図154を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部101について説明する。
【0982】
尚、図154のデータ定常性検出部101においては、図124のデータ定常性検出部101における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0983】
図154のデータ定常性検出部101において、図124のデータ定常性検出部101と異なるのは、データ足し込み部702、および、定常性方向導出部703に代えて、データ足し込み部751、および、混合比導出部761が設けられている点である。
【0984】
データ足し込み部751のMaｘMin取得部752は、図124におけるMaｘMin取得部722と同様の処理を行うものであるが、ダイナミックレンジブロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分(ダイナミックレンジ)を求め、足し込み部753,755に出力すると共に、最大値を差分演算部754に出力する。
【0985】
足し込み部753は、MaｘMin取得部より入力された値を自乗して、抽出ブロックの全ての画素について足し込み、その和を求めて、混合比導出部761に出力する。
【0986】
差分演算部754は、データ取得部712の取得ブロックの各画素について、対応するダイナミックレンジブロックの最大値との差分を求めて、足し込み部755に出力する。
【0987】
足し込み部755は、取得ブロックの各画素について、MaｘMin取得部752より入力された最大値と最小値の差分(ダイナミックレンジ)と、差分演算部754より入力された取得ブロックの各画素の画素値と、対応するダイナミックレンジブロックの最大値との差分と乗じて、その和を求め、混合比導出部761に出力する。
【0988】
混合比導出部761の混合比算出部762は、データ足し込み部の足し込み部753,755のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。
【0989】
次に、混合比の導出方法について説明する。
【0990】
図155Aで示されるように、画像上に細線が存在する場合、センサ2で撮像された画像は、図155Bで示されるような画像となる。個の画像について、図155Bの空間方向X=X1上の黒の実線で囲まれた画素について注目する。尚、図155Bの白線ではさまれた範囲は、細線領域に対応する位置を示す。この画素の画素値Mは、背景領域のレベルに対応する画素値Bと、細線領域のレベルに対応する画素値Lの中間色となっているはずであり、さらに詳細には、この画素値P_(S)は、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値P_(S)は、以下の式(77)により表現される
。
【0991】
P_(S)=α×B+(1-α)×L ・・・(77)
【0992】
ここで、αは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、(1-α)は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するオブジェクトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景オブジェクトに対して前景オブジェクトの成分であると考えられるので、前景オブジェクト成分とも言える。
【0993】
この結果、混合比αは、式(77)を展開することにより、以下の式(78)で表現できることになる。
【0994】
α=(P_(S)-L)/(B-L) ・・・(78)
【0995】
さらに、今の場合、画素値は、第1の画素値(画素値B)の領域と第2の画素値(画素値L)の領域とをまたいだ位置に存在することが前提であるので、画素値Lは、画素値の最大値Maｘで置き換えることができ、さらに、画素値Bは、画素値の最小値と置き換えることができる。従って、混合比αは、以下の式(79)でも表現することができる。
【0996】
α=(P_(S)-Maｘ)/(Min-Maｘ) ・・・(79)
【0997】
以上の結果、混合比αは、注目画素についてのダイナミックレンジブロックのダイナミックレンジ((Min-Maｘ)に相当する)と、注目画素と、ダイナミックレンジブロック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比αを求める。
【0998】
すなわち、上述の式(79)は、展開すると以下の式(80)となる。
【0999】
(P_(S)-Maｘ)=α×(Min-Maｘ) ・・・(80)
【1000】
この式(80)は、上述の式(71)と同様の1変数の最小自乗法の式となる。すなわち、式(71)においては、最小自乗法により傾きG_(f)が求められていたが、ここでは、混合比αが求められることになる。従って、以下の式(81)で示される正規方程式を解くことにより、混合比αは、統計的に求められる。
【1001】
【数59】

【1002】
ここで、iは、抽出ブロックの各画素を識別するものである。従って、式(81)においては、抽出ブロックの画素数はnである。
【1003】
次に、図156のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。
【1004】
ステップS731において、水平・垂直判定部711は、入力画像の各画素を識別するカウンタｕを初期化する。
【1005】
ステップS732において、水平・垂直判定部711は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップS732の処理は、図150のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【1006】
ステップS733において、データ足し込み部751は、正規方程式(ここでは、式(81))の演算の各項に必要な値の足し込み処理を実行する。
【1007】
ここで、図157のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【1008】
ステップS751において、MaｘMin取得部752は、データ取得部712に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部754に出力する。
【1009】
ステップS752において、MaｘMin取得部752は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部753,755に出力する。
【1010】
ステップS753において、足し込み部753は、MaｘMin取得部752より入力されたダイナミックレンジ(Maｘ-Min)を自乗して、足し込む。すなわち、足し込み部753は、上述の式(81)の分母に相当する値を足し込みにより生成する。
【1011】
ステップS754において、差分演算部754は、MaｘMin取得部752より入力されたダイナミックレンジブロックの最大値と、抽出ブロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部755に出力する。
【1012】
ステップS755において、足し込み部755は、MaｘMin取得部752より入力されたダイナミックレンジと、差分演算部754より入力された、今現在処理している画素の画素値と、ダイナミックレンジブロックの画素のうち最大値となる値との差分を乗じて、足し込む。すなわち、足し込み部755は、上述の式(81)の分子の項に相当する値を生成する。
【1013】
以上のように、データ足し込み部751は、足し込み処理により、上述の式(81)の各項の演算を実行する。
【1014】
ここで、図156のフローチャートの説明に戻る。
【1015】
ステップS734において、差分足し込み部721は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出ブロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理は、ステップS732に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステップS732乃至S734の処理が繰り返される。
【1016】
ステップS734において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップS735にいて、足し込み部753,755は、自らで記憶している足し込み結果を混合比導出部761に出力する。
【1017】
ステップS736において、混合比導出部761の混合比算出部762は、データ足し込み部751の足し込み部753,755より入力された、ダイナミックレンジの自乗和、および、抽出ブロックの各画素の画素値とダイナミックレンジブロックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式(81)で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。
【1018】
ステップS737において、データ取得部712は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップS738において、カウンタｕを1インクリメントして、その処理は、ステップS732に戻る。
【1019】
すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップS732乃至S738の処理が繰り返されることになる。このカウンタｕによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【1020】
ステップS737において、入力画像の全ての画素について処理がなされたと判定された場合、ステップS739において、データ取得部712は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップS731に戻り、それ以降の処理が繰り返される。
【1021】
ステップS739において、次の入力画像はないと判定された場合、その処理は、終了する。
【1022】
以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。
【1023】
以上の手法により、例えば、図158Aで示される画像中の白線内の細線の画像について、所定の空間方向X(=561,562,563)上の混合比の変化が、図158Bに示されている。図158Bで示されるように、水平方向に連続する空間方向Yの混合比の変化は、それぞれ、空間方向X=563の場合、混合比は、空間方向Y=660付近で立ち上がり、Y=685付近でピークとなり、Y=710まで減少する。また、空間方向X=562の場合、混合比は、空間方向Y=680付近で立ち上がり、Y=705付近でピークとなり、Y=735まで減少する。さらに、空間方向X=561の場合、混合比は、空間方向Y=705付近で立ち上がり、Y=725付近でピークとなり、Y=755まで減少する。
【1024】
このように、図158Bで示されるように、連続する空間方向Xのそれぞれの混合比の変化は、混合比により変化する画素値の変化(図133Bで示した画素値の変化)と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。
【1025】
また、同様にして、図159Aで示される画像中の白線内の2値エッジの画像について、所定の空間方向X(=658,659,660)上の混合比の変化が、図159Bに示されている。図159Bで示されるように、水平方向に連続する空間方向Yの混合比の変化は、それぞれ、空間方向X=660の場合、混合比は、空間方向Y=750付近で立ち上がり、Y=765付近でピークとなる。また、空間方向X=659の場合、混合比は、空間方向Y=760付近で立ち上がり、Y=775付近でピークとなる。さらに、空間方向X=658の場合、混合比は、空間方向Y=770付近で立ち上がり、Y=785付近でピークとなる。
【1026】
このように、図159Bで示されるように、2値エッジの混合比の変化は、混合比により変化する画素値の変化(図145Bで示した画素値の変化)と同様の変化とほぼ同様であり、周期的に連続していることから、2値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。
【1027】
以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。
【1028】
また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式(82)で示されるような関係が成立する。
【1029】
α=m×ｙ+n ・・・(82)
【1030】
ここで、mは、混合比αが、空間方向Yに対して変化するときの傾きを示し、また、nは、混合比αが直線的に変化するときの切片に相当するものである。
【1031】
すなわち、図160で示されるように、混合比を示す直線は、背景領域のレベルに相当する画素値Bと、細線のレベルに相当するレベルLの境界を示す直線であり、この場合、空間方向Yについて単位距離進んだときの混合比の変化量が傾きmとなる。
【1032】
そこで、式(82)を、式(77)に代入すると以下の式(83)が導出される。
【1033】
M=(m×ｙ+n)×B+(1-(m×ｙ+n))×L ・・・(83)
【1034】
さらに、この式(83)を展開すると、以下の式(84)が導出される。
【1035】
M-L=(ｙ×B-ｙ×L)×m+(B-L)×n ・・・(84)
【1036】
式(84)においては、第1項のmが、混合比の空間方向の傾きを示し、第2項nが混合比の切片を示す項である。従って、上述の式(84)のm,nを2変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。
【1037】
しかしながら、混合比αの傾きmは、上述した細線や2値エッジの傾き(上述の傾きG_(f))そのものであるので、予め、上述の方法を用いて、細線、または、2値エッジの傾きG_(f)を求めた後、その傾きを用いて、式(84)に代入することにより、切片の項についての1変数の関数とし、上述した手法と同様に、1変数の最小自乗法により求めるようにしてもよい。
【1038】
以上の例においては、空間方向の細線、または、2値エッジの角度(傾き)、または、混合比をデータ定常性情報として検出するデータ定常性検出部101について説明してきたが、例えば、空間内の軸(空間方向X,Y)のいずれかを、時間方向(フレーム方向)Tの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸(空間方向X,Y)のいずれかを、時間方向(フレーム方向)Tの軸に置き換えることにより得られる角度に対応するものとは、物体の動きベクトル(動きベクトルの方向)である。
【1039】
より具体的には、図161Aで示すように、物体が、時間が進むにつれて空間方向Yについて、図中の上方向に移動している場合、図中の細線に相当する部分(図131Aとの比較)には、物体の移動の軌跡が現れることになる。従って、時間方向Tの細線における傾きは、図161Aにおいては、物体の動く方向(物体の動きを示す角度)を示すもの(動きベクトルの方向と同値のもの)である。従って、現実世界において、図161A中の矢印で示される、所定の時刻におけるフレームでは、図161Bで示すように物体の軌跡となる部分が、物体の(色の)レベルとなり、それ以外の部分が、背景のレベルとなったパルス状の波形となる。
【1040】
このように、センサ2により動きのある物体を撮像したした場合、図162Aで示されるように、時刻T1乃至T3におけるフレームの各画素の画素値の分布は、図162Bで示されるように、空間方向Yに対して、それぞれ山型の波形をとる。この関係は、図132A,Bを参照して、説明した空間方向X,Yにおける関係と同様であるものと考えることができる。従って、フレーム方向Tに対して、物体に動きがある場合、上述した細線の傾き、または、2値エッジの角度(傾き)の情報と同様の手法により、物体の動きベクトルの方向をデータ定常性情報として求めることも可能である。尚、図162Bにおいては、フレーム方向T(時間方向T)について、各マス目は、1フレームの画像を構成するシャッタ時間となる。
【1041】
また、同様にして、図163Aで示されるように、フレーム方向T毎に、空間方向Yについて物体に動きがある場合、図163Bで示されるように、所定の時刻T1に相当するフレーム上で空間方向Yに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図163Bにおける、黒の実線で囲まれた画素の画素値は、図163Cで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比βで混合している画素値である。
【1042】
この関係は、図155A,B,Cを参照して説明した関係と同様である。
【1043】
さらに、図164で示されるように、物体のレベルOと背景のレベルBとは、フレーム方向(時間方向)の混合比βにより直線近似することも可能である。この関係は、図160を参照して説明した空間方向の混合比の直線近似と同様の関係である。
【1044】
従って、空間方向の混合比αと同様の手法により、時間(フレーム)方向の混合比βをデータ定常性情報として求めることも可能である。
【1045】
また、フレーム方向、または、空間方向のいずれか1次元を選択して、定常性の角度、または、動きベクトルの方向を求めるようにしてもよいし、同様にして混合比α,βを選択的に求めるようにしてもよい。
【1046】
以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基いて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度(動きベクトルの方向)、または、(時空間の)混合比を求めることが可能となる。
【1047】
次に、図165を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行うべき領域の情報を出力する、データ定常性情報検出部101について説明する。
【1048】
角度検出部801は、入力された画像のうち、定常性を有する領域、すなわち、画像上において定常性を有する細線や2値エッジを構成する部分の空間方向の角度を検出し、検出した角度を実世界推定部802に出力する。尚、この角度検出部801は、図3におけるデータ定常性検出部101と同様のものである。
【1049】
実世界推定部802は、角度検出部801より入力されたデータ定常性の方向を示す角度と、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部802は、入力された角度と、入力画像の各画素から実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部803に出力する。尚、この実世界推定部802は、図3における実世界推定部102と同様のものである。
【1050】
誤差演算部803は、実世界推定部802より入力された係数に基づいて、近似的に記述された現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数に基づいて各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部804に出力する。
【1051】
比較部804は、各画素について誤差演算部803より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【1052】
次に、図166のフローチャートを参照して、図165のデータ定常性検出部101による、定常性の検出の処理について説明する。
【1053】
ステップS801において、角度検出部801は、入力された画像を取得し、ステップS802において、定常性の方向を示す角度を検出する。より詳細には、角度検出部801は、例えば、水平方向を基準軸としたときの細線、または、2値エッジの有する定常性の方向を示す角度を検出して、実世界推定部802に出力する。
【1054】
ステップS803において、実世界推定部802は、角度検出部801より入力される角度の情報と、入力画像の情報に基づいて、現実世界を表現する関数F(ｘ)に近似的に記述する、多項式からなる近似関数f(ｘ)の係数を求めて、誤差演算部803に出力する。すなわち、現実世界を表現する近似関数f(ｘ)は、以下の式(85)のような1次元多項式で示される。
【1055】
【数60】

【1056】
ここで、ｗiは、多項式の係数であり、実世界推定部802は、この係数ｗiを求めて、誤差演算部803に出力する。さらに、角度検出部801より入力される角度により、定常性の方向から傾きを求めることができる(G_(f)=ｔan^(-1)θ,G_(f):傾き,θ:角度)ので、この傾きG_(f)の拘束条件を代入することにより、上述の式(85)の式は、以下の式(86)で示されるように、2次元多項式で記述することができる。
【1057】
【数61】

【1058】
すなわち、上述の式(86)は、式(85)で記述される1次元の近似関数f(ｘ)が、空間方向Yに平行移動することにより生じるずれ幅をシフト量α(=-dｙ/G_(f):dｙは、空間方向Yへの変化量)で表現することにより得られる2次元の関数f(ｘ,ｙ)を記述している。
【1059】
したがって、実世界推定部802は、入力画像と、定常性方向の角度の情報を用いて、上述の式(86)の各係数ｗiを解いて、求められた係数ｗiを誤差演算部803に出力する。
【1060】
ここで、図166のフローチャートの説明に戻る。
【1061】
ステップS804において、誤差演算部803は、実世界推定部802より入力された係数から、各画素について再積分を実行する。すなわち、誤差演算部803は、実世界推定部802より入力された係数から、上述の式(86)を、以下の式(87)で示されるように、各画素について積分する。
【1062】
【数62】

【1063】
ここで、S_(S)は、図167で示される空間方向の積分結果を示す。また、その積分範囲は、図167で示すように、空間方向Xについては、ｘ_(m)乃至ｘ_(m+B)であり、空間方向Yについては、ｙ_(m)乃至ｙ_(m+A)である。また、図167においては、各マス目(正方形)は、1画素を示すものとし、空間方向X,Yについて、いずれも1であるものとする。
【1064】
従って、誤差演算部803は、図168で示されるように、近似関数f(ｘ,ｙ)で示される曲面の空間方向Xについてｘ_(m)乃至ｘ_(m+1)、および、空間方向Yについてｙ_(m)乃至ｙ_(m+1)(A=B=1)で、以下の式(88)で示されるような積分演算を各画素について実行し、実世界を近似的に表現する近似関数を空間的に積分することにより得られる各画素の画素値P_(S)を演算する。
【1065】
【数63】

【1066】
すなわち、この処理により、誤差演算部803は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【1067】
ステップS805において、誤差演算部803は、上述の式(88)で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部804に出力する。すなわち、誤差演算部803は、上述の図167,図168で示した積分範囲(空間方向Xについてｘ_(m)乃至ｘ_(m+1)、および、空間方向Yについてｙ_(m)乃至ｙ_(m+1))に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部804に出力する。
【1068】
ステップS806において、比較部804は、誤差演算部803より入力される積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【1069】
ステップS806において、誤差が所定の閾値以下であると判定された場合、ステップS807において、比較部804は、積分により得られた画素値が、入力画像の画素の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似しているとみなし、今処理した画素の領域は、定常性情報に基づいた近似関数による処理を行う処理領域として認識する。より詳細には、比較部804は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【1070】
一方、ステップS806において、誤差が所定の閾値以下ではないと判定された場合、ステップS808において、比較部804は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部804は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【1071】
ステップS809において、比較部804は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップS802に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップS802乃至S809の処理が繰り返される。
【1072】
ステップS809において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップS810において、比較部804は、図示せぬメモリに記憶されている、入力画像について、後段の処理において空間方向の定常性情報に基づいた処理がなされる処理領域と、空間方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【1073】
以上の処理によれば、定常性情報に基づいて演算された近似関数f(ｘ)を用いて各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎(画素毎に)にされることになり、誤差の小さい領域、すなわち、近似関数に基づいた積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみ空間方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【1074】
次に、図169を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行う画素の存在する領域情報を出力する、データ定常性情報検出部101のその他の実施例について説明する。
【1075】
動き検出部821は、入力された画像のうち、定常性を有する領域、すなわち、画像上においてフレーム方向に定常性を有する動き(動きベクトルの方向:V_(f))を検出し、検出した動きを実世界推定部822に出力する。尚、この動き検出部821は、図3におけるデータ定常性検出部101と同様のものである。
【1076】
実世界推定部822は、動き検出部821より入力されたデータ定常性の動きと、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部822は、入力された動きと、入力画像の各画素からフレーム方向(時間方向)の実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部823に出力する。尚、この実世界推定部822は、図3における実世界推定部102と同様のものである。
【1077】
誤差演算部823は、実世界推定部822より入力された係数に基づいて、近似的に記述されたフレーム方向の現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数からフレーム毎に各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部824に出力する。
【1078】
比較部824は、各画素について誤差演算部823より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【1079】
次に、図170のフローチャートを参照して、図169のデータ定常性検出部101による、定常性の検出の処理について説明する。
【1080】
ステップS821において、動き検出部801は、入力された画像を取得し、ステップS822において、定常性を示す動きを検出する。より詳細には、動き検出部801は、例えば、入力画像中で動く物体の動き(動きベクトルの方向:V_(f))を検出して、実世界推定部822に出力する。
【1081】
ステップS823において、実世界推定部822は、動き検出部821より入力される動きの情報と、入力画像の情報に基づいて、現実世界を表現するフレーム方向の関数F(ｔ)に近似的に記述する、多項式からなる関数f(ｔ)の係数を求めて、誤差演算部823に出力する。すなわち、現実世界を表現する関数f(ｔ)は、以下の式(89)のような1次元多項式で示される。
【1082】
【数64】

【1083】
ここで、ｗiは、多項式の係数であり、実世界推定部822は、この係数ｗiを求めて、誤差演算部823に出力する。さらに、動き検出部821より入力される動きにより、定常性の動きを求めることができる(V_(f)=ｔan^(-1)θｖ,V_(f):動きベクトルのフレーム方向の傾き,θｖ:動きベクトルのフレーム方向の角度)ので、この傾きの拘束条件を代入することにより、上述の式(89)の式は、以下の式(90)で示されるように、2次元多項式で記述することができる。
【1084】
【数65】

【1085】
すなわち、上述の式(90)は、式(89)で記述される1次元の近似関数f(ｔ)が、空間方向Yに平行移動することにより生じるずれ幅を、シフト量αｔ(=-dｙ/V_(f):dｙは、空間方向Yへの変化量)で表現することにより得られる2次元の関数f(ｔ,ｙ)を記述している。
【1086】
したがって、実世界推定部822は、入力画像と、定常性の動きの情報を用いて、上述の式(90)の各係数ｗiを解いて、求められた係数ｗiを誤差演算部823に出力する。
【1087】
ここで、図170のフローチャートの説明に戻る。
【1088】
ステップS824において、誤差演算部823は、実世界推定部822より入力された係数から、各画素についてフレーム方向に積分を実行する。すなわち、誤差演算部823は、実世界推定部822より入力された係数から、上述の式(90)を、以下の式(91)で示されるように、各画素について積分する。
【1089】
【数66】

【1090】
ここで、S_(ｔ)は、図171で示されるフレーム方向の積分結果を示す。また、その積分範囲は、図171で示すように、フレーム方向Tについては、T_(m)乃至T_(m+B)であり、空間方向Yについては、ｙ_(m)乃至ｙ_(m+A)である。また、図171においては、各マス目(正方形)は、1画素を示すものとし、フレーム方向T、および、空間方向Yのいずれも1であるものとする。ここで、フレーム方向Tについて1であるとは、1フレーム分のシャッタ時間を1とすることである。
【1091】
従って、誤差演算部823は、図172で示されるように、近似関数f(ｔ,ｙ)で示される曲面の空間方向TについてT_(m)乃至T_(m+1)、および、空間方向Yについてｙ_(m)乃至ｙ_(m+1)(A=B=1)で、以下の式(92)で示されるような積分演算を各画素について実行し、実世界を近似的に表現する関数から得られる各画素の画素値P_(ｔ)を演算する。
【1092】
【数67】

【1093】
すなわち、この処理により、誤差演算部823は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【1094】
ステップS825において、誤差演算部823は、上述の式(92)で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部824に出力する。すなわち、誤差演算部823は、上述の図171,図172で示した積分範囲(空間方向TについてT_(m)乃至T_(m+1)、および、空間方向Yについてｙ_(m)乃至ｙ_(m+1))に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部824に出力する。
【1095】
ステップS826において、比較部824は、誤差演算部823より入力された積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【1096】
ステップS826において、誤差が所定の閾値以下であると判定された場合、ステップS827において、比較部824は、積分により得られた画素値が、入力画像の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、実世界の光信号の光の強度分布と十分に近似されているとみなし、今処理した画素の領域は、処理領域として認識する。より詳細には、比較部824は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【1097】
一方、ステップS826において、誤差が所定の閾値以下ではないと判定された場合、ステップS828において、比較部824は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部824は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【1098】
ステップS829において、比較部824は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップS822に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップS822乃至S829の処理が繰り返される。
【1099】
ステップS829において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップS830において、比較部824は、図示せぬメモリに記憶されている、入力画像について、後段の処理においてフレーム方向の定常性情報に基づいた処理がなされる処理領域と、フレーム方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【1100】
以上の処理によれば、定常性情報に基づいて演算された近似関数f(ｔ)を用いた各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎(画素毎に)にされることになり、誤差の小さい領域、すなわち、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【1101】
図165および図169のデータ定常性情報検出部101の構成を組み合わせて、時空間方向のうち、いずれか1次元を選択して、選択的に領域情報を出力させるようにしてもよい。
【1102】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データの時空間方向のうち少なくとも1次元方向の位置に対応する各画素の画素値が少なくとも1次元方向の積分効果により取得された画素値であるとして現実世界の光信号に対応する関数を近似することにより、現実世界の光信号に対応する関数を推定し、推定した関数を少なくとも1次元方向の各画素に対応する単位で積分することにより取得される画素値と、各画素の画素値との差分値を検出し、差分値に応じて関数を選択的に出力するようにしたので、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることが可能となり、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【1103】
次に、実世界1の信号の推定について説明する。
【1104】
図173は、実世界推定部102の構成を示すブロック図である。
【1105】
図173に構成を示す実世界推定部102においては、入力画像、および定常性検出部101から供給されたデータ定常性情報を基に、実世界1の信号である画像における、細線の幅が検出され、細線のレベル(実世界1の信号の光の強度)が推定される。
【1106】
線幅検出部2101は、定常性検出部101から供給された、細線の画像が射影された画素からなる、細線領域である定常領域を示すデータ定常性情報を基に、細線の幅を検出する。線幅検出部2101は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部2102に供給する。
【1107】
信号レベル推定部2102は、入力画像、線幅検出部2101から供給された細線の幅を示す細線幅情報、およびデータ定常性情報を基に、実世界1の信号である、細線の画像のレベル、すなわち光の強度のレベルを推定し、細線の幅および細線の画像のレベルを示す実世界推定情報を出力する。
【1108】
図174および図175は、実世界1の信号における、細線の幅を検出する処理を説明する図である。
【1109】
図174および図175において、太線で囲む領域(4つの四角からなる領域)は、1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示し、丸は、細線領域の重心を示す。図174および図175において、斜線は、センサ2に入射された細線の画像を示す。斜線は、センサ2に、実世界1の細線の画像が射影された領域を示しているとも言える。
【1110】
図174および図175において、Sは、細線領域の重心の位置から算出される傾きを示し、Dは、細線領域の重複である。ここで、傾きSは、細線領域が隣接しているので、画素を単位とした、重心と重心との距離である。また、細線領域の重複Dとは、2つの細線領域において、隣接している画素の数である。
【1111】
図174および図175において、Wは、細線の幅を示す。
【1112】
図174において、傾きSは、2であり、重複Dは、2である。
【1113】
図175において、傾きSは、3であり、重複Dは、1である。
【1114】
細線領域が隣接し、細線領域が隣接する方向の重心と重心の距離は、1画素であるので、W:D=1:Sが成立し、細線の幅Wは、重複D/傾きSで求めることができる。
【1115】
例えば、図174で示されるように、傾きSは、2であり、重複Dは、2であるとき、2/2は、1であるから、細線の幅Wは、1である。また、例えば、図175で示されるように、傾きSは、3であり、重複Dは、1であるとき、細線の幅Wは、1/3である。
【1116】
線幅検出部2101は、このように、細線領域の重心の位置から算出される傾き、および細線領域の重複から、細線の幅を検出する。
【1117】
図176は、実世界1の信号における、細線の信号のレベルを推定する処理を説明する図である。
【1118】
図176において、太線で囲む領域(4つの四角からなる領域)は、1つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示す。図176において、Eは、細線領域の画素を単位とした、細線領域の長さを示し、Dは、細線領域の重複(他の細線領域に隣接している画素の数)である。
【1119】
細線の信号のレベルは、処理単位(細線領域)内で一定であると近似し、細線が射影された画素の画素値に射影された、細線以外の画像のレベルは、隣接している画素の画素値に対するレベルに等しいと近似する。
【1120】
細線の信号のレベルをCとしたとき、細線領域に射影された信号(画像)における、図中の、細線の信号が射影された部分の左側の部分のレベルをAとし、図中の、細線の信号が射影された部分の右側の部分のレベルをBとする。
【1121】
このとき、式(93)が成立する。
【1122】
細線領域の画素値の総和=(E-D)/2*A+(E-D)/2*B+D*C
・・・(93)
【1123】
細線の幅が一定であり、細線領域の幅は、1画素なので、細線領域の細線(の信号が射影された部分)の面積は、細線領域の重複Dに等しい。細線領域の幅は、1画素なので、細線領域の画素を単位とした、細線領域の面積は、細線領域の長さEに等しい。
【1124】
細線領域のうち、細線の左側の面積は、(E-D)/2である。細線領域のうち、細線の右側の面積は、(E-D)/2である。
【1125】
式(93)の右辺の第1項は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式(94)で表すことができる。
【1126】
【数68】

【1127】
式(94)において、A_(i)は、左側に隣接している画素の画素値を示す。
【1128】
式(94)において、α_(i)は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、α_(i)は、細線領域の画素の画素値に含まれている、左側に隣接している画素の画素値と同じ画素値の割合を示す。
【1129】
iは、細線領域の左側に隣接している画素の位置を示す。
【1130】
例えば、図176において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値A_(0)と同じ画素値の割合は、α_(0)である。図176において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値A_(1)と同じ画素値の割合は、α_(1)である。図176において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値A_(2)と同じ画素値の割合は、α_(2)である。
【1131】
式(93)の右辺の第2項は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式(95)で表すことができる。
【1132】
【数69】

【1133】
式(95)において、B_(j)は、右側に隣接している画素の画素値を示す。
【1134】
式(95)において、β_(j)は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、β_(j)は、細線領域の画素の画素値に含まれている、右側に隣接している画素の画素値と同じ画素値の割合を示す。
【1135】
jは、細線領域の右側に隣接している画素の位置を示す。
【1136】
例えば、図176において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値B_(0)と同じ画素値の割合は、β_(0)である。図176において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値B_(1)と同じ画素値の割合は、β_(1)である。図176において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値B_(2)と同じ画素値の割合は、β_(2)である。
【1137】
このように、信号レベル推定部2102は、式(94)および式(95)を基に、細線領域に含まれる画素値のうちの、細線以外の画像の画素値を算出し、式(93)を基に、細線領域の画素値から細線以外の画像の画素値を除去することにより、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を求める。そして、信号レベル推定部2102は、細線のみの画像の画素値と細線の面積とから、細線の信号のレベルを求める。より具体的には、信号レベル推定部2102は、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を、細線領域の細線の面積、すなわち細線領域の重複Dで割り算することにより、細線の信号のレベルを算出する。
【1138】
信号レベル推定部2102は、実世界1の信号における、細線の幅、および細線の信号のレベルを示す実世界推定情報を出力する。
【1139】
本発明の手法では、細線の波形を画素ではなく幾何学的に記述しているので、どのような解像度でも使用することができる。
【1140】
次に、ステップS102の処理に対応する、実世界の推定の処理を図177のフローチャートを参照して説明する。
【1141】
ステップS2101において、線幅検出部2101は、データ定常性情報を基に、細線の幅を検出する。例えば、線幅検出部2101は、細線領域の重心の位置から算出される傾き、および細線領域の重複から、重複を傾きで割り算することにより、実世界1の信号における、細線の幅を推定する。
【1142】
ステップS2102において、信号レベル推定部2102は、細線の幅、および細線領域に隣接する画素の画素値を基に、細線の信号のレベルを推定し、推定された細線の幅および細線の信号のレベルを示す実世界推定情報を出力して、処理は終了する。例えば、信号レベル推定部2102は、細線領域に含まれる細線以外の画像が射影された画素値を算出し、細線領域から細線以外の画像が射影された画素値を除去することにより、細線のみの画像が射影された画素値を求めて、求められた細線のみの画像が射影された画素値と細線の面積とから、細線の信号のレベルを算出することにより、実世界1の信号における、細線のレベルを推定する。
【1143】
このように、実世界推定部102は、実世界1の信号の細線の幅およびレベルを推定することができる。
【1144】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第1の画像データの、データの定常性を検出し、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第1の画像データの定常性から現実世界の光信号の波形を推定し、推定された光信号を第2の画像データに変換するようにした場合、現実世界の光信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【1145】
図178は、実世界推定部102の他の構成を示すブロック図である。
【1146】
図178に構成を示す実世界推定部102においては、入力画像、およびデータ定常性検出部101から供給されたデータ定常性情報を基に、領域が再度検出され、再度検出された領域を基に、実世界1の信号である画像における、細線の幅が検出され、実世界1の信号の光の強度(レベル)が推定される。例えば、図178に構成を示す実世界推定部102においては、細線の画像が射影された画素からなる定常性領域が再度検出され、再度検出された領域を基に、実世界1の信号である画像における、細線の幅が検出され、実世界1の信号の光の強度が推定される。
【1147】
データ定常性検出部101から供給され、図178に構成を示す実世界推定部102に入力されるデータ定常性情報には、データ3である入力画像のうちの、細線の画像が射影された定常成分以外の非定常成分を示す非定常成分情報、定常領域の中の単調増減領域を示す単調増減領域情報、および定常領域を示す情報などが含まれている。例えば、データ定常性情報に含まれる非定常成分情報は、入力画像における背景などの非定常成分を近似する平面の傾きおよび切片からなる。
【1148】
実世界推定部102に入力されたデータ定常性情報は、境界検出部2121に供給される。実世界推定部102に入力された入力画像は、境界検出部2121および信号レベル推定部2102に供給される。
【1149】
境界検出部2121は、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成し、定常成分のみからなる画像を基に、画素に射影された、実世界1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から細線領域の境界を示す回帰直線を算出することにより、定常領域である細線領域を再び検出する。
【1150】
図179は、境界検出部2121の構成を示すブロック図である。
【1151】
分配比算出部2131は、データ定常性情報、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成する。より具体的には、分配比算出部2131は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。
【1152】
なお、分配比算出部2131は、入力画像の画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成するようにしてもよい。
【1153】
分配比算出部2131は、生成された定常成分のみからなる画像を基に、実世界1の信号である細線の画像が、定常領域の中の隣り合う単調増減領域に属する2つの画素に分配された割合を示す分配比を算出する。分配比算出部2131は、算出した分配比を回帰直線算出部2132に供給する。
【1154】
図180乃至図182を参照して、分配比算出部2131における、分配比の算出の処理を説明する。
【1155】
図180の左側の2列の数値は、入力画像の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、算出された画像のうち、縦に2列の画素の画素値を示す。図180の左側の四角で囲む2つの領域は、隣り合う2つの単調増減領域である、単調増減領域2141-1および単調増減領域2141-2を示す。すなわち、単調増減領域2141-1および単調増減領域2141-2に示す数値は、データ定常性検出部101において検出された定常性領域である単調増減領域に属する画素の画素値を示す。
【1156】
図180の右側の1列の数値は、図180の左側の2列の画素の画素値のうち、横に並ぶ画素の画素値を加算した値を示す。すなわち、図180の右側の1列の数値は、縦に1列の画素からなる単調増減領域であって、2つの隣接するものについて、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値を示す。
【1157】
例えば、それぞれ、縦に1列の画素からなり、隣接する単調増減領域2141-1および単調増減領域2141-2のいずれかに属し、横に隣接する画素の画素値が、2および58であるとき、加算した値は、60である。それぞれ、縦に1列の画素からなり、隣接する単調増減領域2141-1および単調増減領域2141-2のいずれかに属し、横に隣接する画素の画素値が、1および65であるとき、加算した値は、66である。
【1158】
図180の右側の1列の数値、すなわち、縦に1列の画素からなり、2つの隣接する単調増減領域の横方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となることがわかる。
【1159】
同様に、横に1列の画素からなり、2つの隣接する単調増減領域の縦方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となる。
【1160】
分配比算出部2131は、2つの隣接する単調増減領域の隣接する画素について、細線の画像が射影された画素値を加算した値が、ほぼ一定となる性質を利用して、細線の画像が1列の画素の画素値にどのように分配されているかを算出する。
【1161】
分配比算出部2131は、図181に示すように、縦に1列の画素からなる単調増減領域であって、2つの隣接するものに属する画素の画素値を、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値で割り算することにより、2つの隣接する単調増減領域に属する各画素について、分配比を算出する。ただし、算出された結果、100を超える分配比には、100が設定される。
【1162】
例えば、図181に示すように、縦に1列の画素からなる単調増減領域であって、2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ2および58であるとき、加算した値が60なので、それぞれの画素に対して、3.5および95.0である分配比が算出される。縦に1列の画素からなる単調増減領域であって、2つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ1および65であるとき、加算した値が66なので、それぞれの画素に対して、1.5および98.5である分配比が算出される。
【1163】
この場合において、3つの単調増減領域が隣接する場合、どちらの列から計算するかは、図182で示されるように、横に隣接する画素毎に、細線の画像が射影された画素値を加算した、2つの値のうち、頂点Pの画素値により近い値を基に、分配比が算出される。
【1164】
例えば、頂点Pの画素値が81であり、注目している単調増減領域に属する画素の画素値が79であるとき、左側に隣接する画素の画素値が3であり、右側に隣接する画素の画素値が-1である場合、左側に隣接する画素の画素値を加算した値が、82であり、右側に隣接する画素の画素値を加算した値が、78なので、頂点Pの画素値81により近い、82が選択され、左側に隣接する画素を基に、分配比が算出される。同様に、頂点Pの画素値が81であり、注目している単調増減領域に属する画素の画素値が75であるとき、左側に隣接する画素の画素値が0であり、右側に隣接する画素の画素値が3である場合、左側に隣接する画素の画素値を加算した値が、75であり、右側に隣接する画素の画素値を加算した値が、78なので、頂点Pの画素値81により近い、78が選択され、右側に隣接する画素を基に、分配比が算出される。
【1165】
このように、分配比算出部2131は、縦に1列の画素からなる単調増減領域について、分配比を算出する。
【1166】
分配比算出部2131は、同様の処理で、横に1列の画素からなる単調増減領域について、分配比を算出する。
【1167】
回帰直線算出部2132は、単調増減領域の境界が直線であると仮定して、分配比算出部2131において算出された分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【1168】
図183および図184を参照して、回帰直線算出部2132における、単調増減領域の境界を示す回帰直線の算出の処理を説明する。
【1169】
図183において、白丸は、単調増減領域2141-1乃至単調増減領域2141-5の上側の境界に位置する画素を示す。回帰直線算出部2132は、回帰の処理により、単調増減領域2141-1乃至単調増減領域2141-5の上側の境界について回帰直線を算出する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5の上側の境界に位置する画素との距離の自乗の和が最小となる直線Aを算出する。
【1170】
また、図183において、黒丸は、単調増減領域2141-1乃至単調増減領域2141-5の下側の境界に位置する画素を示す。回帰直線算出部2132は、回帰の処理により、単調増減領域2141-1乃至単調増減領域2141-5の下側の境界について回帰直線を算出する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5の下側の境界に位置する画素との距離の自乗の和が最小となる直線Bを算出する。
【1171】
回帰直線算出部2132は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域を再び検出する。
【1172】
図184に示すように、回帰直線算出部2132は、算出された直線Aを基に、単調増減領域2141-1乃至単調増減領域2141-5の上側の境界を決定する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5のそれぞれについて、算出された直線Aに最も近い画素から上側の境界を決定する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5のそれぞれについて、算出された直線Aに最も近い画素が領域に含まれるように上側の境界を決定する。
【1173】
図184に示すように、回帰直線算出部2132は、算出された直線Bを基に、単調増減領域2141-1乃至単調増減領域2141-5の下側の境界を決定する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5のそれぞれについて、算出された直線Bに最も近い画素から下側の境界を決定する。例えば、回帰直線算出部2132は、単調増減領域2141-1乃至単調増減領域2141-5のそれぞれについて、算出された直線Bに最も近い画素が領域に含まれるように下側の境界を決定する。
【1174】
このように、回帰直線算出部2132は、データ定常性検出部101により検出された定常領域の境界を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出する。すなわち、回帰直線算出部2132は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域である領域を再び検出し、検出した領域を示す領域情報を線幅検出部2101に供給する。
【1175】
以上のように、境界検出部2121は、画素に射影された、実世界1の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。このようにすることで、より正確な単調増減領域を検出することができる。
【1176】
図178に示す線幅検出部2101は、境界検出部2121から供給された、再度検出された領域を示す領域情報を基に、図173に示す場合と同様の処理で、細線の幅を検出する。線幅検出部2101は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部2102に供給する。
【1177】
図178に示す信号レベル推定部2102の処理は、図173に示す場合と同様の処理なので、その説明は省略する。
【1178】
図185は、ステップS102の処理に対応する、図178に構成を示す実世界推定部102による、実世界の推定の処理を説明するフローチャートである。
【1179】
ステップS2121において、境界検出部2121は、データ定常性検出部101により検出された定常領域に属する画素の画素値に基づいて、再び領域を検出する、境界検出の処理を実行する。境界検出の処理の詳細は、後述する。
【1180】
ステップS2122およびステップS2123の処理は、ステップS2101およびステップS2102の処理と同様なので、その説明は省略する。
【1181】
図186は、ステップS2121の処理に対応する、境界検出の処理を説明するフローチャートである。
【1182】
ステップS2131において、分配比算出部2131は、単調増減領域を示すデータ定常性情報および入力画像を基に、細線の画像が射影された割合を示す分配比を算出する。例えば、分配比算出部2131は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。そして、分配比算出部2131は、1列の画素からなる単調増減領域であって、2つの隣接するものに属する画素の画素値を、隣接する画素の画素値の和で割り算することにより、2つの隣接する単調増減領域に属する各画素について、分配比を算出する。
【1183】
分配比算出部2131は、算出された分配比を回帰直線算出部2132に供給する。
【1184】
ステップS2132において、回帰直線算出部2132は、細線の画像が射影された割合を示す分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の領域を再び検出する。例えば、回帰直線算出部2132は、単調増減領域の境界が直線であると仮定して、単調増減領域の一端の境界を示す回帰直線を算出し、単調増減領域の他の一端の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【1185】
回帰直線算出部2132は、再び検出された、定常領域の中の領域を示す領域情報を線幅検出部2101に供給して、処理は終了する。
【1186】
このように、図178に構成を示す実世界推定部102は、細線の画像が射影された画素からなる領域を再度検出し、再度検出された領域を基に、実世界1の信号である画像における、細線の幅を検出し、実世界1の信号の光の強度(レベル)を推定する。このようにすることで、実世界1の信号に対して、より正確に、細線の幅を検出し、より正確に、光の強度を推定することができる。
【1187】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第1の画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて実世界を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【1188】
次に、図187を参照して、定常性を有する領域における、画素毎の空間方向の近似関数の微分値を実世界推定情報として出力する実世界推定部102について説明する。
【1189】
参照画素抽出部2201は、データ定常性検出部101より入力されるデータ定常性情報(定常性の角度、または、領域の情報)に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報(演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報)を抽出して、近似関数推定部2202に出力する。
【1190】
近似関数推定部2202は、参照画素抽出部2201より入力された参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した近似関数を微分処理部2203に出力する。
【1191】
微分処理部2203は、近似関数推定部2202より入力された近似関数に基づいて、データ定常性情報の角度(例えば、細線や2値エッジの所定の軸に対する角度:傾き)に応じて、注目画素から生成しようとする画素の位置のシフト量を求め、そのシフト量に応じた近似関数上の位置における微分値(定常性に対応する線からの1次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値)を演算し、さらに、注目画素の位置、画素値、および、定常性の傾きの情報を付加して、これを実世界推定情報として画像生成部103に出力する。
【1192】
次に、図188のフローチャートを参照して、図187の実世界推定部102による実世界推定の処理について説明する。
【1193】
ステップS2201において、参照画素抽出部2201は、入力画像と共に、データ定常性検出部101よりデータ定常性情報としての角度、および、領域の情報を取得する。
【1194】
ステップS2202において、参照画素抽出部2201は、入力画像の未処理画素から注目画素を設定する。
【1195】
ステップS2203において、参照画像抽出部2201は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップS2210に進み、その注目画素については、処理領域外であることを近似関数推定部2202を介して、微分処理部2203に伝え、これに応じて、微分処理部2203が、対応する注目画素についての微分値を0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部103に出力すると共に、その処理は、ステップS2211に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップS2204に進む。
【1196】
ステップS2204において、参照画素抽出部2201は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部2201は、データ定常性の有する角度θが、0度≦θ＜45度、または、135度≦θ＜180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、45度≦θ＜135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【1197】
ステップS2205において、参照画素抽出部2201は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部2202に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図189で示されるように、傾きG_(f)が垂直方向に近いと、垂直方向であると判定され、この場合、参照画素抽出部2201は、例えば、図189で示されるように、図189中の中央の画素(0,0)を注目画素とするとき、画素(-1,2),(-1,1),(-1,0),(-1,-1),(-1,-2),(0,2),(0,1),(0,0),(0,-1),(0,-2),(1,2),(1,1),(1,0),(1,-1),(1,-2)のそれぞれの画素値を抽出する。尚、図189においては、各画素の水平方向、および、垂直方向の大きさが1であるものとする。
【1198】
すなわち、参照画素抽出部2201は、注目画素を中心として垂直(上下)方向にそれぞれ2画素×水平(左右)方向にそれぞれ1画素の合計15画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【1199】
逆に、水平方向であると判定された場合、注目画素を中心として垂直(上下)方向にそれぞれ1画素×水平(左右)方向にそれぞれ2画素の合計15画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部2202に出力する。もちろん、参照画素は、上述のように15画素に限定されるものではなく、それ以外の個数であってもよい。
【1200】
ステップS2206において、近似関数推定部2202は、参照画素抽出部2201より入力された参照画素の情報に基づいて、最小自乗法により近似関数f(ｘ)を推定し、微分処理部2203に出力する。
【1201】
すなわち、近似関数f(ｘ)は、以下の式(96)で示されるような多項式である。
【1202】
【数70】

【1203】
このように、式(96)の多項式の各係数W_(1)乃至W_(n+1)が求められれば、実世界を近似する近似関数f(ｘ)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図189で示されるような場合、合計15画素であるので、多項式の係数は、15個までしか求められない。そこで、この場合、多項式は、14次までの多項式とし、係数W_(1)乃至W_(15)を求めることにより近似関数を推定するものとする。尚、今の場合、15次の多項式からなる近似関数f(ｘ)を設定して、連立方程式としてもよい。
【1204】
従って、図189で示される15個の参照画素値を用いるとき、近似関数推定部2202は、以下の式(97)を、最小自乗法を用いて解くことにより推定する。
【1205】
P(-1,-2)=f(-1-Cｘ(-2))
P(-1,-1)=f(-1-Cｘ(-1))
P(-1,0)=f(-1)(=f(-1-Cｘ(0)))
P(-1,1)=f(-1-Cｘ(1))
P(-1,2)=f(-1-Cｘ(2))
P(0,-2)=f(0-Cｘ(-2))
P(0,-1)=f(0-Cｘ(-1))
P(0,0)=f(0)(=f(0-Cｘ(0)))
P(0,1)=f(0-Cｘ(1))
P(0,2)=f(0-Cｘ(2))
P(1,-2)=f(1-Cｘ(-2))
P(1,-1)=f(1-Cｘ(-1))
P(1,0)=f(1)(=f(1-Cｘ(0)))
P(1,1)=f(1-Cｘ(1))
P(1,2)=f(1-Cｘ(2))
・・・(97)
【1206】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【1207】
ここで、Cｘ(ｔｙ)は、シフト量であり、定常性の傾きがG_(f)で示されるとき、Cｘ(ｔｙ)=ｔｙ/G_(f)で定義される。このシフト量Cｘ(ｔｙ)は、空間方向Y=0の位置上で定義される近似関数f(ｘ)が、傾きG_(f)に沿って、連続している(定常性を有している)ことを前提としたとき、空間方向Y=ｔｙの位置における、空間方向Xに対するずれ幅を示すものである。従って、例えば、空間方向Y=0の位置上で近似関数がf(ｘ)として定義されている場合、この近似関数f(ｘ)は、空間方向Y=ｔｙにおいては、傾きG_(f)に沿って空間方向XについてCｘ(ｔｙ)だけずれているはずなので、関数は、f(ｘ-Cｘ(ｔｙ))(=f(ｘ-ｔｙ/G_(f)))で定義されることになる。
【1208】
ステップS2207において、微分処理部2203は、近似関数推定部2202より入力された近似関数f(ｘ)に基づいて、生成しようとする画素の位置における、シフト量を求める。
【1209】
すなわち、水平方向、および、垂直方向にそれぞれ2倍の密度(合計4倍の密度)となるように画素を生成する場合、微分処理部2203は、例えば、まず、垂直方向に2倍の密度となる画素Pa,Pbに2分割するために、図190で示されるように、注目画素の中心位置がPin(Xin,Yin)での微分値を求めるため、中心位置のPin(Xin,Yin)のシフト量を求める。このシフト量は、Cｘ(0)となるため、実質的には0となる。尚、図190中において、画素Pinは、(Xin,Yin)を略重心位置とする正方形であり、画素Pa,Pbは、(Xin,Yin+0.25)、(Xin,Yin-0.25)をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【1210】
ステップS2208において、微分処理部2203は、近似関数f(ｘ)を微分して、近似関数の1次微分関数f(ｘ)’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部103に出力する。すなわち、今の場合、微分処理部2203は、微分値f(Xin)’を求め、その位置(今の場合、注目画素(Xin,Yin))と、その画素値、および、定常性の方向の傾きの情報とを付加して出力する。
【1211】
ステップS2209において、微分処理部2203は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、2倍の密度となるための微分値のみしか求められていない(空間方向Y方向について2倍の密度となるための微分値のみしか求められていない)ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップS2207に戻る。
【1212】
ステップS2207において、微分処理部2203は、再度、近似関数推定部2202より入力された近似関数f(ｘ)に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部2203は、今の場合、2分割された画素Pa,Pbのそれぞれを2分割するために必要な微分値をそれぞれ求める。画素Pa,Pbの画素の位置は、図190における黒丸で示すそれぞれの位置であるので、微分処理部2203は、それぞれの位置に対応するシフト量を求める。画素Pa,Pbのシフト量は、それぞれCｘ(0.25),Cｘ(-0.25)となる。
【1213】
ステップS2208において、微分処理部2203は、近似関数f(ｘ)を1次微分して、画素Pa,Pbのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部103に出力する。
【1214】
すなわち、図189で示した参照画素を使用する場合、微分処理部2203は、図191で示すように、求められた近似関数f(ｘ)について微分関数f(ｘ)’を求め、空間方向Xについて、シフト量Cｘ(0.25),Cｘ(-0.25)だけずれた位置となる(Xin-Cｘ(0.25))と(Xin-Cｘ(-0.25))の位置での微分値をそれぞれf(Xin-Cｘ(0.25))’,f(Xin-Cｘ(-0.25))’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【1215】
ステップS2209において、再び、微分処理部2203は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、4倍の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップS2211に進む。
【1216】
ステップS2211において、参照画素抽出部2201は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップS2202に戻る。また、ステップS2211において、全ての画素を処理したと判定した場合、その処理は、終了する。
【1217】
上述のように、入力画像について、水平方向、および、垂直方向に4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、4倍密度の画素を生成するには、合計3個の微分値の情報が必要となる。
【1218】
すなわち、図190で示されるように、1画素について最終的には、画素P01,P02,P03,P04の4画素(図190において、画素P01,P02,P03,P04は、図中の4個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Pinが、それぞれ1であるので、画素P01,P02,P03,P04は、それぞれ略0.5となる)の生成に必要な微分値が必要となるので、4倍密度の画素を生成するには、まず、水平方向、または、垂直方向(今の場合、垂直方向)に2倍密度の画素を生成し(上述の最初のステップS2207,S2208の処理)、さらに、分割された2画素を、それぞれ最初に分割した方向と垂直の方向(今の場合、水平方向)に分割する(上述の2回目のステップS2207,S2208の処理)ためである。
【1219】
尚、以上の例においては、4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップS2207乃至S2209の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｘ)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【1220】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、空間方向の画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【1221】
以上の図187において説明した実世界推定部102においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数f(ｘ)の傾きと同値のものである。
【1222】
そこで、次は、図192を参照して、近似関数f(ｘ)を求めることなく、画素生成に必要な近似関数f(ｘ)上の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部102について説明する。
【1223】
参照画素抽出部2211は、データ定常性検出部101より入力されるデータ定常性情報(定常性の角度、または、領域の情報)に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報(演算に必要な注目画素を含む垂直方向に並ぶ周辺の複数の画素、または、注目画素を含む水平方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報)を抽出して、傾き推定部2212に出力する。
【1224】
傾き推定部2212は、参照画素抽出部2211より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部103に出力する。より詳細には、傾き推定部2212は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数f(ｘ)上の注目画素の位置における傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の傾きの情報を実世界推定情報として出力する。
【1225】
次に、図193のフローチャートを参照して、図192の実世界推定部102による実世界推定の処理について説明する。
【1226】
ステップS2221において、参照画素抽出部2211は、入力画像と共に、データ定常性検出部101よりデータ定常性情報としての角度、および、領域の情報を取得する。
【1227】
ステップS2222において、参照画素抽出部2211は、入力画像の未処理画素から注目画素を設定する。
【1228】
ステップS2223において、参照画像抽出部2211は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップS2228に進み、その注目画素については、処理領域外であることを傾き推定部2212に伝え、これに応じて、傾き推定部2212が、対応する注目画素についての傾きを0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部103に出力すると共に、その処理は、ステップS2229に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップS2224に進む。
【1229】
ステップS2224において、参照画素抽出部2211は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部2211は、データ定常性の有する角度θが、0度≦θ＜45度、または、135度≦θ＜180度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、45度≦θ＜135度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【1230】
ステップS2225において、参照画素抽出部2211は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部2212に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の方向を示す傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、傾きが垂直方向に近いと判定された場合、参照画素抽出部2211は、図194で示されるように、図194中の中央の画素(0,0)を注目画素とするとき、画素(0,2),(0,1),(0,0),(0,-1),(0,-2)のそれぞれの画素値を抽出する。尚、図194においては、各画素の大きさが水平方向、および、垂直方向についてそれぞれ1であるものとする。
【1231】
すなわち、参照画素抽出部2211は、注目画素を中心として垂直(上下)方向にそれぞれ2画素の合計5画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【1232】
逆に、水平方向であると判定された場合、注目画素を中心として水平(左右)方向に2画素の合計5画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、傾き推定部2212に出力する。もちろん、参照画素は、上述のように5画素に限定されるものではなく、それ以外の個数であってもよい。
【1233】
ステップS2226において、傾き推定部2212は、参照画素抽出部2211より入力された参照画素の情報と、定常性方向の傾きG_(f)に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Y=0に対応する近似関数f(ｘ)を基準とした場合、空間方向Y=-2,-1,1,2に対応する近似関数は、図194で示されるように、定常性の傾きG_(f)に沿って連続していることになるので、各近似関数は、f(ｘ-Cｘ(2)),f(ｘ-Cｘ(1)),f(ｘ-Cｘ(-1)),f(ｘ-Cｘ(-2))のように記述され、空間方向Y=-2,-1,1,2毎に、各シフト量分だけ空間方向Xにずれた関数として表現される。
【1234】
そこで、傾き推定部2212は、これらのシフト量Cｘ(-2)乃至Cｘ(2)を求める。例えば、参照画素が、図194で示されるように抽出された場合、そのシフト量は、図中の参照画素(0,2)は、Cｘ(2)=2/G_(f)となり、参照画素(0,1)は、Cｘ(1)=1/G_(f)となり、参照画素(0,0)は、Cｘ(0)=0となり、参照画素(0,-1)は、Cｘ(-1)=-1/G_(f)となり、参照画素(0,-2)は、Cｘ(-2)=-2/G_(f)となる。
【1235】
ステップS2227において、傾き推定部2212は、注目画素の位置における近似関数f(ｘ)上の傾きを演算する(推定する)。例えば、図194で示されるように、注目画素について定常性の方向が、垂直方向に近い角度の場合、水平方向に隣接する画素間では画素値が大きく異なるので、垂直方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部2212は、垂直方向の画素間の変化をシフト量による空間方向Xの変化と捕らえることにより、垂直方向の画素間の差分を水平方向の画素間の差分に置き換えて、注目画素の位置における近似関数f(ｘ)上での傾きを求める。
【1236】
すなわち、現実世界を近似的に記述する近似関数f(ｘ)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図195で示されるようなものとなる。ここで、図194の各画素の画素値は、上からP(0,2),P(0,1),P(0,0),P(0,-1),P(0,-2)で表される。結果として、注目画素(0,0)近傍の画素値Pとシフト量Cｘは、(P,Cｘ)=(P(0,2),-Cｘ(2)),(P(0,1),-Cｘ(1)),(P(0,-1),-Cｘ(-1)),(P(0,-2),-Cｘ(-2)),(P(0,0),0)の5組の関係が得られることになる。
【1237】
ところで、画素値P、シフト量Cｘ、および、傾きKｘ(近似関数f(ｘ)上の傾き)は、以下のような式(98)のような関係が成立することになる。
【1238】
P=Kｘ×Cｘ ・・・(98)
【1239】
上述の式(98)は、変数Kｘについての1変数の関数であるので、傾き推定部2212は、この変数Kｘ(傾き)について、1変数の最小自乗法により傾きKｘを求める。
【1240】
すなわち、傾き推定部2212は、以下に示すような式(99)のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部103に出力する。
【1241】
【数71】


【1242】
ここで、iは、上述の参照画素の画素値Pとシフト量Cの組をそれぞれ識別する番号であり、1乃至mである。また、mは、注目画素を含む参照画素の個数となる。
【1243】
ステップS2229において、参照画素抽出部2211は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップS2222に戻る。また、ステップS2229において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【1244】
尚、上述の処理により実世界推定情報として出力される傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【1245】
例えば、図190で示されるように、水平方向に2倍の密度で、かつ、垂直方向に2倍の密度の空間方向に合計4倍の密度の画素を生成する場合、上述したように、図190中のPin,Pa,Pbのそれぞれの位置に対応する近似関数f(ｘ)の傾きKｘを求めるようにすればよい。
【1246】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｘ)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【1247】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求めることなく、空間方向の画素の生成必要な位置の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【1248】
次に、図196を参照して、定常性を有する領域における、画素毎のフレーム方向(時間方向)の近似関数上の微分値を実世界推定情報として出力する実世界推定部102について説明する。
【1249】
参照画素抽出部2231は、データ定常性検出部101より入力されるデータ定常性情報(定常性の動き(動きベクトル)、および、領域の情報)に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報(演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報)を抽出して、近似関数推定部2232に出力する。
【1250】
近似関数推定部2232は、参照画素抽出部2231より入力されたフレーム方向の参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した関数を微分処理部2233に出力する。
【1251】
微分処理部2233は、近似関数推定部2232より入力されたフレーム方向の近似関数に基づいて、データ定常性情報の動きに応じて、注目画素から生成しようとする画素の位置のフレーム方向のシフト量を求め、そのシフト量に応じたフレーム方向の近似関数上の位置における微分値(定常性に対応する線からの1次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値)を演算し、さらに、注目画素の位置、画素値、および、定常性の動きの情報を付加して、これを実世界推定情報として画像生成部103に出力する。
【1252】
次に、図197のフローチャートを参照して、図196の実世界推定部102による実世界推定の処理について説明する。
【1253】
ステップS2241において、参照画素抽出部2231は、入力画像と共に、データ定常性検出部101よりデータ定常性情報としての動き、および、領域の情報を取得する。
【1254】
ステップS2242において、参照画素抽出部2231は、入力画像の未処理画素から注目画素を設定する。
【1255】
ステップS2243において、参照画像抽出部2231は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップS2250に進み、その注目画素については、処理領域外であることを近似関数推定部2232を介して、微分処理部2233に伝え、これに応じて、微分処理部2233が、対応する注目画素についての微分値を0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部103に出力すると共に、その処理は、ステップS2251に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップS2244に進む。
【1256】
ステップS2244において、参照画素抽出部2231は、データ定常性情報に含まれる動きの情報から、データ定常性の有する方向が、空間方向に近い動きか、または、フレーム方向に近い動きであるか否かを判定する。すなわち、図198で示されるように、フレーム方向Tと空間方向Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部2231は、データ定常性の有する角度θｖが、0度≦θｖ＜45度、または、135度≦θｖ＜180度となる場合、注目画素の定常性の動きは、フレーム方向(時間方向)に近いと判定し、データ定常性の有する角度θが、45度≦θｖ＜135度となる場合、注目画素の定常性の方向は、空間方向に近いと判定する。
【1257】
ステップS2245において、参照画素抽出部2231は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部2232に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、角度に応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図198で示されるように、動き方向V_(f)が空間方向に近いと、空間方向であると判定され、この場合、参照画素抽出部2231は、例えば、図198で示されるように、図198中の中央の画素(ｔ,ｙ)=(0,0)を注目画素とするとき、画素(ｔ,ｙ)=(-1,2),(-1,1),(-1,0),(-1,-1),(-1,-2),(0,2),(0,1),(0,0),(0,-1),(0,-2),(1,2),(1,1),(1,0),(1,-1),(1,-2)のそれぞれの画素値を抽出する。尚、図198においては、各画素のフレーム方向、および、空間方向の大きさが1であるものとする。
【1258】
すなわち、参照画素抽出部2231は、注目画素を中心として空間(図中の上下)方向にそれぞれ2画素×フレーム(図中の左右)方向にそれぞれ1フレーム分の合計15画素となるように、フレーム方向に対して空間方向が長い範囲の画素を参照画素として抽出する。
【1259】
逆に、フレーム方向であると判定された場合、注目画素を中心として空間(図中の上下)方向にそれぞれ1画素×フレーム(図中の左右)方向にそれぞれ2フレーム分の合計15画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部2232に出力する。もちろん、参照画素は、上述のように15画素に限定されるものではなく、それ以外の個数であってもよい。
【1260】
ステップS2246において、近似関数推定部2232は、参照画素抽出部2231より入力された参照画素の情報に基づいて、最小自乗法により近似関数f(ｔ)を推定し、微分処理部2233に出力する。
【1261】
すなわち、近似関数f(ｔ)は、以下の式(100)で示されるような多項式である。
【1262】
【数72】

【1263】
このように、式(100)の多項式の各係数W_(1)乃至W_(n+1)が求められれば、実世界を近似するフレーム方向の近似関数f(ｔ)が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図198で示されるような場合、合計15画素であるので、多項式の係数は、15個までしか求められない。そこで、この場合、多項式は、14次までの多項式とし、係数W_(1)乃至W_(15)を求めることにより近似関数を推定するものとする。尚、今の場合、15次の多項式からなる近似関数f(ｘ)を設定して、連立方程式としてもよい。
【1264】
従って、図198で示される15個の参照画素値を用いるとき、近似関数推定部2232は、以下の式(101)を、最小自乗法を用いて解くことにより推定する。
【1265】
P(-1,-2)=f(-1-Cｔ(-2))
P(-1,-1)=f(-1-Cｔ(-1))
P(-1,0)=f(-1)(=f(-1-Cｔ(0)))
P(-1,1)=f(-1-Cｔ(1))
P(-1,2)=f(-1-Cｔ(2))
P(0,-2)=f(0-Cｔ(-2))
P(0,-1)=f(0-Cｔ(-1))
P(0,0)=f(0)(=f(0-Cｔ(0)))
P(0,1)=f(0-Cｔ(1))
P(0,2)=f(0-Cｔ(2))
P(1,-2)=f(1-Cｔ(-2))
P(1,-1)=f(1-Cｔ(-1))
P(1,0)=f(1)(=f(1-Cｔ(0)))
P(1,1)=f(1-Cｔ(1))
P(1,2)=f(1-Cｔ(2))
・・・(101)
【1266】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【1267】
ここで、Cｔ(ｔｙ)は、シフト量であり、上述のCｘ(ｔｙ)と同様のものであり、定常性の傾きがV_(f)で示されるとき、Cｔ(ｔｙ)=ｔｙ/V_(f)で定義される。このシフト量Cｔ(ｔｙ)は、空間方向Y=0の位置上で定義される近似関数f(ｔ)が、傾きV_(f)に沿って、連続している(定常性を有している)ことを前提としたとき、空間方向Y=ｔｙの位置における、フレーム方向Tに対するずれ幅を示すものである。従って、例えば、空間方向Y=0の位置上で近似関数がf(ｔ)として定義されている場合、この近似関数f(ｔ)は、空間方向Y=ｔｙにおいては、フレーム方向(時間方向)TについてCｔ(ｔｙ)だけずれているはずなので、関数は、f(ｔ-Cｔ(ｔｙ))(=f(ｔ-ｔｙ/V_(f)))で定義されることになる。
【1268】
ステップS2247において、微分処理部2233は、近似関数推定部2232より入力された近似関数f(ｔ)に基づいて、生成しようとする画素の位置における、シフト量を求める。
【1269】
すなわち、フレーム方向、および、空間方向にそれぞれ2倍の密度(合計4倍の密度)となるように画素を生成する場合、微分処理部2233は、例えば、まず、空間方向に2倍の密度となる画素Paｔ,Pbｔに2分割するために、図199で示されるように、注目画素の中心位置がPin(Tin,Yin)での微分値を求めるため、中心位置のPin(Tin,Yin)のシフト量を求める。このシフト量は、Cｔ(0)となるため、実質的には0となる。尚、図199中において、画素Pinは、(Tin,Yin)を略重心位置とする正方形であり、画素Paｔ,Pbｔは、(Tin,Yin+0.25)、(Tin,Yin-0.25)をそれぞれ略重心位置とする図中水平方向に長い長方形である。また、注目画素Pinのフレーム方向Tの長さが1であるとは、1フレーム分のシャッタ時間に対応するものである。
【1270】
ステップS2248において、微分処理部2233は、近似関数f(ｔ)を微分して、近似関数の1次微分関数f(ｔ)’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部103に出力する。すなわち、今の場合、微分処理部2233は、微分値f(Tin)’を求め、その位置(今の場合、注目画素(Tin,Yin))と、その画素値、および、定常性の方向の動きの情報とを付加して出力する。
【1271】
ステップS2249において、微分処理部2233は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向に2倍の密度となるための微分値のみしか求められていない(フレーム方向に2倍の密度となるための微分値が求められていない)ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップS2247に戻る。
【1272】
ステップS2247において、微分処理部2233は、再度、近似関数推定部2232より入力された近似関数f(ｔ)に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部2233は、今の場合、2分割された画素Paｔ,Pbｔのそれぞれをさらに2分割するために必要な微分値をそれぞれ求める。画素Paｔ,Pbｔの画素の位置は、図199における黒丸で示すそれぞれの位置であるので、微分処理部2233は、それぞれの位置に対応するシフト量を求める。画素Paｔ,Pbｔのシフト量は、それぞれCｔ(0.25),Cｔ(-0.25)となる。
【1273】
ステップS2248において、微分処理部2233は、近似関数f(ｔ)を微分して、画素Paｔ,Pbｔのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部103に出力する。
【1274】
すなわち、図198で示した参照画素を使用する場合、微分処理部2233は、図200で示すように、求められた近似関数f(ｔ)について微分関数f(ｔ)’を求め、空間方向Tについて、シフト量Cｔ(0.25),Cｔ(-0.25)だけずれた位置となる(Tin-Cｔ(0.25))と(Tin-Cｔ(-0.25))の位置での微分値をそれぞれf(Tin-Cｔ(0.25))’,f(Tin-Cｔ(-0.25))’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【1275】
ステップS2249において、再び、微分処理部2233は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向Yとフレーム方向Tについてそれぞれ2倍(合計4倍)の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップS2251に進む。
【1276】
ステップS2251において、参照画素抽出部2231は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップS2242に戻る。また、ステップS2251において、全ての画素を処理したと判定した場合、その処理は、終了する。
【1277】
上述のように、入力画像について、フレーム方向(時間方向)、および、空間方向に4倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、4倍密度の画素を生成するには、合計3個の微分値の情報が必要となる。
【1278】
すなわち、図199で示されるように、1画素について最終的には、画素P01ｔ,P02ｔ,P03ｔ,P04ｔの4画素(図199において、画素P01ｔ,P02ｔ,P03ｔ,P04ｔは、図中の4個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Pinが、それぞれ1であるので、画素P01ｔ,P02ｔ,P03ｔ,P04ｔは、それぞれ略0.5となる)の生成に必要な微分値が必要となるので、4倍密度の画素を生成するには、まず、フレーム方向、または、空間方向に2倍密度の画素を生成し(上述の最初のステップS2247,S2248の処理)、さらに、分割された2画素を、それぞれ最初に分割した方向と垂直の方向(今の場合、フレーム方向)に分割する(上述の2回目のステップS2247,S2248の処理)ためである。
【1279】
尚、以上の例においては、4倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップS2247乃至S2249の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｔ)は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【1280】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【1281】
以上の図196において説明した実世界推定部102においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数f(ｔ)の傾きと同値のものである。
【1282】
そこで、次は、図201を参照して、近似関数を求めることなく、画素生成に必要な、近似関数上のフレーム方向の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部102について説明する。
【1283】
参照画素抽出部2251は、データ定常性検出部101より入力されるデータ定常性情報(定常性の動き、および、領域の情報)に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報(演算に必要な注目画素を含む空間方向に並ぶ周辺の複数の画素、または、注目画素を含むフレーム方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報)を抽出して、傾き推定部2252に出力する。
【1284】
傾き推定部2252は、参照画素抽出部2251より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部103に出力する。より詳細には、傾き推定部2252は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数上の注目画素の位置におけるフレーム方向の傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の動きの情報を実世界推定情報として出力する。
【1285】
次に、図202のフローチャートを参照して、図201の実世界推定部102による実世界推定の処理について説明する。
【1286】
ステップS2261において、参照画素抽出部2251は、入力画像と共に、データ定常性検出部101よりデータ定常性情報としての動き、および、領域の情報を取得する。
【1287】
ステップS2262において、参照画素抽出部2251は、入力画像の未処理画素から注目画素を設定する。
【1288】
ステップS2263において、参照画像抽出部2251は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップS2268に進み、その注目画素については、処理領域外であることを傾き推定部2252に伝え、これに応じて、傾き推定部2252が、対応する注目画素についての傾きを0として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部103に出力すると共に、その処理は、ステップS2269に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップS2264に進む。
【1289】
ステップS2264において、参照画素抽出部2251は、データ定常性情報に含まれる動きの情報から、データ定常性の動きが、フレーム方向に近い動きか、または、空間方向に近い動きであるか否かを判定する。すなわち、フレーム方向Tと空間方向Yからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部2251は、データ定常性の動きの角度θｖが、0度≦θｖ＜45度、または、135度≦θｖ＜180度となる場合、注目画素の定常性の動きは、フレーム方向に近いと判定し、データ定常性の有する角度θｖが、45度≦θｖ＜135度となる場合、注目画素の定常性の動きは、空間方向に近いと判定する。
【1290】
ステップS2265において、参照画素抽出部2251は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部2252に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の動きに応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、動きが空間方向に近いと判定された場合、参照画素抽出部2251は、図203で示されるように、図203中の中央の画素(ｔ,ｙ)=(0,0)を注目画素とするとき、画素(ｔ,ｙ)=(0,2),(0,1),(0,0),(0,-1),(0,-2)のそれぞれの画素値を抽出する。尚、図203においては、各画素の大きさがフレーム方向、および、空間方向についてそれぞれ1であるものとする。
【1291】
すなわち、参照画素抽出部2251は、注目画素を中心として空間(図中の上下)方向にそれぞれ2画素の合計5画素となるように、空間方向に長い範囲の画素を参照画素として抽出する。
【1292】
逆に、フレーム方向であると判定された場合、注目画素を中心としてフレーム(図中の左右)方向に2画素の合計5画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部2252に出力する。もちろん、参照画素は、上述のように5画素に限定されるものではなく、それ以外の個数であってもよい。
【1293】
ステップS2266において、傾き推定部2252は、参照画素抽出部2251より入力された参照画素の情報と、定常性方向の動きV_(f)の方向に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Y=0に対応する近似関数f(ｔ)を基準とした場合、空間方向Y=-2,-1,1,2に対応する近似関数は、図203で示されるように、定常性の傾きV_(f)に沿って連続していることになるので、各近似関数は、f(ｔ-Cｔ(2)),f(ｔ-Cｔ(1)),f(ｔ-Cｔ(-1)),f(ｔ-Cｔ(-2))のように記述され、空間方向Y=-2,-1,1,2毎に、各シフト量分だけフレーム方向Tにずれた関数として表現される。
【1294】
そこで、傾き推定部2252は、これらのシフト量Cｔ(-2)乃至Cｔ(2)を求める。例えば、参照画素が、図203で示されるように抽出された場合、そのシフト量は、図中の参照画素(0,2)は、Cｔ(2)=2/V_(f)となり、参照画素(0,1)は、Cｔ(1)=1/V_(f)となり、参照画素(0,0)は、Cｔ(0)=0となり、参照画素(0,-1)は、Cｔ(-1)=-1/V_(f)となり、参照画素(0,-2)は、Cｔ(-2)=-2/V_(f)となる。傾き推定部2252は、これらのシフト量Cｔ(-2)乃至Cｔ(2)を求める。
【1295】
ステップS2267において、傾き推定部2252は、注目画素のフレーム方向の傾きを演算する(推定する)。例えば、図203で示されるように、注目画素について定常性の方向が、空間方向に近い角度の場合、フレーム方向に隣接する画素間では画素値が大きく異なるので、空間方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部2252は、空間方向の画素間の変化をシフト量によるフレーム方向Tの変化と捕らえることにより、空間方向の画素間の差分をフレーム方向の画素間の差分に置き換えて、注目画素での傾きを求める。
【1296】
すなわち、現実世界を近似的に記述する関数f(ｔ)が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図204で示されるようなものとなる。ここで、図204の各画素の画素値は、上からP(0,2),P(0,1),P(0,0),P(0,-1),P(0,-2)で表される。結果として、注目画素(0,0)近傍の画素値Pとシフト量Cｔは、(P,Cｔ)=(P(0,2),-Cｔ(2)),(P(0,1),-Cｔ(1)),(P(0,-1)),-Cｔ(-1)),(P(0,-2),-Cｔ(-2)),(P(0,0),0)の5組の関係が得られることになる。
【1297】
ところで、画素値P、シフト量Cｔ、および、傾きKｔ(近似関数f(ｔ)上の傾き)は、以下のような式(102)のような関係が成立することになる。
【1298】
P=Kｔ×Cｔ ・・・(102)
【1299】
上述の式(102)は、変数Kｔについての1変数の関数であるので、傾き推定部2252は、この変数Kｔ(傾き)について、1変数の最小自乗法により傾きKｔを求める。
【1300】
すなわち、傾き推定部2252は、以下に示すような式(103)のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部103に出力する。
【1301】
【数73】

【1302】
ここで、iは、上述の参照画素の画素値Pとシフト量Cｔの組をそれぞれ識別する番号であり、1乃至mである。また、mは、注目画素を含む参照画素の個数となる。
【1303】
ステップS2269において、参照画素抽出部2251は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップS2262に戻る。また、ステップS2269において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【1304】
尚、上述の処理により実世界推定情報として出力されるフレーム方向の傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、2倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【1305】
例えば、図199で示されるように、水平方向に2倍の密度で、かつ、フレーム方向に2倍の密度の時空間方向に合計4倍の密度の画素を生成する場合、上述したように、図199中のPin,Paｔ,Pbｔのそれぞれの位置に対応する近似関数f(ｔ)の傾きKｔを求めるようにすればよい。
【1306】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｔ)は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【1307】
言うまでもなく、フレーム方向、または、空間方向に対する近似関数上の傾き、または、微分値を求める処理の順序は問わない。さらに、空間方向において、上述の例においては、空間方向Yとフレーム方向Tとの関係を用いて、説明してきたが、空間方向Xとフレーム方向Tとの関係を用いたものであってもよい。さらに、時空間方向のいずれか2次元の関係から(いずれから1次元の方向の)傾き、または、微分値を選択的に求めるようにしてもよい。
【1308】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データ内の注目画素に対して時空間方向のうち1次元方向の位置に対応する複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定するようにしたので、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現するフレーム方向の近似関数を求めることなく、画素の生成必要な位置のフレーム方向(時間方向)の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【1309】
次に、図205乃至図235を参照して、実世界推定部102(図3)の実施の形態の他の例について説明する。
【1310】
図205は、この例の実施の形態の原理を説明する図である。
【1311】
図205で示されるように、センサ2に入射される画像である、実世界1の信号(光の強度の分布)は、所定の関数Fで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界1の信号を、特に光信号と称し、関数Fを、特に光信号関数Fと称する。
【1312】
この例の実施の形態においては、光信号関数Fで表される実世界1の光信号が所定の定常性を有する場合、実世界推定部102が、センサ2からの入力画像(定常性に対応するデータの定常性を含む画像データ)と、データ定常性検出部101からのデータ定常性情報(入力画像のデータの定常性に対応するデータ定常性情報)を使用して、光信号関数Fを所定の関数fで近似することによって、光信号関数Fを推定する。なお、以下、この例の実施の形態の説明においては、関数fを、特に近似関数fと称する。
【1313】
換言すると、この例の実施の形態においては、実世界推定部102が、近似関数fで表されるモデル161(図7)を用いて、光信号関数Fで表される画像(実世界1の光信号)を近似(記述)する。従って、以下、この例の実施の形態を、関数近似手法と称する。
【1314】
ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。
【1315】
図206は、センサ2がCCDとされる場合の積分効果を説明する図である。
【1316】
図206で示されるように、センサ2の平面上には、複数の検出素子2-1が配置されている。
【1317】
図206の例では、検出素子2-1の所定の1辺に平行な方向が、空間方向の1方向であるX方向とされており、X方向に垂直な方向が、空間方向の他方向であるY方向とされている。そして、X-Y平面に垂直な方向が、時間方向であるｔ方向とされている。
【1318】
また、図206の例では、センサ2の各検出素子2-1のそれぞれの空間的な形状は、1辺の長さが1の正方形とされている。そして、センサ2のシャッタ時間(露光時間)が1とされている。
【1319】
さらに、図206の例では、センサ2の所定の1つの検出素子2-1の中心が、空間方向(X方向とY方向)の原点(X方向の位置ｘ=0、およびY方向の位置ｙ=0)とされており、また、露光時間の中間時刻が、時間方向(ｔ方向)の原点(ｔ方向の位置ｔ=0)とされている。
【1320】
この場合、空間方向の原点(ｘ=0,ｙ=0)にその中心が存在する検出素子2-1は、X方向に-0.5乃至0.5の範囲、Y方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(ｘ,ｙ,ｔ)を積分し、その積分値を画素値Pとして出力することになる。
【1321】
即ち、空間方向の原点にその中心が存在する検出素子2-1から出力される画素値Pは、次の式(104)で表される。
【1322】
【数74】

【1323】
その他の検出素子2-1も同様に、対象とする検出素子2-1の中心を空間方向の原点とすることで、式(104)で示される画素値Pを出力することになる。
【1324】
図207は、センサ2の積分効果の具体的な例を説明する図である。
【1325】
図207において、X方向とY方向は、センサ2のX方向とY方向(図206)を表している。
【1326】
実世界1の光信号のうちの1部分(以下、このような部分を、領域と称する)2301は、所定の定常性を有する領域の1例を表している。
【1327】
なお、実際には、領域2301は連続した光信号の1部分(連続した領域)である。これに対して、図207においては、領域2301は、20個の小領域(正方形の領域)に区分されているように示されている。これは、領域2301の大きさが、X方向に対して4個分、かつY方向に対して5個分のセンサ2の検出素子(画素)が並んだ大きさに相当することを表すためである。即ち、領域2301内の20個の小領域(仮想領域)のそれぞれは1つの画素に相当する。
【1328】
また、領域2301のうちの図中白い部分は細線に対応する光信号を表している。従って、領域2301は、細線が続く方向に定常性を有していることになる。そこで、以下、領域2301を、細線含有実世界領域2301と称する。
【1329】
この場合、細線含有実世界領域2301(実世界1の光信号の1部分)がセンサ2により検出されると、センサ2からは、積分効果により、入力画像(画素値)の領域2302(以下、細線含有データ領域2302と称する)が出力される。
【1330】
なお、細線含有データ領域2302の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の1つの値を表すデータである。即ち、細線含有実世界領域2301は、センサ2の積分効果により、所定の1つの画素値をそれぞれ有する20個の画素(X方向に4画素分、かつY方向に5画素分の総計20個の画素)に区分された細線含有データ領域2302に変化してしまう(歪んでしまう)。
【1331】
図208は、センサ2の積分効果の具体的な他の例(図207とは異なる例)を説明する図である。
【1332】
図208において、X方向とY方向は、センサ2のX方向とY方向(図206)を表している。
【1333】
実世界1の光信号の1部分(領域)2303は、所定の定常性を有する領域の他の例(図207の細線含有実世界領域2301とは異なる例)を表している。
【1334】
なお、領域2303は、細線含有実世界領域2301と同じ大きさを有する領域である。即ち、細線含有実世界領域2301と同様に、領域2303も、実際には連続した実世界1の光信号の1部分(連続した領域)であるが、図208においては、センサ2の1画素に相当する20個の小領域(正方形の領域)に区分されているように示されている。
【1335】
また、領域2303は、所定の第1の光の強度(値)を有する第1の部分と、所定の第2の光の強度(値)を有する第2の部分のエッジを含んでいる。従って、領域2303は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域2303を、2値エッジ含有実世界領域2303と称する。
【1336】
この場合、2値エッジ含有実世界領域2303(実世界1の光信号の1部分)がセンサ2により検出されると、センサ2からは、積分効果により、入力画像(画素値)の領域2304(以下、2値エッジ含有データ領域2304と称する)が出力される。
【1337】
なお、2値エッジ含有データ領域2304の各画素値のそれぞれは、細線含有データ領域2302と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、2値エッジ含有実世界領域2303は、センサ2の積分効果により、所定の1つの画素値をそれぞれ有する20個の画素(X方向に4画素分、かつY方向に5画素分の総計20個の画素)に区分された2値エッジ含有データ領域2304に変化してしまう(歪んでしまう)。
【1338】
従来の画像処理装置は、このような細線含有データ領域2302や2値エッジ含有データ領域2304等、センサ2から出力された画像データを原点(基準)とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ2から出力された画像データは、積分効果により実世界1の光信号とは異なるもの(歪んだもの)となっているにも関わらず、従来の画像処理装置は、その実世界1の光信号とは異なるデータを正として画像処理を行っていた。
【1339】
その結果、従来の画像処理装置では、センサ2から出力された段階で、実世界のディテールがつぶれてしまった波形(画像データ)を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。
【1340】
そこで、関数近似手法においては、この課題を解決するために、上述したように(図205で示されるように)、実世界推定部102が、細線含有データ領域2302や2値エッジ含有データ領域2304のようなセンサ2から出力された画像データ(入力画像)から、光信号関数F(実世界1の光信号)を近似関数fで近似することによって、光信号関数Fを推定する。
【1341】
これにより、実世界推定部102より後段において(いまの場合、図3の画像生成部103)、積分効果が考慮された画像データ、即ち、近似関数fにより表現可能な画像データを原点として、その処理を実行することが可能になる。
【1342】
以下、図面を参照して、このような関数近似手法のうちの3つの具体的な手法(第1乃至第3の関数近似手法)のそれぞれについて個別に説明していく。
【1343】
はじめに、図209乃至図223を参照して、第1の関数近似手法について説明する。
【1344】
図209は、上述した図207で示される細線含有実世界領域2301を再度表した図である。
【1345】
図209において、X方向とY方向は、センサ2のX方向とY方向(図206)を表している。
【1346】
第1の関数近似手法は、例えば、図209で示されるような細線含有実世界領域2301に対応する光信号関数F(ｘ,ｙ,ｔ)をX方向(図中矢印2311の方向)に射影した1次元の波形(以下、このような波形を、X断面波形F(ｘ)と称する)を、n次(nは、任意の整数)の多項式である近似関数f(ｘ)で近似する手法である。従って、以下、第1の関数近似手法を、特に、1次元多項式近似手法と称する。
【1347】
なお、1次元多項式近似手法において、近似の対象となるX断面波形F(ｘ)は、勿論、図209の細線含有実世界領域2301に対応するものに限定されない。即ち、後述するように、1次元多項式近似手法においては、定常性を有する実世界1の光信号に対応するX断面波形F(ｘ)であれば、いずれのものでも近似することが可能である。
【1348】
また、光信号関数F(ｘ,ｙ,ｔ)の射影の方向はX方向に限定されず、Y方向またはｔ方向でもよい。即ち、1次元多項式近似手法においては、光信号関数F(ｘ,ｙ,ｔ)をY方向に射影した関数F(ｙ)を、所定の近似関数f(ｙ)で近似することも可能であるし、光信号関数F(ｘ,ｙ,ｔ)をｔ方向に射影した関数F(ｔ)を、所定の近似関数f(ｔ)で近似することも可能である。
【1349】
より詳細には、1次元多項式近似手法は、例えば、X断面波形F(ｘ)を、次の式(105)で示されるような、n次の多項式である近似関数f(ｘ)で近似する手法である。
【1350】
【数75】

【1351】
即ち、1次元多項式近似手法においては、実世界推定部102が、式(105)のｘ^iの係数(特徴量)ｗ_(i)を演算することで、X断面波形F(ｘ)を推定する。
【1352】
この特徴量ｗ_(i)の演算方法は、特に限定されず、例えば、次の第1乃至第3の方法が使用可能である。
【1353】
即ち、第1の方法は、従来から利用されている方法である。
【1354】
これに対して、第2の方法は、本願出願人が新たに発明した方法であって、第1の方法に対して、さらに、空間方向の定常性を考慮した方法である。
【1355】
しかしながら、後述するように、第1の方法と第2の方法においては、センサ2の積分効果が考慮されていない。従って、第1の方法または第2の方法により演算された特徴量ｗ_(i)を上述した式(105)に代入して得られる近似関数f(ｘ)は、入力画像の近似関数ではあるが、厳密には、X断面波形F(ｘ)の近似関数とは言えない。
【1356】
そこで、本願出願人は、第2の方法に対して、センサ2の積分効果をさらに考慮して特徴量ｗ_(i)を演算する第3の方法を発明した。この第3の方法により演算された特徴量ｗ_(i)を、上述した式(105)に代入して得られる近似関数f(ｘ)は、センサ2の積分効果を考慮している点で、X断面波形F(ｘ)の近似関数であると言える。
【1357】
このように、厳密には、第1の方法と第2の方法は、1次元多項式近似手法とは言えず、第3の方法のみが1次元多項式近似手法であると言える。
【1358】
換言すると、図210で示されるように、第2の方法は、1次元多項式近似手法とは異なる、本発明の実世界推定部102の実施の形態である。即ち、図210は、第2の方法に対応する実施の形態の原理を説明する図である。
【1359】
図210で示されるように、第2の方法に対応する実施の形態においては、光信号関数Fで表される実世界1の光信号が所定の定常性を有する場合、実世界推定部102が、センサ2からの入力画像(定常性に対応するデータの定常性を含む画像データ)と、データ定常性検出部101からのデータ定常性情報(入力画像のデータの定常性に対応するデータ定常性情報)を使用して、X断面波形F(ｘ)を近似するのではなく、センサ2からの入力画像を所定の近似関数f_(2)(ｘ)で近似する。
【1360】
このように、第2の方法は、センサ2の積分効果を考慮せず、入力画像の近似に留まっている点で、第3の方法と同一レベルの手法であるとは言い難い。しかしながら、第2の方法は、空間方向の定常性を考慮している点で、従来の第1の方法よりも優れた手法である。
【1361】
以下、第1の方法、第2の方法、および第3の方法のそれぞれの詳細について、その順番で個別に説明していく。
【1362】
なお、以下、第1の方法、第2の方法、および第3の方法により生成される近似関数f(ｘ)のそれぞれを、他の方法のものと区別する場合、特に、近似関数f_(1)(ｘ)、近似関数f_(2)(ｘ)、および近似関数f_(3)(ｘ)とそれぞれ称する。
【1363】
はじめに、第1の方法の詳細について説明する。
【1364】
第1の方法においては、上述した式(105)で示される近似関数f_(1)(ｘ)が、図211の細線含有実世界領域2301内で成り立つとして、次の予測方程式(106)を定義する。
【1365】
【数76】

【1366】
式(106)において、ｘは、注目画素からのX方向に対する相対的な画素位置を表している。ｙは、注目画素からのY方向に対する相対的な画素位置を表している。eは、誤差を表している。具体的には、例えば、いま、図211で示されるように、注目画素が、細線含有データ領域2302(細線含有実世界領域2301(図209)がセンサ2により検出されて、出力されたデータ)のうちの、図中、左からX方向に2画素目であって、下からY方向に3画素目の画素であるとする。また、注目画素の中心を原点(0,0)とし、センサ2のX方向とY方向(図206)のそれぞれに平行なｘ軸とｙ軸を軸とする座標系(以下、注目画素座標系と称する)が設定されているとする。この場合、注目画素座標系の座標値(ｘ,ｙ)が、相対画素位置を表すことになる。
【1367】
また、式(106)において、P(ｘ,ｙ)は、相対画素位置(ｘ,ｙ)における画素値を表している。具体的には、いまの場合、細線含有データ領域2302内のP(ｘ,ｙ)は、図212で示されるようになる。
【1368】
図212は、この画素値P(ｘ,ｙ)をグラフ化したものを表している。
【1369】
図212において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からのX方向の相対位置ｘを表している。また、図中、上から1番目のグラフの点線は入力画素値P(ｘ,-2)を、上から2番目のグラフの3点鎖線は入力画素値P(ｘ,-1)を、上から3番目のグラフの実線は入力画素値P(ｘ,0)を、上から4番目のグラフの1点鎖線は入力画素値P(ｘ,1)を、上から5番目(下から1番目)のグラフの2点鎖線は入力画素値P(ｘ,2)を、それぞれ表している。
【1370】
上述した式(106)に対して、図212で示される20個の入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)(ただし、ｘは、-1乃至2のうちのいずれかの整数値)のそれぞれを代入すると、次の式(107)で示される20個の方程式が生成される。なお、e_(k)(kは、1乃至20のうちのいずれかの整数値)のそれぞれは、誤差を表している。
【1371】
【数77】

【1372】
式(107)は、20個の方程式より構成されているので、近似関数f_(1)(ｘ)の特徴量ｗ_(i)の個数が20個より少ない場合、即ち、近似関数f_(1)(ｘ)が19次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_(i)の算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【1373】
例えば、いま、近似関数f_(1)(ｘ)の次数が5次とされた場合、式(107)を利用して最小自乗法により演算された近似関数f_(1)(ｘ)(演算された特徴量ｗ_(i)により生成される近似関数f_(1)(ｘ))は、図213で示される曲線のようになる。
【1374】
なお、図213において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【1375】
即ち、図211の細線含有データ領域2302を構成する20個の画素値P(ｘ,ｙ)のそれぞれ(図212で示される入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれ)を、例えば、ｘ軸に沿ってそのまま足しこむ(Y方向の相対位置ｙを一定とみなして、図212で示される5つのグラフを重ねる)と、図213で示されるような、ｘ軸に平行な複数の線(点線、3点鎖線、実線、1点鎖線、および2点鎖線)が分布する。
【1376】
ただし、図213においては、点線は入力画素値P(ｘ,-2)を、3点鎖線は入力画素値P(ｘ,-1)を、実線は入力画素値P(ｘ,0)を、1点鎖線は入力画素値P(ｘ,1)を、2点鎖線は入力画素値P(ｘ,2)を、それぞれ表している。また、同一の画素値の場合、実際には2本以上の線が重なることになるが、図213においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【1377】
そして、このように分布した20個の入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれと、値f_(1)(ｘ)の誤差が最小となるような回帰曲線(最小自乗法により演算された特徴量ｗ_(i)を上述した式(104)に代入して得られる近似関数f_(1)(ｘ))が、図213で示される曲線(近似関数f_(1)(ｘ))となる。
【1378】
このように、近似関数f_(1)(ｘ)は、Y方向の画素値(注目画素からのX方向の相対位置ｘが同一の画素値)P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)の平均値を、X方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数f_(1)(ｘ)が生成されている。
【1379】
例えば、いまの場合、近似の対象は、細線含有実世界領域2301(図209)とされている。この細線含有実世界領域2301は、図214で示されるように、傾きG_(F)で表される空間方向の定常性を有している。なお、図214において、X方向とY方向は、センサ2のX方向とY方向(図206)を表している。
【1380】
従って、データ定常性検出部101(図205)は、空間方向の定常性の傾きG_(F)に対応するデータ定常性情報として、図214で示されるような角度θ(傾きG_(F)に対応する傾きG_(f)で表されるデータの定常性の方向と、X方向のなす角度θ)を出力することができる。
【1381】
しかしながら、第1の方法においては、データ定常性検出部101より出力されるデータ定常性情報は一切用いられていない。
【1382】
換言すると、図214で示されるように、細線含有実世界領域2301の空間方向の定常性の方向は略角度θ方向である。しかしながら、第1の方法は、細線含有実世界領域2301の空間方向の定常性の方向はY方向であると仮定して(即ち、角度θが90度であると仮定して)、近似関数f_(1)(ｘ)の特徴量ｗ_(i)を演算する方法である。
【1383】
このため、近似関数f_(1)(ｘ)は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第1の方法により生成される近似関数f_(1)(ｘ)は、実際のX断面波形F(ｘ)とは大きく異なる波形となってしまう。
【1384】
そこで、本願出願人は、第1の方法に対して、空間方向の定常性をさらに考慮して(角度θを利用して)特徴量ｗ_(i)を演算する第2の方法を発明した。
【1385】
即ち、第2の方法は、細線含有実世界領域2301の定常性の方向は略角度θ方向であるとして、近似関数f_(2)(ｘ)の特徴量ｗ_(i)を演算する方法である。
【1386】
具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾きG_(f)は、次の式(108)で表される。
【1387】
【数78】

【1388】
なお、式(108)において、dｘは、図214で示されるようなX方向の微小移動量を表しており、dｙは、図214で示されるようなdｘに対するY方向の微小移動量を表している。
【1389】
この場合、シフト量C_(ｘ)(ｙ)を、次の式(109)のように定義すると、第2の方法においては、第1の方法で利用した式(106)に相当する式は、次の式(110)のようになる。
【1390】
【数79】

【1391】
【数80】

【1392】
即ち、第1の方法で利用した式(106)は、画素の中心の位置(ｘ、ｙ)のうちのX方向の位置ｘが、同一の位置に位置する画素の画素値P(ｘ,ｙ)はいずれも同じ値であることを表している。換言すると、式(106)は、同じ画素値の画素がY方向に続いている(Y方向に定常性がある)ことを表している。
【1393】
これに対して、第2の方法で利用する式(110)は、画素の中心の位置が(ｘ,ｙ)である画素の画素値P(ｘ,ｙ)は、注目画素(その中心の位置が原点(0,0)である画素)からX方向にｘだけ離れた場所に位置する画素の画素値(≒f_(2)(ｘ))とは一致せず、その画素からさらにX方向にシフト量C_(ｘ)(ｙ)だけ離れた場所に位置する画素(注目画素からX方向にｘ+C_(ｘ)(ｙ)だけ離れた場所に位置する画素)の画素値(≒f_(2)(ｘ+C_(ｘ)(ｙ)))と同じ値であることを表している。換言すると、式(110)は、同じ画素値の画素が、シフト量C_(ｘ)(ｙ)に対応する角度θ方向に続いている(略角度θ方向に定常性がある)ことを表している。
【1394】
このように、シフト量C_(ｘ)(ｙ)が、空間方向の定常性(いまの場合、図214の傾きG_(F)で表される定常性(厳密には、傾きG_(f)で表されるデータの定常性))を考慮した補正量であり、シフト量C_(ｘ)(ｙ)により式(106)を補正したものが式(110)となる。
【1395】
この場合、図211で示される細線含有データ領域2302の20個の画素値P(ｘ,ｙ)(ただし、ｘは、-1乃至2のうちのいずれかの整数値。ｙは、-2乃至2のうちのいずれかの整数値)のそれぞれを、上述した式(110)に代入すると次の式(111)で示される20個の方程式が生成される。
【1396】
【数81】

【1397】
式(111)は、上述した式(107)と同様に、20個の方程式より構成されている。従って、第1の方法と同様に第2の方法においても、近似関数f_(2)(ｘ)の特徴量ｗ_(i)の個数が20個より少ない場合、即ち、近似関数f_(2)(ｘ)が19次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_(i)の算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【1398】
例えば、第1の方法と同様に近似関数f_(2)(ｘ)の次数が5次とされた場合、第2の方法においては、次のようにして特徴量ｗ_(i)が演算される。
【1399】
即ち、図215は、式(111)の左辺で示される画素値P(ｘ,ｙ)をグラフ化したものを表している。図215で示される5つのグラフのそれぞれは、基本的に図212で示されるものと同一である。
【1400】
図215で示されるように、最大の画素値(細線に対応する画素値)は、傾きG_(f)で表されるデータの定常性の方向に続いている。
【1401】
そこで、第2の方法においては、図215で示される入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれを、例えば、ｘ軸に沿って足しこむ場合、第1の方法のようにそのまま足しこむ(ｙを一定とみなして、図215で示される状態のまま5つのグラフを重ねる)のではなく、図216で示される状態に変化させてから足しこむ。
【1402】
即ち、図216は、図215で示される入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれを、上述した式(109)で示されるシフト量C_(ｘ)(ｙ)だけシフトさせた状態を表している。換言すると、図216は、図215で示される5つのグラフを、データの定常性の実際の方向を表す傾きG_(F)を、あたかも傾きG_(F)’とするように(図中、点線の直線を実線の直線とするように)移動させた状態を表している。
【1403】
図216の状態で、入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれを、例えば、ｘ軸に沿って足しこむと(図216で示される状態で5つのグラフを重ねると)、図217で示されるような、ｘ軸に平行な複数の線(点線、3点鎖線、実線、1点鎖線、および2点鎖線)が分布する。
【1404】
なお、図217において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。また、点線は入力画素値P(ｘ,-2)を、3点鎖線は入力画素値P(ｘ,-1)を、実線は入力画素値P(ｘ,0)を、1点鎖線は入力画素値P(ｘ,1)を、2点鎖線は入力画素値P(ｘ,2)を、それぞれ表している。さらに、同一の画素値の場合、実際には2本以上の線が重なることになるが、図217においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【1405】
そして、このように分布した20個の入力画素値P(ｘ,ｙ)のそれぞれ(ただし、ｘは、-1乃至2のうちのいずれかの整数値。ｙは、-2乃至2のうちのいずれかの整数値)と、値f_(2)(ｘ+C_(ｘ)(ｙ))の誤差が最小となるような回帰曲線(最小自乗法により演算された特徴量ｗ_(i)を上述した式(104)に代入して得られる近似関数f_(2)(ｘ))は、図217の実線で示される曲線f_(2)(ｘ)となる。
【1406】
このように、第2の方法により生成された近似関数f_(2)(ｘ)は、データ定常性検出部101(図205)より出力される角度θ方向(即ち、ほぼ空間方向の定常性の方向)の入力画素値P(ｘ,ｙ)の平均値をX方向に結んだ曲線を表すことになる。
【1407】
これに対して、上述したように、第1の方法により生成された近似関数f_(1)(ｘ)は、Y方向(即ち、空間方向の定常性とは異なる方向)の入力画素値P(ｘ,ｙ)の平均値を、X方向に結んだ曲線を単に表しているに過ぎない。
【1408】
従って、図217で示されるように、第2の方法により生成された近似関数f_(2)(ｘ)は、第1の方法により生成された近似関数f_(1)(ｘ)よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第2の方法により生成される近似関数f_(2)(ｘ)は、第1の方法により生成される近似関数f_(1)(ｘ)よりも実際のX断面波形F(ｘ)により近い波形となる。
【1409】
しかしながら、上述したように、近似関数f_(2)(ｘ)は、空間方向の定常性が考慮されたものではあるが、入力画像(入力画素値)を原点(基準)として生成されたものに他ならない。即ち、上述した図210で示されるように、近似関数f_(2)(ｘ)は、X断面波形F(ｘ)とは異なる入力画像を近似したに過ぎず、X断面波形F(ｘ)を近似したとは言い難い。換言すると、第2の方法は、上述した式(110)が成立するとして特徴量ｗ_(i)を演算する方法であり、上述した式(104)の関係は考慮していない(センサ2の積分効果を考慮していない)。
【1410】
そこで、本願出願人は、第2の方法に対して、センサ2の積分効果をさらに考慮することで近似関数f_(3)(ｘ)の特徴量ｗ_(i)を演算する第3の方法を発明した。
【1411】
即ち、第3の方法は、空間混合領域の概念を導入した方法である。
【1412】
第3の方法の説明の前に、図218を参照して、空間混合領域について説明する。
【1413】
図218において、実世界1の光信号の1部分2321(以下、領域2321と称する)は、センサ2の1つの検出素子(画素)と同じ面積を有する領域を表している。
【1414】
領域2321がセンサ2に検出されると、センサ2からは、領域2321が時空間方向(X方向,Y方向,およびｔ方向)に積分された値(1つの画素値)2322が出力される。なお、画素値2322は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【1415】
実世界1の領域2321は、前景(例えば、上述した細線)に対応する光信号(図中白い領域)と、背景に対応する光信号(図中黒い領域)に明確に区分される。
【1416】
これに対して、画素値2322は、前景に対応する実世界1の光信号と、背景に対応する実世界1の光信号が積分された値である。換言すると、画素値2322は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【1417】
このように、実世界1の光信号のうちの1画素(センサ2の検出素子)に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ2により検出されると、センサ2の積分効果により、異なる光のレベルがあたかも空間的に混合されて(空間方向に積分されて)1つの画素値となってしまう。このように、前景に対する画像(実世界1の光信号)と、背景に対する画像(実世界1の光信号)が空間的に積分されている画素からなる領域を、ここでは、空間混合領域と称している。
【1418】
従って、第3の方法においては、実世界推定部102(図205)が、実世界1の元の領域2321(実世界1の光信号のうちの、センサ2の1画素に対応する部分2321)を表すX断面波形F(ｘ)を、例えば、図219で示されるような、1次の多項式である近似関数f_(3)(ｘ)で近似することによって、X断面波形F(ｘ)を推定する。
【1419】
即ち、図219は、空間混合領域である画素値2322(図218)に対応する近似関数f_(3)(ｘ)、即ち、実世界1の領域2331内の実線(図218)に対応するX断面波形F(ｘ)を近似する近似関数f_(3)(ｘ)の例を表している。図219において、図中水平方向の軸は、画素値2322に対応する画素の左下端ｘ_(ｓ)から右下端ｘ_(e)までの辺(図218)に平行な軸を表しており、ｘ軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。
【1420】
図219において、近似関数f_(3)(ｘ)をｘ_(ｓ)からｘ_(e)の範囲(画素幅)で積分したものが、センサ2から出力される画素値P(ｘ,ｙ)とほぼ一致する(誤差eだけ存在する)として、次の式(112)を定義する。
【1421】
【数82】

【1422】
いまの場合、図214で示される細線含有データ領域2302の20個の画素値P(ｘ,ｙ)(ただし、ｘは、-1乃至2のうちのいずれかの整数値。ｙは、-2乃至2のうちのいずれかの整数値)から、近似関数f_(3)(ｘ)の特徴量ｗ_(i)が算出されるので、式(112)の画素値Pは、画素値P(ｘ,ｙ)となる。
【1423】
また、第2の方法と同様に、空間方向の定常性も考慮する必要があるので、式(112)の積分範囲の開始位置ｘ_(ｓ)と終了位置ｘ_(e)のそれぞれは、シフト量C_(ｘ)(ｙ)にも依存することになる。即ち、式(112)の積分範囲の開始位置ｘ_(ｓ)と終了位置ｘ_(e)のそれぞれは、次の式(113)のように表される。
【1424】
【数83】

【1425】
この場合、図214で示される細線含有データ領域2302の各画素値それぞれ、即ち、図215で示される入力画素値P(ｘ,-2),P(ｘ,-1),P(ｘ,0),P(ｘ,1),P(ｘ,2)のそれぞれ(ただし、ｘは、-1乃至2のうちのいずれかの整数値)を、上述した式(112)(積分範囲は、上述した式(113))に代入すると次の式(114)で示される20個の方程式が生成される。
【1426】
【数84】

【数85】

【1427】
式(114)は、上述した式(111)と同様に、20個の方程式より構成されている。従って、第2の方法と同様に第3の方法においても、近似関数f_(3)(ｘ)の特徴量ｗ_(i)の個数が20個より少ない場合、即ち、近似関数f_(3)(ｘ)が19次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_(i)の算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【1428】
例えば、近似関数f_(3)(ｘ)の次数が5次とされた場合、式(114)を利用して最小自乗法により演算された近似関数f_(3)(ｘ)(演算された特徴量ｗ_(i)により生成される近似関数f_(3)(ｘ))は、図220の実線で示される曲線のようになる。
【1429】
なお、図220において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【1430】
図220で示されるように、第3の方法により生成された近似関数f_(3)(ｘ)(図中、実線で示される曲線)は、第2の方法により生成された近似関数f_(2)(ｘ)(図中、点線で示される曲線)と比較すると、ｘ=0における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディテイルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数f_(3)(ｘ)は、X断面波形F(ｘ)を近似していると言える。従って、図示はしないが、近似関数f_(3)(ｘ)は、近似関数f_(2)(ｘ)よりもX断面波形F(ｘ)に近い波形となる。
【1431】
図221は、このような1次多項式近似手法を利用する実世界推定部102の構成例を表している。
【1432】
図221において、実世界推定部102は、例えば、特徴量ｗ_(i)を上述した第3の方法(最小自乗法)により演算し、演算した特徴量ｗ_(i)を利用して上述した式(105)の近似関数f(ｘ)を生成することで、X断面波形F(ｘ)を推定する。
【1433】
図221で示されるように、実世界推定部102には、条件設定部2331、入力画像記憶部2332、入力画素値取得部2333、積分成分演算部2334、正規方程式生成部2335、および近似関数生成部2336が設けられている。
【1434】
条件設定部2331は、注目画素に対応するX断面波形F(ｘ)を推定するために使用する画素の範囲(以下、タップ範囲と称する)や、近似関数f(ｘ)の次数nを設定する。
【1435】
入力画像記憶部2332は、センサ2からの入力画像(画素値)を一次的に格納する。
【1436】
入力画素値取得部2333は、入力画像記憶部2332に記憶された入力画像のうちの、条件設定部2331により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部2335に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【1437】
ところで、ここでは、実世界推定部102は、上述した式(112)と式(113)を利用して最小自乗法により近似関数f(ｘ)の特徴量ｗ_(i)を演算するが、上述した式(112)は、次の式(115)のように表現することができる。
【1438】
【数86】

【1439】
式(115)において、S_(i)(ｘ_(ｓ),ｘ_(e))は、i次項の積分成分を表している。即ち、積分成分S_(i)(ｘ_(ｓ),ｘ_(e))は、次の式(116)で示される。
【1440】
【数87】

【1441】
積分成分演算部2334は、この積分成分S_(i)(ｘ_(ｓ)、ｘ_(e))を演算する。
【1442】
具体的には、式(116)で示される積分成分S_(i)(ｘ_(ｓ),ｘ_(e))(ただし、値ｘ_(ｓ)と値ｘ_(e)は、上述した式(112)で示される値)は、相対画素位置(ｘ,ｙ)、シフト量C_(ｘ)(ｙ)、および、i次項のiが既知であれば演算可能である。また、これらのうちの、相対画素位置(ｘ,ｙ)は注目画素とタップ範囲により、シフト量C_(ｘ)(ｙ)は角度θにより(上述した式(107)と式(109)により)、iの範囲は次数nにより、それぞれ決定される。
【1443】
従って、積分成分演算部2334は、条件設定部2331により設定されたタップ範囲および次数、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度θに基づいて積分成分S_(i)(ｘ_(ｓ),ｘ_(e))を演算し、その演算結果を積分成分テーブルとして正規方程式生成部2335に供給する。
【1444】
正規方程式生成部2335は、入力画素値取得部2333より供給された入力画素値テーブルと、積分成分演算部2334より供給された積分成分テーブルを利用して、上述した式(112)、即ち、式(115)の右辺の特徴量ｗ_(i)を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部2336に供給する。なお、正規方程式の具体例については後述する。
【1445】
近似関数生成部2336は、正規方程式生成部2335より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式(115)の特徴量ｗ_(i)(即ち、1次元多項式である近似関数f(ｘ)の係数ｗ_(i))のそれぞれを演算し、画像生成部103に出力する。
【1446】
次に、図222のフローチャートを参照して、1次元多項式近似手法を利用する実世界推定部102(図221)の実世界の推定処理(図40のステップS102の処理)について説明する。
【1447】
例えば、いま、センサ2から出力された1フレームの入力画像であって、上述した図207の細線含有データ領域2302を含む入力画像が、既に入力画像記憶部2332に記憶されているとする。また、データ定常性検出部101が、ステップS101(図40)の定常性の検出の処理において、細線含有データ領域2302に対してその処理を施して、データ定常性情報として角度θを既に出力しているとする。
【1448】
この場合、図222のステップS2301において、条件設定部2331は、条件(タップ範囲と次数)を設定する。
【1449】
例えば、いま、図223で示されるタップ範囲2351が設定されるとともに、次数として5次が設定されたとする。
【1450】
即ち、図223は、タップ範囲の1例を説明する図である。図223において、X方向とY方向は、センサ2のX方向とY方向(図206)を表している。また、タップ範囲2351は、X方向に4画素分、かつY方向に5画素分の総計20個の画素(図中、20個の正方形)からなる画素群を表している。
【1451】
さらに、図223で示されるように、注目画素が、タップ範囲2351のうちの、図中、左から2画素目であって、下から3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置(ｘ,ｙ)(注目画素の中心(0,0)を原点とする注目画素座標系の座標値)に応じて、図223で示されるような番号l(lは、0乃至19のうちのいずれかの整数値)が付されるとする。
【1452】
図222に戻り、ステップS2302において、条件設定部2331は、注目画素を設定する。
【1453】
ステップS2303において、入力画素値取得部2333は、条件設定部2331により設定された条件(タップ範囲)に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部2333は、細線含有データ領域2302(図211)を取得し、入力画素値テーブルとして、20個の入力画素値P(l)からなるテーブルを生成する。
【1454】
なお、いまの場合、入力画素値P(l)と、上述した入力画素値P(ｘ,ｙ)の関係は、次の式(117)で示される関係とされる。ただし、式(117)において、左辺が入力画素値P(l)を表し、右辺が入力画素値P(ｘ,ｙ)を表している。
【1455】
【数88】

【1456】
ステップS2304において、積分成分演算部2334は、条件設定部2331により設定された条件(タップ範囲および次数)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度θ)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1457】
いまの場合、上述したように、入力画素値は、P(ｘ,ｙ)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部2334は、上述した式(116)の積分成分S_(i)(ｘ_(ｓ),ｘ_(e))を、次の式(118)の左辺で示される積分成分S_(i)(l)といったlの関数として演算する。
【1458】
S_(i)(l)=S_(i)(ｘ_(ｓ),ｘ_(e)) ・・・(118)
【1459】
具体的には、いまの場合、次の式(119)で示される積分成分S_(i)(l)が演算される。
【1460】
【数89】

【1461】
なお、式(119)において、左辺が積分成分S_(i)(l)を表し、右辺が積分成分S_(i)(ｘ_(ｓ),ｘ_(e))を表している。即ち、いまの場合、iは0乃至5であるので、20個のS_(0)(l),20個のS_(1)(l),20個のS_(2)(l),20個のS_(3)(l),20個のS_(4)(l),20個のS_(5)(l)の総計120個のS_(i)(l)が演算されることになる。
【1462】
より具体的には、はじめに、積分成分演算部2334は、データ定常性検出部101より供給された角度θを使用して、シフト量C_(ｘ)(-2),C_(ｘ)(-1),C_(ｘ)(1),C_(ｘ)(2)のそれぞれを演算する。次に、積分成分演算部2334は、演算したシフト量C_(ｘ)(-2),C_(ｘ)(-1),C_(ｘ)(1),C_(ｘ)(2)を使用して式(118)の右辺に示される20個の積分成分S_(i)(ｘ_(ｓ),ｘ_(e))のそれぞれを、i=0乃至5のそれぞれについて演算する。即ち、120個の積分成分S_(i)(ｘ_(ｓ),ｘ_(e))が演算される。なお、この積分成分S_(i)(ｘ_(ｓ),ｘ_(e))の演算においては、上述した式(116)が使用される。そして、積分成分演算部2334は、式(119)に従って、演算した120個の積分成分S_(i)(ｘ_(ｓ),ｘ_(e))のそれぞれを、対応する積分成分S_(i)(l)に変換し、変換した120個の積分成分S_(i)(l)を含む積分成分テーブルを生成する。
【1463】
なお、ステップS2303の処理とステップS2304の処理の順序は、図222の例に限定されず、ステップS2304の処理が先に実行されてもよいし、ステップS2303の処理とステップS2304の処理が同時に実行されてもよい。
【1464】
次に、ステップS2305において、正規方程式生成部2335は、ステップS2303の処理で入力画素値取得部2333により生成された入力画素値テーブルと、ステップS2304の処理で積分成分演算部2334により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【1465】
具体的には、いまの場合、最小自乗法により、上述した式(115)に対応する次の式(120)の特徴量ｗ_(i)を演算する。で、それに対応する正規方程式は、次の式(121)のように表される。
【1466】
【数90】


【1467】
【数91】

【1468】
なお、式(121)において、Lは、タップ範囲の画素の番号lのうちの最大値を表している。nは、多項式である近似関数f(ｘ)の次数を表している。具体的には、いまの場合、n=5となり、L=19となる。
【1469】
式(121)で示される正規方程式の各行列のそれぞれを、次の式(122)乃至(124)のように定義すると、正規方程式は、次の式(125)のように表される。
【1470】
【数92】

【1471】
【数93】

【1472】
【数94】

【1473】
【数95】

【1474】
式(123)で示されるように、行列W_(MAT)の各成分は、求めたい特徴量ｗ_(i)である。従って、式(125)において、左辺の行列S_(MAT)と右辺の行列P_(MAT)が決定されれば、行列解法によって行列W_(MAT)(即ち、特徴量ｗ_(i))の算出が可能である。
【1475】
具体的には、式(122)で示されるように、行列S_(MAT)の各成分は、上述した積分成分S_(i)(l)が既知であれば演算可能である。積分成分S_(i)(l)は、積分成分演算部2334より供給された積分成分テーブルに含まれているので、正規方程式生成部2335は、積分成分テーブルを利用して行列S_(MAT)の各成分を演算することができる。
【1476】
また、式(124)で示されるように、行列P_(MAT)の各成分は、積分成分S_(i)(l)と入力画素値P(l)が既知であれば演算可能である。積分成分S_(i)(l)は、行列S_(MAT)の各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部2333より供給された入力画素値テーブルに含まれているので、正規方程式生成部2335は、積分成分テーブルと入力画素値テーブルを利用して行列P_(MAT)の各成分を演算することができる。
【1477】
このようにして、正規方程式生成部2335は、行列S_(MAT)と行列P_(MAT)の各成分を演算し、その演算結果(行列S_(MAT)と行列P_(MAT)の各成分)を正規方程式テーブルとして近似関数生成部2336に出力する。
【1478】
正規方程式生成部2335より正規方程式テーブルが出力されると、ステップS2306において、近似関数生成部2336は、正規方程式テーブルに基づいて、上述した式(125)の行列W_(MAT)の各成分である特徴量ｗ_(i)(即ち、1次元多項式である近似関数f(ｘ)の係数ｗ_(i))を演算する。
【1479】
具体的には、上述した式(125)の正規方程式は、次の式(126)のように変形できる。
【1480】
【数96】

【1481】
式(126)において、左辺の行列W_(MAT)の各成分が、求めたい特徴量ｗ_(i)である。また、行列S_(MAT)と行列P_(MAT)のそれぞれの各成分は、正規方程式生成部2335より供給された正規方程式テーブルに含まれている。従って、近似関数生成部2336は、正規方程式テーブルを利用して、式(126)の右辺の行列演算を行うことで行列W_(MAT)を演算し、その演算結果(特徴量ｗ_(i))を画像生成部103に出力する。
【1482】
ステップS2307において、近似関数生成部2336は、全画素の処理を終了したか否かを判定する。
【1483】
ステップS2307において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS2302に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS2302乃至S2307の処理が繰り返される。
【1484】
そして、全画素の処理が終了すると(ステップS2307において、全画素の処理が終了されたと判定されると)、実世界1の推定処理は終了となる。
【1485】
なお、以上のようにして演算された係数(特徴量)ｗ_(i)により生成される近似関数f(ｘ)の波形は、上述した図220の近似関数f_(3)(ｘ)のような波形となる。
【1486】
このように、1次元多項式近似手法においては、1次元のX断面波形F(ｘ)と同一形状の波形が定常性の方向に連なっていると仮定して、1次元の多項式である近似関数f(ｘ)の特徴量が演算される。従って、1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数f(ｘ)の特徴量の算出が可能となる。
【1487】
換言すると、1次元多項式近似手法においては、例えば、図205(図3)のデータ定常性検出部101が、それぞれ時空間積分効果を有する、センサの複数の検出素子(例えば、図206のセンサ2の検出素子2-1)により実世界1の光信号(例えば、図207の実世界1の光信号の1部分2301)が射影され、実世界1の光信号の定常性(例えば、図214の傾きG_(F)で表される定常性)の一部が欠落した、検出素子2-1により射影された画素値(例えば、図212の各グラフに示される入力画素値P(ｘ,ｙ))を有する複数の画素からなる画像データ(例えば、図207の画像データ(入力画像の領域)2302)におけるデータの定常性(例えば、図214の傾きG_(f)で表されるデータの定常性)を検出する。
【1488】
例えば、図205(図3)の実世界推定部102は、データ定常性検出部101により検出されたデータの定常性に対応して、画像データの時空間方向のうち1次元方向(例えば、図209の矢印2311、即ち、X方向)の位置に対応する画素の画素値(例えば、上述した式(112)の左辺である入力画素値P)が、1次元方向の積分効果により取得された画素値(例えば、式(112)の右辺に示されるように、近似関数f_(3)(ｘ)がX方向に積分された値)であるとして、実世界1の光信号を表す光信号関数F(具体的には、X断面波形F(ｘ))を所定の近似関数f(具体的には、例えば、図220の近似関数f_(3)(ｘ))で近似することで、光信号関数Fを推定する。
【1489】
詳細には、例えば、実世界推定部102は、データ定常性検出手部101により検出されたデータの定常性に対応する線(例えば、図216の傾きG_(f)に対応する線(点線))からの1次元方向(例えば、X方向)に沿った距離(例えば、図216のシフト量Cｘ(ｙ))に対応する画素の画素値が、1次元方向の積分効果により取得された画素値(例えば、上述した式(112)に示されるような積分範囲で、式(112)の右辺に示されるように、近似関数f_(3)(ｘ)がX方向に積分された値)であるとして、光信号関数Fを近似関数fで近似することにより、光信号関数Fを推定する。
【1490】
従って、1次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数f(ｘ)の特徴量の算出が可能となる。
【1491】
次に、図224乃至図230を参照して、第2の関数近似手法について説明する。
【1492】
即ち、第2の関数近似手法とは、例えば、図224で示されるような、傾きG_(F)で表される空間方向の定常性を有する実世界1の光信号を、X-Y平面上(空間方向の1方向であるX方向と、X方向に垂直なY方向に水平な平面上)の波形F(ｘ,ｙ)とみなし、2次元の多項式である近似関数f(ｘ,ｙ)で波形F(ｘ,ｙ)を近似することによって、その波形F(ｘ,ｙ)を推定する手法である。従って、以下、第2の関数近似手法を、2次元多項式近似手法と称する。
【1493】
なお、図224において、図中、水平方向は、空間方向の1方向であるX方向を、右上方向は、空間方向の他方向であるY方向を、垂直方向は、光のレベルを、それぞれ表している。G_(F)は、空間方向の定常性の傾きを表している。
【1494】
また、2次元多項式近似手法の説明においても、センサ2は、図225で示されるような、複数の検出素子2-1がその平面上に配置されて構成されるCCDとされる。
【1495】
図225の例では、検出素子2-1の所定の1辺に平行な方向が、空間方向の1方向であるX方向とされており、X方向に垂直な方向が、空間方向の他方向であるY方向とされている。そして、X-Y平面に垂直な方向が、時間方向であるｔ方向とされている。
【1496】
また、図225の例では、センサ2の各検出素子2-1のそれぞれの空間的な形状は、1辺の長さが1の正方形とされている。そして、センサ2のシャッタ時間(露光時間)が1とされている。
【1497】
さらに、図225の例では、センサ2の所定の1つの検出素子2-1の中心が、空間方向(X方向とY方向)の原点(X方向の位置ｘ=0、およびY方向の位置ｙ=0)とされており、また、露光時間の中間時刻が、時間方向(ｔ方向)の原点(ｔ方向の位置ｔ=0)とされている。
【1498】
この場合、空間方向の原点(ｘ=0,ｙ=0)にその中心が存在する検出素子2-1は、X方向に-0.5乃至0.5の範囲、Y方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(ｘ,ｙ,ｔ)を積分し、その積分値を画素値Pとして出力することになる。
【1499】
即ち、空間方向の原点にその中心が存在する検出素子2-1から出力される画素値Pは、次の式(127)で表される。
【1500】
【数97】

【1501】
その他の検出素子2-1も同様に、対象とする検出素子2-1の中心を空間方向の原点とすることで、式(127)で示される画素値Pを出力することになる。
【1502】
ところで、上述したように、2次元多項式近似手法は、実世界1の光信号を、例えば、図224で示されるような波形F(ｘ,ｙ)として扱い、その2次元の波形F(ｘ,ｙ)を、2次元の多項式である近似関数f(ｘ,ｙ)に近似する手法である。
【1503】
そこで、はじめに、このような近似関数f(ｘ,ｙ)を2次元の多項式で表現する手法について説明する。
【1504】
上述したように、実世界1の光信号は、3次元の空間上の位置ｘ,ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数F(ｘ,ｙ,ｔ)で表される。この光信号関数F(ｘ,ｙ,ｔ)を、Y方向の任意の位置ｙにおいて、X方向に射影した1次元の波形を、ここでは、X断面波形F(ｘ)と称している。
【1505】
このX断面波形F(ｘ)に注目すると、実世界1の信号が、空間方向の所定の方向に定常性を有している場合、X断面波形F(ｘ)と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図224の例では、X断面波形F(ｘ)と同一形状の波形が、傾きG_(F)の方向に連なっている。換言すると、X断面波形F(ｘ)と同一形状の波形が傾きG_(F)の方向に連なって、波形F(ｘ,ｙ)が形成されているとも言える。
【1506】
従って、波形F(ｘ,ｙ)を近似する近似関数f(ｘ,ｙ)の波形は、X断面波形F(ｘ)を近似する近似関数f(ｘ)と同一形状の波形が連なって形成されると考えることで、近似関数f(ｘ,ｙ)を2次元の多項式で表現することが可能になる。
【1507】
さらに詳細に、近似関数f(ｘ,ｙ)の表現方法について説明する。
【1508】
例えば、いま、上述した図224で示されるような、実世界1の光信号、即ち、傾きG_(F)で表される空間方向の定常性を有する光信号が、センサ2(図225)により検出されて入力画像(画素値)として出力されたとする。
【1509】
さらに、図226で示されるように、データ定常性検出部101(図3)が、この入力画像のうちの、X方向に4画素分、かつY方向に5画素分の総計20個の画素(図中、点線で表される20個の正方形)から構成される入力画像の領域2401に対してその処理を実行し、データ定常性情報の1つとして角度θ(傾きG_(F)に対応する傾きG_(f)で表されるデータの定常性の方向と、X方向とのなす角度θ)を出力したとする。
【1510】
なお、入力画像の領域2401において、図中水平方向は、空間方向の1方向であるX方向を表しており、図中垂直方向は、空間方向の他方向であるY方向を表している。
【1511】
また、図226中、左から2画素目であって、下から3画素目の画素が注目画素とされ、その注目画素の中心を原点(0,0)とするように(ｘ,ｙ)座標系が設定されている。そして、原点(0,0)を通る角度θの直線(データの定常性の方向を表す傾きG_(f)の直線)に対するX方向の相対的な距離(以下、断面方向距離と称する)がｘ’と記述されている。
【1512】
さらに、図226中、右側のグラフは、X断面波形F(ｘ’)が近似された関数であって、n次(nは、任意の整数)の多項式である近似関数f(ｘ’)を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【1513】
この場合、図226で示される近似関数f(ｘ’)は、n次の多項式であるので、次の式(128)のように表される。
【1514】
【数98】

【1515】
また、角度θが決定されていることから、原点(0,0)を通る角度θの直線は一意に決まり、Y方向の任意の位置ｙにおける、直線のX方向の位置ｘ_(1)が、次の式(129)のように表される。ただし、式(129)において、ｓはcｏｔθを表している。
【1516】
ｘ_(1)=ｓ×ｙ ・・・(129)
【1517】
即ち、図226で示されるように、傾きG_(f)で表されるデータの定常性に対応する直線上の点は、座標値(ｘ_(1),ｙ)で表される。
【1518】
式(129)より、断面方向距離ｘ’は、次の式(130)のように表される。
【1519】
ｘ’=ｘ-ｘ_(1)=ｘ-ｓ×ｙ ・・・(130)
【1520】
従って、入力画像の領域2401内の任意の位置(ｘ,ｙ)における近似関数f(ｘ,ｙ)は、式(128)と式(130)より、次の式(131)のように示される。
【1521】
【数99】

【1522】
なお、式(131)において、ｗ_(i)は、近似関数f(ｘ,ｙ)の係数を表している。なお、近似関数f(ｘ,ｙ)を含む近似関数fの係数ｗ_(i)を、近似関数fの特徴量と位置づけることもできる。従って、以下、近似関数fの係数ｗ_(i)を、近似関数fの特徴量ｗ_(i)とも称する。
【1523】
このようにして、角度θが既知であれば、2次元波形の近似関数f(ｘ,ｙ)を、式(131)の多項式として表現することができる。
【1524】
従って、実世界推定部102は、式(131)の特徴量ｗiを演算することができれば、図224で示されるような波形F(ｘ,ｙ)を推定することができる。
【1525】
そこで、以下、式(131)の特徴量ｗiを演算する手法について説明する。
【1526】
即ち、式(131)で表される近似関数f(ｘ,ｙ)を、画素(センサ2の検出素子2-1(図225))に対応する積分範囲(空間方向の積分範囲)で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式(132)である。なお、2次元多項式近似手法においては、時間方向ｔは一定値とみなされるので、式(132)は、空間方向(X方向とY方法)の位置ｘ,ｙを変数とする方程式とされている。
【1527】
【数100】

【1528】
式(132)において、P(ｘ,ｙ)は、センサ2からの入力画像のうちの、その中心位置が位置(ｘ,ｙ)(注目画素からの相対位置(ｘ,ｙ))に存在する画素の画素値を表している。また、eは、誤差を表している。
【1529】
このように、2次元多項式近似手法においては、入力画素値P(ｘ,ｙ)と、2次元の多項式である近似関数f(ｘ,ｙ)の関係を、式(132)で表現することが可能であるので、実世界推定部102は、式(132)を利用して、特徴量ｗiを、例えば、最小自乗法等により演算することで(演算した特徴量ｗiを式(130)に代入して近似関数f(ｘ,ｙ)を生成することで)、2次元の関数F(ｘ,ｙ)(傾きG_(F)(図224)で表される空間方向の定常性を有する実世界1の光信号を、空間方向に着目して表した波形F(ｘ,ｙ))を推定することが可能となる。
【1530】
図227は、このような2次元多項式近似手法を利用する実世界推定部102の構成例を表している。
【1531】
図227で示されるように、実世界推定部102には、条件設定部2421、入力画像記憶部2422、入力画素値取得部2423、積分成分演算部2424、正規方程式生成部2425、および近似関数生成部2426が設けられている。
【1532】
条件設定部2421は、注目画素に対応する関数F(ｘ,ｙ)を推定するために使用する画素の範囲(タップ範囲)や、近似関数f(ｘ,ｙ)の次数nを設定する。
【1533】
入力画像記憶部2422は、センサ2からの入力画像(画素値)を一次格納する。
【1534】
入力画素値取得部2423は、入力画像記憶部2422に記憶された入力画像のうちの、条件設定部2421により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部2425に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【1535】
ところで、上述したように、2次元多項式近似手法を利用する実世界推定部102は、上述した式(132)を最小自乗法で解くことにより、上述した式(131)で示される近似関数f(ｘ,ｙ)の特徴量ｗ_(i)を演算する。
【1536】
式(132)は、次の式(133)乃至式(135)を用いることで得られる次の式(136)を使用することで、次の式(137)のように表現することができる。
【1537】
【数101】

【1538】
【数102】

【1539】
【数103】

【1540】
【数104】

【1541】
【数105】

【1542】
式(137)において、S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)は、i次項の積分成分を表している。即ち、積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)は、次の式(138)で示される通りである。
【1543】
【数106】

【1544】
積分成分演算部2424は、この積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)を演算する。
【1545】
具体的には、式(138)で示される積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)は、相対画素位置(ｘ,ｙ)、上述した式(131)における変数ｓ、および、i次項のiが既知であれば、演算可能である。これらのうちの、相対画素位置(ｘ,ｙ)は注目画素とタップ範囲により、変数ｓはcｏｔθであるので角度θにより、iの範囲は次数nにより、それぞれ決定される。
【1546】
従って、積分成分演算部2424は、条件設定部2421により設定されたタップ範囲および次数、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度θに基づいて積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)を演算し、その演算結果を積分成分テーブルとして正規方程式生成部2425に供給する。
【1547】
正規方程式生成部2425は、入力画素値取得部2423より供給された入力画素値テーブルと、積分成分演算部2424より供給された積分成分テーブルを利用して、上述した式(132)、即ち、式(137)を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部2426に出力する。なお、正規方程式の具体例については後述する。
【1548】
近似関数生成部2426は、正規方程式生成部2425より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式(132)の特徴量ｗ_(i)(即ち、2次元多項式である近似関数f(ｘ,ｙ)の係数ｗ_(i))のそれぞれを演算し、画像生成部103に出力する。
【1549】
次に、図228のフローチャートを参照して、2次元多項式近似手法が適用される実世界の推定処理(図40のステップS102の処理)について説明する。
【1550】
例えば、いま、傾きG_(F)で表される空間方向の定常性を有する実世界1の光信号が、センサ2(図225)により検出されて、1フレームに対応する入力画像として、入力画像記憶部2422に既に記憶されているとする。また、データ定常性検出部101が、ステップS101(図40)の定常性の検出の処理において、入力画像のうちの、上述した図226で示される領域2401に対して処理を施して、データ定常性情報として角度θを既に出力しているとする。
【1551】
この場合、ステップS2401において、条件設定部2421は、条件(タップ範囲と次数)を設定する。
【1552】
例えば、いま、図229で示されるタップ範囲2441が設定されるとともに、次数として5次が設定されたとする。
【1553】
即ち、図229は、タップ範囲の1例を説明する図である。図229において、X方向とY方向は、センサ2のX方向とY方向(図225)を表している。また、タップ範囲2441は、X方向に4画素分、かつY方向に5画素分の総計20個の画素(図中、20個の正方形)からなる画素群を表している。
【1554】
さらに、図229に示されるように、注目画素が、タップ範囲2441のうちの、図中、左から2画素目であって、下から3画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置(ｘ,ｙ)(注目画素の中心(0,0)を原点とする注目画素座標系の座標値)に応じて、図229で示されるような番号l(lは、0乃至19のうちのいずれかの整数値)が付されるとする。
【1555】
図228に戻り、ステップS2402において、条件設定部2421は、注目画素を設定する。
【1556】
ステップS2403において、入力画素値取得部2423は、条件設定部2421により設定された条件(タップ範囲)に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部2423は、入力画像の領域2401(図226)を取得し、入力画素値テーブルとして、20個の入力画素値P(l)からなるテーブルを生成する。
【1557】
なお、いまの場合、入力画素値P(l)と、上述した入力画素値P(ｘ,ｙ)の関係は、次の式(139)で示される関係とされる。ただし、式(139)において、左辺が入力画素値P(l)を表し、右辺が入力画素値P(ｘ,ｙ)を表している。
【1558】
【数107】

【1559】
ステップS2404において、積分成分演算部2424は、条件設定部2421により設定された条件(タップ範囲および次数)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度θ)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1560】
いまの場合、上述したように、入力画素値は、P(ｘ,ｙ)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部2424は、上述した式(138)の積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)を、次の式(140)の左辺で示される積分成分S_(i)(l)といったlの関数として演算する。
【1561】
S_(i)(l)=S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)
・・・(140)
【1562】
具体的には、いまの場合、次の式(141)で示される積分成分S_(i)(l)が演算される。
【1563】
【数108】

【1564】
なお、式(141)において、左辺が積分成分S_(i)(l)を表し、右辺が積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)を表している。即ち、いまの場合、iは0乃至5であるので、20個のS_(0)(l),20個のS_(1)(l),20個のS_(2)(l),20個のS_(3)(l),20個のS_(4)(l),20個のS_(5)(l)の総計120個のS_(i)(l)が演算されることになる。
【1565】
より具体的には、はじめに、積分成分演算部2424は、データ定常性検出部101より供給された角度θに対するcｏｔθを演算し、それを変数ｓとする。次に、積分成分演算部2424は、演算した変数ｓを使用して式(140)の右辺で示される20個の積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)のそれぞれを、i=0乃至5のそれぞれについて演算する。即ち、120個の積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)が演算されることになる。なお、この積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)の演算においては、上述した式(138)が使用される。そして、積分成分演算部2424は、式(141)に従って、演算した120個の積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)のそれぞれを、対応するS_(i)(l)のそれぞれに変換し、変換した120個のS_(i)(l)を含む積分成分テーブルを生成する。
【1566】
なお、ステップS2403の処理とステップS2404の処理の順序は、図228の例に限定されず、ステップS2404の処理が先に実行されてもよいし、ステップS2403の処理とステップS2404の処理が同時に実行されてもよい。
【1567】
次に、ステップS2405において、正規方程式生成部2425は、ステップS2403の処理で入力画素値取得部2423により生成された入力画素値テーブルと、ステップS2404の処理で積分成分演算部2424により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【1568】
具体的には、いまの場合、上述した式(137)を利用して最小自乗法により特徴量ｗ_(i)が演算される(ただし、式(136)において、積分成分S_(i)(ｘ-0.5,ｘ+0.5,ｙ-0.5,ｙ+0.5)は、式(140)により変換されるSi(l)が使用される)ので、それに対応する正規方程式は、次の式(142)のように表される。
【1569】
【数109】


【1570】
なお、式(142)において、Lは、タップ範囲の画素の番号lのうちの最大値を表している。nは、多項式である近似関数f(ｘ)の次数を表している。具体的には、いまの場合、n=5となり、L=19となる。
【1571】
式(142)で示される正規方程式の各行列のそれぞれを、次の式(143)乃至(145)のように定義すると、正規方程式は、次の式(146)のように表現される。
【1572】
【数110】

【1573】
【数111】

【1574】
【数112】

【1575】
【数113】

【1576】
式(144)で示されるように、行列W_(MAT)の各成分は、求めたい特徴量ｗ_(i)である。従って、式(146)において、左辺の行列S_(MAT)と右辺の行列P_(MAT)が決定されれば、行列解法によって行列W_(MAT)の演算が可能になる。
【1577】
具体的には、式(143)で示されるように、行列S_(MAT)の各成分は、上述した積分成分S_(i)(l)で演算可能である。即ち、積分成分S_(i)(l)は、積分成分演算部2424より供給された積分成分テーブルに含まれているので、正規方程式生成部2425は、積分成分テーブルを利用して行列S_(MAT)の各成分を演算することができる。
【1578】
また、式(145)で示されるように、行列P_(MAT)の各成分は、積分成分S_(i)(l)と入力画素値P(l)で演算可能である。即ち、積分成分S_(i)(l)は、行列S_(MAT)の各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部2423より供給された入力画素値テーブルに含まれているので、正規方程式生成部2425は、積分成分テーブルと入力画素値テーブルを利用して行列P_(MAT)の各成分を演算することができる。
【1579】
このようにして、正規方程式生成部2425は、行列S_(MAT)と行列P_(MAT)の各成分を演算し、その演算結果(行列S_(MAT)と行列P_(MAT)の各成分)を正規方程式テーブルとして近似関数生成部2426に出力する。
【1580】
正規方程式生成部2425より正規方程式テーブルが出力されると、ステップS2406において、近似関数生成部2426は、正規方程式テーブルに基づいて、上述した式(146)の行列W_(MAT)の各成分である特徴量ｗ_(i)(即ち、2次元多項式である近似関数f(ｘ,ｙ)の係数ｗ_(i))を演算する。
【1581】
具体的には、上述した式(146)の正規方程式は、次の式(147)のように変形できる。
【1582】
【数114】

【1583】
式(147)において、左辺の行列W_(MAT)の各成分が、求めたい特徴量ｗ_(i)である。また、行列S_(MAT)と行列P_(MAT)のそれぞれの各成分は、正規方程式生成部2425より供給された正規方程式テーブルに含まれている。従って、近似関数生成部2426は、正規方程式テーブルを利用して、式(147)の右辺の行列演算を行うことで行列W_(MAT)を演算し、その演算結果(特徴量ｗ_(i))を画像生成部103に出力する。
【1584】
ステップS2407において、近似関数生成部2426は、全画素の処理を終了したか否かを判定する。
【1585】
ステップS2407において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS2402に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS2402乃至S2407の処理が繰り返される。
【1586】
そして、全画素の処理が終了すると(ステップS2407において、全画素の処理が終了されたと判定されると)、実世界1の推定処理は終了となる。
【1587】
以上、2次元多項式近似手法の説明として、空間方向(X方向とY方向)に対する近似関数f(ｘ,ｙ)の係数(特徴量)ｗ_(i)を演算する例を用いたが、2次元多項式近似手法は、時空間方向(X方向とｔ方向、または、Y方向とｔ方向)に対しても適用可能である。
【1588】
即ち、上述した例は、実世界1の光信号が、例えば、傾きG_(F)(図224)で表される空間方向の定常性を有する場合の例であったので、上述した式(132)で示されるような、空間方向(X方向とY方向)の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向(X方向とｔ方向、または、Y方向とｔ方向)に対して適用することも可能である。
【1589】
換言すると、2次元多項式近似手法においては、推定したい光信号関数F(ｘ,ｙ,ｔ)が、空間方向の定常性のみならず、時空間方向(ただし、X方向とｔ方向、または、Y方向とｔ方向)の定常性を有している場合であっても、2次元の多項式により近似することが可能である。
【1590】
具体的には、例えば、X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図230で示されるようなX-ｔ平面においては、傾きV_(F)のように表される。換言すると、傾きV_(F)は、X-ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部101は、上述した角度θ(X-Y平面における、傾きG_(F)で表される空間方向の定常性に対応するデータ定常性情報)と同様に、X-ｔ平面における時空間方向の定常性を表す傾きV_(F)に対応するデータ定常性情報として、図230で示されるような動きθ(厳密には、図示はしないが、傾きV_(F)に対応する傾きV_(f)で表されるデータの定常性の方向と、空間方向のX方向とのなす角度である動きθ)を出力することが可能である。
【1591】
従って、2次元多項式近似手法を利用する実世界推定部102は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数f(ｘ,ｔ)の係数(特徴量)ｗ_(i)を演算することが可能になる。ただし、この場合、使用される式は、上述した式(132)ではなく、次の式(148)である。
【1592】
【数115】

【1593】
なお、式(148)において、ｓはcｏｔθ(ただし、θは動きである)である。
【1594】
また、空間方向Xの変わりに、空間方向Yに注目した近似関数f(ｙ,ｔ)も、上述した近似関数f(ｘ、ｔ)と全く同様に取り扱うことが可能である。
【1595】
このように、2次元多項式近似手法においては、例えば、図205(図3)のデータ定常性検出部101が、それぞれ時空間積分効果を有する、センサの複数の検出素子(例えば、図225のセンサ2の検出素子2-1)により実世界1(図205)の光信号が射影され、実世界1の光信号の定常性(例えば、図224の傾きG_(F)で表される定常性)の一部が欠落した、検出素子2-1により射影された画素値を有する複数の画素からなる画像データ(例えば、図205の入力画像)におけるデータの定常性(例えば、図226の傾きG_(f)で表されるデータの定常性)を検出する。
【1596】
そして、例えば、図205(図3)の実世界推定部102(構成は、図227)が、データ定常性検出部101により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも2次元方向(例えば、図224と図225の空間方向Xと、空間方向Y)の位置に対応する画素の画素値(例えば、上述した式(131)の左辺である入力画素値P(ｘ、ｙ))が、少なくとも2次元方向の積分効果により取得された画素値(例えば、式(132)の右辺に示されるように、上述した式(131)で示される近似関数f(ｘ,ｙ)がX方向とY方向に積分された値)であるとして、実世界1の光信号を表す光信号関数F(具体的には、図224の関数F(ｘ,ｙ))を、多項式である近似関数f(例えば、式(131)で示される近似関数f(ｘ,ｙ))で近似することで、光信号関数Fを推定する。
【1597】
詳細には、例えば、実世界推定部102は、データ定常性検出部101により検出されたデータの定常性に対応する線(例えば、図226の傾きG_(f)に対応する線(矢印))からの少なくとも2次元方向に沿った距離(例えば、図226の断面方向距離ｘ‘)に対応する画素の画素値が、少なくとも2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第1の関数を、多項式である第2の関数で近似することで、第1の関数を推定する。
【1598】
このように、2次元多項式近似手法は、1次元ではなく2次元の積分効果を考慮しているので、1次元多項式近似手法に比較して、より正確に実世界1の光信号を推定することが可能になる。
【1599】
次に、図231乃至図235を参照して、第3の関数近似手法について説明する。
【1600】
即ち、第3の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界1の光信号が、光信号関数F(ｘ,ｙ,ｔ)で表されることに注目して、近似関数f(ｘ,ｙ,ｔ)で光信号関数F(ｘ,ｙ,ｔ)を近似することによって、光信号関数F(ｘ,ｙ,ｔ)を推定する手法である。従って、以下、第3の関数近似手法を、3次元関数近似手法と称する。
【1601】
また、3次元関数近似手法の説明においても、センサ2は、図231で示されるような、複数の検出素子2-1がその平面上に配置されて構成されるCCDとされる。
【1602】
図231の例では、検出素子2-1の所定の1辺に平行な方向が、空間方向の1方向であるX方向とされており、X方向に垂直な方向が、空間方向の他方向であるY方向とされている。そして、X-Y平面に垂直な方向が、時間方向であるｔ方向とされている。
【1603】
また、図231の例では、センサ2の各検出素子2-1のそれぞれの空間的な形状は、1辺の長さが1の正方形とされている。そして、センサ2のシャッタ時間(露光時間)が1とされている。
【1604】
さらに、図231の例では、センサ2の所定の1つの検出素子2-1の中心が、空間方向(X方向とY方向)の原点(X方向の位置ｘ=0、およびY方向の位置ｙ=0)とされており、また、露光時間の中間時刻が、時間方向(ｔ方向)の原点(ｔ方向の位置ｔ=0)とされている。
【1605】
この場合、空間方向の原点(ｘ=0,ｙ=0)にその中心が存在する検出素子2-1は、X方向に-0.5乃至0.5の範囲、Y方向に-0.5乃至0.5の範囲、およびｔ方向に-0.5乃至0.5の範囲で光信号関数F(ｘ,ｙ,ｔ)を積分し、その積分値を画素値Pとして出力することになる。
【1606】
即ち、空間方向の原点にその中心が存在する検出素子2-1から出力される画素値Pは、次の式(149)で表される。
【1607】
【数116】

【1608】
その他の検出素子2-1も同様に、対象とする検出素子2-1の中心を空間方向の原点とすることで、式(149)で示される画素値Pを出力することになる。
【1609】
ところで、上述したように、3次元関数近似手法においては、光信号関数F(ｘ,ｙ,ｔ)は、3次元の近似関数f(ｘ,ｙ,ｔ)に近似される。
【1610】
具体的には、例えば、近似関数f(ｘ,ｙ,ｔ)を、N個の変数(特徴量)を有する関数とし、式(149)に対応する入力画素値P(ｘ,ｙ,ｔ)と近似関数f(ｘ,ｙ,ｔ)の関係式を定義する。これにより、Nより大きいM個の入力画素値P(ｘ,ｙ,ｔ)が取得されていれば、定義された関係式からN個の変数(特徴量)の算出が可能である。即ち、実世界推定部102は、M個の入力画素値P(ｘ,ｙ,ｔ)を取得してN個の変数(特徴量)を演算することで、光信号関数F(ｘ,ｙ,ｔ)を推定することが可能である。
【1611】
この場合、実世界推定部102は、センサ2からの入力画像(入力画素値)に含まれるデータの定常性を縛りとして(即ち、データ定常性検出部101より出力される入力画像に対するデータ定常性情報を利用して)、入力画像全体のうちの、M個の入力画像P(ｘ,ｙ,ｔ)を抽出(取得)する。結果的に、予測関数f(ｘ,ｙ,ｔ)は、データの定常性に拘束されることになる。
【1612】
例えば、図232で示されるように、入力画像に対応する光信号関数F(ｘ,ｙ,ｔ)が、傾きG_(F)で表される空間方向の定常性を有している場合、データ定常性検出部101は、入力画像に対するデータ定常性情報として、角度θ(傾きG_(F)に対応する傾きG_(f)(図示せず)で表されるデータの定常性の方向と、X方向のなす角度θ)を出力することになる。
【1613】
この場合、光信号関数F(ｘ,ｙ,ｔ)をX方向に射影した1次元の波形(ここでは、このような波形を、X断面波形と称している)は、Y方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【1614】
即ち、同一形状のX断面波形が、定常性の方向(X方向に対して角度θ方向)に連なっている2次元の(空間方向の)波形が存在するとし、そのような2次元波形が時間方向ｔに連なった3次元波形を、近似関数f(ｘ,ｙ,ｔ)で近似する。
【1615】
換言すると、注目画素の中心からY方向に位置ｙだけずれたX断面波形は、注目画素の中心を通るX断面波形がX方向に所定の量(角度θに応じて変化する量)だけ移動した(シフトした)波形となる。なお、以下、このような量を、シフト量と称する。
【1616】
このシフト量は、次のようにして算出が可能である。
【1617】
即ち、傾きV_(f)(例えば、図232の傾きV_(F)に対応する、データの定常性の方向を表す傾きV_(f))と角度θは、次の式(150)のように表される。
【1618】
【数117】

【1619】
なお、式(150)において、dｘは、X方向の微小移動量を表しており、dｙは、dｘに対するY方向の微小移動量を表している。
【1620】
従って、X方向に対するシフト量をC_(ｘ)(ｙ)と記述すると、次の式(151)のように表される。
【1621】
【数118】

【1622】
このようにして、シフト量C_(ｘ)(ｙ)を定義すると、式(149)に対応する入力画素値P(ｘ,ｙ,ｔ)と近似関数f(ｘ,ｙ,ｔ)の関係式は、次の式(152)のように表される。
【1623】
【数119】

【1624】
式(152)において、eは、誤差を表している。ｔ_(ｓ)は、ｔ方向の積分開始位置を表しており、ｔ_(e)は、ｔ方向の積分終了位置を表している。同様に、ｙ_(ｓ)は、Y方向の積分開始位置を表しており、ｙ_(e)は、Y方向の積分終了位置を表している。また、ｘ_(ｓ)は、X方向の積分開始位置を表しており、ｘ_(e)は、X方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式(153)で示される通りになる。
【1625】
【数120】

【1626】
式(153)で示されるように、注目画素から空間方向に(ｘ,ｙ)だけ離れて位置する画素に対するX方向の積分範囲を、シフト量C_(ｘ)(ｙ)だけ移動させることで、同一形状のX断面波形が、定常性の方向(X方向に対して角度θ方向)に連なっていることを表すことが可能になる。
【1627】
このように、3次元関数近似手法においては、画素値P(ｘ,ｙ、ｔ)と、3次元の近似関数f(ｘ,ｙ,ｔ)の関係を式(152)(積分範囲は、式(153))で表すことができるので、式(152)と式(153)を利用して、近似関数f(ｘ,ｙ,ｔ)のN個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(ｘ,ｙ,ｔ)(例えば、図232で示されるような傾きV_(F)表される空間方向の定常性を有する光信号)の推定が可能となる。
【1628】
なお、光信号関数F(ｘ,ｙ,ｔ)で表される光信号が、例えば、図232で示されるような傾きV_(F)で表される空間方向の定常性を有している場合、次のようにして光信号関数F(ｘ,ｙ,ｔ)を近似してもよい。
【1629】
即ち、光信号関数F(ｘ,ｙ,ｔ)をY方向に射影した1次元の波形(以下、このような波形を、Y断面波形と称する)は、X方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【1630】
換言すると、同一形状のY断面波形が、定常性の方向(X方向に対して角度θ方向)に連なっている2次元の(空間方向の)波形が存在するとし、そのような2次元波形が時間方向ｔに連なった3次元波形を、近似関数f(ｘ,ｙ,ｔ)で近似する。
【1631】
従って、注目画素の中心からX方向にｘだけずれたY断面波形は、注目画素の中心を通るY断面波形がY方向に所定のシフト量(角度θに応じて変化するシフト量)だけ移動した波形となる。
【1632】
このシフト量は、次のようにして算出が可能である。
【1633】
即ち、傾きG_(F)が、上述した式(150)のように表されるので、Y方向に対するシフト量をC_(ｙ)(ｘ)と記述すると、次の式(154)のように表される。
【1634】
【数121】

【1635】
このようにして、シフト量C_(ｙ)(ｘ)を定義すると、式(149)に対応する入力画素値P(ｘ,ｙ,ｔ)と近似関数f(ｘ,ｙ,ｔ)の関係式は、シフト量C_(ｘ)(ｙ)を定義したときと同様に、上述した式(152)で表される。
【1636】
ただし、今度は、具体的な各積分範囲のそれぞれは、次の式(155)で示される通りになる。
【1637】
【数122】

【1638】
式(155)(および上述した式(152))で示されるように、注目画素から(ｘ,ｙ)だけ離れて位置する画素に対するY方向の積分範囲を、シフト量C_(ｙ)(ｘ)だけ移動させることで、同一形状のY断面波形が、定常性の方向(X方向に対して角度θ方向)に連なっていることを表すことが可能になる。
【1639】
このように、3次元関数近似手法においては、上述した式(152)の右辺の積分範囲を式(153)のみならず式(155)とすることもできるので、積分範囲として式(155)が採用された式(152)を利用して、近似関数f(ｘ,ｙ,ｔ)のn個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(ｘ,ｙ,ｔ)(傾きG_(F)で表される空間方向の定常性を有する実世界1の光信号)の推定が可能となる。
【1640】
このように、積分範囲を表す式(153)と式(155)は、定常性の方向にあわせて周辺画素をX方向にシフトさせるか(式(153)の場合)、或いはY方向にシフトさせるか(式(155)の場合)の違いがあるだけであり、本質的には同じことを表している。
【1641】
しかしながら、定常性の方向(傾きG_(F))に応じて、光信号関数F(ｘ,ｙ,ｔ)を、X断面波形の集まりと捉えるか、Y断面波形の集まりと捉えるかが異なる。即ち、定常性の方向がY方向に近い場合、光信号関数F(ｘ,ｙ,ｔ)を、X断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向がX方向に近い場合、光信号関数F(ｘ,ｙ,ｔ)を、Y断面波形の集まりと捉えた方が好適である。
【1642】
従って、実世界推定部102は、積分範囲として式(153)と式(155)の両方を用意しておき、定常性の方向に応じて、適宜式(152)の右辺の積分範囲として、式(153)と式(155)のうちのいずれか一方を選択するとよい。
【1643】
以上、光信号関数F(ｘ,ｙ,ｔ)が空間方向(X方向とY方向)の定常性(例えば、図232の傾きG_(F)で表される空間方向の定常性)を有する場合についての3次元関数手法について説明したが、3次元関数手法は、図233で示されるように、光信号関数F(ｘ,ｙ,ｔ)が時空間方向(X方向、Y方向、およびｔ方向)の定常性(傾きV_(F)で表される定常性)を有する場合についても適用可能である。
【1644】
即ち、図233において、フレーム番号#N-1のフレームに対応する光信号関数がF(ｘ、ｙ、#N-1)とされ、フレーム番号#Nのフレームに対応する光信号関数がF(ｘ、ｙ、#N)とされ、かつ、フレーム番号#N+1のフレームに対応する光信号関数がF(ｘ、ｙ、#N+1)とされている。
【1645】
なお、図233において、図中、水平方向は、空間方向の1方向であるX方向とされており、右斜め上方向は、空間方向の他方向であるY方向とされており、かつ、垂直方向は、時間方向であるｔ方向とされている。
【1646】
また、フレーム#N-1は、フレーム#Nに対して時間的に前のフレームであり、フレーム#N+1は、フレーム#Nに対して時間的に後のフレームである。即ち、フレーム#N-1、フレーム#N、およびフレーム#N+1は、フレーム#N-1、フレーム#N、およびフレーム#N+1の順で表示される。
【1647】
図233の例では、傾きV_(F)で示される方向(図中左下手前から右上奥の方向)に沿った断面の光のレベルがほぼ一定とされている。従って、図233の例では、光信号関数F(ｘ,ｙ,ｔ)は、傾きV_(F)で表される時空間方向の定常性を有していると言える。
【1648】
この場合、時空間方向の定常性を表す関数C(ｘ,ｙ,ｔ)を定義し、かつ、定義された関数C(ｘ,ｙ,ｔ)を利用して、上述した式(152)の積分範囲を定義すれば、上述した式(153)や式(155)と同様に、近似関数f(ｘ,ｙ,ｔ)のN個の特徴量の算出が可能になる。
【1649】
関数C(ｘ,ｙ,ｔ)は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数C(ｘ,ｙ,ｔ)として、上述した空間方向の定常性を表す関数であるシフト量C_(ｘ)(ｙ)(式(151))やシフト量C_(ｙ)(ｘ)(式(153))に相当する、C_(ｘ)(ｔ)とC_(ｙ)(ｔ)を次のように定義するとする。
【1650】
即ち、上述した空間方向のデータの定常性を表す傾きG_(f)に対応する、時空間方向のデータの定常性の傾きをV_(f)とすると、この傾きV_(f)をX方向の傾き(以下、V_(fｘ)と記述する)とY方向の傾き(以下、V_(fｙ)と記述する)に分割すると、傾きV_(fｘ)は次の式(156)で、傾きV_(fｙ)は次の式(157)で、それぞれ表される。
【1651】
【数123】

【1652】
【数124】

【1653】
この場合、関数C_(ｘ)(ｔ)は、式(156)で示される傾きV_(fｘ)を利用して、次の式(158)のように表される。
【1654】
【数125】


【1655】
同様に、関数C_(ｙ)(ｔ)は、式(157)で示される傾きV_(fｙ)を利用して、次の式(159)のように表される。
【1656】
【数126】

【1657】
このようにして、時空間方向の定常性2511を表す関数C_(ｘ)(ｔ)と関数C_(ｙ)(ｔ)を定義すると、式(152)の積分範囲は、次の式(160)のように表される。
【1658】
【数127】

【1659】
このように、3次元関数近似手法においては、画素値P(ｘ,ｙ、ｔ)と、3次元の近似関数f(ｘ,ｙ,ｔ)の関係を式(152)で表すことができるので、その式(152)の右辺の積分範囲として式(160)を利用して、近似関数f(ｘ,ｙ,ｔ)のn+1個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数F(ｘ,ｙ,ｔ)(時空間方向の所定の方向に定常性を有する実世界1の光信号)を推定することが可能となる。
【1660】
図234は、このような3次元関数近似手法を利用する実世界推定部102の構成例を表している。
【1661】
なお、3次元関数近似手法を利用する実世界推定部102が演算する近似関数f(ｘ,ｙ,ｔ)(実際には、その特徴量(係数)を演算する)は、特に限定されないが、以下の説明においては、n(n=N-1)次の多項式とされる。
【1662】
図234で示されるように、実世界推定部102には、条件設定部2521、入力画像記憶部2522、入力画素値取得部2523、積分成分演算部2524、正規方程式生成部2525、および近似関数生成部2526が設けられている。
【1663】
条件設定部2521は、注目画素に対応する光信号関数F(ｘ,ｙ,ｔ)を推定するために使用する画素の範囲(タップ範囲)や、近似関数f(ｘ,ｙ,ｔ)の次数nを設定する。
【1664】
入力画像記憶部2522は、センサ2からの入力画像(画素値)を一次格納する。
【1665】
入力画素値取得部2523は、入力画像記憶部2522に記憶された入力画像のうちの、条件設定部2521により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部2525に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。
【1666】
ところで、上述したように、3次元関数近似手法を利用する実世界推定部102は、上述した式(152)(ただし積分範囲は、式(153)、式(156)、または式(160))を利用して最小自乗法により近似関数f(ｘ,ｙ)のN個の特徴量(いまの場合、各次の係数)を演算する。
【1667】
式(152)の右辺は、その積分を演算することで、次の式(161)のように表現することができる。
【1668】
【数128】

【1669】
式(161)において、ｗ_(i)は、i次項の係数(特徴量)を表しており、また、S_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))は、i次項の積分成分を表している。ただし、ｘ_(ｓ)はX方向の積分範囲の開始位置を、ｘ_(e)はX方向の積分範囲の終了位置を、ｙ_(ｓ)はY方向の積分範囲の開始位置を、ｙ_(e)はY方向の積分範囲の終了位置を、ｔ_(ｓ)はｔ方向の積分範囲の開始位置を、ｔ_(e)はｔ方向の積分範囲の終了位置を、それぞれ表している。
【1670】
積分成分演算部2524は、この積分成分S_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))を演算する。
【1671】
即ち、積分成分演算部2524は、条件設定部2521により設定されたタップ範囲および次数、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度若しくは動き(積分範囲として、上述した式(153)若しくは式(156)が利用される場合には角度であり、上述した式(160)が利用される場合には動きである)に基づいて積分成分S_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))を演算し、その演算結果を積分成分テーブルとして正規方程式生成部2525に供給する。
【1672】
正規方程式生成部2525は、入力画素値取得部2523より供給された入力画素値テーブルと、積分成分演算部2524より供給された積分成分テーブルを利用して、上述した式(161)を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部2526に出力する。正規方程式の例については、後述する。
【1673】
近似関数生成部2526は、正規方程式生成部2525より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、特徴量ｗ_(i)(いまの場合、3次元多項式である画素値関数f(ｘ,ｙ)の係数ｗ_(i))のそれぞれを演算し、画像生成部103に出力する。
【1674】
次に、図235のフローチャートを参照して、3次元関数近似手法が適用される実世界の推定処理(図40のステップS102の処理)について説明する。
【1675】
はじめに、ステップS2501において、条件設定部2521は、条件(タップ範囲と次数)を設定する。
【1676】
例えば、いま、L個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号l(lは、0乃至L-1のうちのいずれかの整数値)が付されるとする。
【1677】
次に、ステップS2502において、条件設定部2521は、注目画素を設定する。
【1678】
ステップS2503において、入力画素値取得部2523は、条件設定部2521により設定された条件(タップ範囲)に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、L個の入力画素値P(ｘ,ｙ,ｔ)からなるテーブルが生成されることになる。ここで、L個の入力画素値P(ｘ,ｙ,ｔ)のそれぞれを、その画素の番号lの関数としてP(l)と記述することにする。即ち、入力画素値テーブルは、L個のP(l)が含まれるテーブルとなる。
【1679】
ステップS2504において、積分成分演算部2524は、条件設定部2521により設定された条件(タップ範囲および次数)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度若しくは動き)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1680】
ただし、いまの場合、上述したように、入力画素値は、P(ｘ,ｙ,ｔ)でなくP(l)といった、画素の番号lの値として取得されるので、積分成分演算部2524は、上述した式(161)の積分成分S_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))を、積分成分S_(i)(l)といったlの関数として演算することになる。即ち、積分成分テーブルは、L×i個のS_(i)(l)が含まれるテーブルとなる。
【1681】
なお、ステップS2503の処理とステップS2504の処理の順序は、図235の例に限定されず、ステップS2504の処理が先に実行されてもよいし、ステップS2503の処理とステップS2504の処理が同時に実行されてもよい。
【1682】
次に、ステップS2505において、正規方程式生成部2525は、ステップS2503の処理で入力画素値取得部2523により生成された入力画素値テーブルと、ステップS2504の処理で積分成分演算部2524により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【1683】
具体的には、いまの場合、最小自乗法により、上述した式(161)に対応する次の式(162)の特徴量ｗ_(i)を演算する。で、それに対応する正規方程式は、次の式(163)のように表される。
【1684】
【数129】

【1685】
【数130】

【1686】
式(163)で示される正規方程式の各行列のそれぞれを、次の式(164)乃至(166)のように定義すると、正規方程式は、次の式(167)のように表される。
【1687】
【数131】

【1688】
【数132】

【1689】
【数133】

【1690】
【数134】

【1691】
式(165)で示されるように、行列W_(MAT)の各成分は、求めたい特徴量ｗ_(i)である。従って、式(167)において、左辺の行列S_(MAT)と右辺の行列P_(MAT)が決定されれば、行列解法によって行列W_(MAT)(即ち、特徴量ｗ_(i))の算出が可能である。
【1692】
具体的には、式(164)で示されるように、行列S_(MAT)の各成分は、上述した積分成分S_(i)(l)が既知であれば演算可能である。積分成分S_(i)(l)は、積分成分演算部2524より供給された積分成分テーブルに含まれているので、正規方程式生成部2525は、積分成分テーブルを利用して行列S_(MAT)の各成分を演算することができる。
【1693】
また、式(166)で示されるように、行列P_(MAT)の各成分は、積分成分S_(i)(l)と入力画素値P(l)が既知であれば演算可能である。積分成分S_(i)(l)は、行列S_(MAT)の各成分に含まれるものと同一のものであり、また、入力画素値P(l)は、入力画素値取得部2523より供給された入力画素値テーブルに含まれているので、正規方程式生成部2525は、積分成分テーブルと入力画素値テーブルを利用して行列P_(MAT)の各成分を演算することができる。
【1694】
このようにして、正規方程式生成部2525は、行列S_(MAT)と行列P_(MAT)の各成分を演算し、その演算結果(行列S_(MAT)と行列P_(MAT)の各成分)を正規方程式テーブルとして近似関数生成部2526に出力する。
【1695】
正規方程式生成部2525より正規方程式テーブルが出力されると、ステップS2506において、近似関数生成部2526は、正規方程式テーブルに基づいて、上述した式(167)の行列W_(MAT)の各成分である特徴量ｗ_(i)(即ち、近似関数f(ｘ,ｙ,ｔ)の係数ｗ_(i))を演算する。
【1696】
具体的には、上述した式(167)の正規方程式は、次の式(168)のように変形できる。
【1697】
【数135】

【1698】
式(168)において、左辺の行列W_(MAT)の各成分が、求めたい特徴量ｗ_(i)である。また、行列S_(MAT)と行列P_(MAT)のそれぞれの各成分は、正規方程式生成部2525より供給された正規方程式テーブルに含まれている。従って、近似関数生成部2526は、正規方程式テーブルを利用して、式(168)の右辺の行列演算を行うことで行列W_(MAT)を演算し、その演算結果(特徴量ｗ_(i))を画像生成部103に出力する。
【1699】
ステップS2507において、近似関数生成部2526は、全画素の処理を終了したか否かを判定する。
【1700】
ステップS2507において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS2502に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS2502乃至S2507の処理が繰り返される。
【1701】
そして、全画素の処理が終了すると(ステップS2507において、全画素の処理が終了されたと判定されると)、実世界1の推定処理は終了となる。
【1702】
以上、説明したように、3次元関数近似手法は、1次元や2次元ではなく、時空間方向の3次元の積分効果を考慮しているので、1次元多項式近似手法や2次元多項式近似手法に比較して、より正確に実世界1の光信号を推定することが可能になる。
【1703】
換言すると、3次元関数近似手法においては、例えば、図205(図3)の実世界推定部102(構成は、例えば、図234)は、それぞれ時空間積分効果を有する、センサの複数の検出素子(例えば、図231のセンサ2の検出素子2-1)により実世界1の光信号が射影され、実世界1の光信号の定常性(例えば、図232の傾きG_(F)、または、図233の傾きV_(F)で表される定常性)の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも1次元方向(例えば、図233の空間方向X、空間方向Y、および、時間方向ｔの3次元方向)の位置に対応する前記画素の前記画素値(例えば、式(153)の左辺の入力画素値P(ｘ,ｙ,ｚ))が、少なくとも1次元方向の積分効果により取得された画素値(例えば、上述した式(153)の右辺に示されるように、近似関数f(ｘ,ｙ,ｔ)がX方向、Y方向、およびｔ方向の3次元に積分された値)であるとして、実世界の光信号を表す光信号関数F(具体的には、例えば、図232や図233の光信号関数F(ｘ,ｙ,ｔ))を所定の近似関数f(具体的には、例えば、式(152)の右辺の近似関数f(ｘ,ｙ,ｔ))で近似することで、光信号関数Fを推定する。
【1704】
さらに、例えば、図205(図3)のデータ定常性検出部101が、入力画像のデータの定常性を検出した場合、実世界推定部102は、データ定常性検出部101により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも1次元方向の位置に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値であるとして、光信号関数Fを近似関数fで近似することで、光信号関数Fを推定する。
【1705】
詳細には、例えば、実世界推定部102は、定常性検出部101により検出されたデータの定常性に対応する線からの少なくとも1次元方向に沿った距離(例えば、上述した式(151)のシフト量Cｘ(ｙ))に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値(例えば、上述した式(153)で示されるような積分範囲で、式(152)の右辺に示されるように、近似関数f(ｘ,ｙ,ｔ)がX方向、Y方向、およびｔ方向の3次元に積分された値)であるとして、光信号関数Fを近似関数で近似することで、光信号関数を推定する。
【1706】
従って、3次元関数近似手法は、より正確に実世界1の光信号を推定することが可能になる。
【1707】
次に、図236乃至図257を参照して、画像生成部103(図3)の実施の形態の1例について説明する。
【1708】
図236は、この例の実施の形態の原理を説明する図である。
【1709】
図236で示されるように、この例の実施の形態においては、実世界推定部102が、関数近似手法を利用することが前提とされている。即ち、センサ2に入射される画像である、実世界1の信号(光の強度の分布)が、所定の関数Fで表されるとして、実世界推定部102が、センサ2から出力された入力画像(画素値P)と、データ定常性検出部101から出力されたデータ定常性情報を使用して、関数Fを所定の関数fで近似することによって、関数Fを推定することが前提とされている。
【1710】
なお、以下、この例の実施の形態の説明においても、画像である、実世界1の信号を、特に光信号と称し、関数Fを、特に光信号関数Fと称する。また、関数fを、特に近似関数fと称する。
【1711】
そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部103が、データ定常性検出部101から出力されたデータ定常性情報と、実世界推定部102から出力された実世界推定情報(図236の例では、近似関数fの特徴量)を使用して、近似関数fを所定の時空間範囲で積分し、その積分値を出力画素値M(出力画像)として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値をPと記述し、出力画素値をMと記述する。
【1712】
換言すると、光信号関数Fが1度積分されて入力画素値Pとなり、その入力画素値Pから光信号関数Fが推測され(近似関数fで近似され)、推測された光信号関数F(即ち、近似関数f)が再度積分されて、出力画素値Mが生成される。従って、以下、画像生成部103が実行する近似関数fの積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。
【1713】
なお、後述するように、再積分手法において、出力画素値Mが生成される場合の近似関数fの積分範囲は、入力画素値Pが生成される場合の光信号関数Fの積分範囲(即ち、空間方向においては、センサ2の検出素子の縦幅と横幅であり、時間方向においては、センサ2の露光時間である)に限定されず、任意の積分範囲が可能である。
【1714】
例えば、出力画素値Mが生成される場合、近似関数fの積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。
【1715】
同様に、例えば、出力画素値Mが生成される場合、近似関数fの積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。
【1716】
以下、図面を参照して、このような再積分手法のうちの3つの具体的な手法についてそれぞれ個別に説明していく。
【1717】
即ち、3つの具体的な手法とは、関数近似手法の3つの具体的な手法(実世界推定部102の実施の形態の上述した3つの具体的な例)のそれぞれに対応する再積分手法である。
【1718】
具体的には、1つ目の手法は、上述した1次元多項式近似手法(関数近似手法の1手法)に対応する再積分手法である。従って、1つ目の手法では1次元の再積分を行うことになるので、以下、このような再積分手法を、1次元再積分手法と称する。
【1719】
2つ目の手法は、上述した2次元多項式近似手法(関数近似手法の1手法)に対応する再積分手法である。従って、2つ目の手法では2次元の再積分を行うことになるので、以下、このような再積分手法を、2次元再積分手法と称する。
【1720】
3つ目の手法は、上述した3次元関数近似手法(関数近似手法の1手法)に対応する再積分手法である。従って、3つ目の手法では3次元の再積分を行うことになるので、以下、このような再積分手法を、3次元再積分手法と称する。
【1721】
以下、1次元再積分手法、2次元再積分手法、および3次元再積分手法のそれぞれの詳細について、その順番で説明していく。
【1722】
はじめに、1次元再積分手法について説明する。
【1723】
1次元再積分手法においては、1次元多項式近似手法により近似関数f(ｘ)が既に生成されていることが前提とされる。
【1724】
即ち、3次元の空間上の位置ｘ,ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数F(ｘ,ｙ,ｔ)を、空間方向であるX方向、Y方向、およびZ方向、並びに時間方向であるｔ方向のうちの所定の1方向(例えば、X方向)に射影した1次元の波形(再積分手法の説明においても、このような波形のうちのX方向に射影した波形を、X断面波形F(ｘ)と称することにする)が、n次(nは、任意の整数)の多項式である近似関数f(ｘ)で近似されていることが前提とされる。
【1725】
この場合、1次元再積分手法においては、出力画素値Mは、次の式(169)のように演算される。
【1726】
【数136】

【1727】
なお、式(169)において、ｘ_(ｓ)は、積分開始位置を表しており、ｘ_(e)は、積分終了位置を表している。また、G_(e)は、所定のゲインを表している。
【1728】
具体的には、例えば、いま、実世界推測部102が、図237で示されるような画素3101(センサ2の所定の1つの検出素子に対応する画素3101)を注目画素として、図237で示されるような近似関数f(ｘ)(X断面波形F(ｘ)の近似関数f(ｘ))を既に生成しているとする。
【1729】
なお、図237の例では、画素3101の画素値(入力画素値)がPとされ、かつ、画素3101の形状が、1辺の長さが1の正方形とされている。また、空間方向のうちの、画素3101の1辺に平行な方向(図中水平方向)がX方向とされ、X方向に垂直な方向(図中垂直方向)がY方向とされている。
【1730】
また、図237の下側に、画素3101の中心が原点とされる空間方向(X方向とY方向)の座標系(以下、注目画素座標系と称する)と、その座標系における画素3101が示されている。
【1731】
さらに、図237の上方に、ｙ=0(ｙは、図中下側で示される注目画素座標系のY方向の座標値)における近似関数f(ｘ)をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系のX方向のｘ軸と同一の軸であり(原点も同一であり)、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。
【1732】
この場合、近似関数f(ｘ)と画素3101の画素値Pの間には、次の式(170)の関係が成立する。
【1733】
【数137】

【1734】
また、図237で示されるように、画素3101は、傾きG_(f)で表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部101(図236)が、傾きG_(f)で表されるデータの定常性に対応するデータ定常性情報として、図237で示されるような角度θを既に出力しているとする。
【1735】
この場合、例えば、1次元再積分方法においては、図238で示されるように、X方向に-0.5乃至0.5の範囲、かつY方向に-0.5乃至0.5の範囲(図237の画素3101が位置する範囲)に、4個の画素3111乃至画素3114を新たに創造することが可能である。
【1736】
なお、図238の下側に、図237のものと同一の注目画素座標系と、その注目画素座標系における画素3111乃至画素3114が示されている。また、図238の上側に、図237のものと同一のグラフ(ｙ=0における近似関数f(ｘ)をグラフ化したもの)が示されている。
【1737】
具体的には、図238で示されるように、1次元再積分方法においては、次の式(171)により画素3111の画素値M(1)の算出が、次の式(172)により画素3112の画素値M(2)の算出が、次の式(173)により画素3113の画素値M(3)の算出が、次の式(174)により画素3114の画素値M(4)の算出が、それぞれ可能である。
【1738】
【数138】

【1739】
【数139】

【1740】
【数140】

【1741】
【数141】

【1742】
なお、式(171)のｘ_(ｓ1)、式(172)のｘ_(ｓ2)、式(173)のｘ_(ｓ3)、および式(174)のｘ_(ｓ4)のそれぞれは、対応する式の積分開始位置を表している。また、式(171)のｘ_(e1)、式(172)のｘ_(e2)、式(173)のｘ_(e3)、および式(174)のｘ_(e4)のそれぞれは、対応する式の積分終了位置を表している。
【1743】
式(171)乃至式(174)のそれぞれの右辺の積分範囲は、画素3111乃至画素3114のそれぞれの画素幅(X方向の長さ)となる。即ち、ｘ_(e1)-ｘ_(ｓ1),ｘ_(e2)-ｘ_(ｓ2),ｘ_(e3)-ｘ_(ｓ3),ｘ_(e4)-ｘ_(ｓ4)のそれぞれは、0.5となる。
【1744】
ただし、いまの場合、ｙ=0における近似関数f(ｘ)と同一形状の1次元の波形が、Y方向ではなく、傾きG_(f)で表されるデータの定常性の方向(即ち、角度θ方向)に連なっていると考えられる(実際には、ｙ=0におけるX断面波形F(ｘ)と同一形状の波形が定常性の方向に連なっている)。即ち、図238の注目画素座標系における原点(0,0)(図237の画素3101の中心)における画素値f(0)を画素値f1とした場合、画素値f1が続く方向は、Y方向ではなく、傾きG_(f)で表されるデータの定常性の方向(角度θ方向)である。
【1745】
換言すると、Y方向の所定の位置ｙ(ただし、ｙは0以外の数値)における近似関数f(ｘ)の波形を考えた場合、画素値f1となる位置は、位置(0,ｙ)ではなく、位置(0,ｙ)からX方向に所定の量(ここでも、このような量をシフト量と称することにする。また、シフト量は、Y方向の位置ｙに依存する量であるので、このシフト量をC_(ｘ)(ｙ)と記述することにする)だけ移動した位置(C_(ｘ)(ｙ),ｙ)である。
【1746】
従って、上述した式(171)乃至式(174)のそれぞれの右辺の積分範囲として、求めたい画素値M(l)(ただし、lは、1乃至4のうちのいずれかの整数値)の中心が存在するY方向の位置ｙを考慮した範囲、即ち、シフト量C_(ｘ)(ｙ)を考慮した積分範囲の設定が必要である。
【1747】
具体的には、例えば、画素3111と画素3112の中心が存在するY方向の位置ｙは、ｙ=0ではなく、ｙ=0.25である。
【1748】
従って、ｙ=0.25における近似関数f(ｘ)の波形は、ｙ=0における近似関数f(ｘ)の波形をX方向にシフト量C_(ｘ)(0.25)だけ移動させた波形に相当する。
【1749】
換言すると、上述した式(171)において、画素3111に対する画素値M(1)は、ｙ=0における近似関数f(ｘ)を所定の積分範囲(開始位置ｘ_(ｓ1)から終了位置ｘ_(e1)まで)で積分したものであるとすると、その積分範囲は、開始位置ｘ_(ｓ1)=-0.5から終了位置ｘ_(e1)=0までの範囲(画素3111がX方向に占める範囲そのもの)ではなく、図238で示される範囲、即ち、開始位置ｘ_(ｓ1)=-0.5+C_(ｘ)(0.25)から終了位置ｘ_(e1)=0+C_(ｘ)(0.25)(シフト量C_(ｘ)(0.25)だけ画素3111を仮に移動させた場合における、画素3111がX方向に占める範囲)となる。
【1750】
同様に、上述した式(172)において、画素3112に対する画素値M(2)は、ｙ=0における近似関数f(ｘ)を所定の積分範囲(開始位置ｘ_(ｓ2)から終了位置ｘ_(e2)まで)で積分したものであるとすると、その積分範囲は、開始位置ｘ_(ｓ2)=0から終了位置ｘ_(e2)=0.5までの範囲(画素3112のX方向に占める範囲そのもの)ではなく、図238で示される範囲、即ち、開始位置ｘ_(ｓ2)=0+C_(ｘ)(0.25)から終了位置ｘ_(e2)=0.5+C_(ｘ)(0.25)(シフト量C_(ｘ)(0.25)だけ画素3112を仮に移動させた場合における、画素3112のX方向に占める範囲)となる。
【1751】
また、例えば、画素3113と画素3114の中心が存在するY方向の位置ｙは、ｙ=0ではなく、ｙ=-0.25である。
【1752】
従って、ｙ=-0.25における近似関数f(ｘ)の波形は、ｙ=0における近似関数f(ｘ)の波形をX方向にシフト量C_(ｘ)(-0.25)だけ移動させた波形に相当する。
【1753】
換言すると、上述した式(173)において、画素3113に対する画素値M(3)は、ｙ=0における近似関数f(ｘ)を所定の積分範囲(開始位置ｘ_(ｓ3)から終了位置ｘ_(e3)まで)で積分したものであるとすると、その積分範囲は、開始位置ｘ_(ｓ3)=-0.5から終了位置ｘ_(e3)=0までの範囲(画素3113のX方向に占める範囲そのもの)ではなく、図238で示される範囲、即ち、開始位置ｘ_(ｓ3)=-0.5+C_(ｘ)(-0.25)から終了位置ｘ_(e3)=0+C_(ｘ)(-0.25)(シフト量C_(ｘ)(-0.25)だけ画素3113を仮に移動させた場合における、画素3113のX方向に占める範囲)となる。
【1754】
同様に、上述した式(174)において、画素3114に対する画素値M(4)は、ｙ=0における近似関数f(ｘ)を所定の積分範囲(開始位置ｘ_(ｓ4)から終了位置ｘ_(e4)まで)で積分したものであるとすると、その積分範囲は、開始位置ｘ_(ｓ4)=0から終了位置ｘ_(e4)=0.5までの範囲(画素3114のX方向の占める範囲そのもの)ではなく、図238で示される範囲、即ち、開始位置ｘ_(ｓ4)=0+C_(ｘ)(-0.25)から終了位置ｘ_(e4)=0.5+C_(ｘ)(-0.25)(シフト量C_(ｘ)(-0.25)だけ画素3114を仮に移動させた場合における、画素3114のX方向に占める範囲)となる。
【1755】
従って、画像生成部102(図236)は、上述した式(171)乃至式(174)のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値M(1)乃至M(4)のそれぞれとして出力することになる。
【1756】
このように、画像生成部102は、1次元再積分手法を利用することで、センサ2(図236)からの出力画素3101(図237)における画素として、出力画素3101よりも空間解像度の高い4つの画素、即ち、画素3111乃至画素3114(図238)を創造することができる。さらに、図示はしないが、上述したように、画像生成部102は、画素3111乃至画素3114のみならず、積分範囲を適宜変えることで、出力画素3101に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【1757】
図239は、このような1次元再積分手法を利用する画像生成部103の構成例を表している。
【1758】
図239で示されるように、この例の画像生成部103には、条件設定部3121、特徴量記憶部3122、積分成分演算部3123、および出力画素値演算部3124が設けられている。
【1759】
条件設定部3121は、実世界推定部102より供給された実世界推定情報(図239の例では、近似関数f(ｘ)の特徴量)に基づいて近似関数f(ｘ)の次数nを設定する。
【1760】
条件設定部3121はまた、近似関数f(ｘ)を再積分する場合(出力画素値を演算する場合)の積分範囲を設定する。なお、条件設定部3121が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数f(ｘ)は空間方向(X方向)に積分されるので、センサ2(図236)からの入力画像の各画素の空間的な大きさに対する、出力画素(画像生成部103がこれから演算する画素)の相対的な大きさ(空間解像度の倍率)がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部3121は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【1761】
特徴量記憶部3122は、実世界推定部102より順次供給されてくる近似関数f(ｘ)の特徴量を一次的に記憶する。そして、特徴量記憶部3122は、近似関数f(ｘ)の特徴量の全てを記憶すると、近似関数f(ｘ)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部3124に供給する。
【1762】
ところで、上述したように、画像生成部103は、上述した式(169)を利用して出力画素値Mを演算するが、上述した式(169)の右辺に含まれる近似関数f(ｘ)は、具体的には、次の式(175)のように表される。
【1763】
【数142】

【1764】
なお、式(175)において、ｗ_(i)は、実世界推定部102より供給される近似関数f(ｘ)の特徴量を表している。
【1765】
従って、上述した式(169)の右辺の近似関数f(ｘ)に、式(175)の近似関数f(ｘ)を代入して、式(169)の右辺を展開(演算)すると、出力画素値Mは、次の式(176)のように表される。
【1766】
【数143】

【1767】
式(176)において、K_(i)(ｘ_(ｓ),ｘ_(e))は、i次項の積分成分を表している。即ち、積分成分K_(i)(ｘ_(ｓ),ｘ_(e))は、次の式(177)で示される通りである。
【1768】
【数144】

【1769】
積分成分演算部3123は、この積分成分K_(i)(ｘ_(ｓ),ｘ_(e))を演算する。
【1770】
具体的には、式(177)で示されるように、積分成分K_(i)(ｘ_(ｓ),ｘ_(e))は、積分範囲の開始位置ｘ_(ｓ)、および終了位置ｘ_(e)、ゲインG_(e)、並びにi次項のiが既知であれば演算可能である。
【1771】
これらのうちの、ゲインG_(e)は、条件設定部3121により設定された空間解像度倍率(積分範囲)により決定される。
【1772】
iの範囲は、条件設定部3121により設定された次数nにより決定される。
【1773】
また、積分範囲の開始位置ｘ_(ｓ)、および終了位置ｘ_(e)のそれぞれは、これから生成する出力画素の中心画素位置(ｘ,ｙ)および画素幅、並びにデータの定常性の方向を表すシフト量C_(ｘ)(ｙ)により決定される。なお、(ｘ,ｙ)は、実世界推定部102が近似関数f(ｘ)を生成したときの注目画素の中心位置からの相対位置を表している。
【1774】
さらに、これから生成する出力画素の中心画素位置(ｘ,ｙ)および画素幅のそれぞれは、条件設定部3121により設定された空間解像度倍率(積分範囲)により決定される。
【1775】
また、シフト量C_(ｘ)(ｙ)と、データ定常性検出部101より供給された角度θは、次の式(178)と式(179)のような関係が成り立つので、シフト量C_(ｘ)(ｙ)は角度θにより決定される。
【1776】
【数145】

【1777】
【数146】

【1778】
なお、式(178)において、G_(f)は、データの定常性の方向を表す傾きを表しており、θは、データ定常性検出部101(図236)より出力されるデータ定常性情報の1つである角度(空間方向の1方向であるX方向と、傾きG_(f)で表されるデータの定常性の方向とのなす角度)を表している。また、dｘは、X方向の微小移動量を表しており、dｙは、dｘに対するY方向(X方向と垂直な空間方向)の微小移動量を表している。
【1779】
従って、積分成分演算部3123は、条件設定部3121により設定された次数および空間解像度倍率(積分範囲)、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度θに基づいて積分成分K_(i)(ｘ_(ｓ),ｘ_(e))を演算し、その演算結果を積分成分テーブルとして出力画素値演算部3124に供給する。
【1780】
出力画素値演算部3124は、特徴量記憶部3122より供給された特徴量テーブルと、積分成分演算部3123より供給された積分成分テーブルを利用して、上述した式(176)の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【1781】
次に、図240のフローチャートを参照して、1次元再積分手法を利用する画像生成部103(図239)の画像の生成の処理(図40のステップS103の処理)について説明する。
【1782】
例えば、いま、上述した図40のステップS102の処理で、実世界推測部102が、上述した図237で示されるような画素3101を注目画素として、図237で示されるような近似関数f(ｘ)を既に生成しているとする。
【1783】
また、上述した図40のステップS101の処理で、データ定常性検出部101が、データ定常性情報として、図237で示されるような角度θを既に出力しているとする。
【1784】
この場合、図240のステップS3101において、条件設定部3121は、条件(次数と積分範囲)を設定する。
【1785】
例えば、いま、次数として5が設定されるとともに、積分範囲として空間4倍密(画素のピッチ幅が上下左右ともに1/2倍となる空間解像度倍率)が設定されたとする。
【1786】
即ち、この場合、図238で示されるように、X方向に-0.5乃至0.5の範囲、かつY方向に-0.5乃至0.5の範囲(図237の画素3101の範囲)に、4個の画素3111乃至画素3114を新たに創造することが設定されたことになる。
【1787】
ステップS3102において、特徴量記憶部3122は、実世界推定部102より供給された近似関数f(ｘ)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、5次の多項式である近似関数f(ｘ)の係数ｗ_(0)乃至ｗ_(5)が実世界推定部102より供給されるので、特徴量テーブルとして、(ｗ_(0),ｗ_(1),ｗ_(2),ｗ_(3),ｗ_(4),ｗ_(5))が生成される。
【1788】
ステップS3103において、積分成分演算部3123は、条件設定部3121により設定された条件(次数および積分範囲)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度θ)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1789】
具体的には、例えば、これから生成する画素3111乃至画素3114のそれぞれに対して、番号(このような番号を、以下、モード番号と称する)1乃至4のそれぞれが付されているとすると、積分成分演算部3123は、上述した式(177)の積分成分K_(i)(ｘ_(ｓ),ｘ_(e))を、次の式(180)の左辺で示される積分成分K_(i)(l)といったl(ただし、lはモード番号を表している)の関数として演算する。
【1790】
K_(i)(l)=K_(i)(ｘ_(ｓ),ｘ_(e)) ・・・(180)
【1791】
具体的には、いまの場合、次の式(181)で示される積分成分K_(i)(l)が演算される。
【1792】
【数147】

【1793】
なお、式(181)において、左辺が積分成分K_(i)(l)を表し、右辺が積分成分K_(i)(ｘ_(ｓ),ｘ_(e))を表している。即ち、いまの場合、lは、1乃至4のうちのいずれかであり、かつ、iは0乃至5のうちのいずれかであるので、6個のK_(i)(1),6個のK_(i)(2),6個のK_(i)(3),6個のK_(i)(4)の総計24個のK_(i)(l)が演算されることになる。
【1794】
より具体的には、はじめに、積分成分演算部3123は、データ定常性検出部101より供給された角度θを使用して、上述した式(178)と式(179)よりシフト量C_(ｘ)(-0.25)、およびC_(ｘ)(0.25)のそれぞれを演算する。
【1795】
次に、積分成分演算部3123は、演算したシフト量C_(ｘ)(-0.25)、およびC_(ｘ)(0.25)を使用して、式(181)の4つの式の各右辺の積分成分K_(i)(ｘ_(ｓ),ｘ_(e))のそれぞれを、i=0乃至5についてそれぞれ演算する。なお、この積分成分K_(i)(ｘ_(ｓ),ｘ_(e))の演算においては、上述した式(177)が使用される。
【1796】
そして、積分成分演算部3123は、式(181)に従って、演算した24個の積分成分K_(i)(ｘ_(ｓ),ｘ_(e))のそれぞれを、対応する積分成分K_(i)(l)に変換し、変換した24個の積分成分K_(i)(l)(即ち、6個のK_(i)(1)、6個のK_(i)(2)、6個のK_(i)(3)、および6個のK_(i)(4))を含む積分成分テーブルを生成する。
【1797】
なお、ステップS3102の処理とステップS3103の処理の順序は、図240の例に限定されず、ステップS3103の処理が先に実行されてもよいし、ステップS3102の処理とステップS3103の処理が同時に実行されてもよい。
【1798】
次に、ステップS3104において、出力画素値演算部3124は、ステップS3102の処理で特徴量記憶部3122により生成された特徴量テーブルと、ステップS3103の処理で積分成分演算部3123により生成された積分成分テーブルに基づいて出力画素値M(1)乃至M(4)のそれぞれを演算する。
【1799】
具体的には、いまの場合、出力画素値演算部3124は、上述した式(176)に対応する、次の式(182)乃至式(185)の右辺を演算することで、画素3111(モード番号1の画素)の画素値M(1)、画素3112(モード番号2の画素)の画素値M(2)、画素3113(モード番号3の画素)の画素値M(3)、および画素3114(モード番号4の画素)の画素値M(4)のそれぞれを演算する。
【1800】
【数148】

【1801】
【数149】

【1802】
【数150】

【1803】
【数151】

【1804】
ステップS3105において、出力画素値演算部3124は、全画素の処理を終了したか否かを判定する。
【1805】
ステップS3105において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS3102に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS3102乃至S3104の処理が繰り返される。
【1806】
そして、全画素の処理が終了すると(ステップS3105において、全画素の処理が終了されたと判定すると)、出力画素値演算部3124は、ステップS3106において、画像を出力する。その後、画像の生成の処理は終了となる。
【1807】
次に、図241乃至図248を参照して、所定の入力画像に対して、1次元再積分手法を適用して得られた出力画像と、他の手法(従来のクラス分類適応処理)を適用して得られた出力画像の違いについて説明する。
【1808】
図241は、入力画像の元の画像を示す図であり、図242は、図241の元の画像に対応する画像データを示している。図242において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向であるX方向を示し、図中右上方向の軸は、画像の空間方向の他の方向であるY方向を示す。なお、後述する図244、図246、および図248の軸のそれぞれは、図242の軸と対応している。
【1809】
図243は、入力画像の例を示す図である。図243で示される入力画像は、図241で示される画像の2×2の画素からなるブロックに属する画素の画素値の平均値を、1つの画素の画素値として生成された画像である。即ち、入力画像は、図241で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図244は、図243の入力画像に対応する画像データを示している。
【1810】
図241で示される元の画像において、上下方向から、ほぼ5度時計方向に傾いた細線の画像が含まれている。同様に、図243で示される入力画像において、上下方向から、ほぼ5度時計方向に傾いた細線の画像が含まれている。
【1811】
図245は、図243で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像(以下、図245で示される画像を、従来の画像と称する)を示す図である。また、図246は、従来の画像に対応する画像データを示している。
【1812】
なお、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング(写像)されることにより、高画質の画像に変換される。
【1813】
図247は、図243で示される入力画像に、本発明が適用される1次元再積分手法を適用して得られた画像(以下、図247で示される画像を、本発明の画像と称する)を示す図である。また、図248は、本発明の画像に対応する画像データを示している。
【1814】
図245の従来の画像と、図247の本発明の画像を比較するに、従来の画像においては、細線の画像が、図241の元の画像とは異なるものになっているのに対して、本発明の画像においては、細線の画像が、図241の元の画像とほぼ同じものになっていることがわかる。
【1815】
この違いは、従来のクラス分類適応処理は、あくまでも図243の入力画像を基準(原点)として処理を行う手法であるのに対して、本発明の1次元再積分手法は、細線の定常性を考慮して、図241の元の画像を推定し(元の画像に対応する近似関数f(ｘ)を生成し)、推定した元の画像を基準(原点)として処理を行う(再積分して画素値を演算する)手法であるからである。
【1816】
このように、1次元再積分手法においては、1次元多項式近似手法により生成された1次元の多項式である近似関数f(ｘ)(実世界のX断面波形F(ｘ)の近似関数f(ｘ))を基準(原点)として、近似関数f(ｘ)を任意の範囲に積分することで出力画像(画素値)が生成される。
【1817】
従って、1次元再積分手法においては、従来の他の手法に比較して、元の画像(センサ2に入射される前の実世界1の光信号)により近い画像の出力が可能になる。
【1818】
換言すると、1次元再積分手法においては、図236のデータ定常性検出部101が、それぞれ時空間積分効果を有する、センサ2の複数の検出素子により実世界1の光信号が射影され、実世界1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性を検出し、実世界推定部102が、検出されたデータの定常性に対応して、入力画像の時空間方向のうち1次元方向の位置に対応する画素の画素値が、その1次元方向の積分効果により取得された画素値であるとして、実世界1の光信号を表す光信号関数F(具体的には、X断面波形F(ｘ))を、所定の近似関数f(ｘ)で近似することで、光信号関数Fを推定していることが前提とされている。
【1819】
詳細には、例えば、検出されたデータの定常性に対応する線からの1次元方向に沿った距離に対応する各画素の画素値が、その1次元方向の積分効果により取得された画素値であるとして、X断面波形F(ｘ)が近似関数f(ｘ)で近似されていることが前提とされている。
【1820】
そして、1次元再積分手法においては、このような前提に基づいて、例えば、図236(図3)の画像生成部103が、実世界推定部102により推定されたX断面波形F(ｘ)、即ち、近似関数f(ｘ)を、1次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値Mを生成し、それを出力画像として出力する。
【1821】
従って、1次元再積分手法においては、従来の他の手法に比較して、元の画像(センサ2に入射される前の実世界1の光信号)により近い画像の出力が可能になる。
【1822】
また、1次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度(時間解像度、または空間解像度)を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。
【1823】
さらに、1次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像(画素値)の算出が可能となる。
【1824】
次に、図249乃至図255を参照して、2次元再積分手法について説明する。
【1825】
2次元再積分手法においては、2次元多項式近似手法により近似関数f(ｘ,ｙ)が既に生成されていることが前提とされる。
【1826】
即ち、例えば、図249で示されるような、傾きG_(F)で表される空間方向の定常性を有する実世界1(図236)の光信号を表す画像関数F(ｘ,ｙ,ｔ)を、空間方向(X方向とY方向)に射影した波形、即ち、X-Y平面上の波形F(ｘ,ｙ)が、n次(nは、任意の整数)の多項式である近似関数f(ｘ,ｙ)に近似されていることが前提とされる。
【1827】
図249において、図中、水平方向は、空間方向の1方向であるX方向を、右上方向は、空間方向の他方向であるY方向を、垂直方向は、光のレベルを、それぞれ表している。G_(F)は、空間方向の定常性の傾きを表している。
【1828】
なお、図249の例では、定常性の方向は、空間方向(X方向とY方向)とされているため、近似の対象とされる光信号の射影関数は、関数F(ｘ,ｙ)とされているが、後述するように、定常性の方向に応じて、関数F(ｘ,ｔ)や関数F(ｙ,ｔ)が近似の対象とされてもよい。
【1829】
図249の例の場合、2次元再積分手法においては、出力画素値Mは、次の式(186)のように演算される。
【1830】
【数152】

【1831】
なお、式(186)において、ｙ_(ｓ)は、Y方向の積分開始位置を表しており、ｙ_(e)は、Y方向の積分終了位置を表している。同様に、ｘ_(ｓ)は、X方向の積分開始位置を表しており、ｘ_(e)は、X方向の積分終了位置を表している。また、G_(e)は、所定のゲインを表している。
【1832】
式(186)において、積分範囲は任意に設定可能であるので、2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素(センサ2(図236)からの入力画像の画素)に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。
【1833】
図250は、2次元再積分手法を利用する画像生成部103の構成例を表している。
【1834】
図250で示されるように、この例の画像生成部103には、条件設定部3201、特徴量記憶部3202、積分成分演算部3203、および出力画素値演算部3204が設けられている。
【1835】
条件設定部3201は、実世界推定部102より供給された実世界推定情報(図250の例では、近似関数f(ｘ,ｙ)の特徴量)に基づいて近似関数f(ｘ,ｙ)の次数nを設定する。
【1836】
条件設定部3201はまた、近似関数f(ｘ,ｙ)を再積分する場合(出力画素値を演算する場合)の積分範囲を設定する。なお、条件設定部3201が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数f(ｘ,ｙ)は空間方向(X方向とY方向)に積分されるので、センサ2からの入力画像の各画素の空間的な大きさに対する、出力画素(画像生成部103がこれから生成する画素)の相対的な大きさ(空間解像度の倍率)がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部3201は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【1837】
特徴量記憶部3202は、実世界推定部102より順次供給されてくる近似関数f(ｘ,ｙ)の特徴量を一次的に記憶する。そして、特徴量記憶部3202は、近似関数f(ｘ,ｙ)の特徴量の全てを記憶すると、近似関数f(ｘ,ｙ)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部3204に供給する。
【1838】
ここで、近似関数f(ｘ,ｙ)の詳細について説明する。
【1839】
例えば、いま、上述した図249で示されるような傾きG_(F)で表される空間方向の定常性を有する実世界1(図236)の光信号(波形F(ｘ,ｙ)で表される光信号)が、センサ2(図236)により検出されて入力画像(画素値)として出力されたとする。
【1840】
さらに、例えば、図251で示されるように、データ定常性検出部101(図3)が、この入力画像のうちの、X方向に4画素分、かつY方向に5画素分の総計20個の画素(図中、点線で表される20個の正方形)から構成される入力画像の領域3221に対してその処理を実行し、データ定常性情報の1つとして角度θ(傾きG_(F)に対応する傾きG_(f)で表されるデータの定常性の方向と、X方向とのなす角度θ)を出力したとする。
【1841】
なお、実世界推定部102から見ると、データ定常性検出部101は、注目画素における角度θを単に出力すればよいので、データ定常性検出部101の処理範囲は、上述した入力画像の領域3221に限定されない。
【1842】
また、入力画像の領域3221において、図中水平方向は、空間方向の1方向であるX方向を表しており、図中垂直方向は、空間方向の他方向であるY方向を表している。
【1843】
さらに、図251中、左から2画素目であって、下から3画素目の画素が注目画素とされ、その注目画素の中心を原点(0,0)とするように(ｘ,ｙ)座標系が設定されている。そして、原点(0,0)を通る角度θの直線(データの定常性の方向を表す傾きG_(f)の直線)に対するX方向の相対的な距離(以下、断面方向距離と称する)がｘ’とされている。
【1844】
さらに、図251中、右側のグラフは、3次元の空間上の位置ｘ,ｙ、およびｚ、並びに時刻ｔを変数とする画像関数F(ｘ,ｙ,ｔ)を、Y方向の任意の位置ｙにおいて、X方向に射影した1次元の波形(以下、このような波形を、X断面波形F(ｘ’)と称する)が近似された関数であって、n次(nは、任意の整数)の多項式である近似関数f(ｘ’)を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【1845】
この場合、図251で示される近似関数f(ｘ’)は、n次の多項式であるので、次の式(187)のように表される。
【1846】
【数153】

【1847】
また、角度θが決定されていることから、原点(0,0)を通る角度θの直線は一意に決まり、Y方向の任意の位置ｙにおける、直線のX方向の位置ｘ_(1)が、次の式(188)のように表される。ただし、式(188)において、ｓはcｏｔθを表している。
【1848】
ｘ_(1)=ｓ×ｙ ・・・(188)
【1849】
即ち、図251で示されるように、傾きG_(f)で表されるデータの定常性に対応する直線上の点は、座標値(ｘ_(1),ｙ)で表される。
【1850】
式(188)より、断面方向距離ｘ’は、次の式(189)のように表される。
【1851】
ｘ’=ｘ-ｘ_(1)=ｘ-ｓ×ｙ ・・・(189)
【1852】
従って、入力画像の領域3221内の任意の位置(ｘ,ｙ)における近似関数f(ｘ,ｙ)は、式(187)と式(189)より、次の式(190)のように示される。
【1853】
【数154】

【1854】
なお、式(190)において、ｗ_(i)は、近似関数f(ｘ,ｙ)の特徴量を表している。
【1855】
図250に戻り、式(190)に含まれる特徴量ｗ_(i)が、実世界推定部102より供給され、特徴量記憶部3202に記憶される。特徴量記憶部3202は、式(190)で表される特徴量ｗ_(i)の全てを記憶すると、特徴量ｗ_(i)を全て含む特徴量テーブルを生成し、出力画素値演算部3204に供給する。
【1856】
また、上述した式(186)の右辺の近似関数f(ｘ,ｙ)に、式(190)の近似関数f(ｘ,ｙ)を代入して、式(186)の右辺を展開(演算)すると、出力画素値Mは、次の式(191)のように表される。
【1857】
【数155】

【1858】
式(191)において、K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))は、i次項の積分成分を表している。即ち、積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))は、次の式(192)で示される通りである。
【1859】
【数156】

【1860】
積分成分演算部3203は、この積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))を演算する。
【1861】
具体的には、式(191)と式(192)で示されるように、積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))は、積分範囲のX方向の開始位置ｘ_(ｓ)、およびX方向の終了位置ｘ_(e)、積分範囲のY方向の開始位置ｙ_(ｓ)、およびY方向の終了位置ｙ_(e)、変数ｓ、ゲインG_(e)、並びにi次項のiが既知であれば演算可能である。
【1862】
これらのうちの、ゲインG_(e)は、条件設定部3201により設定された空間解像度倍率(積分範囲)により決定される。
【1863】
iの範囲は、条件設定部3201により設定された次数nにより決定される。
【1864】
変数ｓは、上述したように、cｏｔθであるので、データ定常性検出部101より出力される角度θにより決定される。
【1865】
また、積分範囲のX方向の開始位置ｘ_(ｓ)、およびX方向の終了位置ｘ_(e)、並びに、積分範囲のY方向の開始位置ｙ_(ｓ)、およびY方向の終了位置ｙ_(e)のそれぞれは、これから生成する出力画素の中心画素位置(ｘ,ｙ)および画素幅により決定される。なお、(ｘ,ｙ)は、実世界推定部102が近似関数f(ｘ)を生成したときの注目画素の中心位置からの相対位置を表している。
【1866】
さらに、これから生成する出力画素の中心画素位置(ｘ,ｙ)および画素幅のそれぞれは、条件設定部3201により設定された空間解像度倍率(積分範囲)により決定される。
【1867】
従って、積分成分演算部3203は、条件設定部3201により設定された次数および空間解像度倍率(積分範囲)、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度θに基づいて積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))を演算し、その演算結果を積分成分テーブルとして出力画素値演算部3204に供給する。
【1868】
出力画素値演算部3204は、特徴量記憶部3202より供給された特徴量テーブルと、積分成分演算部3203より供給された積分成分テーブルを利用して、上述した式(191)の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【1869】
次に、図252のフローチャートを参照して、2次元再積分手法を利用する画像生成部103(図251)の画像の生成の処理(図40のステップS103の処理)について説明する。
【1870】
例えば、いま、図249で示される関数F(ｘ,ｙ)で表される光信号がセンサ2に入射されて入力画像となり、上述した図40のステップS102の処理で、実世界推測部102が、その入力画像のうちの、図253で示されるような1つの画素3231を注目画素として、関数F(ｘ,ｙ)を近似する近似関数f(ｘ,ｙ)を既に生成しているとする。
【1871】
なお、図253において、画素3231の画素値(入力画素値)がPとされ、かつ、画素3231の形状が、1辺の長さが1の正方形とされている。また、空間方向のうちの、画素3231の1辺に平行な方向がX方向とされ、X方向に垂直な方向がY方向とされている。さらに、画素3231の中心が原点とされる空間方向(X方向とY方向)の座標系(以下、注目画素座標系と称する)が設定されている。
【1872】
また、図253において、上述した図40のステップS101の処理で、データ定常性検出部101が、画素3231を注目画素として、傾きG_(f)で表されるデータの定常性に対応するデータ定常性情報として、角度θを既に出力しているとする。
【1873】
図252に戻り、この場合、ステップS3201において、条件設定部3201は、条件(次数と積分範囲)を設定する。
【1874】
例えば、いま、次数として5が設定されるとともに、積分範囲として空間4倍密(画素のピッチ幅が上下左右ともに1/2倍となる空間解像度倍率)が設定されたとする。
【1875】
即ち、この場合、図254で示されるように、X方向に-0.5乃至0.5の範囲、かつY方向に-0.5乃至0.5の範囲(図253の画素3231の範囲)に、4個の画素3241乃至画素3244を新たに創造することが設定されたことになる。なお、図254においても、図253のものと同一の注目画素座標系が示されている。
【1876】
また、図254において、M(1)は、これから生成される画素3241の画素値を、M(2)は、これから生成される画素3242の画素値を、M(3)は、これから生成される画素3243の画素値を、M(4)は、これから生成される画素3241の画素値を、それぞれ表している。
【1877】
図252に戻り、ステップS3202において、特徴量記憶部3202は、実世界推定部102より供給された近似関数f(ｘ,ｙ)の特徴量を取得し、特徴量テーブルを生成する。いまの場合、5次の多項式である近似関数f(ｘ)の係数ｗ_(0)乃至ｗ_(5)が実世界推定部102より供給されるので、特徴量テーブルとして、(ｗ_(0),ｗ_(1),ｗ_(2),ｗ_(3),ｗ_(4),ｗ_(5))が生成される。
【1878】
ステップS3203において、積分成分演算部3203は、条件設定部3201により設定された条件(次数および積分範囲)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度θ)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1879】
具体的には、例えば、これから生成される画素3241乃至画素3244のそれぞれに対して、番号(このような番号を、以下、モード番号と称する)1乃至4のそれぞれが付されているとすると、積分成分演算部3203は、上述した式(191)の積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))を、次の式(193)の左辺で示される積分成分K_(i)(l)といったl(ただし、lはモード番号を表している)の関数として演算する。
【1880】
K_(i)(l)=K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e)) ・・・(193)
【1881】
具体的には、いまの場合、次の式(194)で示される積分成分K_(i)(l)が演算される。
【1882】
【数157】

【1883】
なお、式(194)において、左辺が積分成分K_(i)(l)を表し、右辺が積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))を表している。即ち、いまの場合、lは、1乃至4のうちのいずれかであり、かつ、iは0乃至5のうちのいずれかであるので、6個のK_(i)(1),6個のK_(i)(2),6個のK_(i)(3),6個のK_(i)(4)の総計24個のK_(i)(l)が演算されることになる。
【1884】
より具体的には、はじめに、積分成分演算部3203は、データ定常性検出部101より供給された角度θを使用して、上述した式(188)の変数ｓ(ｓ=cｏｔθ)を演算する。
【1885】
次に、積分成分演算部3203は、演算した変数ｓを使用して、式(194)の4つの式の各右辺の積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))のそれぞれを、i=0乃至5についてそれぞれ演算する。なお、この積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))の演算においては、上述した式(191)が使用される。
【1886】
そして、積分成分演算部3203は、式(194)に従って、演算した24個の積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e))のそれぞれを、対応する積分成分K_(i)(l)に変換し、変換した24個の積分成分K_(i)(l)(即ち、6個のK_(i)(1)、6個のK_(i)(2)、6個のK_(i)(3)、および6個のK_(i)(4))を含む積分成分テーブルを生成する。
【1887】
なお、ステップS3202の処理とステップS3203の処理の順序は、図252の例に限定されず、ステップS3203の処理が先に実行されてもよいし、ステップS3202の処理とステップS3203の処理が同時に実行されてもよい。
【1888】
次に、ステップS3204において、出力画素値演算部3204は、ステップS3202の処理で特徴量記憶部3202により生成された特徴量テーブルと、ステップS3203の処理で積分成分演算部3203により生成された積分成分テーブルに基づいて出力画素値M(1)乃至M(4)のそれぞれを演算する。
【1889】
具体的には、いまの場合、出力画素値演算部3204は、上述した式(191)に対応する、次の式(195)乃至式(198)の右辺のそれぞれを演算することで、図254で示される、画素3241(モード番号1の画素)の画素値M(1)、画素3242(モード番号2の画素)の画素値M(2)、画素3243(モード番号3の画素)の画素値M(3)、および画素3244(モード番号4の画素)の画素値M(4)のそれぞれを演算する。
【1890】
【数158】

【1891】
【数159】

【1892】
【数160】

【1893】
【数161】

【1894】
ただし、いまの場合、式(195)乃至式(198)のnは全て5となる。
【1895】
ステップS3205において、出力画素値演算部3204は、全画素の処理を終了したか否かを判定する。
【1896】
ステップS3205において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS3202に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS3202乃至S3204の処理が繰り返される。
【1897】
そして、全画素の処理が終了すると(ステップS3205において、全画素の処理が終了されたと判定すると)、出力画素値演算部3204は、ステップS3206において、画像を出力する。その後、画像の生成の処理は終了となる。
【1898】
このように、2次元再積分手法を利用することで、センサ2(図236)からの入力画像の画素3231(図253)における画素として、入力画素3231よりも空間解像度の高い4つの画素、即ち、画素3241乃至画素3244(図254)を創造することができる。さらに、図示はしないが、上述したように、画像生成部103は、画素3241乃至画素3244のみならず、積分範囲を適宜変えることで、入力画素3231に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【1899】
以上、2次元再積分手法の説明として、空間方向(X方向とY方向)に対する近似関数f(ｘ,ｙ)を2次元積分する例を用いたが、2次元再積分手法は、時空間方向(X方向とｔ方向、または、Y方向とｔ方向)に対しても適用可能である。
【1900】
即ち、上述した例は、実世界1(図236)の光信号が、例えば、図249で示されるような傾きG_(F)で表される空間方向の定常性を有する場合の例であったので、上述した式(186)で示されるような、空間方向(X方向とY方向)の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向(X方向とｔ方向、または、Y方向とｔ方向)に対して適用することも可能である。
【1901】
換言すると、2次元再積分手法の前提となる2次元多項式近似手法においては、光信号を表す画像関数F(ｘ,ｙ,ｔ)が、空間方向の定常性のみならず、時空間方向(ただし、X方向とｔ方向、または、Y方向とｔ方向)の定常性を有している場合であっても、2次元の多項式により近似することが可能である。
【1902】
具体的には、例えば、X方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図255で示されるようなX-ｔ平面においては、傾きV_(F)のように表される。換言すると、傾きV_(F)は、X-ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部101(図236)は、上述した角度θ(X-Y平面における、空間方向の定常性を表す傾きG_(F)に対応するデータ定常性情報)と同様に、X-ｔ平面における時空間方向の定常性を表す傾きV_(F)に対応するデータ定常性情報として、図255で示されるような動きθ(厳密には、図示はしないが、傾きV_(F)に対応する傾きV_(f)で表されるデータの定常性の方向と、空間方向のX方向とのなす角度である動きθ)を出力することが可能である。
【1903】
また、2次元多項式近似手法を利用する実世界推定部102(図236)は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数f(ｘ,ｔ)の係数(特徴量)ｗiを演算することが可能になる。ただし、この場合、使用される式は、上述した式(190)ではなく、次の式(199)である。
【1904】
【数162】

【1905】
なお、式(199)において、ｓはcｏｔθ(ただし、θは動きである)である。
【1906】
従って、2次元再積分手法を利用する画像生成部103(図236)は、次の式(200)の右辺に、上述した式(199)のf(ｘ,ｔ)を代入して、演算することで、画素値Mを算出することが可能になる。
【1907】
【数163】

【1908】
なお、式(200)において、ｔ_(ｓ)は、ｔ方向の積分開始位置を表しており、ｔ_(e)は、ｔ方向の積分終了位置を表している。同様に、ｘ_(ｓ)は、X方向の積分開始位置を表しており、ｘ_(e)は、X方向の積分終了位置を表している。G_(e)は、所定のゲインを表している。
【1909】
また、空間方向Xの変わりに、空間方向Yに注目した近似関数f(ｙ,ｔ)も、上述した近似関数f(ｘ、ｔ)と全く同様に取り扱うことが可能である。
【1910】
ところで、式(199)において、ｔ方向を一定とみなし、即ち、ｔ方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、2次元の多項式のうちの所定の1次元を一定として再積分する点で、2次元再積分手法の1つとみなしてもよいし、実際には、X方向の1次元の再積分をすることになるという点で、1次元再積分手法の1つとみなしてもよい。
【1911】
また、式(200)において、積分範囲は任意に設定可能であるので、2次元再積分手法においては、この積分範囲を適宜変えることで、元の画素(センサ2(図236)からの入力画像の画素)に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【1912】
即ち、2次元再積分手法においては、時間方向ｔの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向X(または、空間方向Y)の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向ｔと空間方向Xの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【1913】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、1次元再積分手法でも可能であるが、両方の解像度の創造は、1次元再積分手法では原理上不可能であり、2次元以上の再積分を行うことではじめて可能になる。即ち、2次元再積分手法と後述する3次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【1914】
また、2次元再積分手法は、1次元ではなく2次元の積分効果を考慮しているので、より実世界1(図236)の光信号に近い画像を生成することも可能になる。
【1915】
換言すると、2次元再積分手法においては、例えば、図236(図3)のデータ定常性検出部101が、それぞれ時空間積分効果を有する、センサ2の複数の検出素子により実世界1の光信号が射影され、実世界1の光信号の定常性(例えば、図249の傾きG_(F)で表される定常性)の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性(例えば、図251の傾きG_(f)で表されるデータの定常性)を検出する。
【1916】
そして、例えば、図236(図3)の実世界推定部102が、データ定常性検出部101により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも2次元方向(例えば、図249の空間方向Xと、空間方向Y)の位置に対応する画素の画素値が、少なくとも2次元方向の積分効果により取得された画素値であるとして、実世界1の光信号を表す光信号関数F(具体的には、図249の関数F(ｘ,ｙ))を、多項式である近似関数f(ｘ,ｙ)で近似することで、光信号関数Fを推定することが前提とされている。
【1917】
詳細には、例えば、実世界推定部102は、データ定常性検出部101により検出されたデータの定常性に対応する線(例えば、図251の傾きG_(f)に対応する線(矢印))からの少なくとも2次元方向に沿った距離(例えば、図251の断面方向距離ｘ‘)に対応する画素の画素値が、少なくとも2次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第1の関数を、多項式である第2の関数で近似することで、第1の関数を推定することが前提とされている。
【1918】
2次元再積分手法においては、このような前提に基づいて、例えば、図236(図3)の画像生成部103(構成は、図250)が、実世界推定部102により推定された関数F(ｘ,ｙ)、即ち、近似関数f(ｘ,ｙ)を、少なくとも2次元方向の所望の単位で積分する(例えば、上述した式(186)の右辺を演算する)ことにより所望の大きさの画素(例えば、図236の出力画像(画素値M)。具体的には、例えば、図254の画素3241乃至画素3244)に対応する画素値を生成する。
【1919】
従って、2次元再積分手法においては、時間解像度と空間解像度のうちのいずれか一方の創造のみならず、両方の解像度の創造が可能になる。また、2次元再積分手法においては、1次元再積分手法に比較して、より実世界1(図236)の光信号に近い画像を生成することも可能になる。
【1920】
次に、図256と図257を参照して、3次元再積分手法について説明する。
【1921】
3次元再積分手法においては、3次元関数近似手法により近似関数f(ｘ,ｙ,ｔ)が既に生成されていることが前提とされる。
【1922】
この場合、3次元再積分手法においては、出力画素値Mは、次の式(201)のように演算される。
【1923】
【数164】

【1924】
なお、式(201)において、ｔ_(ｓ)は、ｔ方向の積分開始位置を表しており、ｔ_(e)は、ｔ方向の積分終了位置を表している。同様に、ｙ_(ｓ)は、Y方向の積分開始位置を表しており、ｙ_(e)は、Y方向の積分終了位置を表している。また、ｘ_(ｓ)は、X方向の積分開始位置を表しており、ｘ_(e)は、X方向の積分終了位置を表している。さらに、G_(e)は、所定のゲインを表している。
【1925】
式(201)において、積分範囲は任意に設定可能であるので、3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素(センサ2(図236)からの入力画像の画素)に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。
【1926】
図256は、3次元再積分手法を利用する画像生成部103の構成例を表している。
【1927】
図256で示されるように、この例の画像生成部103には、条件設定部3301、特徴量記憶部3302、積分成分演算部3303、および出力画素値演算部3304が設けられている。
【1928】
条件設定部3301は、実世界推定部102より供給された実世界推定情報(図256の例では、近似関数f(ｘ,ｙ,ｔ)の特徴量)に基づいて近似関数f(ｘ,ｙ,ｔ)の次数nを設定する。
【1929】
条件設定部3301はまた、近似関数f(ｘ,ｙ,ｔ)を再積分する場合(出力画素値を演算する場合)の積分範囲を設定する。なお、条件設定部3301が設定する積分範囲は、画素の幅(縦幅と横幅)やシャッタ時間そのものである必要は無い。例えば、センサ2(図236)からの入力画像の各画素の空間的な大きさに対する、出力画素(画像生成部103がこれから生成する画素)の相対的な大きさ(空間解像度の倍率)がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ2(図236)のシャッタ時間に対する出力画素値の相対的な時間(時間解像度の倍率)がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部3301は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。
【1930】
特徴量記憶部3302は、実世界推定部102より順次供給されてくる近似関数f(ｘ,ｙ,ｔ)の特徴量を一次的に記憶する。そして、特徴量記憶部3302は、近似関数f(ｘ,ｙ,ｔ)の特徴量の全てを記憶すると、近似関数f(ｘ,ｙ,ｔ)の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部3304に供給する。
【1931】
ところで、上述した式(201)の右辺の近似関数f(ｘ,ｙ)の右辺を展開(演算)すると、出力画素値Mは、次の式(202)のように表される。
【1932】
【数165】

【1933】
式(202)において、K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))は、i次項の積分成分を表している。ただし、ｘ_(ｓ)はX方向の積分範囲の開始位置を、ｘ_(e)はX方向の積分範囲の終了位置を、ｙ_(ｓ)はY方向の積分範囲の開始位置を、ｙ_(e)はY方向の積分範囲の終了位置を、ｔ_(ｓ)はｔ方向の積分範囲の開始位置を、ｔ_(e)はｔ方向の積分範囲の終了位置を、それぞれ表している。
【1934】
積分成分演算部3303は、この積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))を演算する。
【1935】
具体的には、積分成分演算部3303は、条件設定部3301により設定された次数、および積分範囲(空間解像度倍率や時間解像度倍率)、並びにデータ定常性検出部101より出力されたデータ定常性情報のうちの角度θまたは動きθに基づいて積分成分K_(i)(ｘ_(ｓ),ｘ_(e),ｙ_(ｓ),ｙ_(e),ｔ_(ｓ),ｔ_(e))を演算し、その演算結果を積分成分テーブルとして出力画素値演算部3304に供給する。
【1936】
出力画素値演算部3304は、特徴量記憶部3302より供給された特徴量テーブルと、積分成分演算部3303より供給された積分成分テーブルを利用して、上述した式(202)の右辺を演算し、その演算結果を出力画素値Mとして外部に出力する。
【1937】
次に、図257のフローチャートを参照して、3次元再積分手法を利用する画像生成部103(図256)の画像の生成の処理(図40のステップS103の処理)について説明する。
【1938】
例えば、いま、上述した図40のステップS102の処理で、実世界推測部102(図236)が、入力画像のうちの、所定の画素を注目画素として、実世界1(図236)の光信号を近似する近似関数f(ｘ,ｙ,ｔ)を既に生成しているとする。
【1939】
また、上述した図40のステップS101の処理で、データ定常性検出部101(図236)が、実世界推定部102と同じ画素を注目画素として、データ定常性情報として、角度θまたは動きθを既に出力しているとする。
【1940】
この場合、図257のステップS3301において、条件設定部3301は、条件(次数と積分範囲)を設定する。
【1941】
ステップS3302において、特徴量記憶部3302は、実世界推定部102より供給された近似関数f(ｘ,ｙ,ｔ)の特徴量ｗ_(i)を取得し、特徴量テーブルを生成する。
【1942】
ステップS3303において、積分成分演算部3303は、条件設定部3301により設定された条件(次数および積分範囲)、並びにデータ定常性検出部101より供給されたデータ定常性情報(角度θまたは動きθ)に基づいて積分成分を演算し、積分成分テーブルを生成する。
【1943】
なお、ステップS3302の処理とステップS3303の処理の順序は、図257の例に限定されず、ステップS3303の処理が先に実行されてもよいし、ステップS3302の処理とステップS3303の処理が同時に実行されてもよい。
【1944】
次に、ステップS3304において、出力画素値演算部3304は、ステップS3302の処理で特徴量記憶部3302により生成された特徴量テーブルと、ステップS3303の処理で積分成分演算部3303により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。
【1945】
ステップS3305において、出力画素値演算部3304は、全画素の処理を終了したか否かを判定する。
【1946】
ステップS3305において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS3302に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS3302乃至S3304の処理が繰り返される。
【1947】
そして、全画素の処理が終了すると(ステップS3305において、全画素の処理が終了されたと判定すると)、出力画素値演算部3304は、ステップS3306において、画像を出力する。その後、画像の生成の処理は終了となる。
【1948】
このように、上述した式(201)において、その積分範囲は任意に設定可能であるので、3次元再積分手法においては、この積分範囲を適宜変えることで、元の画素(センサ2(図236)からの入力画像の画素)に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【1949】
即ち、3次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【1950】
具体的には、3次元再積分手法においては、2次元や1次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも2次元に縮退することなく処理することが可能になる。さらに、2次元に縮退していないので各次元の加工が可能になる。例えば、2次元再積分手法において、空間方向(X方向とY方向)に縮退している場合には時間方向であるｔ方向の加工ができなくなってしまう。これに対して、3次元再積分手法においては、時空間方向のいずれの加工も可能になる。
【1951】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、1次元再積分手法でも可能であるが、両方の解像度の創造は、1次元再積分手法では原理上不可能であり、2次元以上の再積分を行うことではじめて可能になる。即ち、上述した2次元再積分手法と3次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【1952】
また、3次元再積分手法は、1次元や2次元ではなく3次元の積分効果を考慮しているので、より実世界1(図236)の光信号に近い画像を生成することも可能になる。
【1953】
換言すると、3次元再積分似手法においては、例えば、図236(図3)の実世界推定部102は、それぞれ時空間積分効果を有する、センサ2の複数の検出素子により実世界1の光信号が射影され、実世界1の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも1次元方向の位置に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値であるとして、実世界の光信号を表す光信号関数Fを所定の近似関数fで近似することで、光信号関数Fを推定することが前提とされる。
【1954】
さらに、例えば、図236(図3)のデータ定常性検出部101が、入力画像のデータの定常性を検出した場合、実世界推定部102は、データ定常性検出部101により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも1次元方向の位置に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値であるとして、光信号関数Fを近似関数fで近似することで、光信号関数Fを推定することが前提とされる。
【1955】
詳細には、例えば、実世界推定部102は、定常性検出部101により検出されたデータの定常性に対応する線からの少なくとも1次元方向に沿った距離に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値であるとして、光信号関数Fを近似関数で近似することで、光信号関数を推定することが前提とされる。
【1956】
3次元再積分手法においては、例えば、図236(図3)の画像生成部103(構成は、図256)が、実世界推定部102により推定された光信号関数F、即ち、近似関数fを、少なくとも1次元方向の所望の単位で積分する(例えば、上述した式(201)の右辺を演算する)ことにより所望の大きさの画素に対応する画素値を生成する。
【1957】
従って、3次元再積分手法は、従来の画像生成手法や、上述した1次元または2次元再積分手法に比較して、より実世界1(図236)の光信号に近い画像を生成することも可能になる。
【1958】
次に、図258を参照して、実世界推定部102より入力される実世界推定情報が、実世界を近似的に表現する近似関数f(ｘ)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部103について説明する。
【1959】
尚、ここでいう微分値は、現実世界を近似的に表現する近似関数f(ｘ)を求めた後、その近似関数f(ｘ)から得られる1次微分式f(ｘ)’(近似関数がフレーム方向の場合、近似関数f(ｔ)から得られる1次微分式f(ｔ)’)を用いて、所定の位置で得られる値のことである。また、ここでいう傾きは、上述の近似関数f(ｘ)(または、f(ｔ))を求めることなく、所定の位置における周辺画素の画素値から直接得られる近似関数f(ｘ)上の所定の位置の傾きのことを示している。しかしながら、微分値は、近似関数f(ｘ)の所定の位置での傾きなので、いずれも、現実世界を近似的に記述する近似関数f(ｘ)上の所定の位置における傾きである。そこで、実世界推定部102より入力される実世界推定情報としての微分値と傾きについては、図258、および、図262の画像生成部103の説明においては、統一して近似関数f(ｘ)(または、f(ｔ))上の傾きと称する。
【1960】
傾き取得部3401は、実世界推定部102より入力される実世界を近似的に表現する近似関数f(ｘ)についての、各画素の傾きの情報と、対応する画素の画素値、および、定常性の方向の傾きを取得して、外挿補間部3402に出力する。
【1961】
外挿補間部3402は、傾き取得部3401より入力された各画素の近似関数f(ｘ)上の傾きと、対応する画素の画素値、および、定常性の方向の傾きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【1962】
次に、図259のフローチャートを参照して、図258の画像生成部103による画像の生成の処理について説明する。
【1963】
ステップS3401において、傾き取得部3401は、実世界推定部102より入力されてくる、各画素の近似関数f(ｘ)上の傾き(微分値)、位置、画素値、および、定常性の方向の傾きの情報を実世界推定情報として取得する。
【1964】
このとき、例えば、入力画像に対して空間方向X、および、空間方向Yについてそれぞれ2倍(合計4倍)の密度の画素からなる画像を生成する場合、実世界推定部102からは、図260で示されるような画素Pinに対して、傾きf(Xin)’(画素Pinの中央位置における傾き),f(Xin-Cｘ(-0.25))’(画素PinからY方向に2倍密度の画素が生成されるときの画素Paの中央位置の傾き),f(Xin-Cｘ(0.25))’(画素PinからY方向に2倍密度の画素が生成されるときの画素Pbの中央位置の傾き)、画素Pinの位置、画素値、および、定常性の方向の傾きG_(f)の情報が入力される。
【1965】
ステップS3402において、傾き取得部3401は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部3402に出力する。
【1966】
ステップS3403において、外挿補間部3402は、入力された画素の位置情報と定常性の方向の傾きG_(f)からシフト量を求める。
【1967】
ここで、シフト量Cｘ(ｔｙ)は、定常性の傾きがG_(f)で示されるとき、Cｘ(ｔｙ)=ｔｙ/G_(f)で定義される。このシフト量Cｘ(ｔｙ)は、空間方向Y=0の位置上で定義される近似関数f(ｘ)が、空間方向Y=ｔｙの位置における、空間方向Xに対するずれ幅を示すものである。従って、例えば、空間方向Y=0の位置上で近似関数がf(ｘ)として定義されている場合、この近似関数f(ｘ)は、空間方向Y=ｔｙにおいては、空間方向XについてCｘ(ｔｙ)だけずれた関数となるので、近似関数は、f(ｘ-Cｘ(ｔｙ))(=f(ｘ-ｔｙ/G_(f)))で定義されることになる。
【1968】
例えば、図260で示されるような画素Pinの場合、図中の1画素(図中の1画素の大きさは、水平方向、および、垂直方向ともに1であるものとする)を垂直方向に2分割するとき(垂直方向に倍密度の画素を生成するとき)、外挿補間部3402は、求めようとする画素Pa,Pbのシフト量を求める。すなわち、今の場合、画素Pa,Pbは、画素Pinからみて、空間方向Yについて、それぞれ-0.25,0.25だけシフトしているので、画素Pa,Pbのシフト量は、それぞれCｘ(-0.25),Cｘ(0.25)となる。尚、図260中において、画素Pinは、(Xin,Yin)を略重心位置とする正方形であり、画素Pa,Pbは、(Xin,Yin+0.25)、(Xin,Yin-0.25)をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【1969】
ステップS3404において、外挿補間部3402は、ステップS3403の処理で求められたシフト量Cｘ、実世界推定情報として取得された画素Pinの近似関数f(ｘ)上の注目画素上での傾きf(Xin)’、および、画素Pinの画素値に基づいて、以下の式(203),式(204)により外挿補間を用いて画素Pa,Pbの画素値を求める。
【1970】
Pa=Pin-f(Xin)’×Cｘ(-0.25) ・・・(203)
【1971】
Pb=Pin-f(Xin)’×Cｘ(0.25) ・・・(204)
【1972】
以上の式(203),式(204)において、Pa,Pb,Pinは、画素Pa,Pb,Pinの画素値を示す。
【1973】
すなわち、図261で示されるように、注目画素Pinにおける傾きf(Xin)’に、X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【1974】
ステップS3405において、外挿補間部3402は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、垂直方向に2倍の密度の画素であれば、以上の処理により、外挿補間部3402は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、4倍の密度(水平方向に2倍×垂直方向に2倍)の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、4倍の密度の画像が所望とされていた画像である場合、外挿補間部3402は、所定の解像度の画素が得られていないと判定し、その処理は、ステップS3403に戻る。
【1975】
ステップS3403において、外挿補間部3402は、2回目の処理で、求めようとする画素P01,P02,P03,およびP04(注目画素Pinに対して4倍となる密度の画素)を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素P01,P02は、画素Paから得られるものなので、画素Paからのシフト量がそれぞれ求められることになる。ここで、画素P01,P02は、画素Paからみて空間方向Xについて、それぞれ-0.25,0.25だけシフトしているので、その値そのものがシフト量となる(空間方向Xについてシフトしているため)。同様にして、画素P03,P04は、画素Pbからみて空間方向Xについて、それぞれ-0.25,0.25だけシフトしているので、その値そのものがシフト量となる。尚、図260において、画素P01,P02,P03,P04は、図中の4個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Pinが、それぞれ1であるので、画素P01,P02,P03,P04は、それぞれ略0.5となる。
【1976】
ステップS3404において、外挿補間部3402は、ステップS3403の処理で求められたシフト量Cｘ、実世界推定情報として取得された画素Pa,Pbの近似関数f(ｘ)上の所定の位置での傾きf(Xin-Cｘ(-0.25))’,f(Xin-Cｘ(0.25))’、および、上述の処理で求められた画素Pa,Pbの画素値に基づいて、外挿補間により以下の式(205)乃至式(208)により画素P01,P02,P03,P04の画素値を求め、図示せぬメモリに記憶させる。
【1977】
P01=Pa+f(Xin-Cｘ(-0.25))’×(-0.25)
・・・(205)
【1978】
P02=Pa+f(Xin-Cｘ(-0.25))’×(0.25)
・・・(206)
【1979】
P03=Pb+f(Xin-Cｘ(0.25))’×(-0.25)
・・・(207)
【1980】
P04=Pb+f(Xin-Cｘ(0.25))’×(0.25)
・・・(208)
【1981】
上述の式(205)乃至式(208)において、P01乃至P04は、画素P01乃至P04のそれぞれの画素値を示す。
【1982】
ステップS3405において、外挿補間部3402は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた4倍の密度の画素が得られたことになるので、外挿補間部3402は、所定の解像度の画素が得られたと判定し、その処理は、ステップS3406に進む。
【1983】
ステップS3406において、傾き取得部3401は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップS3402に戻り、それ以降の処理が繰り返される。
【1984】
ステップS3406において、傾き取得部3401は、全ての画素について処理がなされたと判定した場合、ステップS3407において、外挿補間部3402は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【1985】
すなわち、図261で示されるように、近似関数f(ｘ)上の傾きf(ｘ)’を用いて、その傾きを求めた注目画素から空間方向Xに離れた距離に応じて、新たな画素の画素値が外挿補間により求められる。
【1986】
尚、以上の例においては、4倍密度の画素を演算する際の傾き(微分値)を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上の空間方向の密度の画素を演算する事も可能である。
【1987】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｘ)は連続関数であるので、倍密度以外の画素値についても必要な傾き(微分値)の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【1988】
以上によれば、実世界推定情報として供給される入力画像の各画素の実世界を空間方向に近似する近似関数f(ｘ)の傾き(または、微分値)f(ｘ)’の情報に基づいて、入力画像よりも高解像度の画像の画素を生成することが可能となる。
【1989】
次に、図262を参照して、実世界推定部102より入力される実世界推定情報が、実世界を近似的に表現するフレーム方向(時間方向)の関数f(ｔ)上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部103について説明する。
【1990】
傾き取得部3411は、実世界推定部102より入力される実世界を近似的に表現する近似関数f(ｔ)上の、各画素の位置における傾きの情報と、対応する画素の画素値、および、定常性の動きを取得して、外挿補間部3412に出力する。
【1991】
外挿補間部3412は、傾き取得部3411より入力された各画素の近似関数f(ｔ)上の傾きと、対応する画素の画素値、および、定常性の動きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【1992】
次に、図263のフローチャートを参照して、図262の画像生成部103による画像の生成の処理について説明する。
【1993】
ステップS3421において、傾き取得部3411は、実世界推定部102より入力されてくる、各画素の近似関数f(ｔ)上の傾き(微分値)、位置、画素値、および、定常性の動きの情報を実世界推定情報として取得する。
【1994】
このとき、例えば、入力画像に対して空間方向、および、フレーム方向にそれぞれ2倍(合計4倍)の密度の画素からなる画像を生成する場合、実世界推定部102からは、図264で示されるような画素Pinに対して、傾きf(Tin)’(画素Pinの中央位置における傾き),f(Tin-Cｔ(-0.25))’(画素PinからY方向に2倍密度の画素が生成されるときの画素Paｔの中央位置の傾き),f(Tin-Cｔ(0.25))’(画素PinからY方向に2倍密度の画素が生成されるときの画素Pbｔの中央位置の傾き)、画素Pinの位置、画素値、および、定常性の動き(動きベクトル)の情報が入力される。
【1995】
ステップS3422において、傾き取得部3411は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部3412に出力する。
【1996】
ステップS3423において、外挿補間部3412は、入力された画素の位置情報と定常性の方向の傾きからシフト量を求める。
【1997】
ここで、シフト量Cｔ(ｔｙ)は、定常性の動き(フレーム方向と空間方向からなる面に対する傾き)がV_(f)で示されるとき、Cｔ(ｔｙ)=ｔｙ/V_(f)で定義される。このシフト量Cｔ(ｔｙ)は、空間方向Y=0の位置上で定義される近似関数f(ｔ)が、空間方向Y=ｔｙの位置における、フレーム方向Tに対するずれ幅を示すものである。従って、例えば、空間方向Y=0の位置上で近似関数がf(ｔ)として定義されている場合、この近似関数f(ｔ)は、空間方向Y=ｔｙにおいては、空間方向TについてCｔ(ｔｙ)だけずれた関数となるので、近似関数は、f(ｔ-Cｔ(ｔｙ))(=f(ｔ-ｔｙ/V_(f)))で定義されることになる。
【1998】
例えば、図264で示されるような画素Pinの場合、図中の1画素(図中の1画素の大きさは、フレーム方向、および、空間方向ともに1であるものとする)を空間方向に2分割するとき(空間方向に倍密度の画素を生成するとき)、外挿補間部3412は、求めようとする画素Paｔ,Pbｔのシフト量を求める。すなわち、今の場合、画素Paｔ,Pbｔは、画素Pinからみて、空間方向Yについて、それぞれ-0.25,0.25だけシフトしているので、画素Paｔ,Pbｔのシフト量は、それぞれCｔ(-0.25),Cｔ(0.25)となる。尚、図264中において、画素Pinは、(Xin,Yin)を略重心位置とする正方形であり、画素Paｔ,Pbｔは、(Xin,Yin+0.25)、(Xin,Yin-0.25)をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【1999】
ステップS3424において、外挿補間部3412は、ステップS3423の処理で求められたシフト量、実世界推定情報として取得された画素Pinの近似関数f(ｔ)上の注目画素上での傾きf(Tin)’、および、画素Pinの画素値に基づいて、外挿補間により以下の式(209),式(210)により画素Paｔ,Pbｔの画素値を求める。
【2000】
Paｔ=Pin-f(Tin)’×Cｔ(-0.25) ・・・(209)
【2001】
Pbｔ=Pin-f(Xin)’×Cｔ(0.25) ・・・(210)
【2002】
以上の式(209),式(210)において、Paｔ,Pbｔ,Pinは、画素Paｔ,Pbｔ,Pinの画素値を示す。
【2003】
すなわち、図265で示されるように、注目画素Pinにおける傾きf(Xin)’に、X方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【2004】
ステップS3425において、外挿補間部3412は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、空間方向に2倍の密度の画素であれば、以上の処理により、外挿補間部3402は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、4倍の密度(フレーム方向に2倍×空間方向に2倍)の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、4倍の密度の画像が所望とされていた画像である場合、外挿補間部3412は、所定の解像度の画素が得られていないと判定し、その処理は、ステップS3423に戻る。
【2005】
ステップS3423において、外挿補間部3412は、2回目の処理で、求めようとする画素P01ｔ,P02ｔ,P03ｔ,およびP04ｔ(注目画素Pinに対して4倍となる密度の画素)を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素P01ｔ,P02ｔは、画素Paｔから得られるものなので、画素Paｔからのシフト量がそれぞれ求められることになる。ここで、画素P01ｔ,02ｔは、画素Paｔからみてフレーム方向Tについて、それぞれ-0.25,0.25だけシフトしているので、その値そのものがシフト量となる(空間方向Xについてシフトしているため)。同様にして、画素P03ｔ,P04ｔは、画素Pbｔからみてフレーム方向Tについて、それぞれ-0.25,0.25だけシフトしているので、その値そのものがシフト量となる。尚、図264において、画素P01ｔ,P02ｔ,P03ｔ,P04ｔは、図中の4個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Pinが、それぞれ1であるので、画素P01ｔ,P02ｔ,P03ｔ,P04ｔは、それぞれ略0.5となる。
【2006】
ステップS3424において、外挿補間部3412は、ステップS3423の処理で求められたシフト量Cｔ、実世界推定情報として取得された画素Paｔ,Pbｔの近似関数f(ｔ)上の所定の位置での傾きf(Tin-Cｔ(-0.25))’,f(Tin-Cｔ(0.25))’、および、上述の処理で求められた画素Paｔ,Pbｔの画素値に基づいて、外挿補間により以下の式(211)乃至式(214)により画素P01ｔ,P02ｔ,P03ｔ,P04ｔの画素値を求め、図示せぬメモリに記憶させる。
【2007】
P01ｔ=Paｔ+f(Tin-Cｔ(-0.25))’×(-0.25)
・・・(211)
【2008】
P02ｔ=Paｔ+f(Tin-Cｔ(-0.25))’×(0.25)
・・・(212)
【2009】
P03ｔ=Pbｔ+f(Tin-Cｔ(0.25))’×(-0.25)
・・・(213)
【2010】
P04ｔ=Pbｔ+f(Tin-Cｔ(0.25))’×(0.25)
・・・(214)
【2011】
上述の式(205)乃至式(208)において、P01ｔ乃至P04ｔは、画素P01ｔ乃至P04ｔのそれぞれの画素値を示す。
【2012】
ステップS3425において、外挿補間部3412は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた4倍密度の画素が得られたことになるので、外挿補間部3412は、所定の解像度の画素が得られたと判定し、その処理は、ステップS3426に進む。
【2013】
ステップS3426において、傾き取得部3411は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップS3422に戻り、それ以降の処理が繰り返される。
【2014】
ステップS3426において、傾き取得部3411は、全ての画素について処理がなされたと判定された場合、ステップS3427において、外挿補間部3412は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【2015】
すなわち、図265で示されるように、近似関数f(ｔ)上の傾きf(ｔ)’を用いて、その傾きを求めた注目画素からフレーム方向Tに離れたフレーム数に応じて、新たな画素の画素値が外挿補間により求められる。
【2016】
尚、以上の例においては、4倍密度の画素を演算する際の傾き(微分値)を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上のフレーム方向の密度の画素を演算する事も可能である。
【2017】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数f(ｔ)は連続関数であるので、倍密度以外の画素値についても必要な傾き(微分値)の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【2018】
以上の処理により、実世界推定情報として供給される入力画像の各画素の実世界をフレーム方向に近似する近似関数f(ｔ)の傾き(または、微分値)f(ｔ)’の情報に基づいて、入力画像よりも高解像度の画像の画素をフレーム方向にも生成することが可能となる。
【2019】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち1次元方向にシフトした位置の複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定し、注目画素の中心位置から1次元方向にシフトした位置を中心とする傾きを有する直線の前記注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成するようにしたので、入力画像よりも時空間方向に高解像度の画素を生成することが可能となる。
【2020】
次に、図266乃至図291を参照して、画像生成部103(図3)の実施の形態のさらに他の例について説明する。
【2021】
図266は、この例の実施の形態が適用される画像生成部103の構成例を表している。
【2022】
図266で示される画像生成部103には、従来のクラス分類適応処理を実行するクラス分類適応処理部3501、クラス分類適応処理に対する補正の処理(処理の詳細については後述する)を実行するクラス分類適応処理補正部3502、および、クラス分類適応処理部3501より出力された画像と、クラス分類適応処理補正部3502より出力された画像を加算し、加算した画像を出力画像として外部に出力する加算部3503が設けられている。
【2023】
なお、以下、クラス分類適応処理部3501より出力される画像を、予測画像と称し、クラス分類適応処理補正部3502より出力される画像を、補正画像、または、差分予測画像と称する。ただし、予測画像と差分予測画像の名称の由来についてはそれぞれ後述する。
【2024】
また、この例の実施の形態においては、クラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【2025】
なお、以下、標準解像度の画像を、適宜、SD(Sｔandaｒd Definiｔiｏn)画像と称する。また、SD画像を構成する画素を、適宜、SD画素と称する。
【2026】
これに対して、以下、高解像度の画像を、適宜、HD(High Definiｔiｏn)画像と称する。また、HD画像を構成する画素を、適宜、HD画素と称する。
【2027】
具体的には、この例の実施の形態においては、クラス分類適応処理とは、次のような処理である。
【2028】
即ち、はじめに、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を求めるために、注目画素を含めた、その付近に配置されるSD画素(以下、このようなSD画素を、クラスタップと称する)の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する(クラスタップ群のクラスコードを特定する)
【2029】
そして、予め設定された複数の係数群(各係数群のそれぞれは、所定の1つのクラスコードに対応している)のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のSD画素(以下、このような入力画像のSD画素を、予測タップと称する。なお、予測タップは、クラスタップと同じこともある)とを用いて積和演算を実行することで、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を求めるものである。
【2030】
従って、この例の実施の形態においては、入力画像(SD画像)は、クラス分類適応処理部3501において、従来のクラス分類適応処理が施されて予測画像(HD画像)となり、さらに、加算部3503において、その予測画像が、クラス分類適応処理補正部3502からの補正画像で補正されて(補正画像が加算されて)出力画像(HD画像)となる。
【2031】
即ち、この例の実施の形態は、定常性の観点からは、定常性を用いて処理を行う画像処理装置(図3)のうちの画像生成部103の1つの実施の形態であると言える。これに対して、クラス分類適応処理の観点からは、センサ2とクラス分類適応処理部3501から構成される従来の画像処理装置に対して、クラス分類適応処理の補正を行うために、データ定常性検出部101、実世界推定部102、クラス分類適応処理補正部3502、および加算部3503をさらに付加した画像処理装置の実施の形態であるとも言える。
【2032】
従って、以下、この例の実施の形態を、上述した再積分手法に対して、クラス分類適応処理補正手法と称する。
【2033】
クラス分類適応処理補正手法を利用する画像生成部103についてさらに詳しく説明する。
【2034】
図266において、画像である、実世界1の信号(光の強度の分布)がセンサ2に入射されると、センサ2からは入力画像が出力される。この入力画像は、データ定常性検出部101に入力されるとともに、画像生成部103のクラス分類適応処理部3501に入力される。
【2035】
クラス分類適応処理部3501は、入力画像に対して、従来のクラス分類適応処理を施して予測画像を生成し、加算部3503に出力する。
【2036】
このように、クラス分類適応処理部3501は、センサ2からの入力画像(画像データ)を基準とするとともに、入力画像そのものを処理の対象としている。即ち、センサ2からの入力画像は、上述した積分効果により実世界1の信号とは異なるもの(歪んだもの)となっているにも関わらず、クラス分類適応処理部3501は、その実世界1の信号とは異なる入力画像を正として処理を行っている。
【2037】
その結果、センサ2から出力された段階で実世界1のディテールがつぶれてしまった入力画像(SD画像)は、クラス分類適応処理によりたとえHD画像とされても、元のディテールが完全に復元されないことがあるという課題が発生してしまう。
【2038】
そこで、この課題を解決するために、クラス分類適応処理補正手法においては、画像生成部103のクラス分類適応処理補正部3502が、センサ2からの入力画像ではなく、センサ2に入射される前の元の画像(所定の定常性を有する実世界1の信号)を推定する情報(実世界推定情報)を基準とするとともに、その実世界推定情報を処理の対象として、クラス分類適応処理部3501より出力された予測画像を補正するための補正画像を生成する。
【2039】
この実世界推定情報は、データ定常性検出部101と実世界推定部102により生成される。
【2040】
即ち、データ定常性検出部101は、センサ2からの入力画像に含まれるデータの定常性(センサ2に入射された実世界1の信号が有する定常性に対応するデータの定常性)を検出し、その検出結果をデータ定常性情報として実世界推定部102に出力する。
【2041】
なお、データ定常性情報は、図266の例では角度とされているが、角度に限定されず、上述した様々な情報が使用可能である。
【2042】
実世界推定部102は、入力された角度(データ定常性情報)に基づいて、実世界推定情報を生成し、画像生成部103のクラス分類適応処理補正部3502に出力する。
【2043】
なお、実世界推定情報は、図266の例では特徴量画像(その詳細は後述する)とされているが、特徴量画像に限定されず、上述した様々な情報が使用可能である。
【2044】
クラス分類適応処理補正部3502は、入力された特徴量画像(実世界推定情報)に基づいて補正画像を生成し、加算部3503に出力する。
【2045】
加算部3503は、クラス分類適応処理部3501より出力された予測画像と、クラス分類適応処理補正部3502より出力された補正画像を加算し、加算した画像(HD画像)を出力画像として外部に出力する。
【2046】
このようにして出力された出力画像は、予測画像よりもより実世界1の信号(画像)に近い画像となる。即ち、クラス分類適応処理補正手法は、上述した課題を解決することが可能な手法である。
【2047】
さらに、図266のように信号処理装置(画像処理装置)4を構成することで、1フレームの全体的に処理をアプライすることが可能になる。即ち、後述する併用手法を利用する信号処理装置(例えば、後述する図292)等では、画素の領域特定をした上で出力画像を生成する必要があるが、図266の信号処理装置4は、この領域特定が不要になるという効果を奏することが可能になる。
【2048】
次に、画像生成部103のうちのクラス分類適応処理部3501の詳細について説明する。
【2049】
図267は、クラス分類適応処理部3501の構成例を表している。
【2050】
図267において、センサ2より入力された入力画像(SD画像)は、領域抽出部3511と領域抽出部3515にそれぞれ供給される。領域抽出部3511は、供給された入力画像から、クラス分類を行うために必要なクラスタップ(注目画素(SD画素)を含む予め設定された位置に存在するSD画素)を抽出し、パターン検出部3512に出力する。パターン検出部3512は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【2051】
クラスコード決定部3513は、パターン検出部3512で検出されたパターンに基づいてクラスコードを決定し、係数メモリ3514、および、領域抽出部3515に出力する。係数メモリ3514は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部3513より入力されたクラスコードに対応する係数を読み出し、予測演算部3516に出力する。
【2052】
なお、係数メモリ3514の係数の学習処理については、図269のクラス分類適応処理用学習部のブロック図を参照して後述する。
【2053】
また、係数メモリ3514に記憶される係数は、後述するように、予測画像(HD画像)を生成するときに使用される係数である。従って、以下、係数メモリ3514に記憶される係数を、他の係数と区別するために、予測係数と称する。
【2054】
領域抽出部3515は、クラスコード決定部3513より入力されたクラスコードに基づいて、センサ2より入力された入力画像(SD画像)から、予測画像(HD画像)を予測生成するのに必要な予測タップ(注目画素を含む予め設定された位置に存在するSD画素)をクラスコードに対応して抽出し、予測演算部3516に出力する。
【2055】
予測演算部3516は、領域抽出部3515より入力された予測タップと、係数メモリ3514より入力された予測係数とを用いて積和演算を実行し、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を生成し、加算部3503に出力する。
【2056】
より詳細には、係数メモリ3514は、クラスコード決定部3513より供給されるクラスコードに対応する予測係数を、予測演算部3516に出力する。予測演算部3516は、領域抽出部3515より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ3514より供給された予測係数とを用いて、次の式(215)で示される積和演算を実行することにより、予測画像(HD画像)のHD画素を求める(予測推定する)。
【2057】
【数166】

【2058】
式(215)において、ｑ’は、予測画像(HD画像)のHD画素を表している。c_(i)(iは、1乃至nの整数値)のそれぞれは、予測タップ(SD画素)のそれぞれを表している。また、d_(i)のそれぞれは、予測係数のそれぞれを表している。
【2059】
このように、クラス分類適応処理部3501は、SD画像(入力画像)から、それに対するHD画像を予測推定するので、ここでは、クラス分類適応処理部3501から出力されるHD画像を、予測画像と称している。
【2060】
図268は、このようなクラス分類適応処理部3501の係数メモリ3514に記憶される予測係数(式(215)におけるd_(i))を決定するための学習装置(予測係数の算出装置)を表している。
【2061】
なお、クラス分類適応処理補正手法においては、係数メモリ3514の他に、クラス分類適応処理補正部3502の係数メモリ(後述する図276で示される補正係数メモリ3554)が設けられている。従って、図268で示されるように、クラス分類適応処理手法における学習装置3504には、クラス分類適応処理部3501の係数メモリ3514に記憶される予測係数(式(215)におけるd_(i))を決定するための学習部3521(以下、クラス分類適応処理用学習部3521と称する)の他に、クラス分類適応処理補正部3502の補正係数メモリ3554に記憶される係数を決定するための学習部3561(以下、クラス分類適応処理補正用学習部3561と称する)が設けられている。
【2062】
従って、以下、クラス分類適応処理用学習部3521における教師画像を第1の教師画像と称するのに対して、クラス分類適応処理補正用学習部3561における教師画像を第2の教師画像と称する。同様に、以下、クラス分類適応処理用学習部3521における生徒画像を第1の生徒画像と称するのに対して、クラス分類適応処理補正用学習部3561における生徒画像を第2の生徒画像と称する。
【2063】
なお、クラス分類適応処理補正用学習部3561については後述する。
【2064】
図269は、クラス分類適応処理用学習部3521の詳細な構成例を表している。
【2065】
図269において、所定の画像が、第1の教師画像(HD画像)としてダウンコンバート部3531と正規方程式生成部3536のそれぞれに入力されるとともに、クラス分類適応処理補正用学習部3561(図268)に入力される。
【2066】
ダウンコンバート部3531は、入力された第1の教師画像(HD画像)から、第1の教師画像よりも解像度の低い第1の生徒画像(SD画像)を生成し(第1の教師画像をダウンコンバートしたものを第1の生徒画像とし)、領域抽出部3532、領域抽出部3535、およびクラス分類適応処理補正用学習部3561(図268)のそれぞれに出力する。
【2067】
このように、クラス分類適応処理用学習部3521には、ダウンコンバート部3531が設けられているので、第1の教師画像(HD画像)は、上述したセンサ2(図266)からの入力画像よりも高解像度の画像である必要は無い。なぜならば、第1の教師画像がダウンコンバートされた(解像度が下げられた)第1の生徒画像をSD画像とすれば、第1の生徒画像に対する第1の教師画像がHD画像になるからである。従って、第1の教師画像は、例えば、センサ2からの入力画像そのものとされてもよい。
【2068】
領域抽出部3532は、供給された第1の生徒画像(SD画像)から、クラス分類を行うために必要なクラスタップ(SD画素)を抽出し、パターン検出部3533に出力する。パターン検出部3533は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部3534に出力する。クラスコード決定部3534は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部3535、および、正規方程式生成部3536のそれぞれに出力する。
【2069】
領域抽出部3535は、クラスコード決定部3534より入力されたクラスコードに基づいて、ダウンコンバート部3531より入力された第1の生徒画像(SD画像)から予測タップ(SD画素)を抽出し、正規方程式生成部3536と予測演算部3558のそれぞれに出力する。
【2070】
なお、以上の領域抽出部3532、パターン検出部3533、クラスコード決定部3534、および領域抽出部3535のそれぞれは、図267のクラス分類適応処理部3501の領域抽出部3511、パターン検出部3512、クラスコード決定部3513、および、領域抽出部3515のそれぞれと、基本的に同様の構成と機能を有するものである。
【2071】
正規方程式生成部3536は、クラスコード決定部3534より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部3535より入力される第1の生徒画像(SD画像)の予測タップ(SD画素)と、第1の教師画像(HD画像)のHD画素とから正規方程式を生成し、係数決定部3537に供給する。係数決定部3537は、正規方程式生成部3537より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ3514にクラスコードと関連付けて記憶させるとともに、予測演算部3538に供給する。
【2072】
正規方程式生成部3536と、係数決定部3537についてさらに詳しく説明する。
【2073】
上述した式(215)において、学習前は予測係数d_(i)のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像(HD画像)のHD画素を入力することによって行う。所定のクラスコードに対応するHD画素がm個存在し、m個のHD画素のそれぞれを、ｑ_(k)(kは、1乃至mの整数値)と記述する場合、式(215)から、次の式(216)が設定される。
【2074】
【数167】

【2075】
即ち、式(216)は、右辺の演算をすることで、所定のHD画素ｑ_(k)を予測推定することができることを表している。なお、式(216)において、e_(k)は誤差を表している。即ち、右辺の演算結果である予測画像(HD画像)のHD画素ｑ_(k)’が、実際のHD画素ｑ_(k)と厳密には一致せず、所定の誤差e_(k)を含む。
【2076】
そこで、式(216)において、例えば、誤差e_(k)の自乗和を最小にするような予測係数d_(i)が、学習により求まればよい。
【2077】
具体的には、例えば、m＞nとなるように、HD画素ｑ_(k)を学習により集めることができれば、最小自乗法によって予測係数d_(i)が一意に決定される。
【2078】
即ち、式(216)の右辺の予測係数d_(i)を最小自乗法で求める場合の正規方程式は、次の式(217)で表される。
【2079】
【数168】

【2080】
従って、式(217)で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数d_(i)が一意に決定されることになる。
【2081】
具体的には、式(217)で示される正規方程式の各行列のそれぞれを、次の式(218)乃至(220)のように定義すると、正規方程式は、次の式(221)のように表される。
【2082】
【数169】

【2083】
【数170】

【2084】
【数171】

【2085】
【数172】

【2086】
式(219)で示されるように、行列D_(MAT)の各成分は、求めたい予測係数d_(i)である。従って、式(221)において、左辺の行列C_(MAT)と右辺の行列Q_(MAT)が決定されれば、行列解法によって行列D_(MAT)(即ち、予測係数d_(i))の算出が可能である。
【2087】
より具体的には、式(218)で示されるように、行列C_(MAT)の各成分は、予測タップc_(ik)が既知であれば演算可能である。予測タップc_(ik)は、領域抽出部3535により抽出されるので、正規方程式生成部3536は、領域抽出部3535より供給されてくる予測タップc_(ik)のそれぞれを利用して行列C_(MAT)の各成分を演算することができる。
【2088】
また、式(220)で示されるように、行列Q_(MAT)の各成分は、予測タップc_(ik)とHD画素ｑ_(k)が既知であれば演算可能である。予測タップc_(ik)は、行列C_(MAT)の各成分に含まれるものと同一のものであり、また、HD画素ｑ_(k)は、予測タップc_(ik)に含まれる注目画素(第1の生徒画像のSD画素)に対する第1の教師画像のHD画素である。従って、正規方程式生成部3536は、領域抽出部3535より供給された予測タップc_(ik)と、第1の教師画像を利用して行列Q_(MAT)の各成分を演算することができる。
【2089】
このようにして、正規方程式生成部3536は、クラスコード毎に、行列C_(MAT)と行列Q_(MAT)の各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部3537に供給する。
【2090】
係数決定部3537は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式(221)の行列D_(MAT)の各成分である予測係数d_(i)を演算する。
【2091】
具体的には、上述した式(221)の正規方程式は、次の式(222)のように変形できる。
【2092】
【数173】

【2093】
式(222)において、左辺の行列D_(MAT)の各成分が、求めたい予測係数d_(i)である。また、行列C_(MAT)と行列Q_(MAT)のそれぞれの各成分は、正規方程式生成部3536より供給されるものである。従って、係数決定部3537は、正規方程式生成部3536より所定のクラスコードに対応する行列C_(MAT)と行列Q_(MAT)のそれぞれの各成分が供給されてきたとき、式(222)の右辺の行列演算を行うことで行列D_(MAT)を演算し、その演算結果(予測係数d_(i))をクラスコードに対応付けて係数メモリ3514に記憶させるとともに、予測演算部3538に供給する。
【2094】
予測演算部3538は、領域抽出部3535より入力された予測タップと、係数決定部3537により決定された予測係数とを用いて積和演算を実行し、第1の生徒画像(SD画像)の注目画素(SD画素)における、予測画像(第1の教師画像を予測する画像)のHD画素を生成し、それを学習用予測画像としてクラス分類適応処理補正用学習部3561(図268)に出力する。
【2095】
より詳細には、予測演算部3538は、領域抽出部3535より供給される第1の生徒画像の所定の画素位置の画素値から抽出された予測タップを、c_(i)(iは、1乃至nの整数値)とし、係数決定部3537より供給された予測係数を、d_(i)として、上述した式(215)で示される積和演算を実行することにより、学習用予測画像(HD画像)のHD画素ｑ’を求める(第1の教師画像を予測推定する)。
【2096】
ここで、図270乃至図275を参照して、上述した従来のクラス分類適応処理(クラス分類適応処理部3501)が有する課題、即ち、図266において、センサ2から出力された段階で実世界1のディテールがつぶれてしまった入力画像(SD画像)は、クラス分類適応処理部3501によりたとえHD画像(実世界1の信号を予測する予測画像)とされても、元のディテールが完全に復元されないことがあるという課題について説明する。
【2097】
図270は、クラス分類適応処理部3501の処理結果の例を表している。
【2098】
図270において、HD画像3541は、図中上下方向から、ほぼ5度時計方向に傾いた細線の画像が含まれる画像である。また、SD画像3542は、HD画像3541の2×2の画素(HD画素)からなるブロックに属する画素(HD画素)の画素値の平均値を、1つの画素(SD画素)の画素値として生成された画像である。即ち、SD画像3542は、HD画像3541がダウンコンバートされた(解像度が落とされた)画像である。
【2099】
換言すると、HD画像3541は、センサ2(図266)に入射される前の画像(実世界1(図266)の信号)を模した画像であるとする。この場合、SD画像3542は、HD画像3541に、センサ2の積分特性を模した、空間方向の積分を適用することにより得られた画像に相当することなる。即ち、SD画像3542は、センサ2からの入力画像を模した画像となる。
【2100】
また、SD画像3542をクラス分類適応処理部3501(図266)に入力させ、クラス分類適応処理部3501より出力された予測画像が、予測画像3543である。即ち、予測画像3543は、従来のクラス分類適応処理により生成されたHD画像(元のHD画像3541と同一解像度の画像)である。ただし、クラス分類適応処理部3501が予測演算に使用した予測係数(係数メモリ3514(図267)に記憶された予測係数)は、HD画像3541を第1の教師画像とし、かつSD画像3542を第1の生徒画像として、クラス分類適応処理用学習部3561(図269)に学習演算させたものである。
【2101】
HD画像3541、SD画像3542、および予測画像3543のそれぞれを比較するに、予測画像3543は、SD画像3542よりも、HD画像3541により近い画像となっていることがわかる。
【2102】
この比較結果は、クラス分類適応処理部3501が、HD画像3541のディテールがつぶれてしまったSD画像3542に対して、従来のクラス分類適応処理を施すことで、元のディテールが復元された予測画像3543を生成することができるということを意味している。
【2103】
しかしながら、予測画像3543とHD画像3541を比較するに、予測画像3543は、HD画像3541を完全に復元した画像であるとは言い難い。
【2104】
そこで、本願出願人は、予測画像3543がHD画像3541を完全に復元できていない理由を調査するために、所定の加算器3546により、HD画像3541と、予測画像3543の反転入力との加算画像、即ち、HD画像3541と予測画像3543の差分画像(画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像)3544を生成した。
【2105】
同様に、本願出願人は、所定の加算器3547により、HD画像3541と、SD画像3542の反転入力との加算画像、即ち、HD画像3541とSD画像3542の差分画像(画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像)3545を生成した。
【2106】
そして、本願出願人は、このようにして生成された差分画像3544と差分画像3545を比較することによって、次のような調査結果を得た。
【2107】
即ち、HD画像3541とSD画像3542の差分の大きい領域(差分画像3545の白に近い領域)と、HD画像3541と予測画像3543の差分の大きい領域(差分画像3544の白に近い領域)はほぼ対応している。
【2108】
換言すると、予測画像3543がHD画像3541を完全に復元できていない領域は、予測画像3543のうちの、HD画像3541とSD画像3542の差分の大きい領域(差分画像3545の白に近い領域)にほぼ一致する。
【2109】
そこで、本願出願人は、この調査結果の要因を解明するために、さらに次のような調査を行った。
【2110】
即ち、本願出願人は、まず、HD画像3541と予測画像3543の差分の小さい領域(差分画像3544の黒に近い領域)において、HD画像3541の具体的な画素値、SD画像3542の具体的な画素値、およびHD画像3541に対応する実際の波形(実世界1の信号)を調査した。その調査結果が、図271と図272に示されている。
【2111】
図271は、調査した領域のうちの1例を示している。なお、図271において、図中、水平方向は、空間方向の1方向であるX方向とされており、また、垂直方向は、空間方向の他方向であるY方向とされている。
【2112】
即ち、本願出願人は、HD画像3541と予測画像3543の差分の小さい領域の1例として、図271で示される、差分画像3544の領域3544-1について調査した。
【2113】
図272は、図271で示される領域3544-1に含まれるX方向に連続した6個のHD画素のうちの、図中左から4個分のHD画素に対応する、HD画像3541の具体的な画素値、SD画像3542の具体的な画素値、および、実際の波形(実世界1の信号)のそれぞれをプロットしたものを表している。
【2114】
図272において、縦軸は画素値を、横軸は空間方向Xに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像3544の6個のHD画素のうちの図中左から3番目のHD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、差分画像3544のHD画素の画素幅を0.5として付されている。即ち、差分画像3544はHD画像であるので、HD画像3541の画素幅L_(ｔ)(以下、HD画素幅L_(ｔ)と称する)も0.5になる。従って、いまの場合、SD画像3542の画素幅(以下、SD画素幅L_(ｓ)と称する)は、HD画素幅L_(ｔ)の2倍になるので、SD画素幅L_(ｓ)は1になる。
【2115】
また、図272において、実線は、HD画像3541の画素値を、点線は、SD画像3542の画素値を、一点鎖線は、実世界1の信号のX断面波形を、それぞれ表している。ただし、実世界1の信号の波形を実際に描写することは困難であるので、図272で示される一点鎖線は、上述した1次元多項式近似手法(図266の実世界推定部102の1実施形態)によりX断面波形が近似された近似関数f(ｘ)が示されている。
【2116】
次に、本願出願人は、上述した差分の小さい領域の調査と同様に、HD画像3541と予測画像3543の差分の大きい領域(差分画像3544の白に近い領域)においても、HD画像3541の具体的な画素値、SD画像3542の具体的な画素値、およびHD画像3541に対応する実際の波形(実世界1の信号)を調査した。その調査結果が、図273と図274に示されている。
【2117】
図273は、調査した領域のうちの1例を示している。なお、図273において、図中、水平方向は、空間方向の1方向であるX方向とされており、また、垂直方向は、空間方向の他方向であるY方向とされている。
【2118】
即ち、本願出願人は、HD画像3541と予測画像3543の差分の大きい領域の1例として、図273で示される、差分画像3544の領域3544-2について調査した。
【2119】
図274は、図273で示される領域3544-2に含まれるX方向に連続した6個のHD画素のうちの、図中左から4個分のHD画素に対応する、HD画像3541の具体的な画素値、SD画像3542の具体的な画素値、および実際の波形(実世界1の信号)のそれぞれをプロットしたものを表している。
【2120】
図274において、縦軸は画素値を、横軸は空間方向Xに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像3544の6個のHD画素のうちの図中左から3番目のHD画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、SD画素幅L_(ｓ)を1として付されている。
【2121】
図274において、実線は、HD画像3541の画素値を、点線は、SD画像3542の画素値を、一点鎖線は、実世界1の信号のX断面波形を、それぞれ表している。ただし、図274で示される一点鎖線は、図272で示される一点鎖線と同様に、X断面波形が近似された近似関数f(ｘ)が示されている。
【2122】
図272と図274を比較するに、両者の近似関数f(ｘ)の波形の形状より、いずれの領域も細線の領域を含んでいることがわかる。
【2123】
しかしながら、図272においては、細線の領域は、ほぼｘ=0からｘ=1の範囲に存在するのに対して、図274においては、細線の領域は、ほぼｘ=-0.5からｘ=0.5の範囲に存在する。即ち、図272においては、ｘ=0からｘ=1の範囲に存在するSD画像3542の1つのSD画素内に細線の領域がほぼ含まれることになる。これに対して、図274においては、ｘ=0からｘ=1の範囲に存在するSD画像3542の1つのSD画素内に、細線の領域が一部だけ含まれる(細線と背景の境目が含まれる)ことになる。
【2124】
従って、図272で示される状態の場合、ｘ=0からｘ=1.0の範囲に存在するHD画像3541の2つのHD画素の画素値(図中、実線)の差は小さくなる。その結果、当然ながら、これら2つのHD画素の画素値の平均値である、SD画像3542の1つのSD画素の画素値(図中、点線)と、HD画像3541の2つのHD画素の画素値のそれぞれとの差分は小さいものになる。
【2125】
このような状態で(図272で示される状態で)、ｘ=0からｘ=1.0の範囲に存在するSD画像3542の1つのSD画素が注目画素とされて、従来のクラス分類適応処理によりｘ=0からｘ=1.0の範囲に2つのHD画素(予測画像3543の画素)が生成された場合について考える。この場合、図271で示されるように、生成された予測画像3543のHD画素は、HD画像3541のHD画素をほぼ正確に予測したものになる。即ち、図271で示されるように、領域3544-1においては、予測画像3543のHD画素と、HD画像3541のHD画素の差分も小さくなるので、黒に近い画像が表示される。
【2126】
これに対して、図274で示される状態の場合、ｘ=0からｘ=1.0の範囲に存在するHD画像3541の2つのHD画素の画素値(図中、実線)の差は大きくなる。その結果、当然ながら、これら2つのHD画素の画素値の平均値である、SD画像3542の1つのSD画素の画素値(図中、点線)と、HD画像3541の2つのHD画素の画素値のそれぞれとの差分は、図272の対応する差分に対して大きなものになる。
【2127】
このような状態で(図274で示される状態で)、ｘ=0からｘ=1.0の範囲に存在するSD画像3542の1つのSD画素が注目画素とされて、従来のクラス分類適応処理によりｘ=0からｘ=1.0の範囲にHD画素(予測画像3543の画素)が生成された場合について考える。この場合、図273で示されるように、生成された予測画像3543のHD画素は、HD画像3541のHD画素を正確に予測したものとはならない。即ち、図273で示されるように、領域3544-2においては、予測画像3543のHD画素と、HD画像3541のHD画素の差分も大きなものになってしまうので、白に近い画像が表示される。
【2128】
ところで、図272と図274の実世界1の信号の近似関数f(ｘ)(図中、一点鎖線)のそれぞれを比較するに、図272においては、ｘ=0からｘ=1の範囲での近似関数f(ｘ)の変化量は小さいのに対して、図274においては、ｘ=0からｘ=1の範囲での近似関数f(ｘ)の変化量は大きいことがわかる。
【2129】
従って、図272で示されるｘ=0からｘ=1.0の範囲に存在するSD画像3542の1つのSD画素は、SD画素内での近似関数f(ｘ)の変化量が小さい(即ち、実世界1の信号の変化量が小さい)SD画素と言える。
【2130】
このような観点から、上述した調査結果を言いなおすと、例えば、図272で示されるｘ=0からｘ=1.0の範囲に存在するSD画素のような、SD画素内での近似関数f(ｘ)の変化が少ない(即ち、実世界1の信号の変化が少ない)SD画素から、従来のクラス分類適応処理によりHD画素が生成されると、生成されたHD画素は、実世界1の信号(いまの場合、細線の画像)をほぼ正確に予測したものとなる。
【2131】
これに対して、図274で示されるｘ=0からｘ=1.0の範囲に存在するSD画像3542の1つのSD画素は、SD画素内での近似関数f(ｘ)の変化量が大きい(即ち、実世界1の信号の変化量が大きい)SD画素と言える。
【2132】
このような観点から、上述した調査結果を言いなおすと、例えば、図274で示されるｘ=0からｘ=1.0の範囲に存在するSD画素のような、SD画素内での近似関数f(ｘ)の変化が大きい(即ち、実世界1の信号の変化が大きい)SD画素から、従来のクラス分類適応処理によりHD画素が生成されると、生成されたHD画素は、実世界1の信号(いまの場合、細線の画像)を正確に予測したものとはならない。
【2133】
以上の調査結果をまとめると、図275で示されるような状態の場合、従来の画素間の信号処理(例えば、クラス分類適応処理)では、画素内のディテールを復元することは困難であるということである。
【2134】
即ち、図275は、本願出願人が上述したような調査を行った結果として、得られた知見を説明する図である。
【2135】
図275において、図中水平方向は、センサ2(図266)の検出素子が並んでいる方向(空間方向)のうちの1方向であるX方向を表しており、図中垂直方向は、光のレベルまたは画素値を表している。点線は、画像である、実世界1(図266)の信号のX断面波形F(ｘ)を表しており、実線は、X断面波形F(ｘ)で表される実世界1の信号(画像)がセンサ2に入射された場合、センサ2から出力される画素値Pを表している。また、センサ2の1つの検出素子の幅(X方向の長さ)は、L_(c)と記述されており、△Pは、センサ2の1つの検出素子の幅L_(c)、即ち、センサ2の画素幅L_(c)内におけるX断面波形F(ｘ)の変化量を表している。
【2136】
ところで、上述したSD画像3542(図270)は、センサ2からの入力画像(図266)を模したものであるので、SD画像3542のSD画素幅L_(ｓ)(図272と図274)は、センサ2の画素幅(検出素子の幅)L_(c)として考えることができる。
【2137】
また、上述した調査においては、細線に対応する実世界1の信号(近似関数f(ｘ))に対する調査であったが、細線に限らず、実世界1の信号のレベルの変化は存在する。
【2138】
従って、上述した調査結果を、図275で示される状態に当てはめると、次の通りになる。
【2139】
即ち、図275で示されるような、画素内において実世界1の信号の変化量(X断面波形F(ｘ)の変化量)△Pが大きいSD画素(センサ2からの出力画素)が注目画素とされて、従来のクラス分類適応処理によりHD画素(例えば、図266のクラス分類適応処理部3501から出力される予測画像の画素)が生成された場合、生成されたHD画素は、実世界1の信号(図275の例では、X断面波形F(ｘ))を正確に予測したものとはならない。
【2140】
具体的には、クラス分類適応処理をはじめとする従来の手法においては、センサ2の画素の画素間の画像処理が行われている。
【2141】
即ち、図275で示されるように、実世界1では、1画素内の領域でX断面波形F(ｘ)の変化量△Pが大きい状態であっても、センサ2からは、X断面波形F(ｘ)が積分された(厳密には、実世界1の信号が、時空間方向に積分された)1つの画素値P(1画素内で均一の値P)のみが出力される。
【2142】
従来の手法においては、その画素値Pが基準とされるとともに、画素値Pが処理の対象とされて画像処理が行われている。換言すると、従来の手法においては、画素内における実世界1の信号(X断面波形F(ｘ))の変化、即ち、画素内のディテールを無視して、画像処理が行われている。
【2143】
このように、画素を最小の単位として処理する限り、例えどのような画像処理(クラス分類適応処理でも)を施したとしても、画素内における実世界1の信号の変化を正確に再現することは困難である。特に、実世界1の信号の変化量△Pが大きい場合、その困難さはより顕著なものとなる。
【2144】
換言すると、上述したクラス分類適応処理が有する課題、即ち、図266において、センサ2から出力された段階で実世界1のディテールがつぶれてしまった入力画像(SD画像)は、クラス分類適応処理によりたとえHD画像とされても、元のディテールが完全に復元されないことがあるという課題が発生する原因は、画素内における実世界1の信号の変化量△Pを考慮せずに、画素(1つの画素値しか有しない画素)を最小の単位としてクラス分類適応処理が行われているからである。
【2145】
この課題は、クラス分類適応処理に限らず従来の画像処理手法の全てが有する課題であり、課題が発生する原因も全く同じである。
【2146】
以上、従来の画像処理手法が有する課題と、その発生要因について説明した。
【2147】
ところで、上述したように、本発明のデータ定常性検出部101と実世界推定部102(図3)は、実世界1の信号が有する定常性を利用して、センサ2からの入力画像(即ち、画素内における、実世界1の信号の変化が無視された画像)から、実世界1の信号を推定することができる。即ち、実世界推定部102は、実世界1の信号を推定することが可能な実世界推定情報を出力することができる。
【2148】
従って、この実世界推定情報から、画素内における、実世界1の信号の変化量の推定も可能である。
【2149】
そこで、本願出願人は、従来のクラス分類適応処理により生成された予測画像(画素内における、実世界1の信号の変化を考慮せずに、実世界1を予測した画像)を、実世界推定情報に基づいて生成される所定の補正画像(画素内における、実世界1の信号の変化に起因する予測画像の誤差を推定した画像)で補正することで、上述した課題の解決が可能になるという思想に基づいて、例えば、図266で示されるような、クラス分類適応処理補正手法を発明した。
【2150】
即ち、図266において、データ定常性検出部101と実世界推定部102が、実世界推定情報を生成し、クラス分類適応処理補正部3502が、生成された実世界推定情報に基づいて所定の補正画像を生成する。そして、加算部3503が、クラス分類適応処理部3501より出力された予測画像を、クラス分類適応処理補正部3502より出力された補正画像で補正する(具体的には、予測画像に補正画像を加算した画像を出力画像として出力する)。
【2151】
クラス分類適応処理補正手法を利用する画像生成部103のうちの、クラス分類適応処理部3501の詳細については既に説明した。また、加算部3503は、予測画像と補正画像を加算することができるものであれば、その形態は特に限定されず、例えば、従来より存在する、様々な加算器やプログラム等を適用することが可能である。
【2152】
そこで、以下、残りのクラス分類適応処理補正部3502の詳細について説明する。
【2153】
はじめに、クラス分類適応処理補正部3502の原理について説明する。
【2154】
上述したように、図270において、HD画像3541を、センサ2(図266)に入射される前の元の画像(実世界1の信号)とみなし、かつ、SD画像3542を、センサ2からの入力画像とみなすと、予測画像3543が、クラス分類適応処理部3501より出力される予測画像(元の画像(HD画像3541)を予測した予測画像)となる。
【2155】
また、HD画像3541から、その予測画像3543を減算した画像が、差分画像3544である。
【2156】
従って、クラス分類適応処理補正部3502が、差分画像3544を生成し、その差分画像3544を補正画像として出力することができれば、加算部3503が、クラス分類適応処理部3501より出力された予測画像3543と、クラス分類適応処理補正部3502より出力された差分画像3544(補正画像)を加算することで、HD画像3541を復元することができる。
【2157】
即ち、クラス分類適応処理補正部3502が、画像である、実世界1の信号(センサ2に入射される前の元の画像)と、クラス分類適応処理部3501から出力される予測画像との差分画像(ただし、クラス分類適応処理部3501から出力される予測画像と同一解像度の画像)を適切に予測し、予測した差分画像(以下、差分予測画像と称する。これが、上述した差分予測画像の名称の由来である)を補正画像として出力することができれば、実世界1の信号(元の画像)をほぼ復元することができる。
【2158】
ところで、上述したように、実世界1の信号(センサ2に入射される前の元の画像)と、クラス分類適応処理部3501から出力される予測画像との差分(誤差)の度合いと、入力画像の1画素内における、実世界1の信号の変化量の度合いは対応している。また、実世界推定部102は、実世界1の信号自身を推定することができるので、当然ながら、入力画像の1画素内における、実世界1の信号の変化量の度合いを表す所定の特徴量を画素毎に算出することも可能である。
【2159】
従って、クラス分類適応処理補正部3502は、入力画像の各画素のそれぞれに対する特徴量を取得することで、差分予測画像を生成する(差分画像を予測する)ことができる。
【2160】
そこで、例えば、クラス分類適応処理補正部3502は、実世界推定部102より、特徴量を画素値とする画像(以下、このような画像を、特徴量画像と称する)を実世界推定情報として実世界推定部102より入力する。
【2161】
このとき、特徴量画像の解像度は、センサ2からの入力画像と同一の解像度である。また、補正画像(差分予測画像)は、クラス分類適応処理部3501より出力される予測画像と同一の解像度である。
【2162】
従って、クラス分類適応処理補正部3502が、特徴量画像をSD画像とし、補正画像(差分予測画像)をHD画像とし、従来のクラス分類適応処理を利用して、特徴量画像から差分画像を予測演算すれば、その予測演算の結果が、適切な差分予測画像となる。
【2163】
以上、クラス分類適応処理補正部3502の原理について説明した。
【2164】
図276は、このような原理で動作するクラス分類適応処理補正部3502の構成例を表している。
【2165】
図276において、実世界推定部102より入力された特徴量画像(SD画像)は、領域抽出部3551と領域抽出部3555にそれぞれ供給される。領域抽出部3551は、供給された特徴量画像から、クラス分類を行うために必要なクラスタップ(注目画素を含む予め設定された位置に存在するSD画素)を抽出し、パターン検出部3552に出力する。パターン検出部3552は、入力されたクラスタップに基づいて特徴量画像のパターンを検出する。
【2166】
クラスコード決定部3553は、パターン検出部3552で検出されたパターンに基づいてクラスコードを決定し、補正係数メモリ3554、および、領域抽出部3555に出力する。補正係数メモリ3554は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部3553より入力されたクラスコードに対応する係数を読み出し、補正演算部3556に出力する。
【2167】
なお、補正係数メモリ3554の係数の学習処理については、図277のクラス分類適応処理補正用学習部のブロック図を参照して後述する。
【2168】
また、補正係数メモリ3554に記憶される係数は、後述するように、差分画像を予測する(HD画像である差分予測画像を生成する)ときに使用される予測係数である。しかしながら、ここでは、クラス分類適応処理部3501の係数メモリ3514(図267)に記憶されている係数を、予測係数と称している。従って、以下、補正係数メモリ3554に記憶される予測係数を、係数メモリ3514に記憶される予測係数と区別するために、補正係数と称する。
【2169】
領域抽出部3555は、クラスコード決定部3553より入力されたクラスコードに基づいて、実世界推定部102より入力された特徴量画像(SD画像)から、差分画像(HD画像)を予測する(HD画像である差分予測画像を生成する)のに必要な予測タップ(注目画素を含む予め設定された位置に存在するSD画素)をクラスコードに対応して抽出し、補正演算部3556に出力する。補正演算部3556は、領域抽出部3555より入力された予測タップと、補正係数メモリ3554より入力された補正係数とを用いて積和演算を実行し、特徴量画像(SD画像)の注目画素(SD画素)における、差分予測画像(HD画像)のHD画素を生成する。
【2170】
より詳細には、補正係数メモリ3554は、クラスコード決定部3553より供給されるクラスコードに対応する補正係数を、補正演算部3556に出力する。補正演算部3556は、領域抽出部3555より供給される入力画像の所定の画素位置の画素値から抽出された予測タップ(SD画素)と、補正係数メモリ3554より供給された補正係数とを用いて、次の式(223)で示される積和演算を実行することにより、差分予測画像(HD画像)のHD画素を求める(差分画像を予測推定する)。
【2171】
【数174】

【2172】
式(223)において、ｕ’は、差分予測画像(HD画像)のHD画素を表している。a_(i)(iは、1乃至nの整数値)のそれぞれは、予測タップ(SD画素)のそれぞれを表している。また、g_(i)のそれぞれは、補正係数のそれぞれを表している。
【2173】
従って、図266において、クラス分類適応処理部3501からは、上述した式(215)で示される予測画像のHD画素ｑ’が出力されるのに対して、クラス分類適応処理補正部3502からは、式(223)で示される差分予測画像のHD画素ｕ’が出力される。そして、加算部3503が、予測画像のHD画素ｑ’と、差分予測画像のHD画素ｕ’とを加算した画素(以下、ｏ’と記述する)を、出力画像のHD画素として外部に出力する。
【2174】
即ち、画像生成部103より最終的に出力される出力画像のHD画素ｏ’は、次の式(224)で示されるようになる。
【2175】
【数175】


【2176】
図277は、このようなクラス分類適応処理補正部3502の補正係数メモリ3554に記憶される補正係数(上述した式(222)におけるg_(i))を決定するための学習部、即ち、上述した図268の学習装置3504のクラス分類適応処理補正用学習部3561の詳細な構成例を表している。
【2177】
図268において、上述したように、クラス分類適応処理用学習部3521は、その学習処理を終了すると、クラス分類適応処理補正用学習部3561に対して、学習に利用した第1の教師画像(HD画像)と第1の生徒画像(SD画像)のそれぞれを出力するともに、学習により求められた予測係数を用いて第1の生徒画像から第1の教師画像を予測した画像である、学習用予測画像を出力してくる。
【2178】
図277に戻り、これらのうちの第1の生徒画像は、データ定常性検出部3572に入力される。
【2179】
一方、これらのうちの第1の教師画像と学習用予測画像は、加算部3571に入力される。ただし、学習用予測画像は、反転入力される。
【2180】
加算部3571は、入力された第1の教師画像と、反転入力された学習用予測画像を加算し、即ち、第1の教師画像と学習用予測画像の差分画像を生成し、それをクラス分類適応処理補正用学習部3561における教師画像(この教師画像を、上述したように、第1の教師画像と区別するために、第2の教師画像と称する)として正規方程式生成部3578に出力する。
【2181】
データ定常性検出部3572は、入力された第1の生徒画像に含まれるデータの定常性を検出し、その検出結果をデータ定常性情報として実世界推定部3573に出力する。
【2182】
実世界推定部3573は、入力されたデータ定常性情報に基づいて、特徴量画像を生成し、それをクラス分類適応処理補正用学習部3561における生徒画像(この生徒画像を、上述したように、第1の生徒画像と区別するために、第2の生徒画像と称する)として領域抽出部3574と領域抽出部3577のそれぞれに出力する。
【2183】
領域抽出部3574は、供給された第2の生徒画像(SD画像)から、クラス分類を行うために必要なSD画素(クラスタップ)を抽出し、パターン検出部3575に出力する。パターン検出部3575は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部3576に出力する。クラスコード決定部3576は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部3577、および、正規方程式生成部3578のそれぞれに出力する。
【2184】
領域抽出部3577は、クラスコード決定部3576より入力されたクラスコードに基づいて、実世界推定部3573より入力された第2の生徒画像(SD画像)から予測タップ(SD画素)を抽出し、正規方程式生成部3578に出力する。
【2185】
なお、以上の領域抽出部3574、パターン検出部3575、クラスコード決定部3576、および領域抽出部3577のそれぞれは、図276のクラス分類適応処理補正部3502の領域抽出部3551、パターン検出部3552、クラスコード決定部3553、および、領域抽出部3555のそれぞれと、基本的に同様の構成と機能を有するものである。また、以上のデータ定常性検出部3572、および実世界推定部3573のそれぞれは、図266のデータ定常性検出部101、および実世界推定部102のそれぞれと、基本的に同様の構成と機能を有するものである。
【2186】
正規方程式生成部3578は、クラスコード決定部3576より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部3577より入力される第2の生徒画像(SD画像)の予測タップ(SD画素)と、第2の教師画像(HD画像)のHD画素とから正規方程式を生成し、補正係数決定部3579に供給する。補正係数決定部3579は、正規方程式生成部3578より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より補正係数のそれぞれを演算し、補正係数メモリ3554にクラスコードと関連付けて記憶させる。
【2187】
正規方程式生成部3578と、補正係数決定部3579についてさらに詳しく説明する。
【2188】
上述した式(223)において、学習前は補正係数g_(i)のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像(HD画像)のHD画素を入力することによって行う。所定のクラスコードに対応するHD画素がm個存在し、m個のHD画素のそれぞれを、ｕ_(k)(kは、1乃至mの整数値)と記述する場合、式(223)から、次の式(225)が設定される。
【2189】
【数176】

【2190】
即ち、式(225)は、右辺の演算をすることで、所定のHD画素を予測推定することができることを表している。なお、式(225)において、e_(k)は誤差を表している。即ち、右辺の演算結果である差分予測画像(HD画像)のHD画素ｕ_(k)’が、実際の差分画像のHD画素ｕ_(k)と厳密には一致せず、所定の誤差e_(k)を含む。
【2191】
そこで、式(2225)において、例えば、誤差e_(k)の自乗和を最小にするような補正係数a_(i)が、学習により求まればよい。
【2192】
例えば、m＞nとなるように、差分画像のHD画素ｕ_(k)を学習により集めることができれば、最小自乗法によって補正係数a_(i)が一意に決定される。
【2193】
即ち、式(225)の右辺の補正係数a_(i)を最小自乗法で求める場合の正規方程式は、次の式(226)で示される通りになる。
【2194】
【数177】

【2195】
式(226)で示される正規方程式の各行列のそれぞれを、次の式(227)乃至(229)のように定義すると、正規方程式は、次の式(230)のように表される。
【2196】
【数178】

【2197】
【数179】

【2198】
【数180】

【2199】
【数181】

【2200】
式(228)で示されるように、行列G_(MAT)の各成分は、求めたい補正係数g_(i)である。従って、式(230)において、左辺の行列A_(MAT)と右辺の行列U_(MAT)が決定されれば、行列解法によって行列G_(MAT)(即ち、補正係数g_(i))の算出が可能である。
【2201】
具体的には、式(227)で示されるように、行列A_(MAT)の各成分は、予測タップa_(ik)が既知であれば演算可能である。予測タップa_(ik)は、領域抽出部3577により抽出されるので、正規方程式生成部3578は、領域抽出部3577より供給されてくる予測タップa_(ik)のそれぞれを利用して行列A_(MAT)の各成分を演算することができる。
【2202】
また、式(229)で示されるように、行列U_(MAT)の各成分は、予測タップa_(ik)と差分画像のHD画素ｕ_(k)が既知であれば演算可能である。予測タップa_(ik)は、行列A_(MAT)の各成分に含まれるものと同一のものであり、また、差分画像のHD画素ｕ_(k)は、加算部3571より出力される第2の教師画像のHD画素である。従って、正規方程式生成部3578は、領域抽出部3577より供給された予測タップa_(ik)と、第2の教師画像(第1の教師画像と、学習用予測画像の差分画像)を利用して行列U_(MAT)の各成分を演算することができる。
【2203】
このようにして、正規方程式生成部3578は、クラスコード毎に、行列A_(MAT)と行列U_(MAT)の各成分を演算し、その演算結果をクラスコードに対応付けて補正係数決定部3579に供給する。
【2204】
補正係数決定部3579は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式(230)の行列G_(MAT)の各成分である補正係数g_(i)を演算する。
【2205】
具体的には、上述した式(230)の正規方程式は、次の式(231)のように変形できる。
【2206】
【数182】

【2207】
式(231)において、左辺の行列G_(MAT)の各成分が、求めたい補正係数g_(i)である。また、行列A_(MAT)と行列U_(MAT)のそれぞれの各成分は、正規方程式生成部3578より供給されるものである。従って、補正係数決定部3579は、正規方程式生成部3578より所定のクラスコードに対応する行列A_(MAT)と行列U_(MAT)のそれぞれの各成分が供給されてきたとき、式(231)の右辺の行列演算を行うことで行列G_(MAT)を演算し、その演算結果(補正係数g_(i))をクラスコードに対応付けて補正係数メモリ3554に記憶させる。
【2208】
以上、クラス分類適応処理補正部3502と、それに付随する学習部である、クラス分類適応処理補正用学習部3561の詳細について説明した。
【2209】
ところで、上述した特徴量画像は、クラス分類適応処理補正部3502がそれに基づいて補正画像(差分予測画像)を生成することが可能なものであれば、その形態は特に限定されない。換言すると、特徴量画像の各画素の画素値、即ち、特徴量は、上述したように、画素(センサ2(図266)の画素)内における実世界1(図266)の信号の変化量の度合いを表すことができるものであれば、特に、限定されない。
【2210】
例えば、特徴量として、画素内傾斜を適用することが可能である。
【2211】
画素内傾斜とは、ここで新しく定義した言葉である。そこで、以下、画素内傾斜について説明する。
【2212】
上述したように、図266において、画像である、実世界1の信号は、3次元の空間上の位置ｘ,ｙ、およびｚ、並びに時刻ｔを変数とする関数F(ｘ,ｙ,ｔ)で表される。
【2213】
また、例えば、画像である、実世界1の信号が、空間方向の所定の方向に定常性を有する場合、関数F(ｘ,ｙ,ｔ)を、空間方向であるX方向、Y方向、およびZ方向のうちの所定の1方向(例えば、X方向)に射影した1次元の波形(ここでも、このような波形のうちのX方向に射影した波形を、X断面波形F(ｘ)と称することにする)と同一形状の波形が、定常性の方向に連なっていると考えることができる。
【2214】
従って、実世界推定部102は、例えば、データ定常性検出部101より出力される、実世界1の信号が有する定常性に対応するデータ定常性情報(例えば、角度)に基づいて、X断面波形F(ｘ)を、n次(nは、任意の整数)の多項式である近似関数f(ｘ)で近似することができる。
【2215】
図278は、このような近似関数f(ｘ)の一例として、次の式(232)で示されるf_(4)(ｘ)(5次の多項式であるf_(4)(ｘ))と、次の式(233)で示されるf_(5)(ｘ)(1次の多項式であるf_(5)(ｘ))をプロットしたものを表している。
【2216】
【数183】

【2217】
【数184】

【2218】
なお、式(232)のｗ_(0)乃至ｗ_(5)、並びに、式(233)のｗ_(0)’およびｗ_(1)’のそれぞれは、実世界推定部102が演算した各次の係数を表している。
【2219】
また、図278において、図中水平方向のｘ軸は、注目画素の左端を原点(ｘ=0)とした場合における、注目画素からの空間方向Xの相対位置を表している。ただし、ｘ軸においては、センサ2の検出素子の幅L_(c)が1とされている。また、図中垂直方向の軸は、画素値を表している。
【2220】
図278で示されるように、1次の近似関数f_(5)(ｘ)(式(232)で示される近似関数f_(5)(ｘ))は、注目画素におけるX断面波形F(ｘ)を直線近似したものである。この近似直線の傾きを、ここでは、画素内傾斜と称している。即ち、画素内傾斜とは、式(233)におけるｘの係数ｗ_(1)’である。
【2221】
画素内傾斜が急な場合、それは、注目画素における、X断面波形F(ｘ)の変化量が大きいことを表している。これに対して、画素内傾斜が緩やかな場合、それは、注目画素における、X断面波形F(ｘ)の変化量が小さいことを表している。
【2222】
このように、画素内傾斜は、画素(センサ2の画素)内における実世界1の信号の変化量の度合いを適切に表すことができる。従って、特徴量として、画素内傾斜を適用することができる。
【2223】
例えば、図279には、画素内傾斜を特徴量として実際に生成された特徴量画像が示されている。
【2224】
即ち、図279において、図中左側の画像は、上述した図270で示されるSD画像3542と同一の画像を表している。また、図中右側の画像は、左側のSD画像3542を構成する各画素のそれぞれに対して画素内傾斜を求め、画素内傾斜に対応する値を画素値としてプロットした特徴量画像3591を表している。ただし、特徴量画像3591は、画素内傾斜がない場合(近似直線が、X方向に平行な場合)、黒となり、これに対して、画素内傾斜が直角の場合(近似直線が、Y方向に平行な場合)、白となるように生成されている。
【2225】
SD画像3542の領域3542-1は、上述した図271の差分画像3544の領域3544-1(上述した図272を参照して、画素内における実世界1の信号の変化量が小さい領域の1例として説明した領域)に対応する領域である。このSD画像3542の領域3542-1に対応する特徴量画像3591の領域が、領域3591-1である。
【2226】
また、SD画像3542の領域3542-2は、上述した図273の差分画像3544の領域3544-2(上述した図274を参照して、画素内における実世界1の信号の変化量が大きい領域の1例として説明した領域)に対応する領域である。このSD画像3542の領域3542-2に対応する特徴量画像3591の領域が、領域3591-2である。
【2227】
SD画像3542の領域3542-1と特徴量画像3591の領域3591-1とを比較するに、実世界1の信号の変化量が小さい領域は、特徴量画像3591においては、黒に近い領域(画素内傾斜が緩い領域)となっていることがわかる。
【2228】
これに対して、SD画像3542の領域3542-2と特徴量画像3591の領域3591-2とを比較するに、実世界1の信号の変化量が大きい領域は、特徴量画像3591においては、白に近い領域(画素内傾斜が急な領域)となっていることがわかる。
【2229】
このように、画素内傾斜に対応する値を画素として生成された特徴量画像は、各画素内のそれぞれにおける実世界1の信号の変化量の度合いを適切に表すことができる。
【2230】
次に、画素内傾斜の具体的な算出方法について説明する。
【2231】
即ち、注目画素における画素内傾斜を、gｒadと記述すると、画素内傾斜gｒadは、次の式(234)で表される。
【2232】
【数185】

【2233】
式(234)において、P_(n)は、注目画素の画素値を表している。P_(c)は、中心画素の画素値を表している。
【2234】
具体的には、例えば、図280で示されるように、センサ2からの入力画像のうちの、5×5の画素(図中5×5=25個の正方形)からなる領域であって、所定のデータの定常性を有する領域3601(以下、定常領域3601と称する)が存在した場合、この定常領域3601の中心の画素3602が中心画素とされる。従って、P_(c)は、中心画素3602の画素値となる。そして、例えば、画素3603が注目画素とされた場合、P_(n)は、注目画素3603の画素値となる。
【2235】
また、式(234)において、ｘ_(n)’は、注目画素の中心点における断面方向距離を表している。なお、ここでは、中心画素(図280の例では、画素3602)の中心を空間方向の原点(0,0)とし、その原点を通るデータの定常性の方向と平行な直線(図280の例では、直線3604)を引いたとすると、その直線に対するX方向の相対的な距離を、断面方向距離と称している。
【2236】
図281は、図280の定常領域3601内の各画素の断面方向距離を表した図である。即ち、図281において、定常領域3601の各画素(図中5×5=25個の正方形)内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、注目画素3603の断面距離ｘ_(n)’は、-2βである。
【2237】
ただし、各画素幅は、X方向もY方向も1とされている。X方向の正方向は、図中右方向とされている。また、βは、中心画素3602のY方向に対して1つ隣(図中1つ下)の画素3605の断面方向距離を表している。このβは、図281で示されるような角度θ(直線3604の方向と、X方向のなす角度θ)が、データ定常性検出部101よりデータ定常性情報として出力されている場合、次の式(235)を利用して簡単に演算することが可能である。
【2238】
【数186】

【2239】
このように、画素内傾斜は、中心画素(図281の例では画素3602)と注目画素(図281の例では画素3603)の2つの入力画素値と、角度θを利用する簡単な演算で算出可能である。従って、実世界推定部102は、画素内傾斜に対応する値を画素値とする画像を、特徴量画像として生成すれば、その処理量を大幅に低減することが可能になる。
【2240】
なお、さらに精度のよい画素内傾斜を求めたい場合、実世界推定部102は、注目画素の周辺画素を用いて最小自乗法により演算すればよい。具体的には、実世界推定部102は、注目画素を含むm個(mは2以上の整数)の画素に対して番号i(iは、1乃至m)を付与し、番号iの画素のそれぞれの入力画素値P_(i)と断面方向距離ｘ_(i)’を、次の式(236)の右辺に代入して注目画素における画素内傾斜gｒadを演算すればよい。即ち、式(236)は、上述した1変数を最小自乗法で求める式と同様の式である。
【2241】
【数187】

【2242】
次に、図282を参照して、クラス分類適応処理補正手法を利用する画像生成部103(図266)の画像の生成の処理(図40のステップS103の処理)について説明する。
【2243】
図266において、画像である、実世界1の信号がセンサ2に入射されると、センサ2からは入力画像が出力される。この入力画像は、データ定常性検出部101に入力されるとともに、画像生成部103のクラス分類適応処理部3501に入力される。
【2244】
そこで、図282のステップS3501において、クラス分類適応処理部3501は、入力された入力画像(SD画像)に対してクラス分類適応処理を施して、予測画像(HD画像)を生成し、加算部3503に出力する。
【2245】
なお、以下、このようなクラス分類適応処理部3501が実行するステップS3501の処理を、「入力画像クラス分類適応処理」と称する。この例の「入力画像クラス分類適応処理」の詳細については、図283のフローチャートを参照して後述する。
【2246】
ステップS3501の処理とほぼ同時に、データ定常性検出部101は、入力画像に含まれるデータの定常性を検出し、その検出結果(いまの場合、角度)をデータ定常性情報として実世界推定部102に出力する(図40のステップS101の処理)。
【2247】
実世界推定部102は、入力した角度(データ定常性情報)に基づいて、実世界推定情報(いまの場合、SD画像である特徴量画像)を生成し、画像生成部103のクラス分類適応処理補正部3502に供給する(図40のステップS102の処理)。
【2248】
そこで、ステップS3502において、クラス分類適応処理補正部3502は、供給された特徴量画像(SD画像)に対してクラス分類適応処理を施して、差分予測画像(HD画像)を生成し(実際の画像(実世界1の信号)と、クラス分類適応処理部3501から出力された予測画像との差分画像(ただし、HD画像)を予測演算し)、それを補正画像として加算部3503に出力する。
【2249】
なお、以下、このようなクラス分類適応処理補正部3502が実行するステップS3502の処理を、「クラス分類適応処理の補正処理」と称する。この例の「クラス分類適応処理の補正処理」の詳細については、図284のフローチャートを参照して後述する。
【2250】
そして、ステップS3503において、加算部3503が、ステップS3501の処理でクラス分類適応処理部3501により生成された予測画像(HD画像)の注目画素(HD画素)と、その注目画素に対応する、ステップS3502の処理でクラス分類適応処理補正部3502により生成された補正画像(HD画像)の画素(HD画素)を加算し、出力画像(HD画像)の画素(HD画素)を生成する。
【2251】
ステップS3504において、加算部3503は、全画素の処理を終了したか否かを判定する。
【2252】
ステップS3504において、全画素の処理がまだ終了されていないと判定された場合、処理はステップS3501に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップS3501乃至S3503の処理が繰り返される。
【2253】
そして、全画素の処理が終了すると(ステップS3504において、全画素の処理が終了されたと判定すると)、加算部3504は、ステップS3505において、出力画像(HD画像)を外部に出力する。その後、画像の生成の処理は終了となる。
【2254】
次に、図面を参照して、この例における「入力画像クラス分類適応処理(ステップS3501の処理)」、および、「クラス分類適応処理の補正処理(ステップS3502の処理)」のそれぞれの詳細について、その順番で個別に説明する。
【2255】
はじめに、図283のフローチャートを参照して、クラス分類適応処理部3501(図267)が実行する「入力画像クラス分類適応処理」の詳細について説明する。
【2256】
入力画像(SD画像)がクラス分類適応処理部3501に入力されると、ステップS3521において、領域抽出部3511と領域抽出部3515のそれぞれは、入力画像を入力する。
【2257】
ステップS3522において、領域抽出部3511は、入力画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置)のそれぞれに位置する画素(SD画素)を、クラスタップとして抽出し、パターン検出部3512に供給する。
【2258】
ステップS3523において、パターン検出部3512は、供給されたクラスタップのパターンを検出し、クラスコード決定部3513に供給する。
【2259】
ステップS3524において、クラスコード決定部3513は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ3514と領域抽出部3515のそれぞれに供給する。
【2260】
ステップS3525において、係数メモリ3514は、予め学習処理により決定された複数の予測係数(群)の中から、供給されたクラスコードに基づいてこれから使用する予測係数(群)を読み出し、予測演算部3516に供給する。
【2261】
なお、学習処理については、図288のフローチャートを参照して後述する。
【2262】
ステップS3526において、領域抽出部3515は、供給されたクラスコードに対応して、入力画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい)のそれぞれに位置する画素(SD画素)を、予測タップとして抽出し、予測演算部3516に供給する。
【2263】
ステップS3527において、予測演算部3516は、領域抽出部3515より供給された予測タップを、係数メモリ3514より供給された予測係数を用いて演算し、予測画像(HD画像)を生成して加算部3503に出力する。
【2264】
具体的には、予測演算部3516は、領域抽出部3515より供給された予測タップのそれぞれをc_(i)(iは、1乃至nのうちのいずれかの整数)とし、かつ、係数メモリ3514より供給された予測係数のそれぞれをd_(i)として、上述した式(215)の右辺を演算することにより、注目画素(SD画素)におけるHD画素ｑ’を算出し、それを予測画像(HD画像)を構成する1つの画素として加算部3503に出力する。これにより、入力画像クラス分類適応処理が終了となる。
【2265】
次に、図284のフローチャートを参照して、クラス分類適応処理補正部3502(図276)が実行する「クラス分類適応処理の補正処理」の詳細について説明する。
【2266】
実世界推定部102より実世界推定情報として特徴量画像(SD画像)がクラス分類適応処理補正部3502に入力されると、ステップS3541において、領域抽出部3551と領域抽出部3555のそれぞれは、特徴量画像を入力する。
【2267】
ステップS3542において、領域抽出部3551は、特徴量画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置)のそれぞれに位置する画素(SD画素)を、クラスタップとして抽出し、パターン検出部3552に供給する。
【2268】
具体的には、この例においては、例えば、図285で示されるようなクラスタップ(群)3621が抽出されるとする。即ち、図285は、クラスタップ配置の1例を表している。
【2269】
図285において、図中水平方向は、空間方向の1方向であるX方向とされており、図中垂直方向は、空間方向の他方向であるY方向とされている。また、注目画素は、画素3621-2とされている。
【2270】
この場合、図285の例では、注目画素3621-2、Y方向に対して注目画素3621-2の隣の画素3621-0および画素3621-4、並びに、X方向に対して注目画素3621-2の隣の画素3621-1および画素3621-3の総計5個の画素からなる画素群3621が、クラスタップとして抽出されることになる。
【2271】
勿論、クラスタップ配置は、注目画素3621-2を含む配置であれば、図285の例に限定されず、様々な配置が可能である。
【2272】
図284に戻り、ステップS3543において、パターン検出部3552は、供給されたクラスタップのパターンを検出し、クラスコード決定部3553に供給する。
【2273】
具体的には、この例においては、例えば、パターン検出部3552は、図285で示される5個のクラスタップ3621-0乃至3621-4のそれぞれの画素値、即ち、特徴量の値(例えば、画素内傾斜)のそれぞれが、予め設定された複数のクラスのうちのいずれのクラスに属するのかを検出し、それらの検出結果を1つにまとめたものをパターンとして出力する。
【2274】
例えば、いま、図286で示されるようなパターンが検出されたとする。即ち、図286は、クラスタップのパターンの1例を表している。
【2275】
図286において、図中水平方向の軸は、クラスタップを表しており、図中垂直方向の軸は、画素内傾斜を表している。また、画素内傾斜により、クラス3631、クラス3632、およびクラス3633の3つのクラスが予め設定されているとする。
【2276】
この場合、図286で示されるパターンは、クラスタップ3621-0はクラス3631に、クラスタップ3621-1はクラス3631に、クラスタップ3621-2はクラス3633に、クラスタップ3621-3はクラス3631に、クラスタップ3621-4はクラス3632に、それぞれ属するパターンを表している。
【2277】
このように、5個のクラスタップ3621-0乃至3621-4のそれぞれは、3つのクラス3631乃至3633のうちのいずれかに属することになる。従って、この例においては、図286で示されるパターンを含めて総計273(=3^5)個のパターンが存在することになる。
【2278】
図284に戻り、ステップS3544において、クラスコード決定部3553は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、補正係数メモリ3554と領域抽出部3555のそれぞれに供給する。いまの場合、273個のパターンが存在するので、予め設定されているクラスコードの数も273個(または、それ以上)となる。
【2279】
ステップS3545において、補正係数メモリ3554は、予め学習処理により決定された複数の補正係数(群)の中から、供給されたクラスコードに基づいてこれから使用する補正係数(群)を読み出し、補正演算部3556に供給する。補正係数メモリ3554に記憶されている補正係数(群)のそれぞれは、予め設定されたクラスコードのうちのいずれかに対応付けられているので、いまの場合、補正係数(群)の数は、予め設定されているクラスコードの数と同数(273個以上)となる。
【2280】
なお、学習処理については、図288のフローチャートを参照して後述する。
【2281】
ステップS3546において、領域抽出部3555は、供給されたクラスコードに対応して、入力画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい)のそれぞれに位置する画素(SD画素)を、予測タップとして抽出し、補正演算部3556に供給する。
【2282】
具体的には、この例においては、例えば、図287で示されるような予測タップ(群)3641が抽出されるとする。即ち、図287は、予測タップ配置の1例を表している。
【2283】
図287において、図中水平方向は、空間方向の1方向であるX方向とされており、図中垂直方向は、空間方向の他方向であるY方向とされている。また、注目画素は、画素3641-1とされている。即ち、画素3641-1は、クラスタップ3621-2(図285)に対応する画素である。
【2284】
この場合、図287の例では、注目画素3641-1を中心とする5×5の画素群(総計25個の画素からなる画素群)3641が、予測タップ(群)として抽出されることになる。
【2285】
勿論、予測タップ配置は、注目画素3641-1を含む配置であれば、図287の例に限定されず、様々な配置が可能である。
【2286】
図284に戻り、ステップS3547において、補正演算部3556は、領域抽出部3555より供給された予測タップを、補正係数メモリ3554より供給された補正係数を用いて演算し、差分予測画像(HD画像)を生成し、補正画像として加算部3503に出力する。
【2287】
より詳細には、補正演算部3556は、領域抽出部3555より供給された予測タップのそれぞれをa_(i)(iは、1乃至nのうちのいずれかの整数)とし、かつ、補正係数メモリ3554より供給された補正係数のそれぞれをg_(i)として、上述した式(223)の右辺を演算することにより、注目画素(SD画素)におけるHD画素ｕ’を算出し、それを補正画像(HD画像)を構成する1つの画素として加算部3503に出力する。これにより、クラス分類適応処理の補正処理は終了となる。
【2288】
次に、図288のフローチャートを参照して、学習装置(図268)の学習処理、即ち、クラス分類適応処理部3501(図267)が使用する予測係数と、クラス分類適応処理補正部3502(図276)が使用する補正係数のそれぞれを学習により生成する学習処理について説明する。
【2289】
ステップS3561において、クラス分類適応処理用学習部3521は、クラス分類適応処理部3501が使用する予測係数を生成する。
【2290】
即ち、クラス分類適応処理用学習部3521は、所定の画像を第1の教師画像(HD画像)として入力し、その第1の教師画像の解像度を下げて第1の生徒画像(SD画像)を生成する。
【2291】
そして、クラス分類適応処理用学習部3521は、クラス分類適応処理により第1の生徒画像(SD画像)から第1の教師画像(HD画像)を適切に予測することが可能な予測係数を生成し、クラス分類適応処理部3501の係数メモリ3514(図267)に記憶させる。
【2292】
なお、以下、このようなクラス分類適応処理用学習部3521が実行するステップS3561の処理を、「クラス分類適応処理用学習処理」と称する。この例の「クラス分類適応処理用学習処理」の詳細については、図289のフローチャートを参照して後述する。
【2293】
クラス分類適応処理部3501が使用する予測係数が生成されると、ステップS3562において、クラス分類適応処理補正用学習部3561は、クラス分類適応処理補正部3502が使用する補正係数を生成する。
【2294】
即ち、クラス分類適応処理補正用学習部3561は、クラス分類適応処理用学習部3521より、第1の教師画像、第1の生徒画像、および学習用予測画像(クラス分類適応処理用学習部3521により生成された予測係数を用いて、第1の教師画像を予測した画像)のそれぞれを入力する。
【2295】
次に、クラス分類適応処理補正用学習部3561は、第2の教師画像として、第1の教師画像と学習用予測画像の差分画像を生成するとともに、第2の生徒画像として、第1の生徒画像から特徴量画像を生成する。
【2296】
そして、クラス分類適応処理補正用学習部3561は、クラス分類適応処理により第2の生徒画像(SD画像)から第2の教師画像(HD画像)を適切に予測することが可能な予測係数を生成し、それを補正係数としてクラス分類適応処理補正部3502の補正係数メモリ3554に記憶させる。これにより、学習処理は終了となる。
【2297】
なお、以下、このようなクラス分類適応処理補正用学習部3561が実行するステップS3562の処理を、「クラス分類適応処理補正用学習処理」と称する。この例の「クラス分類適応処理補正用学習処理」の詳細については、図290のフローチャートを参照して後述する。
【2298】
次に、図面を参照して、この例における「クラス分類適応処理用学習処理(ステップS3561の処理)」、および、「クラス分類適応処理補正用学習処理(ステップS3562の処理)」のそれぞれの詳細について、その順番で個別に説明する。
【2299】
はじめに、図289のフローチャートを参照して、クラス分類適応処理用学習部3521(図269)が実行する「クラス分類適応処理用学習処理」の詳細について説明する。
【2300】
ステップS3581において、ダウンコンバート部3531と正規方程式生成部3536のそれぞれは、供給された所定の画像を、第1の教師画像(HD画像)として入力する。なお、第1の教師画像は、上述したように、クラス分類適応処理補正用学習部3561にも入力される。
【2301】
ステップS3582において、ダウンコンバート部3531は、入力された第1の教師画像をダウンコンバートして(解像度を落として)第1の生徒画像(SD画像)を生成し、領域抽出部3532と領域抽出部3535のそれぞれに供給するとともに、クラス分類適応処理補正用学習部3561にも出力する。
【2302】
ステップS3583において、領域抽出部3532は、供給された第1の生徒画像からクラスタップを抽出してパターン検出部3533に出力する。なお、ステップS3583の処理は、ブロックに入力される情報と、ブロックから出力される情報は厳密には違う情報であるが(以下、このような違いを、単に、入出力の違いと称する)、上述したステップS3522(図283)の処理と基本的に同様の処理である。
【2303】
ステップS3584において、パターン検出部3533は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部3534に供給する。なお、ステップS3584の処理は、入出力の違いはあるが、上述したステップS3523(図283)の処理と基本的に同様の処理である。
【2304】
ステップS3585において、クラスコード決定部3534は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部3535と正規方程式生成部3536のそれぞれに供給する。なお、ステップS3585の処理は、入出力の違いはあるが、上述したステップS3524(図283)の処理と基本的に同様の処理である。
【2305】
ステップS3586において、領域抽出部3535は、供給されたクラスコードに対応して、第1の生徒画像の中から予測タップを抽出し、正規方程式生成部3536と予測演算部3538のそれぞれに供給する。なお、ステップS3586の処理は、入出力の違いはあるが、上述したステップS3526(図283)の処理と基本的に同様の処理である。
【2306】
ステップS3587において、正規方程式生成部3536は、領域抽出部3535より供給された予測タップ(SD画素)、および、第1の教師画像(HD画像)を構成するHD画素のうちの所定のHD画素から、上述した式(217)(即ち、式(221))で示される正規方程式を生成し、クラスコード決定部3534より供給されたクラスコードとともに係数決定部3537に供給する。
【2307】
ステップS3588において、係数決定部3537は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式(222)の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ3514に記憶させるとともに、予測演算部3538に供給する。
【2308】
ステップS3589において、予測演算部3538は、領域抽出部3535より供給された予測タップを、係数決定部3537より供給された予測係数を用いて演算し、学習用予測画像(HD画素)を生成する。
【2309】
具体的には、予測演算部3538は、領域抽出部3535より供給された予測タップのそれぞれをc_(i)(iは、1乃至nのうちのいずれかの整数)とし、かつ、係数決定部3537より供給された予測係数のそれぞれをd_(i)として、上述した式(215)の右辺を演算することにより、第1の教師画像の所定のHD画素ｑを予測したHD画素ｑ’を算出し、たHD画素ｑ’を学習用予測画像の1つの画素とする。
【2310】
ステップS3590において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップS3583に戻る。即ち、全ての画素の処理が終了されるまで、ステップS3583乃至S3590の処理が繰り返される。
【2311】
そして、ステップS3590において、全ての画素について処理が施されたと判定された場合、ステップS3591において、予測演算部3538は、学習予測画像(ステップS3589の処理毎に生成された各HD画素ｑ’から構成されるHD画像)を、クラス分類適応処理補正用学習部3561に出力する。これにより、クラス分類適応処理用学習処理は終了となる。
【2312】
このように、この例においては、全ての画素の処理が終了された後、第1の教師画像を予測したHD画像である学習用予測画像がクラス分類適応処理補正用学習部3561に出力される。即ち、全てのHD画素(予測画素)が一括して出力される。
【2313】
しかしながら、全ての画素が一括して出力されることは必須ではなく、ステップS3589の処理でHD画素(予測画素)が生成される毎に、クラス分類適応処理補正用学習部3561に出力されてもよい。この場合、ステップS3591の処理は省略される。
【2314】
次に、図290のフローチャートを参照して、クラス分類適応処理補正用学習部3561(図277)が実行する「クラス分類適応処理補正用学習処理」の詳細について説明する。
【2315】
クラス分類適応処理用学習部3521より第1の教師画像(HD画像)と学習用予測画像(HD画像)が入力されると、ステップS3601において、加算部3571は、第1の教師画像から学習用予測画像を減算し、差分画像(HD画像)を生成し、それを第2の教師画像として正規方程式生成部3578に供給する。
【2316】
また、クラス分類適応処理用学習部3521より第1の生徒画像(SD画像)が入力されると、ステップS3602において、データ定常性検出部3572と実世界推定部3573は、入力された第1の生徒画像(SD画像)から特徴量画像を生成し、それを第2の生徒画像として領域抽出部3574と領域抽出部3577のそれぞれに供給する。
【2317】
即ち、データ定常性検出部3572は、第1の生徒画像に含まれるデータの定常性を検出し、その検出結果(いまの場合、角度)をデータ定常性情報として実世界推定部3573に出力する。なお、ステップS3602のデータ定常性検出部3572の処理は、入出力の違いはあるが、上述した図40のステップS101の処理と基本的に同様の処理である。
【2318】
実世界推定部3573は、入力した角度(データ定常性情報)に基づいて、実世界推定情報(いまの場合、SD画像である特徴量画像)を生成し、それを第2の生徒画像として領域抽出部3574と領域抽出部3577のそれぞれに供給する。なお、ステップS3602の実世界推定部3573の処理は、入出力の違いはあるが、上述した図40のステップS102の処理と基本的に同様の処理である。
【2319】
また、ステップS3601とS3602の処理の順番は、図290の例に限定されない。即ち、ステップS3602の処理が先に実行されてもよいし、ステップS3601とS3602の処理が同時に実行されてもよい。
【2320】
ステップS3603において、領域抽出部3574は、供給された第2の生徒画像(特徴量画像)からクラスタップを抽出してパターン検出部3575に出力する。なお、ステップS3603の処理は、入出力の違いはあるが、上述したステップS3542(図284)の処理と基本的に同様の処理である。即ち、いまの場合、図285で示される配置の画素群3621がクラスタップとして抽出される。
【2321】
ステップS3604において、パターン検出部3575は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部3576に供給する。なお、ステップS3604の処理は、入出力の違いはあるが、上述したステップS3543(図284)の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも273個のパターンが検出されることになる。
【2322】
ステップS3605において、クラスコード決定部3576は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部3577と正規方程式生成部3578のそれぞれに供給する。なお、ステップS3605の処理は、入出力の違いはあるが、上述したステップS3544(図284)の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも273個のクラスコードが決定されることになる。
【2323】
ステップS3606において、領域抽出部3577は、供給されたクラスコードに対応して、第2の生徒画像(特徴量画像)の中から予測タップを抽出し、正規方程式生成部3578に供給する。なお、ステップS3606の処理は、入出力の違いはあるが、上述したステップS3546(図284)の処理と基本的に同様の処理である。即ち、いまの場合、図287で示される配置の画素群3641が予測タップとして抽出される。
【2324】
ステップS3607において、正規方程式生成部3578は、領域抽出部3577より供給された予測タップ(SD画素)、および、第2の教師画像(HD画像である、第1の教師画像と学習用予測画像の差分画像)を構成するHD画素のうちの所定のHD画素から、上述した式(226)(即ち、式(230))で示される正規方程式を生成し、クラスコード決定部3576より供給されたクラスコードとともに補正係数決定部3579に供給する。
【2325】
ステップS3608において、補正係数決定部3579は、供給された正規方程式を解いて補正係数を決定し、即ち、上述した式(231)の右辺を演算することで補正係数を算出し、供給されたクラスコードに対応付けて補正係数メモリ3554に記憶させる。
【2326】
ステップS3609において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップS3603に戻る。即ち、全ての画素の処理が終了されるまで、ステップS3603乃至S3609の処理が繰り返される。
【2327】
そして、ステップS3609において、全ての画素について処理が施されたと判定された場合、クラス分類適応処理補正用学習処理は終了となる。
【2328】
以上、説明したように、クラス分類適応補正処理手法においては、クラス分類適応処理部3501より出力された予測画像に対して、クラス分類適応処理補正部3502より出力された補正画像(差分予測画像)が加算されて出力される。
【2329】
例えば、上述した図270で示されるHD画像3541の解像度を落とした画像であるSD画像3542が入力画像とされた場合、クラス分類適応処理部3501からは、図291で示される予測画像3543が出力される。そして、この予測画像3543に、クラス分類適応処理補正部3502より出力された補正画像(図示せず)が加算されると(補正画像により補正されると)、図271で示される出力画像3651となる。
【2330】
出力画像3651、予測画像3543、および、元の画像であるHD画像3541(図270)のそれぞれを比較するに、出力画像3651は、予測画像3543よりもHD画像3541により近い画像になっていることがわかる。
【2331】
このように、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像(センサ2に入射される前の実世界1の信号)により近い画像の出力が可能になる。
【2332】
換言すると、クラス分類適応処理補正手法においては、例えば、図266のデータ定常性検出部101が、それぞれ時空間積分効果を有する、センサ(例えば、図266のセンサ2)の複数の検出素子により図266の実世界1の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像(図266)におけるデータの定常性を検出する。
【2333】
例えば、図266の実世界推定部102は、検出されたデータの定常性に対応して、実世界1の光信号を表す光信号関数F(ｘ)(図275)が有する実世界特徴(例えば、図266の特徴量画像を構成する画素に対応する特徴量)を検出することで、実世界1の光信号を推定する。
【2334】
詳細には、例えば、実世界推定部102は、出されたデータの定常性に対応する線(例えば、図280の線3604)からの少なくとも1次元方向に沿った距離(例えば、図280の断面方向距離Xn’)に対応する画素の画素値が、少なくとも1次元方向の積分効果により取得された画素値であるとして、光信号関数F(ｘ)を、例えば、図278の近似関数f_(5)(ｘ)で近似し、所定画素(例えば、図280の画素3603)内における近似関数f5(ｘ)の傾斜である画素内傾斜(例えば、上述した式(234)のgｒadであり、式(233)のｘの係数ｗ1‘)を、実世界特徴として検出することで、実世界1の光信号を推定する。
【2335】
そして、例えば、図266の画像生成部103が、実世界推定手段により検出された実世界特徴に基いて、入力画像よりも高質な出力画像(図266)を予測し生成する。
【2336】
詳細には、例えば、画像生成部103において、例えば、図266のクラス分類適応処理部3501が、出力画像における注目画素の周辺に位置する、実世界1の光信号の定常性が欠落した入力画像内の複数の画素の画素値から注目画素の画素値(例えば、図266の予測画像の画素であり、上述した式(224)のｑ’)を予測する。
【2337】
一方、例えば、図266のクラス分類適応処理補正部3502は、例えば、図266の実世界推定部102より供給された特徴量画像(実世界推定情報)から、クラス分類適応処理部3501により予測された予測画像の注目画素の画素値を補正する補正項(例えば、図266の補正画像(差分予測画像)の画素であり、式(224)のｕ‘)を予測する。
【2338】
そして、例えば、図266の加算部3503は、クラス分類適応処理部3501により予測された予測画像の注目画素の画素値を、クラス分類適応処理部3501により予測された補正項で補正する(例えば、式(224)のように演算する)。
【2339】
また、クラス分類適応処理補正手法においては、例えば、図267の係数メモリ3514に記憶される予測係数を学習により決定する図268のクラス分類適応処理学習部3521と、例えば、図276の補正係数メモリ3554に記憶される補正係数を学習により決定する図268のクラス分類適応処理補正用学習部3561を有する図268の学習装置3504が設けられている。
【2340】
詳細には、例えば、図269のクラス分類適応処理学習部3521には、学習用画像データをダウンコンバートするダウンコンバート部3531、並びに、学習用画像データを第1の教師画像とし、ダウンコンバート部3531によりダウンコンバートされた学習用画像データを第1の生徒画像とし、第1の教師画像と第1の生徒画像の関係を学習することにより、予測係数を生成する係数決定部3537、および、領域抽出部3532乃至正規方程式生成部3536が設けられている。
【2341】
クラス分類適応処理学習部3521にはさらに、例えば、係数決定部3537により生成(決定)された予測係数を使用して、第1の生徒画像から第1の教師画像を予測する画像データとして、学習用予測画像を生成する予測演算部3538が設けられている。
【2342】
また、例えば、図277のクラス分類適応処理補正用学習部3561には、第1の生徒画像におけるデータの定常性を検出し、検出したデータの定常性に基づいて、第1の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする特徴量画像(具体的には、例えば、図279の特徴量画像3591)を、第2の生徒画像(例えば、図277の第2の生徒画像)として生成するデータ定常性検出部3572および実世界推定部3573、第1の教師画像と、学習用予測画像の差分からなる画像データ(差分画像)を、第2教師画像として生成する加算部3571、並びに、第2の教師画像と、第2の生徒画像の関係を学習することにより、補正係数を生成する補正係数決定部3579、および領域抽出部3574乃至正規方程式生成部3578が設けられている。
【2343】
従って、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像(センサ2に入射される前の実世界1の信号)により近い画像の出力が可能になる。
【2344】
なお、クラス分類適応処理は、上述したように、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、上述した式(215)や式(223)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、クラス分類適応処理では、その補間フィルタの係数に相当する予測係数d_(i)または補足係数g_(i)が、教師データと生徒データ(第1の教師画像と第1の生徒画像、または、第2の教師画像と第2の生徒画像)を用いての学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造(解像度創造)作用がある処理と称することができる。
【2345】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、S/N(Signal ｔｏ Nｏiｓe Raｔiｏ)の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【2346】
即ち、例えば、S/Nの向上やぼけの改善を、クラス分類適応処理によって行うには、S/Nの高い画像データを教師データとするとともに、その教師データのS/Nを低下させた画像(あるいは、ぼかした画像)を生徒データとして、係数を求めればよい。
【2347】
以上、本発明の実施の形態として、図3の構成の信号処理装置について説明したが、本発明の実施の形態は、図3の例に限定されず、様々な形態を取ることが可能である。即ち、図1の信号処理装置4の実施の形態は、図3の例に限定されず、様々な形態を取ることが可能である。
【2348】
例えば、図3の構成の信号処理装置は、画像である、実世界1の信号が有する定常性に基づいて信号処理を行う。このため、図3の構成の信号処理装置は、実世界1の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界1の信号に近い画像データを出力することが可能になる。
【2349】
しかしながら、図3の構成の信号処理装置は、定常性に基づいて信号処理を実行する以上、実世界1の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界1の信号に対して誤差を含む画像データを出力することになる。
【2350】
そこで、図3の構成の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置(または、プログラム等)を付加することができる。この場合、実世界1の信号のうちの定常性が存在する部分については、図3の構成の信号処理装置が信号処理を実行し、実世界1の信号のうちの明確な定常性が存在しない部分については、付加した他の装置(または、プログラム等)が信号処理を実行することになる。なお、以下、このような実施形態を併用手法と称する。
【2351】
以下、図292乃至図305を参照して、具体的な5つの併用手法(以下、それぞれの併用手法を、第1乃至第5の併用手法と称する)について説明する。
【2352】
なお、各併用手法が適用される信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、後述する図292乃至図294、図298、図300、図302、および図304のそれぞれのブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【2353】
図292は、第1の併用手法が適用される信号処理装置の構成例を表している。
【2354】
図292の信号処理装置においては、データ3(図1)の一例である画像データが入力され、入力された画像データ(入力画像)に基づいて、後述する画像処理が施されて画像が生成され、生成された画像(出力画像)が出力される。即ち、図292は、画像処理装置である信号処理装置4(図1)の構成を示す図である。
【2355】
信号処理装置4に入力された入力画像(データ3の一例である画像データ)は、データ定常性検出部4101、実世界推定部4102、および画像生成部4104のそれぞれに供給される。
【2356】
データ定常性検出部4101は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部4102および画像生成部4103に供給する。
【2357】
このように、データ定常性検出部4101は、図3のデータ定常性検出部101と基本的に同様の構成と機能を有するものである。従って、データ定常性検出部4101は、上述した様々な実施の形態を取ることが可能である。
【2358】
ただし、データ定常性検出部4101はさらに、注目画素の領域を特定するための情報(以下、領域特定情報と称する)を生成し、領域検出部4111に供給する。
【2359】
この領域特定情報は、特に限定されず、データ定常性情報が生成された後に新たに生成された情報でもよいし、データ定常性情報が生成される場合に付帯して生成される情報でもよい。
【2360】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。即ち、例えば、データ定常性検出部4101が、データ定常性情報として角度を算出し、かつ、その角度を最小自乗法により演算する場合、最小自乗法の演算で推定誤差が付帯的に算出される。この推定誤差が、領域特定情報として使用可能である。
【2361】
実世界推定部4102は、入力画像、およびデータ定常性検出部4101から供給されたデータ定常性情報に基づいて、実世界1(図1)の信号を推定する。即ち、実世界推定部4102は、入力画像が取得されたときセンサ2(図1)に入射された、実世界1の信号である画像を推定する。実世界推定部4102は、実世界1の信号の推定の結果を示す実世界推定情報を画像生成部4103に供給する。
【2362】
このように、実世界推定部4102は、図3の実世界推定部102と基本的に同様の構成と機能を有するものである。従って、実世界推定部4102は、上述した様々な実施の形態を取ることが可能である。
【2363】
画像生成部4103は、実世界推定部4102から供給された、推定された実世界1の信号を示す実世界推定情報に基づいて、実世界1の信号により近似した信号を生成して、生成した信号をセレクタ4112に供給する。または、画像生成部4103は、データ定常性検出部4101から供給されたデータ定常性情報、および実世界推定部4102から供給された、推定された実世界1の信号を示す実世界推定情報に基づいて、実世界1の信号により近似した信号を生成して、生成した信号をセレクタ4112に供給する。
【2364】
即ち、画像生成部4103は、実世界推定情報に基づいて、実世界1の画像により近似した画像を生成し、セレクタ4112に供給する。または、画像生成部4103は、データ定常性情報、および実世界推定情報に基づいて、実世界1の画像により近似した画像を生成し、セレクタ4112に供給する。
【2365】
このように、画像生成部4103は、図3の画像生成部103と基本的に同様の構成と機能を有するものである。従って、画像生成部4103は、上述した様々な実施の形態を取ることが可能である。
【2366】
画像生成部4104は、入力画像に対して所定の画像処理を施して、画像を生成し、セレクタ4112に供給する。
【2367】
なお、画像生成部4104が実行する画像処理は、データ定常性検出部4101、実世界推定部4102、および画像生成部4103が実行する画像処理とは異なる画像処理であれば、特に限定されない。
【2368】
例えば、画像生成部4104は、従来のクラス分類適応処理を行うことができる。このクラス分類適応処理を実行する画像生成部4104の構成例が、図293に示されている。なお、図293の説明、即ち、クラス分類適応処理を実行する画像生成部4104の詳細の説明については後述する。また、クラス分類適応処理についても、図293の説明をするときに併せて説明する。
【2369】
定常領域検出部4105には、領域検出部4111、およびセレクタ4112が設けられている。
【2370】
領域検出部4111は、データ定常性検出部4101より供給された領域特定情報に基づいて、セレクタ4112に供給された画像(注目画素)が、定常領域であるか、或いは非定常領域であるかを検出し、その検出結果をセレクタ4112に供給する。
【2371】
なお、領域検出部4111が実行する領域検出の処理は、特に限定されず、例えば、上述した推定誤差が領域特定情報として供給される場合、領域検出部4111は、供給された推定誤差が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給された推定誤差が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【2372】
セレクタ4112は、領域検出部4111より供給された検出結果に基づいて、画像生成部4103より供給された画像、または、画像生成部4104より供給された画像のうちのいずれか一方を選択し、選択した画像を出力画像として外部に出力する。
【2373】
即ち、領域検出部4111により注目画素が定常領域であると検出された場合、セレクタ4112は、画像生成部4103より供給された画像(入力画像の注目画素における、画像生成部4103により生成された画素)を出力画像として選択する。
【2374】
これに対して、領域検出部4111により注目画素が非定常領域であると検出された場合、セレクタ4112は、画像生成部4104より供給された画像(入力画像の注目画素における、画像生成部4104により生成された画素)を出力画像として選択する。
【2375】
なお、外部の出力先に応じて、セレクタ4112は、画素単位で、出力画像を出力する(選択した画素毎に出力する)こともできるし、全ての画素の処理が終了するまで処理済みの画素を格納しておき、全ての画素の処理が終了したとき、全ての画素を一括して(出力画像全体を1単位として)出力することもできる。
【2376】
次に、図293を参照して、画像処理の1例であるクラス分類適応処理を実行する画像生成部4104の詳細について説明する。
【2377】
図293において、画像生成部4104が実行するクラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【2378】
なお、以下の説明においても、標準解像度の画像を、適宜、SD(Sｔandaｒd Definiｔiｏn)画像と称するとともに、SD画像を構成する画素を、適宜、SD画素と称することにする。
【2379】
また、以下の説明においても、高解像度の画像を、適宜、HD(High Definiｔiｏn)画像と称するとともに、HD画像を構成する画素を、適宜、HD画素と称することにする。
【2380】
具体的には、画像生成部4104が実行するクラス分類適応処理とは、次のようなものである。
【2381】
即ち、はじめに、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を求めるために、注目画素を含めた、その付近に配置されるSD画素(以下の説明においても、このようなSD画素を、クラスタップと称することにする)の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する(クラスタップ群のクラスコードを特定する)。
【2382】
そして、予め設定された複数の係数群(各係数群のそれぞれは、所定の1つのクラスコードに対応している)のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のSD画素(以下の説明においても、このような入力画像のSD画素を、予測タップと称することにする。なお、予測タップは、クラスタップと同じこともある)とを用いて積和演算を実行することで、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を求めるものである。
【2383】
より詳細には、図1において、画像である、実世界1の信号(光の強度の分布)がセンサ2に入射されると、センサ2からは入力画像が出力される。
【2384】
図293において、この入力画像(SD画像)は、画像生成部4104のうちの領域抽出部4121と領域抽出部4125にそれぞれ供給される。領域抽出部4125は、供給された入力画像から、クラス分類を行うために必要なクラスタップ(注目画素(SD画素)を含む予め設定された位置に存在するSD画素)を抽出し、パターン検出部4122に出力する。パターン検出部4122は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【2385】
クラスコード決定部4123は、パターン検出部4122で検出されたパターンに基づいてクラスコードを決定し、係数メモリ4124、および、領域抽出部4125に出力する。係数メモリ4124は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部4123より入力されたクラスコードに対応する係数を読み出し、予測演算部4126に出力する。
【2386】
なお、係数メモリ4124の係数の学習処理については、図294の学習装置のブロック図を参照して後述する。
【2387】
また、係数メモリ4124に記憶される係数は、後述するように、予測画像(HD画像)を生成するときに使用される係数である。従って、以下、係数メモリ4124に記憶される係数を予測係数と称する。
【2388】
領域抽出部4125は、クラスコード決定部4123より入力されたクラスコードに基づいて、センサ2より入力された入力画像(SD画像)から、予測画像(HD画像)を予測生成するのに必要な予測タップ(注目画素を含む予め設定された位置に存在するSD画素)をクラスコードに対応して抽出し、予測演算部4126に出力する。
【2389】
予測演算部4126は、領域抽出部4125より入力された予測タップと、係数メモリ4124より入力された予測係数とを用いて積和演算を実行し、入力画像(SD画像)の注目画素(SD画素)における、予測画像(HD画像)のHD画素を生成し、セレクタ4112に出力する。
【2390】
より詳細には、係数メモリ4124は、クラスコード決定部4123より供給されるクラスコードに対応する予測係数を、予測演算部4126に出力する。予測演算部4126は、領域抽出部4125より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ4124より供給された予測係数とを用いて、次の式(237)で示される積和演算を実行することにより、予測画像(HD画像)のHD画素を求める(予測推定する)。
【2391】
【数188】

【2392】
式(237)において、ｑ’は、予測画像(HD画像)のHD画素を表している。c_(i)(iは、1乃至nの整数値)のそれぞれは、予測タップ(SD画素)のそれぞれを表している。また、d_(i)のそれぞれは、予測係数のそれぞれを表している。
【2393】
このように、画像生成部4104は、SD画像(入力画像)から、それに対するHD画像を予測推定するので、ここでは、画像生成部4104から出力されるHD画像を、予測画像と称している。
【2394】
図294は、このような画像生成部4104の係数メモリ4124に記憶される予測係数(式(237)におけるd_(i))を決定するための学習装置(予測係数の算出装置)を表している。
【2395】
図294において、所定の画像が、教師画像(HD画像)としてダウンコンバート部4141と正規方程式生成部4146のそれぞれに入力される。
【2396】
ダウンコンバート部4146は、入力された教師画像(HD画像)から、教師画像よりも解像度の低い生徒画像(SD画像)を生成し(教師画像をダウンコンバートしたものを生徒画像とし)、領域抽出部4142と領域抽出部4145のそれぞれに出力する。
【2397】
このように、学習装置4131には、ダウンコンバート部4141が設けられているので、教師画像(HD画像)は、センサ2(図1)からの入力画像よりも高解像度の画像である必要は無い。なぜならば、教師画像がダウンコンバートされた(解像度が下げられた)生徒画像をSD画像とすれば、生徒画像に対する教師画像がHD画像になるからである。従って、教師画像は、例えば、センサ2からの入力画像そのものとされてもよい。
【2398】
領域抽出部4142は、ダウンコンバート部4141より供給された生徒画像(SD画像)から、クラス分類を行うために必要なクラスタップ(SD画素)を抽出し、パターン検出部4143に出力する。パターン検出部4143は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部4144に出力する。クラスコード決定部4144は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部4145、および、正規方程式生成部4146のそれぞれに出力する。
【2399】
領域抽出部4145は、クラスコード決定部4144より入力されたクラスコードに基づいて、ダウンコンバート部4141より入力された生徒画像(SD画像)から予測タップ(SD画素)を抽出し、正規方程式生成部4146に出力する。
【2400】
なお、以上の領域抽出部4142、パターン検出部4143、クラスコード決定部4144、および領域抽出部4145のそれぞれは、図293の画像生成部4104の領域抽出部4121、パターン検出部4122、クラスコード決定部4123、および、領域抽出部4125のそれぞれと、基本的に同様の構成と機能を有するものである。
【2401】
正規方程式生成部4146は、クラスコード決定部4144より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部4145より入力される生徒画像(SD画像)の予測タップ(SD画素)と、教師画像(HD画像)のHD画素とから正規方程式を生成し、係数決定部4147に供給する。
【2402】
係数決定部4147は、正規方程式生成部4146より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ4124にクラスコードと関連付けて記憶させる。
【2403】
正規方程式生成部4146と、係数決定部4147についてさらに詳しく説明する。
【2404】
上述した式(237)において、学習前は予測係数d_(i)のそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像(HD画像)のHD画素を入力することによって行う。所定のクラスコードに対応するHD画素がm個存在し、m個のHD画素のそれぞれを、ｑ_(k)(kは、1乃至mの整数値)と記述する場合、式(237)から、次の式(238)が設定される。
【2405】
【数189】

【2406】
即ち、式(238)は、右辺の演算をすることで、所定のHD画素ｑ_(k)を予測推定することができることを表している。なお、式(238)において、e_(k)は、誤差を表している。即ち、右辺の演算結果である予測画像(HD画像)のHD画素ｑ_(k)’が、実際のHD画素ｑ_(k)と厳密には一致せず、所定の誤差e_(k)を含む。
【2407】
そこで、式(238)において、誤差e_(k)の自乗和を最小にする予測係数d_(i)が学習により求まれば、その予測係数d_(i)は、実際のHD画素ｑ_(k)を予測するのに最適な係数であると言える。
【2408】
従って、例えば、学習により集められたm個(ただし、mは、nより大きい整数)のHD画素ｑ_(k)を用いて、最小自乗法により最適な予測係数d_(i)を一意に決定することができる。
【2409】
即ち、式(238)の右辺の予測係数d_(i)を最小自乗法で求める場合の正規方程式は、次の式(239)で表される。
【2410】
【数190】

【2411】
従って、式(239)で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数d_(i)が一意に決定されることになる。
【2412】
具体的には、式(239)で示される正規方程式の各行列のそれぞれを、次の式(240)乃至(242)のように定義すると、正規方程式は、次の式(243)のように表される。
【2413】
【数191】

【2414】
【数192】

【2415】
【数193】

【2416】
【数194】

【2417】
式(241)で示されるように、行列D_(MAT)の各成分は、求めたい予測係数d_(i)である。従って、式(243)において、左辺の行列C_(MAT)と右辺の行列Q_(MAT)が決定されれば、行列解法によって行列D_(MAT)(即ち、予測係数d_(i))の算出が可能である。
【2418】
より具体的には、式(240)で示されるように、行列C_(MAT)の各成分は、予測タップc_(ik)が既知であれば演算可能である。予測タップc_(ik)は、領域抽出部4145により抽出されるので、正規方程式生成部4146は、領域抽出部4145より供給されてくる予測タップc_(ik)のそれぞれを利用して行列C_(MAT)の各成分を演算することができる。
【2419】
また、式(242)で示されるように、行列Q_(MAT)の各成分は、予測タップc_(ik)とHD画素ｑ_(k)が既知であれば演算可能である。予測タップc_(ik)は、行列C_(MAT)の各成分に含まれるものと同一のものであり、また、HD画素ｑ_(k)は、予測タップc_(ik)に含まれる注目画素(生徒画像のSD画素)に対する教師画像のHD画素である。従って、正規方程式生成部4146は、領域抽出部4145より供給された予測タップc_(ik)と、教師画像を利用して行列Q_(MAT)の各成分を演算することができる。
【2420】
このようにして、正規方程式生成部4146は、クラスコード毎に、行列C_(MAT)と行列Q_(MAT)の各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部4147に供給する。
【2421】
係数決定部4147は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式(243)の行列D_(MAT)の各成分である予測係数d_(i)を演算する。
【2422】
具体的には、上述した式(243)の正規方程式は、次の式(244)のように変形できる。
【2423】
【数195】

【2424】
式(244)において、左辺の行列D_(MAT)の各成分が、求めたい予測係数d_(i)である。また、行列C_(MAT)と行列Q_(MAT)のそれぞれの各成分は、正規方程式生成部4146より供給されるものである。従って、係数決定部4147は、正規方程式生成部4146より所定のクラスコードに対応する行列C_(MAT)と行列Q_(MAT)のそれぞれの各成分が供給されてきたとき、式(244)の右辺の行列演算を行うことで行列D_(MAT)を演算し、その演算結果(予測係数d_(i))をクラスコードに対応付けて係数メモリ4124に記憶させる。
【2425】
なお、クラス分類適応処理は、上述したように、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、上述した式(237)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタの係数に相当する予測係数d_(i)が、教師データと生徒データを用いての学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造(解像度創造)作用がある処理と称することができる。
【2426】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、S/N(Signal ｔｏ Nｏiｓe Raｔiｏ)の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【2427】
即ち、例えば、S/Nの向上やぼけの改善を、クラス分類適応処理によって行うには、S/Nの高い画像データを教師データとするとともに、その教師データのS/Nを低下させた画像(あるいは、ぼかした画像)を生徒データとして、係数を求めればよい。
【2428】
以上、クラス分類適応処理を実行する画像生成部4104と、その学習装置4131のそれぞれの構成について説明した。
【2429】
なお、上述したように、画像生成部4104は、クラス分類適応処理以外の画像処理を実行する構成とすることも可能であるが、説明の簡略上、以下の説明においては、画像生成部4104の構成は、上述した図293の構成とされる。即ち、以下、画像生成部4104は、クラス分類適応処理を実行することで、入力画像より空間解像度の高い画像を生成し、セレクタ4112に供給するとする。
【2430】
次に、図295を参照して、第1の併用手法が適用される信号処理装置(図292)の信号の処理について説明する。
【2431】
なお、ここでは、データ定常性検出部4101は、角度(画像である、実世界1(図1)の信号の注目位置における、定常性の方向(空間方向)と、空間方向の1方向であるX方向(センサ2(図1)の検出素子の所定の一辺と平行な方向)とのなす角度)を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【2432】
データ定常性検出部4101はまた、角度を演算するときに併せて算出される推定誤差(最小自乗法の誤差)を、領域特定情報として出力するとする。
【2433】
図1において、画像である、実世界1の信号がセンサ2に入射されると、センサ2からは入力画像が出力される。
【2434】
図292において、この入力画像は、データ定常性検出部4101、および実世界推定部4102に入力されるとともに、画像生成部4104に入力される。
【2435】
そこで、図295のステップS4101において、画像生成部4104は、入力画像(SD画像)の所定のSD画素を注目画素として、上述したクラス分類適応処理を実行し、予測画像(HD画像)のHD画素(注目画素におけるHD画素)を生成し、セレクタ4112に供給する。
【2436】
なお、以下、画像生成部4104より出力される画素と、画像生成部4103より出力される画素のそれぞれを区別する場合、画像生成部4104より出力される画素を第1の画素と称し、画像生成部4103より出力される画素を第2の画素と称する。
【2437】
また、以下、このような画像生成部4104が実行する処理(いまの場合、ステップS4101の処理)を、「クラス分類適応処理の実行処理」と称する。この例の「クラス分類適応処理の実行処理」の詳細については、図296のフローチャートを参照して後述する。
【2438】
一方、ステップS4102において、データ定常性検出部4101は、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部4102と画像生成部4103のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部4111に供給される。
【2439】
ステップS4103において、実世界推定部4102は、データ定常性検出部4101により検出された角度と、入力画像に基づいて、実世界1の信号を推定する。
【2440】
なお、上述したように、実世界推定部4102が実行する推定の処理は、特に限定されず、上述した様々な手法を利用することができる。ここでは、例えば、実世界推定部4102は、実世界1の信号を表す関数F(以下の説明においても、関数Fを光信号関数Fと称することにする)を、所定の関数f(以下の説明においても、関数fを近似関数fと称することにする)で近似することで、実世界1の信号(光信号関数F)を推定するとする。
【2441】
また、ここでは、例えば、実世界推定部4102は、近似関数fの特徴量(係数)を、実世界推定情報として画像生成部4103に供給するとする。
【2442】
ステップS4104において、画像生成部4103は、実世界推定部4102により推定された実世界1の信号に基づいて、画像生成部4104のクラス分類適応処理により生成された第1の画素(HD画素)に対応する第2の画素(HD画素)を生成し、セレクタ4112に供給する。
【2443】
いまの場合、実世界推定部4102より近似関数fの特徴量(係数)が供給されてくるので、画像生成部4103は、例えば、供給された近似関数fの特徴量に基づいて、近似関数fを所定の積分範囲で積分することで、第2の画素(HD画素)を生成する。
【2444】
ただし、積分範囲は、画像生成部4104より出力される第1の画素(HD画素)と同一の大きさ(同一の解像度)の第2の画素が生成可能な範囲とされる。即ち、空間方向においては、積分範囲は、これから生成される第2の画素の画素幅となる。
【2445】
なお、ステップS4101の「クラス分類適応処理の実行処理」と、ステップS4102乃至S4104の一連の処理の順番は、図295の例に限定されず、ステップS4102乃至S4104の一連の処理が先に実行されても構わないし、ステップS4101の「クラス分類適応処理の実行処理」と、ステップS4102乃至S4104の一連の処理が同時に実行されても構わない。
【2446】
ステップS4105において、領域検出部4111は、ステップS4102の処理でデータ定常性検出部4101により演算された推定誤差(領域特定情報)に基づいて、ステップS4104の処理で画像生成部4103により生成された第2の画素(HD画素)の領域を検出する。
【2447】
即ち、第2の画素は、データ定常性検出部4101が注目画素として使用した入力画像のSD画素におけるHD画素である。従って、注目画素(入力画像のSD画素)と第2の画素(HD画素)の領域の種類(定常領域、または非定常領域)は同一である。
【2448】
また、データ定常性検出部4101が出力する領域特定情報は、注目画素における角度が最小自乗法により算出された場合の推定誤差である。
【2449】
そこで、領域検出部4111は、データ定常性検出部4101より供給された注目画素(入力画像のSD画素)に対する推定誤差と、予め設定された閾値を比較し、その比較の結果が、推定誤差が閾値よりも小さい場合、第2の画素は定常領域であると検出し、一方、推定誤差が閾値以上である場合、第2の画素は非定常領域であると検出する。そして、検出結果は、セレクタ4112に供給される。
【2450】
この領域検出部4111の検出結果がセレクタ4112に供給されると、ステップS4106において、セレクタ4112は、検出された領域が、定常領域であるか否かを判定する。
【2451】
ステップS4106において、検出された領域が、定常領域であると判定した場合、セレクタ4112は、ステップS4107において、画像生成部4103より供給された第2の画素を、出力画像として外部に出力する。
【2452】
これに対して、ステップS4106において、検出された領域が、定常領域ではない(非定常領域である)と判定した場合、セレクタ4112は、ステップS4108において、画像生成部4104より供給された第1の画素を、出力画像として外部に出力する。
【2453】
その後、ステップS4109において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップS4101に戻る。即ち、全ての画素の処理が終了されるまで、ステップS4101乃至S4109の処理が繰り返される。
【2454】
そして、ステップS4109において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【2455】
このように、図295のフローチャートの例においては、第1の画素(HD画素)と第2の画素(HD画素)が生成される毎に、出力画像として第1の画素または第2の画素が画素単位で出力される。
【2456】
しかしながら、上述したように、画素単位で出力されることは必須ではなく、全ての画素の処理が終了された後、出力画像として、全ての画素が一括して出力されてもよい。この場合、ステップS4107とステップS4108のそれぞれの処理においては、画素(第1の画素または第2の画素)は出力されずに、セレクタ4112に一次格納され、ステップS4109の処理の後、全ての画素を出力する処理が追加される。
【2457】
次に、図296のフローチャートを参照して、図293の構成の画像生成部4104が実行する「クラス分類適応処理の実行処理」(例えば、上述した図295のステップS4101の処理)の詳細について説明する。
【2458】
センサ2からの入力画像(SD画像)が画像生成部4104に入力されると、ステップS4121において、領域抽出部4121と領域抽出部4125のそれぞれは、入力画像を入力する。
【2459】
ステップS4122において、領域抽出部4121は、入力画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置)のそれぞれに位置する画素(SD画素)を、クラスタップとして抽出し、パターン検出部4122に供給する。
【2460】
ステップS4123において、パターン検出部4122は、供給されたクラスタップのパターンを検出し、クラスコード決定部4123に供給する。
【2461】
ステップS4124において、クラスコード決定部4123は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ4124と領域抽出部4125のそれぞれに供給する。
【2462】
ステップS4125において、係数メモリ4124は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数(群)の中から、これから使用する予測係数(群)を読み出し、予測演算部4126に供給する。
【2463】
なお、学習処理については、図297のフローチャートを参照して後述する。
【2464】
ステップS4126において、領域抽出部4125は、供給されたクラスコードに対応して、入力画像の中から、注目画素(SD画素)、および、予め設定された注目画素からの相対位置(1以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい)のそれぞれに位置する画素(SD画素)を、予測タップとして抽出し、予測演算部4126に供給する。
【2465】
ステップS4127において、予測演算部4126は、領域抽出部4125より供給された予測タップを、係数メモリ4124より供給された予測係数を用いて演算し、予測画像(第1の画素)を生成して外部(図292の例では、セレクタ4112)に出力する。
【2466】
具体的には、予測演算部4126は、領域抽出部4125より供給された予測タップのそれぞれをc_(i)(iは、1乃至nのうちのいずれかの整数)とし、かつ、係数メモリ4124より供給された予測係数のそれぞれをd_(i)として、上述した式(237)の右辺を演算することにより、注目画素(SD画素)におけるHD画素ｑ’を算出し、それを予測画像(HD画像)の所定の1つの画素(第1の画素)として外部に出力する。その後、処理は終了となる。
【2467】
次に、図297のフローチャートを参照して、画像生成部4104に対する学習装置4131(図294)が実行する学習処理(画像生成部4104が使用する予測係数を学習により生成する処理)について説明する。
【2468】
ステップS4141において、ダウンコンバート部4141と正規方程式生成部4146のそれぞれは、供給された所定の画像を、教師画像(HD画像)として入力する。
【2469】
ステップS4142において、ダウンコンバート部4141は、入力された教師画像をダウンコンバートして(解像度を落として)生徒画像(SD画像)を生成し、領域抽出部4142と領域抽出部4145のそれぞれに供給する。
【2470】
ステップS4143において、領域抽出部4142は、供給された生徒画像からクラスタップを抽出してパターン検出部4143に出力する。なお、ステップS4143の処理は、上述したステップS4122(図296)の処理と基本的に同様の処理である。
【2471】
ステップS4144において、パターン検出部4143は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部4144に供給する。なお、ステップS4144の処理は、上述したステップS4123(図296)の処理と基本的に同様の処理である。
【2472】
ステップS4145において、クラスコード決定部4144は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部4145と正規方程式生成部4146のそれぞれに供給する。なお、ステップS4145の処理は、上述したステップS4124(図296)の処理と基本的に同様の処理である。
【2473】
ステップS4146において、領域抽出部4145は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部4146に供給する。なお、ステップS4146の処理は、上述したステップS4126(図296)の処理と基本的に同様の処理である。
【2474】
ステップS4147において、正規方程式生成部4146は、領域抽出部4145より供給された予測タップ(SD画素)、および、教師画像(HD画像)の所定のHD画素から、上述した式(239)(即ち、式(243))で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部4144より供給されたクラスコードを関連付けて係数決定部4147に供給する。
【2475】
ステップS4148において、係数決定部4147は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式(244)の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ4124に記憶させる。
【2476】
その後、ステップS4149において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップS4143に戻る。即ち、全ての画素の処理が終了されるまで、ステップS4143乃至S4149の処理が繰り返される。
【2477】
そして、ステップS4149において、全ての画素について処理が施されたと判定された場合、処理は終了となる。
【2478】
次に、図298と図299を参照して、第2の併用手法について説明する。
【2479】
図298は、第2の併用手法が適用される信号処理装置の構成例を表している。
【2480】
図298において、第1の併用手法が適用される信号処理装置(図292)と対応する部分には、対応する符号が付してある。
【2481】
図292の構成例(第1の併用手法)においては、領域特定情報は、データ定常性検出部4101より出力され、領域検出部4111に入力されていたが、図298の構成例(第2の併用手法)においては、領域特定情報は、実世界推定部4102より出力され、領域検出部4111に入力される。
【2482】
この領域特定情報は、特に限定されず、実世界推定部4102が実世界1(図1)の信号を推定した後に新たに生成された情報でもよいし、実世界1の信号が推定される場合に付帯して生成される情報でもよい。
【2483】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。
【2484】
ここで、推定誤差について説明する。
【2485】
上述したように、データ定常性検出部4101より出力される推定誤差(図292の領域特定情報)は、例えば、データ定常性検出部4101より出力されるデータ定常性情報が角度であり、かつ、その角度が最小自乗法により演算される場合、その最小自乗法の演算で付帯的に算出される推定誤差である。
【2486】
これに対して、実世界推定部4102より出力される推定誤差(図298の領域特定情報)は、例えば、マッピング誤差である。
【2487】
即ち、実世界推定部4102により実世界1の信号が推定されているので、推定された実世界1の信号から任意の大きさの画素を生成する(画素値を演算する)ことが可能である。ここでは、このように、新たな画素を生成することを、マッピングと称している。
【2488】
従って、実世界推定部4102は、実世界1の信号を推定した後、その推定した実世界1の信号から、入力画像の注目画素(実世界1が推定される場合に注目画素として使用された画素)が配置されていた位置における新たな画素を生成する(マッピングする)。即ち、実世界推定部4102は、推定した実世界1の信号から、入力画像の注目画素の画素値を予測演算する。
【2489】
そして、実世界推定部4102は、マッピングした新たな画素の画素値(予測した入力画像の注目画素の画素値)と、実際の入力画像の注目画素の画素値との差分を演算する。この差分を、ここでは、マッピング誤差と称している。
【2490】
このようにして実世界推定部4102は、マッピング誤差(推定誤差)を演算することで、演算したマッピング誤差(推定誤差)を、領域特定情報として領域検出部4111に供給することができる。
【2491】
なお、領域検出部4111が実行する領域検出の処理は、上述したように、特に限定されないが、例えば、実世界推定部4102が、上述したマッピング誤差(推定誤差)を領域特定情報として領域検出部4111に供給する場合、領域検出部4111は、供給されたマッピング誤差(推定誤差)が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給されたマッピング誤差(推定誤差)が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【2492】
その他の構成は、図292のそれと基本的に同様である。即ち、第2の併用手法が適用される信号処理装置(図298)においても、第1の併用手法が適用される信号処理装置(図292)と基本的に同様の構成と機能を有する、データ定常性検出部4101、実世界推定部4102、画像生成部4103、画像生成部4104、並びに定常領域検出部4105(領域検出部4111およびセレクタ4112)が設けられている。
【2493】
図299は、図298の構成の信号処理装置の信号の処理(第2の併用手法の信号の処理)を説明するフローチャートである。
【2494】
第2の併用手法の信号の処理は、第1の併用手法の信号の処理(図295のフローチャートで示される処理)と類似している。そこで、ここでは、第1の併用手法において説明した処理については、その説明を適宜省略し、以下、図299のフローチャートを参照して、第1の併用手法とは異なる第2の併用手法の信号の処理を中心に説明する。
【2495】
なお、ここでは、データ定常性検出部4101は、第1の併用手法と同様に、角度(実世界1(図1)の信号の注目位置における、定常性の方向(空間方向)と、空間方向の1方向であるX方向(センサ2(図1)の検出素子の所定の一辺と平行な方向)とのなす角度)を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【2496】
ただし、上述したように、第1の併用手法においては、データ定常性検出部4101が領域特定情報(例えば、推定誤差)を領域検出部4111に供給していたのに対して、第2の併用手法においては、実世界推定部4102が領域特定情報(例えば、推定誤差(マッピング誤差))を領域検出部4111に供給する。
【2497】
従って、第2の併用手法においては、データ定常性検出部4101の処理として、ステップS4162の処理が実行される。この処理は、第1の併用手法における、図295のステップS4102の処理に相当する。即ち、ステップS4162において、データ定常性検出部4101は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部4102と画像生成部4103のそれぞれに供給する。
【2498】
また、第2の併用手法においては、実世界推定部4102の処理として、ステップS4163の処理が実行される。この処理は、第1の併用手法における、図295のステップS4103の処理に相当する。即ち、ステップS4163において、実世界推定部4102は、ステップS4162の処理でデータ定常性検出部4101により検出された角度に基づいて、実世界1(図1)の信号を推定するとともに、推定された実世界1の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部4111に供給する。
【2499】
その他の処理は、第1の併用手法の対応する処理(図295のフローチャートで示される処理のうちの対応する処理)と基本的に同様であるので、その説明は省略する。
【2500】
次に、図300と図301を参照して、第3の併用手法について説明する。
【2501】
図300は、第3の併用手法が適用される信号処理装置の構成例を表している。
【2502】
図300において、第1の併用手法が適用される信号処理装置(図292)と対応する部分には、対応する符号が付してある。
【2503】
図292の構成例(第1の併用手法)においては、定常領域検出部4105は、画像生成部4103と画像生成部4104の後段に配設されていたが、図300の構成例(第3の併用手法)においては、それに対応する定常領域検出部4161が、データ定常性検出部4101の後段であって、実世界推定部4102と画像生成部4104の前段に配設されている。
【2504】
このような配設位置の違いにより、第1の併用手法における定常領域検出部4105と、第3の併用手法における定常領域検出部4161は若干差異がある。そこで、この差異を中心に、定常領域検出部4161について説明する。
【2505】
定常領域検出部4161には、領域検出部4171と実行指令生成部4172が設けられている。このうちの領域検出部4171は、定常領域検出部4105の領域検出部4111(図292)と基本的に同様の構成と機能を有している。一方、実行指令生成部4172の機能は、定常領域検出部4105のセレクタ4112(図292)のそれと若干差異がある。
【2506】
即ち、上述したように、第1の併用手法におけるセレクタ4112は、領域検出部4111の検出結果に基づいて、画像生成部4103からの画像と、画像生成部4104からの画像のうちのいずれか一方を選択し、選択した画像を出力画像として出力する。このように、セレクタ4112は、領域検出部4111の検出結果の他に、画像生成部4103からの画像と、画像生成部4104からの画像を入力し、出力画像を出力する。
【2507】
一方、第3の併用手法における実行指令生成部4172は、領域検出部4171の検出結果に基づいて、入力画像の注目画素(データ定常性検出部4101が注目画素とした画素)における新たな画素の生成の処理を実行するのは、画像生成部4103であるのか画像生成部4104であるのかを選択する。
【2508】
即ち、領域検出部4171が、入力画像の注目画素は定常領域であるという検出結果を実行指令生成部4172に供給した場合、実行指令生成部4172は、画像生成部4103を選択し、実世界推定部4102に対して、その処理の実行を開始させる指令(このような指令を、以下、実行指令と称する)を供給する。すると、実世界推定部4102が、その処理を開始し、実世界推定情報を生成し、画像生成部4103に供給する。画像生成部4103は、供給された実世界推定情報(必要に応じて、それに加えてデータ定常性検出部4101より供給されたデータ定常性情報)に基づいて新たな画像を生成し、それを出力画像として外部に出力する。
【2509】
これに対して、領域検出部4171が、入力画像の注目画素は非定常領域であるという検出結果を実行指令生成部4172に供給した場合、実行指令生成部4172は、画像生成部4104を選択し、画像生成部4104に対して実行指令を供給する。すると、画像生成部4104が、その処理を開始し、入力画像に対して所定の画像処理(いまの場合、クラス分類適応処理)を施して、新たな画像を生成し、それを出力画像として外部に出力する。
【2510】
このように、第3の併用手法における実行指令生成部4172は、領域検出部4171の検出結果を入力し、実行指令を出力する。即ち、実行指令生成部4172は、画像を入出力しない。
【2511】
なお、定常領域検出部4161以外の構成は、図292のそれと基本的に同様である。即ち、第3の併用手法が適用される信号処理装置(図300の信号処理装置)においても、第1の併用手法が適用される信号処理装置(図292)と基本的に同様の構成と機能を有する、データ定常性検出部4101、実世界推定部4102、画像生成部4103、および、画像生成部4104が設けられている。
【2512】
ただし、第3の併用手法においては、実世界推定部4102と画像生成部4104のそれぞれは、実行指令生成部4172からの実行指令が入力されない限り、その処理を実行しない。
【2513】
ところで、図300の例では、画像の出力単位は画素単位とされている。そこで、図示はしないが、出力単位を1フレームの画像全体とするために(全ての画素を一括して出力するために)、例えば、画像生成部4103と画像生成部4104の後段に、画像合成部をさらに設けることもできる。
【2514】
この画像合成部は、画像生成部4103から出力された画素値と、画像生成部4104より出力された画素値を加算し(合成し)、加算した値を対応する画素の画素値とする。この場合、画像生成部4103と画像生成部4104のうちの、実行指令が供給されていない方は、その処理を実行せず、所定の一定値(例えば、0)を画像合成部に常時供給する。
【2515】
画像合成部は、このような処理を全ての画素について繰り返し実行し、全ての画素の処理を終了すると、全ての画素を一括して(1フレームの画像データとして)外部に出力する。
【2516】
次に、図301のフローチャートを参照して、第3の併用手法が適用される信号処理装置(図300)の信号の処理について説明する。
【2517】
なお、ここでは、第1の併用手法のときと同様に、データ定常性検出部4101は、角度(実世界1(図1)の信号の注目位置における、定常性の方向(空間方向)と、空間方向の1方向であるX方向(センサ2(図1)の検出素子の所定の一辺と平行な方向)とのなす角度)を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【2518】
データ定常性検出部4101はまた、角度を演算するときに併せて算出される推定誤差(最小自乗法の誤差)を、領域特定情報として出力するとする。
【2519】
図1において、実世界1の信号がセンサ2に入射されると、センサ2からは入力画像が出力される。
【2520】
図300において、この入力画像は、画像生成部4104に入力されるとともに、データ定常性検出部4101、および実世界推定部4102にも入力される。
【2521】
そこで、図301のステップS4181において、データ定常性検出部4101は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部4102と画像生成部4103のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部4171に供給される。
【2522】
なお、ステップS4181の処理は、上述したステップS4102(図295)の処理と基本的に同様の処理である。
【2523】
また、上述したように、いまの時点においては(実行指令生成部4172から実行指令が供給されない限り)、実世界推定部4102も画像生成部4104もその処理を実行しない。
【2524】
ステップS4182において、領域検出部4171は、データ定常性検出部4101により演算された推定誤差(供給された領域特定情報)に基づいて、入力画像の注目画素(データ定常性検出部4101が角度を検出する場合に注目画素とした画素)の領域を検出し、その検出結果を実行指令生成部4172に供給する。なお、ステップS4182の処理は、上述したステップS4105(図295)の処理と基本的に同様の処理である。
【2525】
領域検出部4171の検出結果が実行指令生成部4172に供給されると、ステップS4183において、実行指令生成部4172は、検出された領域が、定常領域であるか否かを判定する。なお、ステップS4183の処理は、上述したステップS4106(図295)の処理と基本的に同様の処理である。
【2526】
ステップS4183において、検出された領域が定常領域ではないと判定した場合、実行指令生成部4172は、実行指令を画像生成部4104に供給する。すると、画像生成部4104は、ステップS4184において、「クラス分類適応処理の実行処理」を実行して、第1の画素(注目画素(入力画像のSD画素)におけるHD画素)を生成し、ステップS4185において、クラス分類適応処理により生成された第1の画素を、出力画像として外部に出力する。
【2527】
なお、ステップS4184の処理は、上述したステップS4101(図295)の処理と基本的に同様の処理である。即ち、図296のフローチャートは、ステップS4184の処理の詳細を説明するフローチャートでもある。
【2528】
これに対して、ステップS4183において、検出された領域が定常領域であると判定した場合、実行指令生成部4172は、実行指令を実世界推定部4102に供給する。すると、ステップS4186において、実世界推定部4102は、データ定常性検出部4101により検出された角度と、入力画像に基づいて、実世界1の信号を推定する。なお、ステップS4186の処理は、上述したステップS4103(図295)の処理と基本的に同様の処理である。
【2529】
そして、画像生成部4103は、ステップS4187において、実世界推定部4102により推定された実世界1の信号に基づいて、検出された領域(即ち、入力画像の注目画素(SD画素))における第2の画素(HD画素)を生成し、ステップS4188において、その第2の画素を出力画像として出力する。なお、ステップS4187の処理は、上述したステップS4104(図295)の処理と基本的に同様の処理である。
【2530】
第1の画素または第2の画素が出力画像として出力されると(ステップS4185、またはステップS4188の処理の後)、ステップS4189において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップS4181に戻る。即ち、全ての画素の処理が終了されるまで、ステップS4181乃至S4189の処理が繰り返される。
【2531】
そして、ステップS4189において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【2532】
このように、図301のフローチャートの例においては、第1の画素(HD画素)または第2の画素(HD画素)が生成される毎に、出力画像として第1の画素または第2の画素が画素単位で出力される。
【2533】
しかしながら、上述したように、図300の構成の信号処理装置の最終段(画像生成部4103と画像生成部4104の後段)に画像合成部(図示せず)をさらに設ければ、全ての画素の処理が終了された後、出力画像として、全ての画素を一括して出力することが可能になる。この場合、ステップS4185とステップS4188のそれぞれに処理においては、画素(第1の画素または第2の画素)は外部ではなく画像合成部に出力される。そして、ステップS4189の処理の前に、画像合成部が、画像生成部4103から供給される画素の画素値と、画像生成部4104から供給される画素の画素値を合成して、出力画像の画素を生成する処理と、ステップS4189の処理の後に、画像合成部が、全ての画素を出力する処理が追加される。
【2534】
次に、図302と図303を参照して、第4の併用手法について説明する。
【2535】
図302は、第4の併用手法が適用される信号処理装置の構成例を表している。
【2536】
図302において、第3の併用手法が適用される信号処理装置(図300)と対応する部分には、対応する符号が付してある。
【2537】
図300の構成例(第3の併用手法)においては、領域特定情報は、データ定常性検出部4101より出力され領域検出部4171に入力されていたが、図302の構成例(第4の併用手法)においては、領域特定情報は、実世界推定部4102より出力され領域検出部4171に入力される。
【2538】
その他の構成は、図300のそれと基本的に同様である。即ち、第4の併用手法が適用される信号処理装置(図302)においても、第3の併用手法が適用される信号処理装置(図300)と基本的に同様の構成と機能を有する、データ定常性検出部4101、実世界推定部4102、画像生成部4103、画像生成部4104、並びに定常領域検出部4161(領域検出部4171および実行指令生成部4172)が設けられている。
【2539】
なお、第3の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部4103と画像生成部4104の後段に、画像合成部をさらに設けることもできる。
【2540】
図303は、図302の構成の信号処理装置の信号の処理(第4の併用手法の信号の処理)を説明するフローチャートである。
【2541】
第4の併用手法の信号の処理は、第3の併用手法の信号の処理(図301のフローチャートで示される処理)と類似している。そこで、ここでは、第3の併用手法において説明した処理については、その説明を適宜省略し、以下、図303のフローチャートを参照して、第3の併用手法とは異なる第4の併用手法の信号の処理を中心に説明する。
【2542】
なお、ここでは、データ定常性検出部4101は、第3の併用手法と同様に、角度(実世界1(図1)の信号の注目位置における、定常性の方向(空間方向)と、空間方向の1方向であるX方向(センサ2(図1)の検出素子の所定の一辺と平行な方向)とのなす角度)を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【2543】
ただし、上述したように、第3の併用手法においては、データ定常性検出部4101が領域特定情報(例えば、推定誤差)を領域検出部4171に供給していたのに対して、第4の併用手法においては、実世界推定部4102が領域特定情報(例えば、推定誤差(マッピング誤差))を領域検出部4171に供給する。
【2544】
従って、第4の併用手法においては、データ定常性検出部4101の処理として、ステップS4201の処理が実行される。この処理は、第3の併用手法における、図301のステップS4181の処理に相当する。即ち、ステップS4201において、データ定常性検出部4101は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部4102と画像生成部4103のそれぞれに供給する。
【2545】
また、第4の併用手法においては、実世界推定部4102の処理として、ステップS4202の処理が実行される。この処理は、第3の併用手法における、図295のステップS4182の処理に相当する。即ち、実世界推定部4102は、ステップS4202の処理でデータ定常性検出部4101により検出された角度に基づいて、実世界1(図1)の信号を推定するとともに、推定された実世界1の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部4171に供給する。
【2546】
その他の処理は、第3の併用手法の対応する処理(図301のフローチャートで示される処理のうちの対応する処理)と基本的に同様であるので、その説明は省略する。
【2547】
次に、図304と図305を参照して、第5の併用手法について説明する。
【2548】
図304は、第5の併用手法が適用される信号処理装置の構成例を表している。
【2549】
図304において、第3と第4の併用手法が適用される信号処理装置(図300と図302)と対応する部分には、対応する符号が付してある。
【2550】
図300の構成例(第3の併用手法)においては、データ定常性検出部4101の後段であって、実世界推定部4102と画像生成部4104の前段に、1つの定常領域検出部4161が配設されている。
【2551】
また、図302の構成例(第4の併用手法)においては、実世界推定部4102の後段であって、画像生成部4103と画像生成部4104の前段に、1つの定常領域検出部4161が配設されている。
【2552】
これらに対して、図304の構成例(第5の併用手法)においては、第3の併用方法と同様に、データ定常性検出部4101の後段であって、実世界推定部4102と画像生成部4104の前段に、定常領域検出部4181が配設されている。さらに、第4の併用方法と同様に、実世界推定部4102の後段であって、画像生成部4103と画像生成部4104の前段に、定常領域検出部4182が配設されている。
【2553】
定常領域検出部4181と定常領域検出部4182のそれぞれは、定常領域検出部4161(図300または図302)と基本的に同様の構成と機能を有している。即ち、領域検出部4191と領域検出部4201はいずれも、領域検出部4171と基本的に同様の構成と機能を有している。また、実行指令生成部4192と実行指令生成部4202はいずれも、実行指令生成部4172と基本的に同様の構成と機能を有している。
【2554】
換言すると、第5の併用手法は、第3の併用手法と第4の併用手法を組み合わせたものである。
【2555】
即ち、第3の併用手法や第4の併用手法においては、1つの領域特定情報(第3の併用手法においては、データ定常性検出部4101からの領域特定情報であり、第4の併用手法においては、実世界推定部4102からの領域特定情報である)に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。従って、第3の併用手法や第4の併用手法では、本来、非定常領域であるにも関わらず、定常領域であると検出される恐れもある。
【2556】
そこで、第5の併用手法においては、はじめにデータ定常性検出部4101からの領域特定情報(第5の併用手法の説明においては、第1の領域特定情報と称する)に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出された後、さらに、実世界推定部4102からの領域特定情報(第5の併用手法の説明においては、第2の領域特定情報と称する)に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。
【2557】
このように、第5の併用手法においては、領域の検出の処理が2回行われるので、第3の併用手法や第4の併用手法に比較して、定常領域の検出精度が上がることになる。さらに、第1の併用手法や第2の併用手法においても、第3の併用手法や第4の併用手法と同様に、1つの定常領域検出部4105(図292または図298)しか設けられていない。従って、第1の併用手法や第2の併用手法と比較しても、定常領域の検出精度が上がることになる。その結果、第1乃至第4の併用手法のいずれよりも実世界1(図1)の信号に近い画像データを出力することが可能になる。
【2558】
ただし、第1乃至第4の併用手法でも、従来の画像処理を行う画像生成部4104と、本発明が適用されるデータの定常性を利用して画像を生成する装置またはプログラム等(即ち、データ定常性検出部4101、実世界推定部4102、および、画像生成部4103)を併用していることに変わりはない。
【2559】
従って、第1乃至第4の併用手法でも、従来の信号処理装置や、図3の構成の本発明の信号処理のいずれよりも実世界1(図1)の信号に近い画像データを出力することが可能になる。
【2560】
一方、処理速度の観点からは、第1乃至第4の併用手法においては、領域の検出の処理が1回だけで済むので、領域の検出の処理を2回行う第5の併用手法よりも優れていることになる。
【2561】
従って、ユーザ(または製造者)等は、必要とされる出力画像の品質と、必要とされる処理時間(出力画像が出力されるまでの時間)に合致した併用手法を選択的に利用することができる。
【2562】
なお、図304におけるその他の構成は、図300、または、図302のそれと基本的に同様である。即ち、第5の併用手法が適用される信号処理装置(図304)においても、第3または第4の併用手法が適用される信号処理装置(図300、または図302)と基本的に同様の構成と機能を有する、データ定常性検出部4101、実世界推定部4102、画像生成部4103、および画像生成部4104が設けられている。
【2563】
ただし、第5の併用手法においては、実世界推定部4102は、実行指令生成部4192からの実行指令が入力されない限り、画像生成部4103は、実行指令生成部4202からの実行指令が入力されない限り、画像生成部4104は、実行指令生成部4192、または実行指令生成部4202からの実行指令が入力されない限り、その処理を実行しない。
【2564】
また、第5の併用手法においても、第3や第4の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部4103と画像生成部4104の後段に、画像合成部をさらに設けることもできる。
【2565】
次に、図305のフローチャートを参照して、第5の併用手法が適用される信号処理装置(図304)の信号の処理について説明する。
【2566】
なお、ここでは、第3や第4の併用手法のときと同様に、データ定常性検出部4101は、角度(実世界1(図1)の信号の注目位置における、定常性の方向(空間方向)と、空間方向の1方向であるX方向(センサ2(図1)の検出素子の所定の一辺と平行な方向)とのなす角度)を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【2567】
また、ここでは、第3の併用手法のときと同様に、データ定常性検出部4101はまた、角度を演算するときに併せて算出される推定誤差(最小自乗法の誤差)を、第1の領域特定情報として出力するとする。
【2568】
さらに、ここでは、第4の併用手法のときと同様に、実世界推定部4102は、マッピング誤差(推定誤差)を、第2の領域特定情報として出力するとする。
【2569】
図1において、実世界1の信号がセンサ2に入射されると、センサ2からは入力画像が出力される。
【2570】
図304において、この入力画像は、データ定常性検出部4101、実世界推定部4102、および、画像生成部4104のそれぞれに入力される。
【2571】
そこで、図305のステップS4221において、データ定常性検出部4101は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部4102と画像生成部4103のそれぞれに供給される。また、演算された推定誤差は、第1の領域特定情報として領域検出部4191に供給される。
【2572】
なお、ステップS4221の処理は、上述したステップS4181(図301)の処理と基本的に同様の処理である。
【2573】
また、上述したように、いまの時点においては(実行指令生成部4192から実行指令が供給されない限り)、実世界推定部4102も画像生成部4104もその処理を実行しない。
【2574】
ステップS4222において、領域検出部4191は、データ定常性検出部4101により演算された推定誤差(供給された第1の領域特定情報)に基づいて、入力画像の注目画素(データ定常性検出部4101が角度を検出する場合に注目画素とした画素)の領域を検出し、その検出結果を実行指令生成部4192に供給する。なお、ステップS4222の処理は、上述したステップS4182(図301)の処理と基本的に同様の処理である。
【2575】
領域検出部4181の検出結果が実行指令生成部4192に供給されると、ステップS4223において、実行指令生成部4192は、検出された領域が、定常領域であるか否かを判定する。なお、ステップS4223の処理は、上述したステップS4183(図301)の処理と基本的に同様の処理である。
【2576】
ステップS4223において、検出された領域が定常領域ではない(非定常領域である)と判定した場合、実行指令生成部4192は、実行指令を画像生成部4104に供給する。すると、画像生成部4104は、ステップS4224において、「クラス分類適応処理の実行処理」を実行して、第1の画素(注目画素(入力画像のSD画素)におけるHD画素)を生成し、ステップS4225において、クラス分類適応処理により生成された第1の画素を、出力画像として外部に出力する。
【2577】
なお、ステップS4224の処理は、上述したステップS4184(図301)の処理と基本的に同様の処理である。即ち、図296のフローチャートは、ステップS4186の処理の詳細を説明するフローチャートでもある。また、ステップS4225の処理は、上述したステップS4185(図301)の処理と基本的に同様の処理である。
【2578】
これに対して、ステップS4223において、検出された領域が定常領域であると判定した場合、実行指令生成部4192は、実行指令を実世界推定部4102に供給する。すると、ステップS4226において、実世界推定部4102は、ステップS4221の処理でデータ定常性検出部4101により検出された角度に基づいて、実世界1の信号を推定するとともに、その推定誤差(マッピング誤差)を演算する。推定された実世界1の信号は、実世界推定情報として画像生成部4103に供給される。また、演算された推定誤差は、第2の領域特定情報として領域検出部4201に供給される。
【2579】
なお、ステップS4226の処理は、上述したステップS4202(図303)の処理と基本的に同様の処理である。
【2580】
また、上述したように、いまの時点においては(実行指令生成部4192、または実行指令生成部4202から実行指令が供給されない限り)、画像生成部4103も画像生成部4104もその処理を実行しない。
【2581】
ステップS4227において、領域検出部4201は、実世界推定部4102により演算された推定誤差(供給された第2の領域特定情報)に基づいて、入力画像の注目画素(データ定常性検出部4101が角度を検出する場合に注目画素とした画素)の領域を検出し、その検出結果を実行指令生成部4202に供給する。なお、ステップS4227の処理は、上述したステップS4203(図303)の処理と基本的に同様の処理である。
【2582】
領域検出部4201の検出結果が実行指令生成部4202に供給されると、ステップS4228において、実行指令生成部4202は、検出された領域が、定常領域であるか否かを判定する。なお、ステップS4228の処理は、上述したステップS4204(図303)の処理と基本的に同様の処理である。
【2583】
ステップS4228において、検出された領域が定常領域ではない(非定常領域である)と判定した場合、実行指令生成部4202は、実行指令を画像生成部4104に供給する。すると、画像生成部4104は、ステップS4224において、「クラス分類適応処理の実行処理」を実行して、第1の画素(注目画素(入力画像のSD画素)におけるHD画素)を生成し、ステップS4225において、クラス分類適応処理により生成された第1の画素を、出力画像として外部に出力する。
【2584】
なお、いまの場合のステップS4224の処理は、上述したステップS4205(図303)の処理と基本的に同様の処理である。また、いまの場合のステップS4225の処理は、上述したステップS4206(図303)の処理と基本的に同様の処理である。
【2585】
これに対して、ステップS4228において、検出された領域が定常領域であると判定した場合、実行指令生成部4202は、実行指令を画像生成部4103に供給する。すると、ステップS4229において、画像生成部4103は、実世界推定部4102により推定された実世界1の信号(および、必要に応じてデータ定常性検出部4101からのデータ定常性情報)に基づいて、領域検出部4201により検出された領域(即ち、入力画像の注目画素(SD画素))における、第2の画素(HD画素)を生成する。そして、ステップS4230において、画像生成部4103は、生成された第2の画素を、出力画像として外部に出力する。
【2586】
なお、ステップS4229とS4230のそれぞれの処理は、上述したステップS4207とS4208(図303)のそれぞれの処理と基本的に同様の処理である。
【2587】
第1の画素または第2の画素が出力画像として出力されると(ステップS4225、またはステップS4230の処理の後)、ステップS4231において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップS4221に戻る。即ち、全ての画素の処理が終了されるまで、ステップS4221乃至S4231の処理が繰り返される。
【2588】
そして、ステップS4231において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【2589】
以上、図292乃至図305を参照して、本発明の信号処理装置4(図1)の実施の形態の1例として、併用手法について説明した。
【2590】
上述したように、併用手法においては、図3の構成の本発明の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置(または、プログラム等)が付加されている。
【2591】
換言すると、併用手法においては、従来の信号処理装置(または、プログラム等)に対して、図3の構成の本発明の信号処理装置(または、プログラム等)が付加されている。
【2592】
即ち、併用手法においては、例えば、図292や図298の定常領域検出部4105が、実世界1の光信号が射影され、実世界1の光信号の定常性の一部が欠落した画像データ(例えば、図292や図298の入力画像)内において、画像データのデータの定常性を有する領域(例えば、図295のステップS4106や図299のステップS4166に記載の定常領域)を検出する。
【2593】
また、図292や図298の実世界推定部4102が、実世界1の光信号の定常性の一部が欠落した画像データのデータの定常性に基づいて、欠落した実世界1の光信号の定常性を推定することにより光信号を推定する。
【2594】
さらに、例えば、図292や図298のデータ定常性検出部4101が、実世界1の光信号が射影され、実世界1の光信号の定常性の一部が欠落した画像データ内において、画像データのデータの定常性の基準軸に対する角度(例えば、図295のステップS4102や図299のステップS4162に記載の角度)を検出する。この場合、例えば、図292や図298の定常領域検出部4105は、角度に基いて画像データのデータの定常性を有する領域を検出し、実世界推定部4102は、その領域に対して、欠落した実世界1の光信号の定常性を推定することにより光信号を推定する。
【2595】
ただし、図292においては、定常領域検出部4105は、角度に沿って定常であるモデルと入力画像との誤差(即ち、例えば、図中の領域特定情報であって、図295のステップS4102の処理で演算される推定誤差)に基づいて入力画像のデータの定常性を有する領域を検出する。
【2596】
これに対して、図298においては、定常領域検出部4105は、実世界推定部4102の後段に配され、実世界推定部4102により演算される、入力画像に対応する実世界1の光信号を表す実世界モデルと、入力画像との誤差(即ち、例えば、図中の領域特定情報であって、図295のステップS4163の処理で演算される実世界の信号の推定誤差(マッピング誤差))に基いて、実世界推定部4102により推定された実世界モデル、即ち、画像生成部4103から出力される画像を選択的に出力する(例えば、図298のセレクタ4112が、図299のステップS4166乃至S4168の処理を実行する)。
【2597】
以上、図292と図298の例で説明したが、以上のことは、図300、図302、および図304においても同様である。
【2598】
従って、併用手法においては、実世界1の信号のうちの定常性が存在する部分(画像データのデータの定常性を有する領域)については、図3の構成の信号処理装置に相当する装置(またはプログラム等)が信号処理を実行し、実世界1の信号のうちの明確な定常性が存在しない部分については、従来の信号処理装置(または、プログラム等)が信号処理を実行することが可能になる。その結果、従来の信号処理装置や、図3の構成の本発明の信号処理のいずれよりも実世界1(図1)の信号に近い画像データを出力することが可能になる。
【2599】
次に、図306,図307を参照して、データ定常性検出部101より直接画像を生成する例について説明する。
【2600】
図306のデータ定常性検出部101は、図165のデータ定常性検出部101に画像生成部4501を付加したものである。画像生成部4501は、実世界推定部802より出力される実世界の近似関数f(ｘ)の係数を実世界推定情報として取得し、この係数に基づいて、各画素を再積分することにより画像を生成して出力する。
【2601】
次に、図307のフローチャートを参照して、図306のデータの定常性の検出の処理について説明する。尚、図307のフローチャートのステップS4501乃至S4504、および、ステップS4506乃至S4511の処理に付いては、図166のフローチャートのステップS801乃至S810の処理と同様であるのでその説明は省略する。
【2602】
ステップS4504において、画像生成部4501は、実世界推定部802より入力された係数に基づいて各画素を再積分して、画像を生成し出力する。
【2603】
以上の処理により、データ定常性検出部101は、領域情報のみならず、その領域判定に用いた(実世界推定情報に基づいて生成された画素からなる)画像を出力することができる。
【2604】
このように、図306のデータ定常性検出部101においては、画像生成部4501が設けられている。即ち、図306のデータ定常性検出部101は、入力画像のデータの定常性に基づいて出力画像を生成することができる。従って、図306で示される構成を有する装置を、データ定常性検出部101の実施の形態と捉えるのではなく、図1の信号処理装置(画像処理装置)4の他の実施の形態と捉えることもできる。
【2605】
さらに、上述した併用手法が適用される信号処理装置において、実世界1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部として、図306で示される構成を有する装置(即ち、図306のデータ定常性検出部101と同様の機能と構成を有する信号処理装置)を適用することも可能である。
【2606】
具体的には、例えば、第1の併用手法が適用される図292の信号処理装置においては、実世界1の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部は、データ定常性検出部4101、実世界推定部4102、および画像生成部4103とされている。図示はしないが、これらのデータ定常性検出部4101、実世界推定部4102、および画像生成部4103の代わりに、図306の構成の信号処理装置(画像処理装置)を適用することも可能である。この場合、図306の比較部804が、その出力を領域特定情報をとして領域検出部4111に供給し、また、画像生成部4501が、出力画像(第2の画素)をセレクタ4112に供給することになる。
【2607】
なお、センサ2は、固体撮像素子である、例えば、BBD(Bｕckeｔ Bｒigade Deｖice)、CID(Chaｒge Injecｔiｏn Deｖice)、またはCPD(Chaｒge Pｒiming Deｖice)などのセンサでもよい。
【2608】
本発明の信号処理を行うプログラムを記録した記録媒体は、図2で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク51(フレキシブルディスクを含む)、光ディスク52(CD-ROM(Cｏmｐaｕｔ Diｓk-Read Onlｙ Memｏｒｙ),DVD(Digiｔal Veｒｓaｔile Diｓk)を含む)、光磁気ディスク53(MD(Mini-Diｓk)(商標)を含む)、もしくは半導体メモリ54などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM22や、記憶部28に含まれるハードディスクなどで構成される。
【2609】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【2610】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【2611】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
【2612】
また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図1】
本発明の原理を示す図である。
【図2】
信号処理装置4の構成の例を示すブロック図である。
【図3】
信号処理装置4を示すブロック図である。
【図4】
従来の信号処理装置121の処理の原理を説明する図である。
【図5】
信号処理装置4の処理の原理を説明する図である。
【図6】
本発明の原理をより具体的に説明する図である。
【図7】
本発明の原理をより具体的に説明する図である。
【図8】
イメージセンサ上の画素の配置の例を説明する図である。
【図9】
CCDである検出素子の動作を説明する図である。
【図10】
画素D乃至画素Fに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図11】
時間の経過と、1つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図12】
実世界1の線状の物の画像の例を示す図である。
【図13】
実際の撮像により得られた画像データの画素値の例を示す図である。
【図14】
画像データの模式図である。
【図15】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界1の画像の例を示す図である。
【図16】
実際の撮像により得られた画像データの画素値の例を示す図である。
【図17】
画像データの模式図である。
【図18】
本発明の原理を説明する図である。
【図19】
本発明の原理を説明する図である。
【図20】
高解像度データ181の生成の例を説明する図である。
【図21】
モデル161による近似を説明する図である。
【図22】
M個のデータ162によるモデル161の推定を説明する図である。
【図23】
実世界1の信号とデータ3との関係を説明する図である。
【図24】
式を立てるときに注目するデータ3の例を示す図である。
【図25】
式を立てる場合における、実世界1における2つの物体に対する信号および混合領域に属する値を説明する図である。
【図26】
式(18)、式(19)、および式(22)で表される定常性を説明する図である。
【図27】
データ3から抽出される、M個のデータ162の例を示す図である。
【図28】
データ3である画素値が取得された領域を説明する図である。
【図29】
画素の時空間方向の位置の近似を説明する図である。
【図30】
データ3における、時間方向および2次元の空間方向の実世界1の信号の積分を説明する図である。
【図31】
空間方向により解像度の高い高解像度データ181を生成するときの、積分の領域を説明する図である。
【図32】
時間方向により解像度の高い高解像度データ181を生成するときの、積分の領域を説明する図である。
【図33】
動きボケを除去した高解像度データ181を生成するときの、積分の領域を説明する図である。
【図34】
時間空間方向により解像度の高い高解像度データ181を生成するときの、積分の領域を説明する図である。
【図35】
入力画像の元の画像を示す図である。
【図36】
入力画像の例を示す図である。
【図37】
従来のクラス分類適応処理を適用して得られた画像を示す図である。
【図38】
細線の領域を検出した結果を示す図である。
【図39】
信号処理装置4から出力された出力画像の例を示す図である。
【図40】
信号処理装置4による、信号の処理を説明するフローチャートである。
【図41】
データ定常性検出部101の構成を示すブロック図である。
【図42】
背景の前に細線がある実世界1の画像を示す図である。
【図43】
平面による背景の近似を説明する図である。
【図44】
細線の画像が射影された画像データの断面形状を示す図である。
【図45】
細線の画像が射影された画像データの断面形状を示す図である。
【図46】
細線の画像が射影された画像データの断面形状を示す図である。
【図47】
頂点の検出および単調増減領域の検出の処理を説明する図である。
【図48】
頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。
【図49】
図48の点線AA’で示す方向に並ぶ画素の画素値を表す図である。
【図50】
単調増減領域の連続性の検出の処理を説明する図である。
【図51】
平面での近似により定常成分を抽出した画像の例を示す図である。
【図52】
単調減少している領域を検出した結果を示す図である。
【図53】
連続性が検出された領域を示す図である。
【図54】
連続性が検出された領域の画素値を示す図である。
【図55】
細線の画像が射影された領域の検出の他の処理の例を示す図である。
【図56】
定常性検出の処理を説明するフローチャートである。
【図57】
時間方向のデータの定常性を検出の処理を説明する図である。
【図58】
非定常成分抽出部201の構成を示すブロック図である。
【図59】
棄却される回数を説明する図である。
【図60】
入力画像の例を示す図である。
【図61】
棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図62】
棄却をして平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図63】
棄却された回数を画素値とした画像を示す図である。
【図64】
平面の空間方向Xの傾きを画素値とした画像を示す図である。
【図65】
平面の空間方向Yの傾きを画素値とした画像を示す図である。
【図66】
平面で示される近似値からなる画像を示す図である。
【図67】
平面で示される近似値と画素値との差分からなる画像を示す図である。
【図68】
非定常成分の抽出の処理を説明するフローチャートである。
【図69】
定常成分の抽出の処理を説明するフローチャートである。
【図70】
定常成分の抽出の他の処理を説明するフローチャートである。
【図71】
定常成分の抽出のさらに他の処理を説明するフローチャートである。
【図72】
データ定常性検出部101の他の構成を示すブロック図である。
【図73】
データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図74】
アクティビティを検出するためのブロックを説明する図である。
【図75】
アクティビティに対するデータの定常性の角度を説明する図である。
【図76】
データ定常性検出部101のより詳細な構成を示すブロック図である。
【図77】
画素の組を説明する図である。
【図78】
画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図79】
データの定常性の検出の処理を説明するフローチャートである。
【図80】
時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図81】
データ定常性検出部101のより詳細な他の構成を示すブロック図である。
【図82】
設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。
【図83】
設定された直線の角度の範囲を説明する図である。
【図84】
設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。
【図85】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図86】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図87】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図88】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図89】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図90】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図91】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図92】
画素の組の数および画素の組毎の画素の数を説明する図である。
【図93】
データの定常性の検出の処理を説明するフローチャートである。
【図94】
データ定常性検出部101のさらに他の構成を示すブロック図である。
【図95】
データ定常性検出部101のより詳細な構成を示すブロック図である。
【図96】
ブロックの例を説明する図である。
【図97】
注目ブロックと参照ブロックとの、画素値の差分の絶対値の算出の処理を説明する図である。
【図98】
注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Xの距離を説明する図である。
【図99】
シフト量γと角度θとの関係を示す図である。
【図100】
シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Xの距離を示す図である。
【図101】
注目画素を通り、空間方向Xの軸に対して角度θの直線との距離が最小の参照ブロックを示す図である。
【図102】
検出するデータの定常性の角度の範囲を1/2にする処理を説明する図である。
【図103】
データの定常性の検出の処理を説明するフローチャートである。
【図104】
間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるブロックを示す図である。
【図105】
入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部101の構成を示すブロック図である。
【図106】
入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部101の構成を示すブロック図である。
【図107】
データ定常性検出部101のさらに他の構成を示すブロック図である。
【図108】
入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図109】
入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図110】
入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図111】
入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図112】
回帰直線Aと、例えば、基準軸である空間方向Xを示す軸との角度を説明する図である。
【図113】
領域の例を示す図である。
【図114】
図107で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明するフローチャートである。
【図115】
データ定常性検出部101のさらに他の構成を示すブロック図である。
【図116】
入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図117】
標準偏差とデータの定常性を有する領域との関係を説明する図である。
【図118】
領域の例を示す図である。
【図119】
図115で構成が示されるデータ定常性検出部101による、データの定常性の検出の処理を説明するフローチャートである。
【図120】
図115で構成が示されるデータ定常性検出部101による、データの定常性の検出の他の処理を説明するフローチャートである。
【図121】
本発明を適用した細線、または、2値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図122】
データ定常性情報の検出方法を説明する図である。
【図123】
データ定常性情報の検出方法を説明する図である。
【図124】
図121のデータ定常性検出部のより詳細な構成を示す図である。
【図125】
水平・垂直判定処理を説明する図である。
【図126】
水平・垂直判定処理を説明する図である。
【図127】
現実世界の細線とセンサにより撮像される細線の関係を説明する図である。
【図128】
現実世界の画像の細線と背景の関係を説明する図である。
【図129】
センサにより撮像された画像の細線と背景の関係を説明する図である。
【図130】
センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図131】
現実世界の画像の細線と背景の関係を説明する図である。
【図132】
センサにより撮像された画像の細線と背景の関係を説明する図である。
【図133】
センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図134】
細線の角度を求めるためのモデルを示す図である。
【図135】
細線の角度を求めるためのモデルを示す図である。
【図136】
注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。
【図137】
細線の角度の求め方を説明する図である。
【図138】
細線の角度の求め方を説明する図である。
【図139】
抽出ブロックとダイナミックレンジブロックを説明する図である。
【図140】
最小自乗法の解法を説明する図である。
【図141】
最小自乗法の解法を説明する図である。
【図142】
2値エッジを説明する図である。
【図143】
センサにより撮像された画像の2値エッジを説明する図である。
【図144】
センサにより撮像された画像の2値エッジの例を説明する図である。
【図145】
センサにより撮像された画像の2値エッジを説明する図である。
【図146】
2値エッジの角度を求めるためのモデルを示す図である。
【図147】
2値エッジの角度を求める方法を説明する図である。
【図148】
2値エッジの角度を求める方法を説明する図である。
【図149】
細線、または、2値エッジの角度をデータ定常性と検出する処理を説明するフローチャートである。
【図150】
データ抽出処理を説明するフローチャートである。
【図151】
正規方程式への足し込み処理を説明するフローチャートである。
【図152】
本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図153】
本発明を適用して求めた2値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図154】
本発明を適用した混合比をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図155】
混合比の求め方を説明する図である。
【図156】
混合比をデータ定常性と検出する処理を説明するフローチャートである。
【図157】
正規方程式への足し込み処理を説明するフローチャートである。
【図158】
細線の混合比の分布例を示す図である。
【図159】
2値エッジの混合比の分布例を示す図である。
【図160】
混合比の直線近似を説明する図である。
【図161】
物体の動きをデータ定常性情報として求める方法を説明する図である。
【図162】
物体の動きをデータ定常性情報として求める方法を説明する図である。
【図163】
物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。
【図164】
物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。
【図165】
本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図166】
図165のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図167】
図165のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図168】
図165のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図169】
本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部のその他の構成を示すブロック図である。
【図170】
図169のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図171】
図169のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図172】
図169のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図173】
実世界推定部102の構成を示すブロック図である。
【図174】
実世界1の信号における、細線の幅を検出する処理を説明する図である。
【図175】
実世界1の信号における、細線の幅を検出する処理を説明する図である。
【図176】
実世界1の信号における、細線の信号のレベルを推定する処理を説明する図である。
【図177】
実世界の推定の処理を説明するフローチャートである。
【図178】
実世界推定部102の他の構成を示すブロック図である。
【図179】
境界検出部2121の構成を示すブロック図である。
【図180】
分配比の算出の処理を説明する図である。
【図181】
分配比の算出の処理を説明する図である。
【図182】
分配比の算出の処理を説明する図である。
【図183】
単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図184】
単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図185】
実世界の推定の処理を説明するフローチャートである。
【図186】
境界検出の処理を説明するフローチャートである。
【図187】
空間方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図188】
図187の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図189】
参照画素を説明する図である。
【図190】
空間方向の微分値を求める位置を説明する図である。
【図191】
空間方向の微分値とシフト量の関係を説明する図である。
【図192】
空間方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図193】
図192の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図194】
空間方向の傾きを求める処理を説明する図である。
【図195】
空間方向の傾きを求める処理を説明する図である。
【図196】
フレーム方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図197】
図196の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図198】
参照画素を説明する図である。
【図199】
フレーム方向の微分値を求める位置を説明する図である。
【図200】
フレーム方向の微分値とシフト量の関係を説明する図である。
【図201】
フレーム方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図202】
図201の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図203】
フレーム方向の傾きを求める処理を説明する図である。
【図204】
フレーム方向の傾きを求める処理を説明する図である。
【図205】
図3の実世界推定部の実施の形態の1例である、関数近似手法の原理を説明する図である。
【図206】
センサがCCDとされる場合の積分効果を説明する図である。
【図207】
図206のセンサの積分効果の具体的な例を説明する図である。
【図208】
図206のセンサの積分効果の具体的な他の例を説明する図である。
【図209】
図207で示される細線含有実世界領域を表した図である。
【図210】
図3の実世界推定部の実施の形態の1例の原理を、図205の例と対比させて説明する図である。
【図211】
図207で示される細線含有データ領域を表した図である。
【図212】
図211の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図213】
図212の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図214】
図207で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。
【図215】
図211の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図216】
図215で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。
【図217】
空間方向の定常性を考慮して、図212の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図218】
空間混合領域を説明する図である。
【図219】
空間混合領域における、実世界の信号を近似した近似関数を説明する図である。
【図220】
センサの積分特性と空間方向の定常性の両方を考慮して、図212の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。
【図221】
図205で示される原理を有する関数近似手法のうちの、1次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図222】
図221の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図223】
タップ範囲を説明する図である。
【図224】
空間方向の定常性を有する実世界の信号を説明する図である。
【図225】
センサがCCDとされる場合の積分効果を説明する図である。
【図226】
断面方向距離を説明する図である。
【図227】
図205で示される原理を有する関数近似手法のうちの、2次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図228】
図227の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図229】
タップ範囲を説明する図である。
【図230】
時空間方向の定常性の方向を説明する図である。
【図231】
センサがCCDとされる場合の積分効果を説明する図である。
【図232】
空間方向の定常性を有する実世界の信号を説明する図である。
【図233】
時空間方向の定常性を有する実世界の信号を説明する図である。
【図234】
図205で示される原理を有する関数近似手法のうちの、3次元関数近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図235】
図234の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図236】
図3の画像生成部の実施の形態の1例である、再積分手法の原理を説明する図である。
【図237】
入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。
【図238】
図237で示される近似関数から、図237で示される1つの入力画素における、高解像度の4つの画素を創造する例を説明する図である。
【図239】
図236で示される原理を有する再積分手法のうちの、1次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図240】
図239の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図241】
入力画像の元の画像の例を表す図である。
【図242】
図241の画像に対応する画像データの例を表す図である。
【図243】
入力画像の例を表す図である。
【図244】
図243の画像に対応する画像データの例を表す図である。
【図245】
入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。
【図246】
図245の画像に対応する画像データの例を表す図である。
【図247】
入力画像に対して本発明の1次元再積分手法の処理を施して得られる画像の例を表す図である。
【図248】
図247の画像に対応する画像データの例を表す図である。
【図249】
空間方向の定常性を有する実世界の信号を説明する図である。
【図250】
図236で示される原理を有する再積分手法のうちの、2次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図251】
断面方向距離を説明する図である。
【図252】
図250の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図253】
入力画素の1例を説明する図である。
【図254】
2次元再積分手法により、図253で示される1つの入力画素における、高解像度の4つの画素を創造する例を説明する図である。
【図255】
時空間方向の定常性の方向を説明する図である。
【図256】
図236で示される原理を有する再積分手法のうちの、3次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図257】
図256の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図258】
本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図259】
図258の画像生成部による画像の生成の処理を説明するフローチャートである。
【図260】
入力画素から4倍密度の画素を生成する処理を説明する図である。
【図261】
画素値を示す近似関数とシフト量との関係を示す図である。
【図262】
本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図263】
図262の画像生成部による画像の生成の処理を説明するフローチャートである。
【図264】
入力画素から4倍密度の画素を生成する処理を説明する図である。
【図265】
画素値を示す近似関数とシフト量との関係を示す図である。
【図266】
図3の画像生成部の実施の形態の1例である、クラス分類適応処理補正手法の1次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図267】
図266の画像生成部のクラス分類適応処理部の構成例を説明するブロック図である。
【図268】
図266のクラス分類適応処理部と、クラス分類適応処理補正部が使用する係数を学習により決定する学習装置の構成例を示すブロック図である。
【図269】
図268のクラス分類適応処理用学習部の詳細な構成例を説明するブロック図である。
【図270】
図267のクラス分類適応処理部の処理結果の例を示す図である。
【図271】
図270の予測画像とHD画像の差分画像を示す図である。
【図272】
図271で示される領域に含まれるX方向に連続した6個のHD画素のうちの、図中左から4個のHD画素に対応する、図270のHD画像の具体的な画素値、SD画像の具体的な画素値、および、実際の波形(実世界の信号)のそれぞれをプロットしたものを示す図である。
【図273】
図270の予測画像とHD画像の差分画像を示す図である。
【図274】
図273で示される領域に含まれるX方向に連続した6個のHD画素のうちの、図中左から4個のHD画素に対応する、図270のHD画像の具体的な画素値、SD画像の具体的な画素値、および、実際の波形(実世界の信号)のそれぞれをプロットしたものを示す図である。
【図275】
図272乃至図274に示される内容に基づいて得られた知見を説明する図である。
【図276】
図266の画像生成部のクラス分類適応処理補正部の構成例を説明するブロック図である。
【図277】
図268のクラス分類適応処理補正用学習部の詳細な構成例を説明するブロック図である。
【図278】
画素内傾斜を説明する図である。
【図279】
図270のSD画像と、そのSD画像の各画素の画素内傾斜を画素値とする特徴量画像を示す図である。
【図280】
画素内傾斜の算出方法を説明する図である。
【図281】
画素内傾斜の算出方法を説明する図である。
【図282】
図266の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図283】
図282の画像の生成処理の入力画像クラス分類適応処理の詳細を説明するフローチャートである。
【図284】
図282の画像の生成処理のクラス分類適応処理の補正処理の詳細を説明するフローチャートである。
【図285】
クラスタップの配置例を説明する図である。
【図286】
クラス分類の1例を説明する図である。
【図287】
予測タップ配置例を説明する図である。
【図288】
図268の学習装置の学習処理を説明するフローチャートである。
【図289】
図288の学習処理のクラス分類適応処理用学習処理の詳細を説明するフローチャートである。
【図290】
図288の学習処理のクラス分類適応処理補正用学習処理の詳細を説明するフローチャートである。
【図291】
図270の予測画像と、その予測画像に補正画像を加算した画像(図266の画像生成部により生成される画像)を表した図である。
【図292】
図1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第1の構成例を説明するブロック図である。
【図293】
図292の信号処理装置の、クラス分類適応処理を実行する画像生成部の構成例を説明するブロック図である。
【図294】
図293の画像生成部に対する学習装置の構成例を説明するブロック図である。
【図295】
図292の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図296】
図295の信号の処理のクラス分類適応処理の実行処理の詳細を説明するフローチャートである。
【図297】
図294の学習装置の学習処理を説明するフローチャートである。
【図298】
図1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第2の構成例を説明するブロック図である。
【図299】
図296の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図300】
図1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第3の構成例を説明するブロック図である。
【図301】
図298の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図302】
図1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第4の構成例を説明するブロック図である。
【図303】
図300の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図304】
図1の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第5の構成例を説明するブロック図である。
【図305】
図302の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図306】
データ定常性検出部の他の実施の形態の構成を示すブロック図である。
【図307】
図306のデータ定常性検出部によるデータの定常性の検出処理を説明するフローチャートである。
【符号の説明】
4 信号処理装置,21 CPU,22 ROM,23 RAM,28 記憶部,51 磁気ディスク,52 光ディスク,53 光磁気ディスク,54 半導体メモリ,101 データ定常性検出部,102 実世界推定部,103 画像生成部,201 非定常成分抽出部,202 頂点検出部,203 単調増減検出部,204 連続性検出部,221 ブロック抽出部,222 平面近似部,223 繰り返し判定部,401 アクティビティ検出部,402 データ選択部,403 誤差推定部,404 定常方向導出部,411-1乃至411-L 画素選択部,412-1乃至412-L 推定誤差算出部,413 最小誤差角度選択部,421-1乃至421-L 画素選択部,422-1乃至422-L 推定誤差算出部,441 データ選択部,442 誤差推定部,443 定常方向導出部,461-1乃至461-L 画素選択部,462-1乃至462-L 推定誤差算出部,463 最小誤差角度選択部,481-1乃至481-3 データ定常性検出部,482 決定部,491 コンポーネント処理部,492 データ定常性検出部,502 画素取得部,503 度数検出部,504 回帰直線演算部,505 角度算出部,602 画素取得部,603 度数検出部,604 回帰直線演算部,605 領域算出部,701 データ選択部,702 データ足し込み部,703 定常方向導出部,711 水平・垂直判定部,712 データ取得部,721 差分足し込み部,722 MaｘMin取得部,723 差分足し込み部,731 定常方向演算部,751 データ足し込み部,752 MaｘMin取得部,753 足し込み部,754 差分演算部,755 足し込み部,761 混合比導出部,762 混合比算出部,801 角度検出部,802 実世界推定部,803 誤差演算部,804 比較部,821 動き検出部,822 実世界推定部,823 誤差演算部,824 比較部,2101 線幅検出部,2102 信号レベル推定部,2121 境界検出部,2131 分配比算出部,2132 回帰直線算出部,2201 実世界推定部,2202 近似関数推定部,2203 微分処理部,2211 参照画素抽出部,2212 傾き推定部,2231 実世界推定部,2232 近似関数推定部,2233 微分処理部,2251 参照画素抽出部,2252 傾き推定部,2331 条件設定部,2332 入力画像記憶部,2333 入力画素値取得部,2334 積分成分演算部,2335 正規方程式生成部,2336 近似関数生成部,2341 入力画素値テーブル,2342 積分成分テーブル,2343 正規方程式テーブル,2421 条件設定部,2422 入力画像記憶部,2423 入力画素値取得部,2424 積分成分演算部,2425 正規方程式生成部,2426 近似関数生成部,2431 入力画素値テーブル,2432 積分成分テーブル,2433 正規方程式テーブル,2521 条件設定部,2522 入力画像記憶部,2523 入力画素値取得部,2524 積分成分演算部,2525 正規方程式生成部,2526 近似関数生成部,2531 入力画素値テーブル,2532 積分成分テーブル,2533 正規方程式テーブル,3121 条件設定部,3122 特徴量記憶部,3123 積分成分演算部,3124 出力画素値演算部,3131 特徴量テーブル,3132 積分成分テーブル,3201 条件設定部,3202 特徴量記憶部,3203 積分成分演算部,3204 出力画素値演算部,3211 特徴量テーブル,3212 積分成分テーブル,3301 条件設定部,3302 特徴量記憶部,3303 積分成分演算部,3304 出力画素値演算部,3311 特徴量テーブル,3312 積分成分テーブル,3201 傾き取得部,3202 外挿補間部,3211 傾き取得部,3212 外挿補間部,3501 クラス分類適応処理部,3502 クラス分類適応処理補正部,3503 加算部,3504 学習装置,3521 クラス分類適応処理用学習部,3561 クラス分類適応処理補正用学習部,4101 データ定常性検出部4101 実世界推定部,4103 画像生成部,4104 画像生成部,4105 定常領域検出部,4111 領域検出部,4112 セレクタ,4161 定常領域検出部,4171 領域検出部,4172 実行指令生成部,4181,4182 定常領域検出部,4191 領域検出部,4192 実行指令生成部,4201 領域検出部,4202 実行指令生成部,4501 画像生成部
 
訂正の要旨 審決(決定)の【理由】欄参照。
審決日 2009-04-03 
出願番号 特願2003-34670(P2003-34670)
審決分類 P 1 41・ 851- Y (G06T)
P 1 41・ 852- Y (G06T)
最終処分 成立  
前審関与審査官 真木 健彦  
特許庁審判長 原 光明
特許庁審判官 加藤 恵一
廣川 浩
登録日 2008-08-01 
登録番号 特許第4161731号(P4161731)
発明の名称 画像処理装置、記録媒体、並びにプログラム  
代理人 稲本 義雄  
代理人 稲本 義雄  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ