• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 訂正 ただし書き2号誤記又は誤訳の訂正 訂正する G06N
管理番号 1367226
審判番号 訂正2020-390053  
総通号数 252 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-12-25 
種別 訂正の審決 
審判請求日 2020-06-26 
確定日 2020-10-08 
訂正明細書 有 
事件の表示 特許第6450710号に関する訂正審判事件について、次のとおり審決する。 
結論 特許第6450710号の明細書及び特許請求の範囲を本件審判請求書に添付された訂正明細書及び特許請求の範囲のとおり訂正することを認める。 
理由 第1 手続きの経緯
特願2016-099737号は,平成26年11月13日に出願した特願2014-231089号の一部を平成28年5月18日に新たな特許出願としたものであるところ,平成30年11月6日に特許査定され,その後,請求項1-6に係る発明について,同年12月14日に特許権の設定の登録がされ(特許第6450710号,以下「本件特許」という。),令和2年6月26日に訂正審判(以下「本件審判」という。)が請求されたものである。

第2 請求の趣旨,訂正の内容
1 請求の趣旨
本件審判の請求の趣旨は,「特許第6450710号の明細書、特許請求の範囲を本件審判請求書に添付した訂正明細書、特許請求の範囲のとおり訂正することを認める、との審決を求める。」というものである。

2 訂正の内容
本件訂正審判に係る訂正の内容は,以下のとおりである。
(下線部分は訂正箇所を示す。)

(1)訂正事項1
特許請求の範囲の請求項1に「前記学習結果記憶部に記録された前記結合ベクトル」と記載されているのを,「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正する(請求項1の記載を引用する請求項2?請求項4も同様に訂正する)。

(2)訂正事項2
特許請求の範囲の請求項5に「前記学習結果記憶部に記録された前記結合ベクトル」と記載されているのを,「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正する。

(3)訂正事項3
特許請求の範囲の請求項6に「前記学習結果記憶部に記録された前記結合ベクトル」と記載されているのを,「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正する。

(4)訂正事項4
願書に添付した明細書の段落〔0009〕に記載された「前記学習結果記憶部に記録された前記結合ベクトル」を「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正する。

第3 当審の判断
以下,本件訂正前の請求項1-6を,「訂正前請求項1」-「訂正前請求項6」という。また,訂正前請求項1-6に係る発明を,「訂正前発明1」-「訂正前発明6」という。
訂正後についても,「訂正前」を「訂正後」に変えて同様に,「訂正後請求項1」-「訂正後請求項6」,「訂正後発明1」-「訂正後発明6」という。

1 特許法第126条第1項ただし書(訂正の目的)について
(1)訂正事項1
訂正前請求項1では,「すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、・・・(略)・・・この結合係数と、前記学習結果記憶部に記録された前記結合ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する」と記載されており,2箇所に「結合ベクトル」との記載がある。前者の「結合ベクトル」は,「学習結果記憶部に記録する」「結合基底ベクトルを生成」するための「学習処理」に「用い」るものを意味するのに対し,後者の「結合ベクトル」は,「学習結果記憶部に記録され」,「予測先情報の特徴ベクトルを算出する予測処理」に「用い」るものを意味するものである。そうすると,後者の「結合ベクトル」は,前者の「結合ベクトル」とは全く異なる意味のものであり,誤記であると認められる。また,前者の「結合ベクトル」に関し,「結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する」との記載から,学習結果記録部には「結合基底ベクトル」が記録されるものと認められるが,後者の「結合ベクトル」は,「学習結果記録部に記録された」ものであり,訂正前請求項1では「学習結果記憶部に記録」される(された)のが「結合基底ベクトル」であるのか「結合ベクトル」であるのか整合しておらず,誤記であると認められる。そして,本件特許の願書に最初に添付された特許請求の範囲,明細書又は図面(以下「当初明細書等」という。)には,「【0126】・・・画像処理システム20の制御部21は、高解像パッチの計算処理を実行する(ステップS7-7)。具体的には、制御部21の第2予測部217は、学習結果記憶部23から、以下の平均ベクトル、主成分基底ベクトルを取得する。」と記載され,この記載からも,後者の「結合ベクトル」が,「結合基底ベクトル」の誤記であることも明らかである。
そこで,本件訂正により,訂正前請求項1において,前記後者の「結合ベクトル」が「結合基底ベクトル」と訂正され,訂正後請求項1において,「結合ベクトル」と「結合基底ベクトル」とは,それぞれ意味が明確に区別されるものとなり,かつ,「学習結果記憶部に記録」される(された)のが「結合基底ベクトル」であることが明確になった。
したがって,訂正事項1は,誤記の訂正を目的とする訂正である。

(2)訂正事項2
訂正事項2は,訂正前請求項5の「前記学習結果記憶部に記録された前記結合ベクトル」を,「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項2は,誤記の訂正を目的とする訂正である。

(3)訂正事項3
訂正事項3は,訂正前請求項6の「前記学習結果記憶部に記録された前記結合ベクトル」を,「前記学習結果記憶部に記録された前記結合基底ベクトル」と訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項3は,誤記の訂正を目的とする訂正である。

(4)訂正事項4
訂正事項4は,願書に添付した明細書の段落【0009】の「前記学習結果記憶部に記録された前記結合ベクトル」を「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項4は,誤記の訂正を目的とする訂正である。

(5)小括
訂正事項1ないし4は,いずれも,特許法第126条第1項ただし書第2号に掲げる「誤記又は誤訳の訂正」を目的とするものである。

2 特許法第126条第5項(新規事項の有無)について
(1)訂正事項1
請求項1の訂正についてみると,当初明細書等には,「【0126】・・・画像処理システム20の制御部21は、高解像パッチの計算処理を実行する(ステップS7-7)。具体的には、制御部21の第2予測部217は、学習結果記憶部23から、以下の平均ベクトル、主成分基底ベクトルを取得する。」と記載され,この記載から,訂正前請求項1における「前記学習結果記憶部に記録された前記結合ベクトル」は,「前記学習結果記憶部に記録された前記結合基底ベクトル」であることが明らかといえるから,訂正後発明1は,当初明細書等に記載されているといえる。
したがって,訂正事項1は,当初明細書等の記載に基づくものであって,当初明細書等のすべてを総合することにより導かれる技術的事項との関係において新たな技術的事項を導入するものではなく,当初明細書等に記載した事項の範囲内においてされたものである。

(2)訂正事項2
訂正事項2は,訂正前請求項5の「前記学習結果記憶部に記録された前記結合ベクトル」を,「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項2は,訂正事項1と同様の理由により,当初明細書等に記載した事項の範囲内においてしたものである。

(3)訂正事項3
訂正事項3は,訂正前請求項6の「前記学習結果記憶部に記録された前記結合ベクトル」を,「前記学習結果記憶部に記録された前記結合基底ベクトル」と訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項3は,訂正事項1と同様の理由により,当初明細書等に記載した事項の範囲内においてしたものである。

(4)訂正事項4
訂正事項4は,願書に添付した明細書の段落【0009】の「前記学習結果記憶部に記録された前記結合ベクトル」を「前記学習結果記憶部に記録された前記結合基底ベクトル」に訂正するものであり,訂正事項1と同様の訂正をするものである。
したがって,訂正事項4は,訂正事項1と同様の理由により,当初明細書等に記載した事項の範囲内においてしたものである。

(5)小括
訂正事項1ないし4は,特許法第126条第5項の規定に適合する。

3 特許法第126条第6項(特許請求の範囲の拡張又は変更の有無)について
(1)訂正事項1
訂正事項1は,誤記の訂正を目的とする訂正であって,本件特許の特許請求の範囲,明細書又は図面の記載に接した当業者ならば,訂正前発明1を訂正後発明1のとおり理解したことは当然である。
したがって,請求項1についての訂正事項1は,実質上特許請求の範囲を拡張するものではなく,かつ,実質上特許請求の範囲を変更するものでもない。

(2)訂正事項2
訂正事項2は,訂正前請求項5について,訂正事項1と同様の訂正をするものである。
したがって,訂正事項2の訂正は,実質上特許請求の範囲を拡張するものではなく,かつ,実質上特許請求の範囲を変更するものでもない。

(3)訂正事項3
訂正事項3は,訂正前請求項6について,訂正事項1と同様の訂正をするものである。
したがって,訂正事項3の訂正は,実質上特許請求の範囲を拡張するものではなく,かつ,実質上特許請求の範囲を変更するものでもない。

(4)訂正事項4
訂正事項4は,特許請求の範囲の請求項1に対応する明細書の段落【0009】について,訂正事項1と同様の訂正をするものである。
したがって,訂正事項4の訂正は,実質上特許請求の範囲を拡張するものではなく,かつ,実質上特許請求の範囲を変更するものでもない。

(3)小括
訂正事項1ないし4は,特許法第126条第6項の規定に適合する。

4 特許法第126条第7項について
訂正後発明1ないし6が特許出願の際独立して特許を受けることができないとする理由を発見しないから,訂正事項1ないし4は,特許法第126条第7項の規定に適合する。

第4 むすび
以上のとおりであるから,訂正事項1ないし4は,特許法第126条第1項ただし書第2号に掲げる事項を目的とするものであり,かつ同条第5項ないし第7項の規定に適合する。
よって,結論のとおり審決する。

 
発明の名称 (54)【発明の名称】
情報予測システム、情報予測方法及び情報予測プログラム
【技術分野】
【0001】
本発明は、予測元情報に基づいて、予測先情報を予測するための情報予測システム、情報予測方法及び情報予測プログラムに関する。
【背景技術】
【0002】
二つの情報の関係を学習し、処理対象情報に対して、この学習結果を利用して、新たな情報を予測する場合がある。例えば、超解像技術においては、低解像度の原画像から高解像度の画像を生成する。この超解像技術は、ディスプレイ装置の高解像度化に伴って注目されており、各種機器等で採用されつつある。この超解像技術においては、失われた高周波成分を類推することになる。例えば、ある画像データのピクセルサイズを縦横に拡大する場合、隣り合う二つのピクセルの中間値を算出して、間のピクセルを埋める。この算出方法では失われた高周波成分が再現されず、拡大画像の境界線が曖昧な画像になる。一方、超解像技術では、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、高周波成分を類推する。
【0003】
超解像技術においては、パッチ超解像と、高周波成分予測とを組み合わせる(例えば、非特許文献1参照)。この文献に記載された技術では、低周波成分から高周波成分を予測する手法として、低周波と高周波をPCAで次元を削減し、高解像画像を回帰分析で予測する。この場合、ポスト処理としてバイラテラルフィルタを用いている。
【0004】
また、少ないハードウェアリソースで高速に処理する技術も検討されている(例えば、特許文献1参照)。この文献に記載された技術では、まず、処理対象とする画像をシーンに分ける。そして、シーンに適合する辞書テーブルを用いて、失われた高周波成分を辞書に対するツリー検索にて類推する。そして、辞書テーブルの検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを行ない、その平均値を算出する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2013-26659号公報
【非特許文献】
【0006】
【非特許文献1】Columbia University,Wei Liu1,他「Hallucinating Faces:TensorPatch Super-Resolution and Coupled Residue Compensation」、[online]、Columbia University、[平成26年9月23日検索]、インターネット<http://www.ee.columbia.edu/^(?)wliu/CVPR05_LiuWei1.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述のように、超解像技術において、高速化、高画質化のための各種試行が行われている。しかしながら、非特許文献1に記載の技術においては、主成分分析が行なわれているが、高解像画像は回帰分析により予測している。この場合、低解像と高解像との関係を、主成分係数毎に独立に回帰学習すると、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。
【0008】
また、特許文献1に記載の技術においては、辞書データのデータ量削減と、検索高速化のために主成分分析を行なっているが、主成分係数の分散は考慮されていない。
本発明は、上記問題点を解決するためになされたものであり、第1の情報に基づいて、第2の情報を効率的に予測するための情報予測システム、情報予測方法及び情報予測プログラムを提供することにある。
【課題を解決するための手段】
【0009】
・上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合基底ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する。これにより、効率的かつ的確に予測することができる。
【0010】
【0011】
【0012】
【発明の効果】
【0013】
本発明によれば、予測元情報に基づいて、予測先情報を効率的に予測することができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態の画像処理システムの説明図。
【図2】本実施形態の処理手順の説明図であって、(a)は第1の学習処理、(b)は第2の学習処理の説明図。
【図3】本実施形態の処理手順の説明図。
【図4】本実施形態の処理手順の説明図。
【図5】本実施形態の超解像処理の処理手順の概要の説明図。
【図6】本実施形態の処理手順の説明図。
【図7】本実施形態の処理手順の説明図。
【図8】本実施形態の処理手順の説明図。
【図9】本実施形態の処理手順の説明図。
【図10】本実施形態の効果の説明図。
【図11】本実施形態の効果の説明図。
【図12】本実施形態の効果の説明図。
【図13】本実施形態の効果の説明図。
【図14】本実施形態の効果の説明図。
【発明を実施するための形態】
【0015】
以下、本発明を具体化した情報予測システムの一実施形態を図1?図14に従って説明する。本実施形態では、顔画像の解像度を上げる超解像技術に適用する場合を説明する。
図1に示すように、本実施形態では、画像処理システム20を用いる。この画像処理システム20には、入力部10、出力部15が接続されている。入力部10は、キーボードやポインティングデバイスにより構成され、担当者によって入力された情報を取得する。出力部15は、ディスプレイにより構成され、各種情報の出力を行なう。
【0016】
画像処理システム20は、超解像処理を行なうためのコンピュータシステムである。この画像処理システム20は、制御部21、学習対象記憶部としての顔画像記憶部22、学習結果記憶部23を備えている。
【0017】
制御部21は、制御手段(CPU、RAM、ROM等)を備え、後述する処理(学習段階、超解像段階、第1予測段階、第2予測段階、ポスト処理段階、特徴点抽出段階、メッシュ分割段階、正規化段階、特徴画像抽出段階、主成分分析段階等の各処理等)を行なう。そのための情報予測プログラムを実行することにより、制御部21は、図1に示すように、学習部210、超解像部215、第1予測部216、第2予測部217、ポスト処理部218、特徴点抽出部21a、メッシュ分割部21b、正規化部21c、特徴画像抽出部21d、主成分分析部21eとして機能する。
【0018】
学習部210は、高解像画像と、この高解像画像に対応した低解像画像とを用いて、超解像処理に必要な情報を生成する処理を実行する。
超解像部215は、処理対象画像(入力画像)の解像度を上げる超解像処理を実行する。超解像部215は、処理対象画像及び計算途中の画像を記憶するメモリを備えている。
【0019】
第1予測部216は、主成分ベクトルが直交化されている場合に、高解像パッチの最適解を算出する処理を実行する。
第2予測部217は、主成分ベクトルが直交化されていない場合に、高解像パッチの最適解を検索する処理を実行する。第2予測部217は、主成分係数の最適解の検索時に微小移動させる振れ幅に関するデータを保持している。
【0020】
ポスト処理部218は、生成した超解像画像を用いて、誤差を調整する処理を実行する。本実施形態では、IBP(iterative back projection)法を用いる。このポスト処理部218は、超解像結果の妥当性を判定するための閾値に関するデータを保持している。
【0021】
特徴点抽出部21aは、処理対象画像において、特徴点を抽出する処理を実行する。本実施形態では、パターン認識により、顔画像を代表する特徴点(例えば、顔の輪郭や顔のパーツ位置)を抽出する。
【0022】
メッシュ分割部21bは、抽出した特徴点に基づいて、処理対象画像を所定形状のメッシュに分割する処理を実行する。本実施形態では、Delaunay法を用いて、三角形状のメッシュを生成する。このDelaunay法は、空間内の点を連結して三角形のグループを生成し、その三角形のすべての角に対する最小角度が最大になるようにする手法である。
【0023】
正規化部21cは、処理対象画像における特徴点が、予め定められた位置に配置されるようにメッシュを変形する処理を実行する。本実施形態では、予め定められた位置として平均顔の配置を用いる。このため、正規化部21cには、平均顔の配置パターンに関するデータを保持させておく。更に、正規化部21cは、変形させたメッシュを元に戻す処理を実行する。このため、正規化部21cには、正規化のために変形させたときの変換情報を記憶する。
【0024】
特徴画像抽出部21dは、正規化した処理対象画像から超解像画像を生成するために必要な特徴量を抽出する処理を実行する。本実施形態では、特徴量として、画像の高周波成分を用いる。なお、後述するように、処理対象画像そのもの(元画像)を特徴量として用いることも可能である。
【0025】
主成分分析部21eは、複数のデータにおいて、分散の大きい方向順に直交ベクトルを求める主成分分析処理を実行する。主成分分析部21eは、主成分分析処理により、固有値と固有ベクトル(基底ベクトル)とを算出する。ここで、固有値は分散を示す。また、基底ベクトルは、分散の大きな方向順に並べられる。下位の主成分ほど情報が少ないので、一定の累積寄与率(正規化固有値の累積)に達した時点で足切りすることにより、次元を限定して計算負荷を軽減することができる。
【0026】
次に、各記憶部に記録されている情報を説明する。
顔画像記憶部22には、学習に用いる顔画像(学習対象)に関する学習用画像データが記録されている。この学習画像データは、超解像処理のための学習に用いるデータが登録された場合に記録される。この顔画像データには、データ番号に関連付けられて、複数の顔画像が記録されている。
【0027】
学習結果記憶部23には、カップリング学習によって生成された主成分基底ベクトルと平均ベクトルとが記録される。ここで、i番目の結合パッチベクトルの平均ベクトルは以下のように表現することができる。
【0028】
【数1】

【0029】
また、i番目の結合パッチベクトルの、n番目の主成分の主成分基底ベクトルは、以下のように表現することができる。
【0030】
【数2】

【0031】
以下、上記画像処理システム20において、超解像画像を生成する場合の処理を説明する。この処理は、学習処理と超解像処理とから構成される。
(学習処理)
まず、図2を用いて、学習処理を説明する。この学習処理は、第1の学習処理と第2の学習処理とを含む。第1の学習処理においては、サイズや顔パーツの位置を合わせるように正規化した高解像と低解像との顔画像のペアを生成する。第2の学習処理においては、高解像と低解像との顔画像のペアを、それぞれ所定形状(例えば、四角形)の要素(パッチ)に分割する。そして、パッチ単位で「低解像、高解像」の関係を、主成分分析によりカップリング学習する。
【0032】
(第1の学習処理)
まず、図2(a)を用いて、第1の学習処理を説明する。
ここでは、画像処理システム20の制御部21は、顔画像記憶部22に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
【0033】
まず、画像処理システム20の制御部21は、特徴点抽出処理を実行する(ステップS1-1)。具体的には、制御部21の学習部210は、特徴点抽出部21aを用いて、顔の輪郭や顔パーツの特徴点を特定する。本実施形態では、顔の表情のトラッキングや顔の認識などに主に使われているAAM(Active Appearance Models)法による自動抽出を用いる。このAAM法では、対象物体(人の顔)を有限個の頂点でモデル化し、このモデルを入力画像に対してフィッティングすることで対象物体の特徴点の抽出を行なう。
【0034】
次に、画像処理システム20の制御部21は、メッシュ分割処理を実行する(ステップS1-2)。具体的には、制御部21の学習部210は、メッシュ分割部21bを用いて、抽出した特徴点が配置された顔画像をメッシュ分割する。
【0035】
次に、画像処理システム20の制御部21は、正規化処理を実行する(ステップS1-3)。具体的には、制御部21の学習部210は、正規化部21cを用いて、各メッシュのグリッドを、予め定められたメッシュ位置(例えば、平均顔)に移動させて、メッシュにより構成される三角形を変形する。これにより、すべての顔画像の特徴点の位置が揃った顔画像データを生成することができる。
以上、顔画像記憶部22に記録されたすべての顔画像データについて終了するまで繰り返す。
【0036】
(第2の学習処理)
次に、図2(b)を用いて、第2の学習処理を説明する。
【0037】
ここでは、まず、画像処理システム20の制御部21は、処理対象の解像度(低解像、高解像)を特定し、解像度毎に以下の処理を繰り返す。
ここでは、顔画像記憶部22に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
【0038】
まず、画像処理システム20の制御部21は、ターゲット画像にリサイズ処理を実行する(ステップS2-1)。具体的には、制御部21は、後述するカップリング学習に用いる画像サイズ(低解像画像、高解像画像)に変換する。
【0039】
次に、画像処理システム20の制御部21は、特徴量抽出処理を実行する(ステップS2-2)。具体的には、制御部21の学習部210は、特徴画像抽出部21dにより、正規化したターゲット画像から超解像に必要な特徴量を抽出する。この処理の詳細は、後述する。
【0040】
次に、画像処理システム20の制御部21は、パッチ分割処理を実行する(ステップS2-3)。具体的には、制御部21の学習部210は、ターゲット画像を、予め定められた数(所定数)のパッチに分割する。本実施形態では、例えば、(25*25)画素のパッチを生成する。
【0041】
次に、画像処理システム20の制御部21は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム20の制御部21は、行列の作成処理を実行する(ステップS2-4)。具体的には、制御部21の学習部210は、処理対象のパッチについて、2次元パッチデータを生成する。ここでは、処理対象パッチにおけるRGB値を画素毎に並べた2次元パッチデータを生成する。そして、学習部210は、生成した2次元パッチデータを1次元行パッチベクトル(pij)に変換する。ここで、「i」はパッチ位置、「j」は顔画像データを特定する変数である。そして、学習部210は、1次元行パッチベクトル(pij)を行列Diに格納する。
【0042】
ここで、低解像パッチに関するデータ行列Dliは以下のように表現できる。
【0043】
【数3】

【0044】
また、高解像パッチに関するデータ行列Dhiは以下のように表現できる。
【0045】
【数4】

【0046】
そして、処理対象の顔画像データにおけるすべてのパッチについての処理を終了するまで繰り返す。
以上を、すべての顔画像データについての処理を終了するまで繰り返す。
【0047】
次に、画像処理システム20の制御部21は、主成分分析処理を実行する(ステップS2-5)。具体的には、制御部21の学習部210は、主成分分析部21eを用いて、パッチ毎に、データ行列(Dli、データ行列Dhi)を用いて、主成分分析を行なう。
【0048】
この場合、低解像については、以下の主成分係数、主成分基底ベクトルが算出される。
【0049】
【数5】

【0050】
【数6】

【0051】
また、高解像については、以下の主成分係数、主成分基底ベクトルが算出される。
【0052】
【数7】

【0053】
【数8】

【0054】
ここで、パッチベクトルの平均ベクトルを以下のように表現する。
【0055】
【数9】

【0056】
【数10】

【0057】
この場合、低解像の顔画像データ「j」の「i」番目のパッチベクトルは、以下のように表現できる。
【0058】
【数11】

【0059】
また、高解像の顔画像データ「j」の「i」番目のパッチベクトルは、以下のように表現できる。
【0060】
【数12】

【0061】
なお、n max(i)は、累積寄与率98%程度の主成分に制限することで、次元数を100程度に削減することができる。
そして、すべての解像度(低解像画像、高解像画像)についての処理を終了するまで繰り返す。
【0062】
次に、画像処理システム20の制御部21は、カップリング学習処理を実行する(ステップS2-6)。具体的には、制御部21の学習部210は、低解像パッチと高解像パッチの主成分係数をマージしたベクトルを再度、パッチ毎に主成分分析することで相関を学習する。この処理の詳細は、後述する。
【0063】
(特徴量抽出処理)
次に、図3を用いて、特徴量抽出処理(ステップS2-2)を説明する。
まず、画像処理システム20の制御部21は、元画像の縮小処理を実行する(ステップS3-1)。具体的には、制御部21の特徴画像抽出部21dは、処理対象の顔画像を圧縮してサイズの縮小化を行なう。これにより、顔画像の高周波成分が切り捨てられる。
【0064】
次に、画像処理システム20の制御部21は、低周波成分の算出処理を実行する(ステップS3-2)。具体的には、制御部21の特徴画像抽出部21dは、縮小化した顔画像データを、元のサイズに拡大する。この場合、元のサイズで、低周波成分からなる画像データ(低周波成分画像)が生成される。
【0065】
次に、画像処理システム20の制御部21は、高周波成分の算出処理を実行する(ステップS3-3)。具体的には、制御部21の特徴画像抽出部21dは、元の顔画像から低周波成分画像を差し引くことにより、高周波成分を抜き出す。
【0066】
(カップリング学習処理)
次に、図4を用いて、カップリング学習処理を説明する。ここでは、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合して一つの行ベクトル(1次元ベクトル)を生成する。そして、行列に格納し、再度、主成分分析を行なう。低解像パッチの情報と高解像パッチの情報を結合して主成分分析することで、低解像パッチと高解像パッチの関係を学習する。
【0067】
まず、画像処理システム20の制御部21は、行ベクトルの生成処理を実行する(ステップS4-1)。具体的には、制御部21の学習部210は、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合したベクトルP(m)ijを生成する。
【0068】
【数13】

【0069】
ここで、「Sin」は、以下のスケーリングファクターである。
【0070】
【数14】

【0071】
【数15】

【0072】
このスケーリングファクターSinには、i番目の低解像パッチベクトルのn番目の主成分係数Cijnの標準偏差を用いる。
次に、画像処理システム20の制御部21は、行列の生成処理を実行する(ステップS4-2)。具体的には、制御部21の学習部210は、1次元行パッチベクトルPijを用いて、結合パッチベクトルのデータ行列Dmiを生成する。このデータ行列Dmiは、以下のように表現できる。
【0073】
【数16】

【0074】
次に、画像処理システム20の制御部21は、パッチ毎の主成分分析処理を実行する(ステップS4-3)。具体的には、制御部21の主成分分析部21eは、データ行列Dmiを用いて、主成分分析を行なう。
【0075】
この場合、以下の主成分係数、主成分基底ベクトルが算出される。
【0076】
【数17】

【0077】
【数18】

【0078】
ここで、主成分基底ベクトルUinは、以下のように表現できる。
【0079】
【数19】

【0080】
【数20】

【0081】
【数21】

【0082】
次に、画像処理システム20の制御部21は、直交化処理を実行する(ステップS4-4)。具体的には、制御部21の学習部210は、グラムシュミット法で低解像成分(〔数20〕)の直交化を行なう。この場合、高解像成分(〔数21〕)も、低解像成分における直交化係数を用いて変換する。
【0083】
次に、画像処理システム20の制御部21は、直交化ベクトルを利用可能かどうかについての判定処理を実行する(ステップS4-5)。具体的には、制御部21の学習部210は、直交化して、主成分ベクトルの数を「n max(l,i)」個に制限しても、精度上、問題かないかどうかを確認する。具体的には、主成分ベクトルの数を「n max(l,i)」個に制限した場合における、高解像主成分ベクトルの累積寄与率を算出する。この累積寄与率が所定値(例えば、98%)に達している場合には、直交化ベクトルを利用可能と判定する。
【0084】
精度上の問題がなく、直交化ベクトルを利用可能と判定した場合(ステップS4-5において「YES」の場合)、画像処理システム20の制御部21は、直交化した結合ベクトル、平均ベクトルの記録処理を実行する(ステップS4-6)。具体的には、制御部21の学習部210は、直交化した結合ベクトル、平均ベクトルを、学習結果記憶部23に記録する。
【0085】
一方、精度上の問題があり、直交化ベクトルを利用不可と判定した場合(ステップS4-5において「NO」の場合)、画像処理システム20の制御部21は、元の結合ベクトル、平均ベクトルの記録処理を実行する(ステップS4-7)。具体的には、制御部21の学習部210は、元の結合ベクトル、平均ベクトルを、学習結果記憶部23に記録する。
【0086】
ここで、結合パッチベクトルの平均ベクトルを以下のように表現する。
【0087】
【数22】

【0088】
この場合、データ「j」の「i」番目の1次元行パッチベクトルPijは、以下のように表現できる。
【0089】
【数23】

【0090】
【数24】

【0091】
(超解像処理)
次に、図5?図9を用いて、超解像処理を説明する。
まず、図5を用いて、超解像処理の概要を説明する。
【0092】
入力画像から、低解像パッチの主成分係数からなるパッチベクトルV10を取得する。そして、学習結果記憶部23から、結合パッチベクトルの主成分基底ベクトルの低解像部分V21と、結合パッチベクトルの平均ベクトルの低解像部分V22とを取得する。そして、パッチベクトルV10を、平均ベクトルの低解像部分V22、主成分基底ベクトルの低解像部分V21で表現するための主成分係数Cijを算出する。
【0093】
そして、学習結果記憶部23から、結合パッチベクトルの主成分基底ベクトルの高解像部分V31と、結合パッチベクトルの平均ベクトルの高解像部分V32とを取得する。そして、算出した主成分係数Cij、主成分基底ベクトルの高解像部分V31、平均ベクトルの高解像部分V32を用いて、入力画像の超解像を生成する。
【0094】
次に、図6を用いて、具体的に超解像処理を説明する。
まず、画像処理システム20の制御部21は、顔画像入力処理を実行する(ステップS5-1)。具体的には、制御部21の超解像部215は、入力部10によって指定された入力画像を取得する。
【0095】
次に、画像処理システム20の制御部21は、顔特徴点抽出処理を実行する(ステップS5-2)。具体的には、制御部21の超解像部215は、特徴画像抽出部21dを用いて、ステップS1-1と同様に、特徴点の抽出を行なう。
【0096】
次に、画像処理システム20の制御部21は、メッシュ分割処理を実行する(ステップS5-3)。具体的には、制御部21の超解像部215は、メッシュ分割部21bを用いて、ステップS1-2と同様に、顔画像をメッシュ分割する。
【0097】
次に、画像処理システム20の制御部21は、正規化処理を実行する(ステップS5-4)。具体的には、制御部21の超解像部215は、ステップS1-3と同様に、各メッシュのグリッドを、予め定められたメッシュ位置(例えば、平均顔)に移動させて、メッシュにより構成される三角形を変形する。
【0098】
次に、画像処理システム20の制御部21は、特徴量抽出処理を実行する(ステップS5-5)。具体的には、制御部21の超解像部215は、特徴画像抽出部21dにより、ステップS2-2と同様に、正規化した入力画像から超解像に必要な特徴量を抽出する。
【0099】
次に、画像処理システム20の制御部21は、パッチ分割処理を実行する(ステップS5-6)。具体的には、制御部21の超解像部215は、ステップS2-3と同様に、予め定められた数(所定数)のパッチに分割する。
【0100】
次に、画像処理システム20の制御部21は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム20の制御部21は、超解像パッチの予測処理を実行する(ステップS5-7)。具体的には、制御部21の超解像部215は、超解像パッチについて、第1予測処理又は第2の予測処理を行なう。ここでは、主成分ベクトルが直交化されている場合には、第1予測処理を行ない、主成分ベクトルが直交化されていない場合には、第2の予測処理を行なう。この処理の詳細は後述する。
以上、処理対象画像のすべてのパッチの処理を終了するまで繰り返す。
【0101】
次に、画像処理システム20の制御部21は、ポスト処理を実行する(ステップS5-8)。この処理の詳細は後述する。
【0102】
次に、画像処理システム20の制御部21は、正規化画像を元画像の形状に戻す処理を実行する(ステップS5-9)。具体的には、制御部21の超解像部215は、各メッシュのグリッドを、ステップS5-4の移動方向とは逆方向に移動させることにより、各メッシュのグリッドの配置を元に戻す。
【0103】
(第1の予測処理)
図7を用いて、超解像パッチについて、第1の予測処理を説明する。この処理は、主成分ベクトルが直交化されており、より高速に処理したい場合に行なわれる。
【0104】
まず、画像処理システム20の制御部21は、内積処理を実行する(ステップS6-1)。具体的には、制御部21の第1予測部216は、以下の式を用いて、内積を算出する。
【0105】
【数25】

【0106】
ここで、Uin、Pitは、以下のとおりである。
【0107】
【数26】

【0108】
【数27】

【0109】
次に、画像処理システム20の制御部21は、高解像パッチの計算処理を実行する(ステップS6-2)。具体的には、制御部21の第1予測部216は、以下の式を用いて、各パッチにおいて高解像パッチ係数ベクトルを生成し、超解像部215のメモリに記憶する。
【0110】
【数28】

【0111】
(第2の予測処理)
図8を用いて、超解像パッチについて、第2の予測処理を説明する。この処理は、主成分ベクトルが直交化されていない場合や、n max(l,i)以上の主成分ベクトルを考慮したい場合に行なわれる。
【0112】
まず、主成分分析による低解像パッチ係数ベクトルの算出処理を実行する(ステップS7-1)。具体的には、制御部21の超解像部215は、主成分分析部21eを用いて、低解像パッチ係数ベクトルを算出する。
【0113】
【数29】

【0114】
次に、画像処理システム20の制御部21は、主成分係数の仮設定処理を実行する(ステップS7-2)。具体的には、制御部21の第2予測部217は、ステップS6-1と同様に、内積を算出することにより、入力画像(データ番号:t)の主成分係数Ci,t,nを算出する。なお、主成分ベクトルが直交化されていないため、算出した主成分係数Ci,t,nを初期値として仮設定し、後述する最適解検索を行なう。
【0115】
次に、画像処理システム20の制御部21は、仮設定した主成分係数による低解像パッチ係数ベクトルの算出処理を実行する(ステップS7-3)。具体的には、制御部21の第2予測部217は、学習結果記憶部23から、以下の平均ベクトル、主成分基底ベクトルを取得する。
【0116】
【数30】

【0117】
【数31】

【0118】
この場合、入力画像(データ番号:t)の低解像画像の各パッチにおける結合ベクトルの低解像成分(低解像パッチ係数ベクトル)は、仮設定された主成分係数Ci,t,nを用いて、以下のように表現される。
【0119】
【数32】

【0120】
【数33】

【0121】
次に、画像処理システム20の制御部21は、差分の算出処理を実行する(ステップS7-4)。具体的には、制御部21の第2予測部217は、ステップS7-1において算出した低解像パッチ係数ベクトルと、ステップS7-3において算出した低解像パッチ係数ベクトルとの差分を、以下の式を用いて算出する。
【0122】
【数34】

【0123】
そして、第2予測部217は、算出した差分を、仮設定した低解像パッチ係数ベクトルに関連付けて、メモリに仮記憶する。
次に、画像処理システム20の制御部21は、繰り返し終了かどうかについての判定処理を実行する(ステップS7-5)。具体的には、制御部21の第2予測部217は、差分が最小値となった場合、繰り返し終了と判定する。
【0124】
まだ、差分が未だ減少傾向にあり、繰り返し終了でないと判定した場合(ステップS7-5において「NO」の場合)、画像処理システム20の制御部21は、仮設定された主成分係数を勾配の低い方向に微小な振れ幅で位置移動させて、ステップS7-3以降の処理を繰り返す。
【0125】
一方、差分が増加傾向に反転し、繰り返し終了と判定した場合(ステップS7-5において「YES」の場合)、画像処理システム20の制御部21は、差分の最小値の主成分係数の特定処理を実行する(ステップS7-6)。具体的には、制御部21の第2予測部217は、差分が最小値となる主成分係数を特定する。
【0126】
次に、画像処理システム20の制御部21は、高解像パッチの計算処理を実行する(ステップS7-7)。具体的には、制御部21の第2予測部217は、学習結果記憶部23から、以下の平均ベクトル、主成分基底ベクトルを取得する。
【0127】
【数35】

【0128】
【数36】

【0129】
そして、第2予測部217は、差分が最小値となる主成分係数を、以下の式に適用して、高解像パッチ係数ベクトルを算出し、超解像部215のメモリに記憶する。
【0130】
【数37】

【0131】
(ポスト処理)
図9を用いて、ポスト処理を説明する。ここでは、IBP(iterative back projection)法を用いることにより、算出した超解像を入力画像のサイズに縮小した場合の画像と、入力画像との誤差を小さくする。
【0132】
まず、画像処理システム20の制御部21は、超解像結果の取得処理を実行する(ステップS8-1)。具体的には、制御部21の超解像部215は、ポスト処理部218により、超解像部215のメモリに記憶された高解像パッチ係数ベクトルからなる画像を呼び出す。
【0133】
次に、画像処理システム20の制御部21は、超解像結果の縮小処理を実行する(ステップS8-2)。具体的には、制御部21のポスト処理部218は、呼び出した超解像画像を、入力画像のサイズに縮小した圧縮画像を生成する。
【0134】
次に、画像処理システム20の制御部21は、元画像との差分の算出処理を実行する(ステップS8-3)。具体的には、制御部21のポスト処理部218は、圧縮画像と入力画像とを比較して差分を算出する。
【0135】
次に、画像処理システム20の制御部21は、差分は閾値以下かどうかについての判定処理を実行する(ステップS8-4)。具体的には、制御部21のポスト処理部218は、算出した差分と許容できる閾値とを比較する。
【0136】
差分は閾値以下と判定した場合(ステップS8-4において「YES」の場合)、画像処理システム20の制御部21は、超解像結果の出力処理を実行する(ステップS8-5)。具体的には、制御部21のポスト処理部218は、メモリに記録された超解像画像を、超解像処理結果として出力する。
【0137】
一方、差分は閾値以下でないと判定した場合(ステップS8-4において「NO」の場合)、画像処理システム20の制御部21は、差分の拡大処理を実行する(ステップS8-6)。具体的には、制御部21のポスト処理部218は、算出した差分を、超解像画像の解像度に拡大した差分画像を生成する。
【0138】
次に、画像処理システム20の制御部21は、超解像結果の補正処理を実行する(ステップS8-7)。具体的には、制御部21のポスト処理部218は、メモリに記憶された画像から差分画像を差し引いた画像を生成し、メモリに記録して更新する。
【0139】
そして、画像処理システム20の制御部21は、超解像結果の縮小処理(ステップS8-2)以降の処理を繰り返す。
【0140】
以上、本実施形態によれば、以下に示す効果を得ることができる。
(1)本実施形態では、低解像画像と高解像画像とを用いて、主成分分析によるカップリング学習を行なう。低解像と高解像との関係を、主成分係数毎に独立に回帰分析により学習した場合には、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。一方、本実施形態では、係数ベクトル単位で学習するため、主成分係数全体の精度が一致し、全体的な精度の向上を図ることができる。
【0141】
画像データベース検索を行なう手法に比べて、累積寄与率が低い主成分ベクトルを足切りして、次元を小さくすることにより、高速に高解像画像を生成することができる。更に、画像データベース検索を行なう手法よりも、データ容量を格段に少なくすることができる。また、複数の画像を用いて学習処理を行なうため、高画質な高解像画像を生成することができる。
【0142】
図10に示すように、入力画像を拡大した場合、ジャギーが生じているが、本実施形態の超解像処理を行なった超解像結果では、高解像を再現できている。低解像の入力画像の元画像(高解像)である「正解」に近い解像を実現できる。
【0143】
(2)本実施形態では、画像処理システム20の制御部21は、特徴量抽出処理を実行する(ステップS2-2)。ここでは、高周波成分を用いて、特徴量を算出し、比較的良好な超解像を実現することができる。
【0144】
図11に示すように、特徴量を抽出する場合に用いる画像を、「元画像」、「高周波成分」を用いた場合を比較する。低解像度特徴量、高解像特徴量の算出において、いずれにも「元画像」を用いた場合には、輪郭部分にブロックノイズが生じている。一方、低解像度特徴量、高解像特徴量の算出において、いずれかに「高周波成分」を用いた場合には、良好な超解像を実現できている。
【0145】
(3)本実施形態では、スケーリングファクターSinには、i番目の低解像パッチベクトルのn番目の主成分係数Cijnの標準偏差を用いる。通常、異なる2つの特徴ベクトルを結合して主成分分析を行なう場合、結合前の2つの特徴ベクトルの次元の違い(スケールの違い)を多く吸収するため、一方の特徴ベクトルにスケーリングファクターを乗算する。ここで、固定値のスケーリングファクターを用いて主成分分析を行なうと、番号の大きな高周波成分の主成分係数Cijnは、番号の小さな低周波成分の主成分係数Cijnの分散にかき消されてしまう。一方、標準偏差で除算してから主成分分析を行なうことにより、各主成分係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
図12に示すように、スケーリングファクターを用いない従来法では、超解像画像の劣化が生じているが、本実施形態では、良好な超解像を実現できている。
【0146】
(4)本実施形態では、画像処理システム20の制御部21は、超解像パッチについて、第1の予測処理又は第2の予測処理を実行する。これにより、直交化の状況により、二つの予測処理を使い分けることができる。
【0147】
図13には、第1の予測処理(最適解検索)を用いた場合と、第2の予測処理(直交化)を用いた場合との比較例を示す。両者において、正解画像と超解像画像の差異は、殆ど生じていない。一方、計算時間は、直交化により短縮され、回帰分析と同等な高速処理を実現できる。
【0148】
(5)本実施形態では、画像処理システム20の制御部21は、ポスト処理を実行する。これにより、誤差を抑制することができる。
図14に示すように、ブロックノイズが生じた場合にも、ポスト処理により、影響を小さくすることができる。
【0149】
なお、上記実施形態は、以下の態様に変更してもよい。
・上記実施形態では、第1の特徴ベクトルとして低解像ベクトル、第2の特徴ベクトルとして高解像ベクトルを用いて、顔画像の超解像を行なう。超解像処理の対象は、顔画像に限定されるものではなく、形状にパターンを有する対象物を高画質に変換する超解像に適用することができる。この場合には、特定のパターンを有する低解像画像と高解像画像とを用いて、学習処理を行なう。
【0150】
更に、本発明の情報予測方法は、超解像だけではなく、第1のベクトルデータから第2のベクトルデータを推定する各種用途に適用することができる。例えば、セグメンテーションにおいては、顕在化された情報から潜在化された情報を抽出する。
【0151】
2次元画像特徴点認識においては、第1の特徴ベクトルとして対象2次元画像、第2の特徴ベクトルとして対象画像の特徴点を用いる。
2次元画像のセグメンテーションにおいては、第1の特徴ベクトルとして対象2次元画像、第2の特徴ベクトルとして対象画像のセグメンテーションを用いる。
【0152】
3次元画像特徴点認識においては、第1の特徴ベクトルとして対象3次元画像、第2の特徴ベクトルとして対象画像の特徴点を用いる。
3次元画像のセグメンテーションにおいては、第1の特徴ベクトルとして対象3次元画像、第2の特徴ベクトルとして対象画像のセグメンテーションを用いる。
【0153】
以下、情報予測の具体例を挙げる。
例えば、画像のボケ・ブレ除去においては、第1特徴ベクトルとして「ブレ・ボケを含む画像ベクトル」、第2特徴ベクトルとして「ブレ・ボケを除去した画像ベクトル」を用いる。
【0154】
また、防犯カメラ動画解析(アクション予測)においては、第1特徴ベクトルとして「予測開始時までの時系列の人物アクションデータ」、第2特徴ベクトルとして「予測開始後の人物の時系列の人物アクションデータ」を用いる。
【0155】
また、画像以外の情報予測にも応用できる。
例えば、音声の高音質化においては、第1特徴ベクトルとして「低音質の音信号」、第2特徴ベクトルとして「高音質の音信号」を用いる。ここでは、音信号の信号そのもの、或いは高周波成分を要素とするベクトルを用いる。
【0156】
また、気象予測においては、第1特徴ベクトルとして「予測開始時までの時系列の気象データ」、第2特徴ベクトルとして「予測開始後の時系列の気象データ」を用いる。ここでは、各種気象データ(天候、気圧、気温、湿度、風向き、風速等)を要素とするベクトルを用いる。
【0157】
また、経済予測においては、第1特徴ベクトルとして「予測開始時までの時系列の株価・経済指標データ」、第2特徴ベクトルとして「予測開始後の時系列の株価・経済指標データ」を用いる。ここでは、株価・経済指標データ(各種銘柄の株価、金利、景気、雇用統計、物価上昇率、貿易等)を要素とするベクトルを用いる。
【0158】
また、健康予測においては、第1特徴ベクトルとして「予測開始時までの時系列の生体指標データ」、第2特徴ベクトルとして「予測開始後の時系列の生体指標データ」を用いる。ここでは、各種生体指標(体重、身長、各健康診断値速等)を要素とするベクトルを用いる。
【0159】
また、交通量予測においては、第1特徴ベクトルとして「予測開始時までの時系列の交通量に関する指標データ」、第2特徴ベクトルとして「予測開始後の時系列の交通量データ」を用いる。ここでは、各交通量データ(計測地、車両数、車種、車速、行き先等)を要素とするベクトルを用いる。
【0160】
また、消費行動予測においては、第1特徴ベクトルとして「予測開始時までの時系列の消費行動データ」、第2特徴ベクトルとして「予測開始後の人物の時系列の消費行動データ」を用いる。ここでは、人物アクションデータ(品名、消費量、各種経済指標等)を要素とするベクトルを用いる。
【0161】
・上記実施形態では、線形の主成分分析を行なうが、非線形なカーネル主成分分析を行なうことも可能である。
・上記実施形態では、スケーリングファクターSinには、i番目の低解像パッチベクトルのn番目の主成分係数Cijnの標準偏差を用いる。スケーリングファクターSinは標準偏差に限定されるものではなく、主成分係数Cijnのばらつきを表わす指標を用いることが可能である。
【0162】
・上記実施形態では、スケーリングファクターSinには、i番目の低解像パッチベクトルのn番目の主成分係数Cijnの標準偏差を用いる。ここで、スケーリングファクターSinは標準偏差に限定されるものではなく、主成分係数Cijnの分散を表わす統計的変数を用いることが可能である。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
(1)上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、第1の特徴ベクトル及び第2の特徴ベクトルを算出し、前記第1の特徴ベクトルから、前記第1の特徴ベクトルの平均値を減算して生成された値を、前記第1の特徴ベクトルのばらつきを表わす指標で除算した第1の行ベクトルを生成するとともに、前記第2の特徴ベクトルから前記第2の特徴ベクトルの平均値を減算して生成された値を、前記第2の特徴ベクトルのばらつきを表わす指標で除算した第2の行ベクトルとを生成し、前記第1の行ベクトルと前記第2の行ベクトルとを結合することにより結合行ベクトルを生成し、すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象の第1の特徴ベクトルを算出し、前記第1の特徴ベクトの主成分係数を算出し、該主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第2の特徴ベクトルを算出する予測処理とを実行する。これにより、効率的かつ的確に第2の特徴ベクトルを予測することができる。
(2)上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記結合主成分基底ベクトルと前記第1の特徴ベクトルの成分とを直交化して、前記学習結果記憶部に記録することが好ましい。これにより、直交化を利用して、計算の高速化を行なうことができる。
(3)上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、算出した第2の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、前記差分が基準値より大きい場合には、前記差分を拡大して、前記第2の特徴ベクトルから差し引くポスト処理を実行することが好ましい。これにより、予測時に生じた誤差を是正することができる。
(4)上記情報予測システム、情報予測方法及び情報予測プログラムにおいては、前記第1、第2の特徴ベクトルのばらつきを表わす指標として、それぞれ前記第1、第2の特徴ベクトルの主成分係数の標準偏差を用いることが好ましい。これにより、各係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
【符号の説明】
【0163】
10…入力部、15…出力部、20…画像処理システム、21…制御部、210…学習部、215…超解像部、216…第1予測部、217…第2予測部、218…ポスト処理部、21a…特徴点抽出部、21b…メッシュ分割部、21c…正規化部、21d…特徴画像抽出部、21e…主成分分析部、22…顔画像記憶部、23…学習結果記憶部。
(57)【特許請求の範囲】
【請求項1】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムであって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合基底ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行することを特徴とする情報予測システム。
【請求項2】
前記予測元情報を第1の基底ベクトルで表現した第1の係数を、前記予測元情報のばらつきを表わす指標で除算した予測元情報の特徴ベクトルを生成するとともに、前記予測先情報を第2の基底ベクトルで表現した第2の係数を、前記予測先情報のばらつきを表わす指標で除算した予測先情報の特徴ベクトルを生成することを特徴とする請求項1に記載の情報予測システム。
【請求項3】
前記予測元情報、予測先情報の特徴ベクトルのばらつきを表わす指標として、それぞれ前記予測元情報、予測先情報の特徴ベクトルの結合係数の標準偏差を用いることを特徴とする請求項2に記載の情報予測システム。
【請求項4】
算出した予測先情報の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、
前記差分が基準値より大きい場合には、前記差分を拡大して、前記予測先情報の特徴ベクトルから差し引くポスト処理を実行することを特徴とする請求項1?3のいずれか一項に記載の情報予測システム。
【請求項5】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なう方法であって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合基底ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行することを特徴とする情報予測方法。
【請求項6】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なうプログラムであって、
前記制御部を、
前記学習対象記憶部に記録された学習対象毎に、予測元情報の特徴ベクトル及び予測先情報の特徴ベクトルを算出し、
前記予測元情報の特徴ベクトルと前記予測先情報の特徴ベクトルとを結合することにより結合ベクトルを生成し、
すべての学習対象の前記結合ベクトルを用いて、機械学習を行なうことにより、結合基底ベクトルを生成して前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象を予測元情報とする特徴ベクトル及び、前記予測元情報の特徴ベクトルの結合係数を算出し、この結合係数と、前記学習結果記憶部に記録された前記結合基底ベクトルを用いて、前記処理対象の予測先情報の特徴ベクトルを算出する予測処理とを実行する手段として機能させることを特徴とする情報予測プログラム。
 
訂正の要旨 審決(決定)の【理由】欄参照。
審理終結日 2020-09-09 
結審通知日 2020-09-11 
審決日 2020-09-29 
出願番号 特願2016-99737(P2016-99737)
審決分類 P 1 41・ 852- Y (G06N)
最終処分 成立  
前審関与審査官 多胡 滋  
特許庁審判長 田中 秀人
特許庁審判官 月野 洋一郎
小林 秀和
登録日 2018-12-14 
登録番号 特許第6450710号(P6450710)
発明の名称 情報予測システム、情報予測方法及び情報予測プログラム  
代理人 恩田 博宣  
代理人 恩田 誠  
代理人 恩田 博宣  
代理人 恩田 誠  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ