• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 特36条4項詳細な説明の記載不備  G01N
審判 全部申し立て 2項進歩性  G01N
審判 全部申し立て 特36条6項1、2号及び3号 請求の範囲の記載不備  G01N
管理番号 1387521
総通号数 8 
発行国 JP 
公報種別 特許決定公報 
発行日 2022-08-26 
種別 異議の決定 
異議申立日 2022-02-14 
確定日 2022-07-15 
異議申立件数 1 
事件の表示 特許第６９４０２１５号発明「検査装置及び検査装置の識別手段の学習方法」の特許異議申立事件について、次のとおり決定する。 
結論 特許第６９４０２１５号の請求項１ないし５に係る特許を維持する。 
理由 第１．手続の経緯

特許第６９４０２１５号の請求項１〜５に係る特許についての出願は、平成２９年８月２２日（優先権主張 平成２８年８月２２日）を国際出願日とする特願２０１８−５２９３１９号の一部を、令和元年６月１２日に新たな特許出願としたものであって、令和３年９月６日にその特許権の設定登録がされ、令和３年９月２２日に特許掲載公報が発行された。
その後、その特許に対し、令和４年２月１４日に特許異議申立人 平賀博 （以下「申立人」という。）が本件特許異議の申立てを行った。

第２．本件発明

特許第６９４０２１５号の請求項１〜５の特許に係る発明（以下、それぞれ「本件発明１」〜「本件発明５」という。）は、それぞれ、その特許請求の範囲の請求項１〜５に記載された事項により特定される次のとおりのものである。後の便宜のため、各構成単位冒頭に「１Ａ」などと分説番号を付し、以下、該各構成単位を分説番号を用いて「構成１Ａ」などと呼ぶ。

「 【請求項１】
１Ａ 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
１Ｂ 前記検査対象物に光を照射する光照射手段と、
１Ｃ 前記検査対象物の映像を撮像する撮像手段と、
１Ｄ 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
１Ｅ 前記検査対象物の前記良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
１Ｆ１ 前記波長強調手段は、
前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
１Ｆ２ 又は、前記撮像手段に取付けた第１の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで、前記異物特定波長及び／又は前記良品特定波長を強調し、
１Ｇ１ 前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化データとする手段と、
１Ｇ２ 複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
１Ｈ１ 前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理し、
１Ｈ２ 前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、
１Ｈ３ 前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算し、
１Ｈ４ 前記異物又は前記良品をインラインで識別する、
１Ｉ 検査装置。
１Ｊ ただし、疑似ＲＧＢ映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。
【請求項２】
２Ａ 検査装置の識別手段の学習方法であって、
２Ｂ 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
２Ｃ 良品のみを撮像した、良品特定波長を含む疑似ＲＧＢ学習映像を複数枚準備するステップと、
２Ｄ 前記疑似ＲＧＢ学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
２Ｅ１ 複数枚の前記良品のみの前記正規化データを用いて、
２Ｅ２ 前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
２Ｆ 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
２Ｇ 識別手段の学習方法。
２Ｈ ただし、疑似ＲＧＢ学習映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。
【請求項３】
３Ａ 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
３Ｂ 前記検査対象物に光を照射する光照射手段と、
３Ｃ 前記検査対象物の映像を撮像する撮像手段と、
３Ｄ 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
３Ｅ 前記検査対象物の良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
３Ｆ１ 前記波長強調手段は、
前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
３Ｆ２ 又は、前記撮像手段に取付けた第１の光学フィルターを用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで前記異物特定波長及び前記良品特定波長を強調し、
３Ｇ１ 前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化し、軽量化データとする軽量化手段と、
３Ｇ２ 前記軽量化データから前記異物又は前記良品を識別する処理を、複数枚の良品のみの前記軽量化データを用いて、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
３Ｋ 前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つ、及び前記良品特定波長を少なくとも１つ、を強調し、
３Ｈ１ 前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理し、
３Ｈ２ 前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、また、
３Ｈ３ 前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記軽量化データから再構成された画像と前記軽量化データとのピクセルごとの差分を計算し、
３Ｈ４ 前記良品をインラインで識別する、
３Ｉ 検査装置。
３Ｊ ただし、疑似ＲＧＢ映像は、第１の異物特定波長、第２の異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。
【請求項４】
４Ａ 検査装置の識別手段の学習方法であって、
４Ｂ 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
４Ｃ 良品のみを撮像した、良品特定波長を含む疑似ＲＧＢ学習映像を複数枚準備するステップと、
４Ｄ 前記疑似ＲＧＢ学習映像を、光強度に応じた階調で正規化し、軽量化学習データに軽量化するステップと、
４Ｅ２ 前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
４Ｆ 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
４Ｇ 識別手段の学習方法。
４Ｈ ただし、疑似ＲＧＢ学習映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。
【請求項５】
５Ａ 検査装置の識別手段の学習方法であって、
５Ｂ 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
５Ｃ 良品のみを撮像した、良品特定波長を含む疑似ＲＧＢ学習映像を複数枚準備するステップと、
５Ｄ 前記疑似ＲＧＢ学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
５Ｅ１ 複数枚の前記良品のみの前記正規化データを用いて、
５Ｅ２ 前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
５Ｆ 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
５Ｇ 識別手段の学習方法。
５Ｈ ただし、疑似ＲＧＢ学習映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。」

第３．申立理由の概要

１ 申立理由の概要

（１） 理由１（進歩性）：
ア 請求項１・３に係る発明は、下記甲１〜３のいずれかに記載された発明及び周知技術に基づき、当業者が容易に発明することができたものであるから、請求項１・３に係る特許は、特許法第29条第2項の規定に違反してされたものであり、請求項１・３に係る特許は取り消されるべきものである。

イ 請求項２・４・５に係る発明は、下記甲６に記載された発明及び周知技術に基づき、当業者が容易に発明することができたものであるから、請求項２・４・５に係る特許は、特許法第29条第2項の規定に違反してされたものであり、請求項２・４・５に係る特許は取り消されるべきものである。

（２）理由２（明確性要件）：
本件特許は、特許請求の範囲の請求項１〜５の記載が明確性要件を欠くから、特許法第36条第6項第2号に規定する要件を満たしていない特許出願に対してされたものである。

（３）理由３（サポート要件）：
ア 本件特許は、特許請求の範囲の請求項１〜５の記載がサポート要件を欠くから、特許法第36条第6項第1号に規定する要件を満たしていない特許出願に対してされたものである。

イ 上記アについて、異議申立書においては具体的な理由が請求項１・３の記載についてしか示されていない。

（４）理由４（実施可能要件）
ア 本件特許は、明細書の記載が実施可能要件を欠くから、特許法第36条第6項第1号に規定する要件を満たしていない特許出願に対してされたものである。

イ 上記アについて、異議申立書においては具体的な実施可能要件欠如の理由が請求項１・３に係る発明に関するものしか示されていない。

２ 甲号証
申立人が提出した甲号証は下記のとおり。何れも本件特許出願の優先日前に公知となったものであり、以下、「甲第１号証」〜「甲第８号証」をそれぞれ「甲１」〜「甲８」という。

甲第１号証（甲１）：特開平３−７８６３４号公報
甲第２号証（甲２）：特開２００６−１１８８９６号公報
甲第３号証（甲３）：特開２０１２−７９５２号公報
甲第４号証（甲４）：特開２０１４−１７８２２９号公報
甲第５号証（甲５）：特開２０１４−１７８３２８号公報
甲第６号証（甲６）：特開２０１６−８５７０４号公報
甲第７号証（甲７）：特開２０１０−８１５９号公報
甲第８号証（甲８）：特開平６−１１９４５４号公報

第４．甲号証の記載

１ 甲１に記載された事項

（１）甲１の記載事項

ア 明細書の記載事項

（記載１ＬＬ）（1頁左下欄 特許請求の範囲欄）
「 原料をＶ溝を備えたシュートに連続供給する供給手段と、シュートに沿って落下過程にある原料を照射する光源をもつ照射手段と照射された反射光を検出する光学検出器を備え、光学検出器で原料中の色調の異った異物を検出するとエアーバルブのエアー噴射器で異物を排除する色彩選別装置において、前記光学検出器は入射光を２色の波長に分解する色分解プリズムを備え、更にこの色分解プリズムに対応させ、赤の波長には単結晶シリコンセンサ、緑波長はアモルファスシリコンセンサを配置させ各波長による電気信号を受け、この信号を増幅器で増幅及び赤色、緑色出力電圧にオフセット電圧をつけることを特徴として色分解プリズムを用いた色彩選別装置。」

（記載１ＬＲ）（１頁右下欄１〜６行）
「［産業上の利用分野］
本発明はシュートを整列して流下する茶菓、薬品の錠剤、桜エビ等の原料中より光学検出装置で原料の中から色調の異った赤色異物を検出して除去する機構をもった色分解プリズムを用いた赤色色彩選別装置に関するものである。」

（記載２ＵＬ）（２頁左上欄３行〜右上欄４行）
「 次に本発明に係る色分解プリズムを用いた赤色色彩選別装置の一実施例を図面に基いて説明する。１は傾斜したＶ溝を備えた第１シュートで、電磁フィーダー２で連続して供給された原料例えば茶菓を一列に整列して第１シュート１に沿って選別位置まで一定速度で滑落し放出される。この第１シュートから放出される原料の茶葉は、放出後外力を加えなければ間隔をおいて配した第２シュート３に沿って滑落して取出される。
４は照明用ランプの光源で、光源４から発する光を、第１シュユート１から滑落する過程の原料茶菓に照射する。
５は、光学検出器で、光源４からの光を原料茶菓に向けて照射し、その光の反射光を検出し、原料の中より色調の異った葉と赤色系の茎を見分けるようにする。（この茶菓の中には葉〔濃い緑色〕と茎〔黄色〕と古い茎〔こげ茶〕のものが含まれ、同じ形状のもので光の反射の強さを比較すると、茎＞古い茎≧葉になり、古い茎と葉を選別することは難しい。）」

（記載２ＵＲ）（２頁右上欄１０行〜右下欄８行）
「 光はレンズ６を透して色分解プリズムＰに入射し、この光を赤色、緑色の波長に分解する。この時の波長は第３図に示すように緑色が４００ｎｍ〜６００ｎｍ、赤色は６００ｎｍ〜６５０ｎｍとする。７はエアー噴射装置で、第２図のブロック図に示すように、前記第１シュート１を一列に整列して滑落し放出される落下過程で、原料茶葉に照射した光源４からの光の反射光は、光学検出器５に設けたレンズ６から色分解プリズムＰに入射し、２つの前記赤色、緑色波長に分解される。
色分解プリズムＰは相対させて赤の波長のものは単結晶シリコンセンサ８、緑の波長のものはアモルファスシリコンセンサ８ａを設置してこれら単結晶シリコンセンサ８、アモルファスシリコンセンサ８ａをもって信号を受け、この夫々の信号は増幅器９，９ａで増幅され、またオフセット電圧の設定を行い、アナログ演算素子やマイクロコンピュータ等の比率計回路１０に入力する。この比率計回路１０では


の計算を行い、光がセンサにこない時（選別原料が回路が通過してないとき）でも比率計算回路が誤動作しないように増幅器で緑色及び赤色出力電圧にオフセット電圧をつけるようにしである。このオフセット電圧によって、比率計算回路の出力電圧値Ｖｃは第４図のごとく（Ａ）（Ｂ）の２種類の状態を持つことができる。（Ａ）のグラフは種々の選別材料の中より赤色の異物を選別するときのもの、（Ｂ）のグラフは赤色の材料の中より、他の色の異物を選別するときのものとなる。また電圧比較器１１では、電圧値Ｖｃと予め決められた設定値との比較を行うもので、設定値より小さい時、大きい時に電圧比較器１１により比較し、タイミング信号発生器１２より信号を発生させエジェクトバルブ駆動回路１３により前記エアー噴射装置７のバルブを作用するようにしである。」

（記載３ＵＬ）（3頁左上欄３〜１２行）
「更に前記電圧値と予め決められた電圧設定値との比較を電圧比較器１１により比較し、タイミング信号発生器１２より信号を発生させ、エジェクトバルブ駆動信号１３によりエアー噴射装置１７のバルブを作用しエアー噴射器でシュートを落下する異物を吹飛ばし排除するもので、光学検出器を色分解プリズムＰを使用したことで、２つの波長で光の強さの比をとるため、赤色系の例えば茎を選別し異物として排除できる。」

イ 図面の記載事項

（ア）第１図




（イ）第２図



（ウ）第４図



（２）甲１に記載された発明
上記（１）の各記載事項から、甲１には次の発明（以下「甲１発明」という。）が記載されていると認める。分説番号については上記第２．で述べたとおりである。また、各構成単位末尾の括弧内に認定の根拠となる記載箇所を示す。以下、他の甲号証についても同様である。

「１ａ 赤色異物を検出する対象である茶菓、薬品の錠剤、桜エビ等の原料を流下するシュートと、（記載１ＬＬ・１ＬＲ・２ＵＲ）
１ｂ シュートから放出・落下される原料を照射する照明用ランプからなる光源と、（記載１ＬＬ・２ＵＬ）
１ｃ 原料からの反射光を検出する単結晶シリコンセンサ及びアモルファスシリコンセンサと、（記載２ＵＲ）
１ｄ 前記反射光を６００〜６５０ｎｍの赤色、及び４００〜６００ｎｍの緑色の波長に分解する色分解プリズムと、前記色分解プリズムで分解されたうち赤色の波長の光を検出する単結晶シリコンセンサと、同じく緑色の波長の光を検出するアモルファスシリコンセンサと、（記載２ＵＲ）
１ｅ 前記両センサの信号の比を計算する比率計回路と、（記載２ＵＲ）
該比率計回路による２つの波長の反射光の強さの比の出力電圧値を設定電圧値と比較する電圧比較器と、
該電圧比較器の出力に基づいて、例えば原料が茶葉である場合には赤色系の茎を異物として選別し吹き飛ばすエアー噴射装置を作動させるタイミング信号発生器と、を備え、（記載３ＵＬ）
１ｆ 前記単結晶シリコンセンサ及びアモルファスシリコンセンサに相対させて設置した色分解プリズムを用いて、原料の反射光を６００〜６５０ｎｍの赤色、及び４００〜６００ｎｍの緑色の波長に分解し、（記載２ＵＲ）
１ｈ 前記シュートから流下する原料から赤色系の茎などの異物を排除する、（記載３ＵＬ）
１ｉ 色彩選別装置。（記載１ＬＬ）」

２ 甲２に記載された事項

（１）甲２の記載事項

ア 発明の詳細な説明の記載事項

「【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにて得られた画像を処理して外観検査を行うフレキシブルプリント配線板の外観検査方法、及びこの検査に適した外観検査装置に関するものである。特に、複数の検査項目を行う際、確実にかつ安定して良／不良選別を行うことができるフレキシブルプリント配線板の外観検査方法、及び外観検査装置に関する。
・・・
【課題を解決するための手段】
【０００６】
本発明は、複数の異なる照明手段を具えておき、各検査に適した照明手段を選択することで、上記目的を達成する。
【０００７】
即ち、本発明は、フレキシブルプリント配線板をカメラで撮像し、得られた画像を処理することで外観の良否を判定するフレキシブルプリント配線板の外観検査方法であり、複数の異なる検査群から選択された検査を行う際、複数の異なる照明手段から各検査に適合した照明手段を選択して検査を行うことを特徴とする。
【０００８】
・・・
本発明者は、各検査項目にはそれぞれ、適した照明の色（光の波長）、被検査物に対する照明の角度（光の角度）、カメラに対する照明の位置（光源の位置）があるとの知見を得た。この知見に基づき本発明を規定する。
・・・
【０００９】
本発明において検査対象とするＦＰＣとしては、有色半透明のフィルムをベースとするものが挙げられる。より具体的な構成としては、上記ベースフィルムと、ベースフィルムの上にプリントされた銅などの回路パターンと、回路パターンを保護するべく回路パターンを覆うように配置されるカバーレイ（通常、上記ベースフィルムと同一材料で形成される）とを具える構成が挙げられる。その他、回路パターンの一端側に形成される別の部材と接続可能な端子部、他端側に形成される別の部材と接続可能な半田などからなる接続用メッキ部、ある物質、回路を保護する保護材などを具えた構成が挙げられる。メッキ部は、回路パターンと同様に銅などからなる環状に設けられた端子接続部と、端子接続部の上に形成される半田などのメッキ部を具えた構成が挙げられる。フィルムの具体的な色としては、赤茶色が挙げられる。また、半透明とは、例えば、透過画像が得られる程度の透明度を有するものが挙げられる。
【００１０】
本発明において検査項目としては、例えば、以下に示す検査から選択される２種以上が挙げられる。
・・・
５．フレキシブルプリント配線板のフィルムの内部において異物の有無を調べる内部異物検査
・・・
【００１８】
移動手段は、水平方向において直交する二方向、例えば、Ｘ軸方向、Ｙ軸方向に移動可能なＸ軸台と、Ｙ軸台と、これらの台を移動させるモータなどの駆動源とを具える構成が挙げられる。
・・・
【００２８】
４． 表面異物検査
４−１ 照明手段として、白色の交差照明でＦＰＣの側方から照射するものを選択するステップ
４−２ ＦＰＣの上方に配置されたカメラにてＦＰＣを撮像するステップ
４−３ 撮像された画像データにおいて白く光る部分の面積が一定以上の大きさである場合、不良と判定するステップ
【００２９】
フィルム（カバーレイ）の表面や回路パターンの表面に異物が存在することがある。この異物は種々の色が考えられるため、上記メッキ不のり検査などのように赤色や青色などを用いた場合、適切に異物の検出ができない恐れがある。そこで、フィルムや回路パターンなどの表面に存在する異物を検出するにあたり、白色の照明を用いることを提案する。そして、異物が存在した場合、効率よく検出できるように、ＦＰＣの側方から光を当てることができる照明（カメラの光軸と入射光が交差する交差照明）を用いることを提案する。側方から光を当てることで、異物があった場合、入射光は、異物にぶつかって反射し、その反射光はＦＰＣの上方に配置されたカメラにて捉えられ、異物の画像が得られる。このとき、異物以外のＦＰＣの構成要素は、反射光がほとんどカメラに捉えられない状態で撮られるため黒っぽい画像となり、異物は、上記のように反射光により白っぽい画像となる。従って、コントラストの対比が大きく、検査が行い易い。一方、異物がなかった場合、入射光は、ＦＰＣ表面にぶつかり、入射光とほぼ同じ角度で反射する。このとき、入射光は、側方か入射することで入射角度が浅いため、この反射光をカメラで捉えることがほとんどできない。即ち、黒っぽい画像のみが得られる。
【００３０】
５． 内部異物検査
５−１ 照明手段として、青色の同軸照明でＦＰＣの下方から照射するものを選択するステップ
５−２ ＦＰＣの上方に配置されたカメラにてＦＰＣを撮像するステップ
５−３ フィルム（ワーク）の輪郭を抽出し、検査エリアを求めるステップ
５−４ 照明手段として、赤色の同軸照明でＦＰＣの下方から照射するものを選択するステップ
５−５ ＦＰＣの上方に配置されたカメラにてＦＰＣを撮像するステップ
５−６ 撮像された画像データと、登録されているデータとを比較し、差がある場合、不良と判定するステップ
【００３１】
フィルムの内部（ベースフィルムとカバーレイとの間）にも異物が存在することも考えられる。そこで、フィルム部分と異物とのコントラストの対比が大きくなるような照明手段を利用すると、検査が行い易い。例えば、ＦＰＣのフィルムが赤茶色の半透明である場合、補色の青色の光源（透過照明）を用いて下方から当てると、例えば、フィルムとフィルムの無い背景部分を対比する場合、フィルム部分がより暗く（黒く）、背景部分がより明るく（白く）みえるため、コントラストの対比が大きくなり、検査エリアを抽出し易くなる。また、赤色の透過照明を用いてＦＰＣの下方から当てると、フィルム部分は、同系色の光が透過するため、白っぽい画像となり、異物（赤色系、透明のものを除いて）は、ＦＰＣの下方にて反射して影が見えるため黒い画像となる。なお、ステップ５−６の画像データと登録データとの比較は、公知のマッチング処理を行ってもよい。
・・・
【００４２】
・・・。照明手段は、ＦＰＣ１の上方に配置され、ＦＰＣ１上面を均一に照射することができる赤色の無影反射型照明１１ｒ、同青色の無影反射型照明１１ｂ、ＦＰＣ１の側方に配置され、カメラ１０ｃの光軸と鋭角に交差する光をＦＰＣ１に対して入射することができる白色のリング型照明１１ｗ、ＦＰＣ１の下方に配置され、カメラ１０ｃの光軸と同軸方向の光をＦＰＣ１に対して入射することができる赤色と青色とに切り替え可能な透過照明１１ｕを用いた。無影反射型照明、リング型照明、透過照明は、いずれも市販品を用いた。
・・・
【００４７】
上記構成を具える検査装置を用いて、複数の検査項目についてＦＰＣの外観検査を行う手順を具体的に説明する。図３は、複数の検査項目について検査を行う本発明外観検査方法の検査手順を示す基本フローチャートである。この例では、以下に説明する検査を順に行い、各検査においてそれぞれ良否を判定して、判定結果をパソコンのメモリに保存しておき、７つの検査が全て終了してから、不良品にマークを付す構成とした。
【００４８】
具体的には、まず、複数のＦＰＣをマニュピレータにてワーク台にセットし（ステップＳ１）、このワーク台をマニュピレータにて搭載台に配置する（ステップＳ２）。そして、カメラをＯＮにし、適切な照明を選択して接続用メッキ部のメッキ不のり検査を行い（ステップＳ３）、ワーク台に配置された全てのＦＰＣについて不のり検査が終了したら次に適切な照明を選択してメッキ幅検査を行う（ステップＳ４）。以下、同様にワーク台に配置された全てのＦＰＣについて検査が終了したら、次の検査に適切な照明を選択して次の検査を行う。即ち、メッキ幅検査→回路パターン検査（ステップＳ５）→表面異物検査（ステップＳ６）→内部異物検査（ステップＳ７）→端子部位置ずれ検査（ステップＳ８）→保護材位置ずれ検査（ステップＳ９）を順に行う。検査ごとにＦＰＣの判定結果データをパソコンのメモリに保存しておき、最後の検査が終わったら、判定結果データに基づき、マジックペンにてマーキングを行い（ステップＳ１０）、このワーク台に配置された複数のＦＰＣについて外観検査を終了する。以下、各検査の手順を詳しく説明する。
・・・
【００６１】
（表面異物検査）
図１０は、表面異物検査の検査手順を示すフローチャート、図１１（Ａ）は、表面異物検査におけるカメラ、照明、ＦＰＣの位置関係を説明する説明図、（Ｂ）は、異物が存在した場合の照明からの光の動作を説明する説明図、（Ｃ）は、カメラにて撮像された画像の模式図である。この検査は、予めパソコンに入力された照明手段のデータから、白色のリング型照明を選択して行う（ステップＳＨＩ１）。先の回路パターン検査に引き続いて行う場合、照明を切り替える。
【００６２】
リング型照明１１ｗは、図１１（Ａ）に示すようにカメラ１０ｃの光軸方向に対して、交差する方向から光を照射する光源Ｌを複数環状に具え（図１１（Ａ）では２つしか示していないが実際は環状に複数具える）、ＦＰＣ１に対して光源Ｌは、側方に配置される。この例では、光源Ｌからの入射光の入射角度を図１１（Ｂ）に示すように水平方向に対して３０°とした。このような浅い角度で入射した光は、カバーレイ３や回路パターン（接続用メッキ部を含む）の表面に異物が付着していると、水平方向に対して約９０°の角度で反射するため、カメラに入射されることになる。一方、異物がない場合、３０°で入射された光は、水平方向に対して約３０°で反射するため、カメラにほとんど入射されることがない。そのため、カメラ１０ｃから得られた画像は、図１１（Ｃ）に示すように、異物が白っぽい画像となり、異物以外の部分が黒っぽい画像となり、コントラストの対比が大きく表れる。特に、この例では、白色の照明を利用しているため、種々の色の異物に対応することができる。なお、この例では、側面の角度が水平方向に対して３０°以上で、光源Ｌからの光が反射し易い材質、表面状態である異物の検出を想定している。異物に応じて、光源Ｌの入射角度は適宜変更するとよい。
【００６３】
上記照明でＦＰＣ１を照射しながらカメラにて撮像し（ステップＳＨＩ２）、得られた画像は、パソコンに送り適宜画像処理を行う。画像中、白く光る部分があればその輪郭の大きさを計測し（ステップＳＨＩ３）、その値と設定値を比較し（ステップＳＨＩ４）、その値が設定値以上であれば不良と判定され、他の視野について検査することなく、次のワーク又は次の検査に進む。上記輪郭の大きさが設定値未満の場合、良性と判定され、他の視野の検査、次のワーク、次の検査のいずれかに進む。
【００６４】
（内部異物検査）
図１２は、内部異物検査の検査手順を示すフローチャート、図１３（Ａ）は、内部異物検査におけるカメラ、照明、ＦＰＣの位置関係を説明する説明図、（Ｂ）は、カメラにて撮像された画像の模式図である。この検査は、予めパソコンに入力された照明手段のデータから、赤色及び青色の面照明（透過照明）を選択して行う（ステップＳＮＩ１）。先の表面異物検査に引き続いて行う場合、照明を切り替える。
【００６５】
面照明１１ｕは、図１３（Ａ）に示すようにカメラ１０ｃの光軸方向と同軸方向の光をＦＰＣ１に対して下方から照射する光源を具えるものである。このような配置により、ワーク台ＷＴ及びＦＰＣ１を透過した光がカメラ１０ｃに入射され、ＦＰＣ１の構成要素や異物によって反射されると、カメラ１０ｃは、その影を写すことになる。従って、カメラ１０ｃから得られた画像は、図１３（Ｂ）に示すように、銅からなる回路パターン２は、赤色の光をよく反射するため、ＦＰＣの下方で反射されて影が写されて黒い画像となり、異物も同様に照明からの光を反射して影が写されて黒い画像となり、赤茶色のカバーレイ３は、赤色の光が透過されてカバーレイ３自体の色である赤茶色となるため、影と比較して白っぽい画像となり、コントラストの対比が大きく表れる。なお、この例では、フィルム部分に存在する透明でない異物の検出を想定している。また、面照明１１ｕは、青色と赤色に切り替え可能なものを使用した。
【００６６】
まず、面照明１１ｕを青色に切り替えて、青色の照明にてＦＰＣ１を照射しながらカメラにて撮像し（ステップＳＮＩ２）、検出エリアを抽出する。青色の照明は、フィルタ（カバーレイ）の補色となるため、フィルム部分が暗く、フィルム以外の部分が明るくみえることで、検出エリアを抽出することができる。次に、照明を赤色に切り替えて、赤色の照明でＦＰＣ１を照射しながらカメラにて検出エリアを撮像し（ステップＳＮＩ３）、得られた画像は、パソコンに送り適宜画像処理を行う。以降の手順は、一つの視野について画像が得られたら、予め入力しておいた登録データ（ここでは登録ＣＬデータと呼ぶ）を呼び出し、得られた画像データと登録ＣＬデータとについてマッチング処理を行い（ステップＳＮＩ４）、両データに差があるか否かを判定する（ステップＳＮＩ５）。差があった場合、不良と判定され、他の視野について検査することなく、次のワーク又は次の検査に進む。差がなかった場合、良性と判定され、他の視野の検査、次のワーク、次の検査のいずれかに進む。
【００６７】
なお、得られた画像に二値化処理及びラベリング処理を施すことで、異物の面積を求めることができる。」

イ 図面の記載

（ア）図１



（２）甲２に記載された発明
上記（１）の各記載事項から、甲２には次の発明（以下「甲２発明」という。）が記載されていると認める。

「２ａ フィルムの内部において異物の有無を調べるフレキシブルプリント配線板（ＦＰＣ）を移動する、Ｘ軸方向、Ｙ軸方向に移動可能なＸ軸台と、Ｙ軸台と、これらの台を移動させるモータなどの駆動源と、
（【００１０】・【００１８】）
２ｂ フィルム表面の異物検査用の、ＦＰＣの側方に配置されカメラの光軸と鋭角に交差する光をＦＰＣに入射する白色のリング型の交差照明でＦＰＣの側方から照射する照明手段と、（【００２８】・【００４２】）
フィルム内部の異物検査用の、青色と赤色に切り替え可能な同軸の透過照明でＦＰＣの下方から照射する照明手段と、（【００３０】・【００４２】）
２ｃ ＦＰＣを撮像するＦＰＣの上方に配置されたカメラと、（【００２８】・【００３０】）
２ｅ フィルムの表面異物の検出時には、異物が存在すれば前記カメラにその反射光が入射して異物が白っぽい画像となり、異物以外の部分はカメラにほとんど光が入射せず黒っぽい画像となることを利用し、カメラで撮像した画像をパソコンに送り画像処理を行い、白く光る部分の輪郭の大きさが設定値以上であれば不良と判定し、（【００６２】・【００６３】）
フィルムの内部異物検査時には、前記青色の透過照明で抽出した検査エリアを、前記赤色の透過照明で撮像し、パソコンで画像処理し、撮像で得られた画像データと、予め登録した画像データとでマッチング処理を行い、両データに差があれば不良と判定する手段を有し、（【００６５】・【００６６】）
２ｆ フィルム表面異物の検出用には、異物に種々の色が考えられるため、赤色や青色などを用いた場合、適切に異物の検出ができない恐れがあることから、白色の照明を用い、（【００２８】・【００２９】）
フィルムの内部異物の検出用には、ＦＰＣのフィルムが赤茶色の半透明であるため、捕食の青色の透過照明を用いて、フィルムとフィルムのない背景部分とのコントラストの対比を大きくすることで検査エリアであるフィルムの有る部分を抽出し、次いで、フィルム部分が同系色を透過することを利用して得た白っぽい画像の中で、赤色系や透明の異物以外の異物が影として黒く見えるように、赤色の透過照明を用い、（【００３０】・【００３１】）
２ｈ 前記表面異物検査及び前記内部異物検査を含む複数の検査項目を、各検査項目ごとに適切な照明を選択して搭載台上のワーク台にセットされた複数のＦＰＣ全てについて順次行い、一つの検査項目が前記複数のＦＰＣ全てについて終了すれば、次の検査項目に適切な照明を選択して、該次の検査項目を前記複数のＦＰＣ全てについて行うことを順に行う、（【００４８】）
２ｉ ＦＰＣの外観検査装置。（【０００１】）」

３ 甲３に記載された事項

（１）甲３の記載事項

ア 発明の詳細な説明の記載事項

「【技術分野】
【０００１】
本発明は、外観検査装置に関する。
・・・
【課題を解決するための手段】
【００１０】
本発明の外観検査装置は、ワークに対して光を照射する照明部と、前記ワークの所定領域を撮像する撮像部と、前記撮像部による撮像画像データを入力し画像処理して前記ワークの異物欠陥を検出する画像処理部とを有した外観検査装置において、前記画像処理部は、前記撮像部で撮像した得られたカラー画像データから赤、緑、及び、青のフィルタ画像データを作成するＲＧＢ画像データ生成部と、前記赤、緑、及び、青の各フィルタ画像データから検査領域の特徴量を算出する特徴量抽出部と、前記特徴量算出部が抽出した前記赤、緑、及び、青の各フィルタ画像データの特徴量を入力し、それら特徴量を比較して、異物を検出しやすい最適なフィルタ画像データを選び出すフィルタ画像比較部とを備え、前記フィルタ画像比較部が選択したフィルタ画像データを用いて画像処理による異物欠陥検出を行うことを特徴とする。
・・・
【００２３】
図１において、外観検査装置１は検査テーブル２を備え、その検査テーブル２には、ワークとしての半導体ウェハＷが載置されている。半導体ウェハＷには、図２に示すように、ダイシング前の複数の半導体チップＣＰが区画形成されている。この半導体チップＣＰは、後工程において、チップ上に電子回路や機械要素が形成されて、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ：微小電気機械素子）となる。本実施形態では、各半導体チップＣＰは、その４隅にダイシングマークＡＭが形成されているとともに、半導体チップＣＰ内に四角形状の凹部３が形成されている。そして、凹部３の底部は四角形状に形成されるようになっている。
【００２４】
半導体ウェハＷを載置した検査テーブル２の上方位置には、照明部としての照明装置５が配置されている。照明装置５は、光源として白色ＬＥＤを備え、白色光を検査テーブル２上の半導体ウェハＷに照射するようになっている。
【００２５】
検査テーブル２の上方位置には、撮像部としてのカラー撮像装置８が配置されている。カラー撮像装置８は、照明装置５の白色光が照射された半導体ウェハＷの各半導体チップＣＰを撮像する。カラー撮像装置８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ８ａを備え、そのイメージセンサ８ａの各画素（受光素子）毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのいずれかを配置して、カラー画像を撮像する。尚、本実施形態では、各素子毎のカラーフィルタの配置は、いわゆる、ベイヤー（Ｂａｙｅｒ）配列としている。
【００２６】
そして、カラー撮像装置８で撮像した半導体ウェハＷの各半導体チップＣＰのカラー画像データＧＤは、画像処理部としての画像処理装置１０に出力される。
画像処理装置１０は、カラー撮像装置８で撮像したカラー画像データＧＤを画像処理して半導体ウェハＷの各半導体チップＣＰの欠陥の有無を検出して良否判定を行う。画像処理装置１０は、ＲＧＢ画像データ生成部１１、輝度平均値算出部１２、平均値比較部１３、異物判定処理部１４、記憶部１５及びルックアップテーブルＬＴを有している。
【００２７】
ＲＧＢ画像データ生成部１１は、カラー撮像装置８（ＣＣＤイメージセンサ８ａ）で撮像したカラー画像データＧＤを入力し、カラー画像データＧＤを分解して、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ、青フィルタ画像データＤｂｆを生成する。
【００２８】
詳述すると、イメージセンサ８ａの赤のフィルタを配置した各画素（受光素子）からの画素データは、赤フィルタ画像データＤｒｆとなる。また、緑のフィルタを配置した各画素（受光素子）からの画素データは、緑フィルタ画像データＤｇｆとなる。さらに、青のフィルタを配置した各画素（受光素子）からの画素データは、青フィルタ画像データＤｂｆとなる。
【００２９】
このとき、本実施形態では、ＣＣＤイメージセンサ８ａは、カラーフィルタについて、ベイヤー（Ｂａｙｅｒ）配列を採用している。そのため、イメージセンサ８ａの全画素数（例えばＮ個）に対して、赤と青の画素数Ｎ／４、緑が画素数Ｎ／２となり、一様でなく数が異なる。
【００３０】
そこで、ＲＧＢ画像データ生成部１１は、各画素の周辺の画素のデータを利用して補間処理を行い、Ｎ個の画素（即ち、イメージセンサの全画素）からなる赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ、及び、青フィルタ画像データＤｂｆをそれぞれ生成する。
【００３１】
ＲＧＢ画像データ生成部１１が作成した、それぞれＮ個の画素からなる赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ、及び、青フィルタ画像データＤｂｆは、特徴量抽出部としての輝度平均値算出部１２に出力される。
【００３２】
輝度平均値算出部１２は、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ及び青フィルタ画像データＤｂｆについて、半導体チップＣＰは、その４隅にダイシングマークＡＭが形成されているとともに、半導体チップＣＰ内に四角形状の凹部３であって予め定めた検査領域にある各フィルタ画像データＤｒｆ，Ｄｇｆ，Ｄｂｆにおける輝度値の輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂをそれぞれ求める。尚、各フィルタ画像データＤｒｆ，Ｄｇｆ，Ｄｂｆの輝度値は、本実施形態では、８ビットのビットデータで構成され、０〜２５５の階調に区分されている。
【００３３】
詳述すると、予め定めた検査領域にある赤フィルタ画像データＤｒｆについて、その検査領域に属する画素の輝度値を合計し、検査領域にある画素数で割って、赤フィルタ画像データＤｒｆに基づく輝度平均値Ａｖｒを求める。同様にして、緑フィルタ画像データＤｇｆ及び青フィルタ画像データＤｂｆに基づく輝度平均値Ａｖｇ，Ａｖｂもそれぞれ求める。
【００３４】
輝度平均値算出部１２にて算出された赤、緑及び青の各フィルタ画像データＤｒｆ，Ｄｇｆ，Ｄｂｆに対する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂは、フィルタ画像比較部としての平均値比較部１３に出力される。平均値比較部１３は、この輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂと画像処理装置１０内に設けられたルックアップテーブルＬＴに記憶された選定フィルタ画像データＤｓｆと比較して、一致する選定フィルタ画像データＤｓｆを検索する。
【００３５】
ルックアップテーブルＬＴは、図３に示すように、１つの半導体チップＣＰから取得されたカラー画像データＧＤ毎に、予め定めた検査領域における赤、緑及び青の各フィルタ画像データＤｒｆ，Ｄｇｆ，Ｄｂｆに対する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂが記憶され、その輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂに対する選定フィルタ画像データＤｓｆを記憶したテーブルである。
【００３６】
詳述すると、カラー撮像装置８にて撮像される半導体チップＣＰは、良品の範囲内にあっても僅かに膜厚が異なれば、半導体チップＣＰの凹部３に囲まれた四角枠内の色味が変わる。この場合、良品の範囲内にあってもこの色味の変化に基づいて、異物でないのに異物と誤検出し不良品と判断されてしまう。
【００３７】
そこで、カラー撮像装置８にて取得したカラー画像データＧＤを赤、緑及び青に分解して得た、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ及び青フィルタ画像データＤｂｆの中のいずれのフィルタ画像データが検査領域内の異物と背景色とのコントラストが最も大きく、そのフィルタ画像データを使用して検査すれば高精度に検査できるかを検証した。そして、その輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせから検査に使用するフィルタ画像データを選定するために使用されるのがルックアップテーブルＬＴである。
【００３８】
ルックアップテーブルＬＴは、以下のように作成される。
つまり、まず、良品であって、色味が異なる全ての半導体チップＣＰを用意し、これら各半導体チップＣＰをカラー撮像装置８にて撮像する。そして、色味が異なる良品の各半導体チップＣＰについて、予め定めた検査領域における赤、緑及び青の各フィルタ画像データに対する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂを求める。そして、その求めた各輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせが、色味が異なる良品の半導体チップＣＰ毎にルックアップテーブルＬＴに記憶される。
【００３９】
そして、半導体チップＣＰ毎の各フィルタ画像データＤｒｆ，Ｄｇｆ．Ｄｂｆの輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせにおいて、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ及び青フィルタ画像データＤｂｆのいずれのフィルタ画像データが検査領域内の異物と背景色とのコントラストが最も大きく現れるのか検証する。そして、検証して、輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせにおいて、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ及び青フィルタ画像データＤｂｆの中のいずれが、検査領域内の異物と背景色とのコントラストが最も大きいフィルタ画像データかを求めて、そのコントラストが最も大きいフィルタ画像データを選定フィルタ画像データＤｓｆとして記憶する。
【００４０】
ここで、検査領域内の異物と背景色とのコントラストが最も大きいフィルタ画像データとした理由は、以後の異物に検出する際の、異物に対する背景色（色味）のコントラストが最も大きく、異物検出の際の閾値が容易に設定でき高精度に検査が可能となるからである。
【００４１】
また、ルックアップテーブルＬＴは、不良品となる半導体チップＣＰの色味（色味異常）の色味異常判定データＮＧが設けられている。色味異常とは、検査領域内の異物と背景色と外観検査が不能な色味であって、そのような色味を有する半導体チップＣＰは検査不能として選定フィルタ画像データＤｓｆを選択せず色味異常判定データＮＧとする。
【００４２】
色味異常判定データＮＧは、異なる色味異常の全ての半導体チップＣＰを用意し、同様に、これら各半導体チップＣＰをカラー撮像装置８にて撮像する。そして、異なる色味異常の各半導体チップＣＰについて、予め定めた検査領域における赤、緑及び青の各フィルタ画像データに対する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂを求める。そして、その求めた各輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせに対して、ルックアップテーブルＬＴに色味異常判定データＮＧとして記憶されるようになっている。
【００４３】
因みに、図３に示すルックアップテーブルＬＴにおいて、赤フィルタ画像データＤｒｆの輝度平均値Ａｖｒが「５５」、緑フィルタ画像データＤｇｆの輝度平均値Ａｖｇが「１７０」、青フィルタ画像データＤｂｆの輝度平均値Ａｖｂが「１００」の場合は、選定フィルタ画像データＤｓｆは、緑フィルタ画像データＤｇｆとしている。
【００４４】
また、赤フィルタ画像データＤｒｆの輝度平均値Ａｖｒが「２０５」、緑フィルタ画像データＤｇｆの輝度平均値Ａｖｇが「１１０」、青フィルタ画像データＤｂｆの輝度平均値Ａｖｂが「１４５」の場合は、選定フィルタ画像データＤｓｆは、赤フィルタ画像データＤｒｆとしている。
【００４５】
従って、平均値比較部１３は、輝度平均値算出部１２が算出した輝度平均値Ａｖｒ，Ａｖｇ，ＡｖｂとルックアップテーブルＬＴに記憶された選定フィルタ画像データＤｓｆと比較して、一致する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂがあると、その輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂに対する選定フィルタ画像データＤｓｆを読み出す。つまり、選定フィルタ画像データＤｓｆが赤フィルタ画像データＤｒｆであれば、赤フィルタ画像データＤｒｆを選定フィルタ画像データＤｓｆとして選択する。
【００４６】
そして、平均値比較部１３において、選定フィルタ画像データＤｓｆとして赤フィルタ画像データＤｒｆが選択されると、異物判定処理部１４は、この異物と背景色とのコントラストが最も大きい赤フィルタ画像データＤｒｆを使って画像処理を行って、異物の検出を行う。
【００４７】
異物検出は、赤フィルタ画像データＤｒｆの全画素の輝度値と予め定めた閾値と比較し、異物の大きさ形状を求めて異物検出し良品判定を行う。
このとき、異物判定処理部１４は、異物と背景色とのコントラストが最も大きい赤フィルタ画像データＤｒｆを使って画像処理を行い異物と背景色との判断を行うことから、閾値の設定も容易でかつ高精度の異物検出を行うことができる。
【００４８】
また、選定フィルタ画像データＤｓｆとして緑又は青フィルタ画像データＤｇｆ，Ｄｂｆが選択された場合も同様に、異物と背景色とのコントラストが最も大きい緑又は青フィルタ画像データＤｇｆ，Ｄｂｆを使って画像処理を行い、異物と背景色との判断を行うことから、閾値の設定も容易でかつ高精度の異物検出を行うことができる。
【００４９】
そして、異物判定処理部１４は、各半導体チップＣＰの異物検出を行い、その良品の有無を判定し、その判定結果を、記憶部１５に記憶する。
尚、輝度平均値算出部１２が算出した輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせが、ルックアップテーブルＬＴにおいて色味異常判定データＮＧであった場合には、半導体チップＣＰが色味異常であって、高精度の異物検出ができないとして、該半導体チップＣＰを不良品として判定する。」

（２）甲３に記載された発明
上記（１）の各記載事項から、甲３には次の発明（以下「甲３発明」という。）が記載されていると認める。

「３ａ 異物欠陥検出を行う対象の、ワークとしての半導体ウェハが載置される検査テーブルと、（【００１０】・【００２３】）
３ｂ 半導体ウェハを載置した検査テーブルの上方位置に配置され、白色ＬＥＤ光源を備える照明装置と、（【００２４】）
３ｃ 検査テーブルの上方位置に配置されたカラー撮像装置と、（【００２５】）
３ｄ カラー撮像装置による赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ、青フィルタ画像データＤｂｆの各フィルタ画像データから、検査領域内の異物と背景色とのコントラストが最も大きく現れる色のフィルタ画像データを選定する平均値比較部と、（【００３４】・【００２７】〜【００３９】・【００４５】）
３ｅ カラー撮像装置８で撮像したカラー画像データＧＤを画像処理して半導体ウェハＷの各半導体チップＣＰの欠陥の有無を検出して良否判定を行う画像処理装置と、（【００２６】）
３ｆ カラー撮像装置は、ＣＣＤイメージセンサの各画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタのいずれかを配置して、カラー画像を撮像するものであり、（【００２５】）
カラー撮像装置で撮像したカラー画像データからＲＧＢ画像データ生成部が生成した、それぞれ８ビットのビットデータで構成され、０〜２５５の階調に区分された、赤フィルタ画像データＤｒｆ、緑フィルタ画像データＤｇｆ、青フィルタ画像データＤｂｆについて、（【００２７】・【００３２】）
輝度平均算出部によりそれぞれの輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂを求め、（【００３２】）
平均値比較部により、該求めた各輝度平均値と、輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせから、色味が異なる半導体チップごとに、検査領域内の異物と背景色とのコントラストが最も大きく現れるのが何れの色の画像データであるかを記憶したルックアップテーブルに記憶された選定フィルタ画像データＤｓｆと、前記求めた各色の輝度平均値とを比較して、一致する輝度平均値Ａｖｒ，Ａｖｇ，Ａｖｂの組み合わせがあると、それに対する色のフィルタ画像データを、選定フィルタ画像Ｄｓｆとして選択するものであり、（【００３４】・【００２７】〜【００３９】・【００４５】）
３ｇ１ 画像処理装置は、前記カラー画像データについて、各輝度値が８ビットのビットデータで構成され、０〜２５５の階調に区分された、各フィルタ画像データＤｒｆ，Ｄｇｆ，Ｄｂｆを生成するＲＧＢ画像データ生成部を備え、（【００２６】・【００２７】・【００３２】）
３ｇ２ 前記Ｄｓｆとして選定された色のフィルタ画像データの全画素の輝度値と予め定めた閾値と比較し、異物の大きさ形状を求めて異物検出し良品判定を行う、異物判定処理部と、を有し、（【００４６】・【００４７】）
３ｈ 異物検出し良品判定を行う、
３ｉ 外観検査装置。（【０００１】）」

４ 甲６に記載された事項

（１）甲６の記載事項

ア 発明の詳細な説明の記載事項

「【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
あるデータについて、このデータが異常な値（外れ値）であるか否かを識別する機械学習の手法が知られており、このような手法を用いることにより、例えば、規格外の製品や欠陥がある製品を検知する技術が従来より知られている。あるデータが異常な値であるか否かを識別する手法は、教師あり異常検知手法、半教師あり異常検知手法、教師なし異常検知手法の３通りに大別される。
【０００３】
ここで、十分な規模の学習データが得られない状況において、教師あり異常検知手法を用いて、入力されたデータを分類（識別）する技術が従来より知られている（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術においては、教師あり異常検知手法を用いているため、学習データとして異常な値を示すデータを得ることが難しい場合には、識別の精度が低い場合があるといった問題がある。すなわち、例えば、ある製品を識別するための学習データとして、正常な値を示すデータは大量に得ることができる一方で、異常な値を示すデータはほとんど得ることができない場合、異常な値を示すデータの学習が少ないため、識別の精度が低くなる場合がある。
【０００５】
他方、半教師あり異常検知手法は、学習データとして正常な値を示すデータのみを用いる手法であり、一般に、教師あり異常検知手法に比べて識別の精度が低い場合が多いものの、想定外の異常な値も検知することができるという利点を有する。
【０００６】
本発明の一実施形態は、上記の点に鑑みてなされたもので、半教師あり異常検知を用いて、高い精度で識別することを目的とする。
・・・
【００１８】
外部Ｉ／Ｆ１７は、外部装置とのインタフェースである。外部装置には、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤカード、ＣＤ、ＤＶＤ等がある。
【００１９】
撮像装置１８は、撮像により画像データ等の多次元データを生成する装置である。撮像装置１８は、例えば、撮像動作により物体の複数の分光情報を取得する分光カメラ等である。
【００２０】
ここで、多次元データとは、多次元のベクトルデータとして表すことができるデータを言う。例えば、６４０×４８０ピクセルの画像データは、６４０×４８０次元＝合計３０７２００次元のベクトルデータとして表すことができる多次元データである。同様に、例えば、所定の６つの角度の光源から物体に照射された光により取得された３１波長の分光情報は、６×３１次元＝合計１８６次元のベクトルデータとして表すことができる多次元データである。さらに、これらに限られず、多次元データには、音データや文書データ等の各種電子データが含まれる。以降では、多次元データは、多次元のベクトルデータとして表されているものとして説明する。
【００２１】
本実施形態では、情報処理装置１０において、正常なモデルに属する複数の多次元データ（すなわち、ポジティブデータ）を用いて予め学習を行うことにより（半教師あり学習）、入力された多次元データがポジティブデータであるか否かを識別するものである。
・・・
【００２８】
ここで、学習データ１０００は、後述する次元削減部１０２、次元復元部１０３、及びデータ識別部１０５の学習に用いる正常なモデルに属する複数の多次元データ（すなわち、ポジティブデータ）である。例えば、画像データの被写体が人か人以外をデータ識別部１０５で識別する場合、学習データ１０００とは、人が写っている画像データである。また、例えば、ある製品の塗料の品質（測色結果）が所定の規格を満たすか否かをデータ識別部１０５で識別する場合、学習データ１０００とは、所定の規格を満たす品質の塗料から得られた分光情報である。なお、以降では複数の学習データ１０００について、各々区別する場合はそれぞれ「学習データ１０００１」、「学習データ１０００２」、・・・と表す。
【００２９】
一方、識別対象データ２０００は、データ識別部１０５により識別させる対象のデータである。すなわち、識別対象データ２０００により、識別対象データ２０００が異常な値を示すデータ（異常値データ）であるか正常な値を示すデータ（正常値データ）であるかが判定（識別）される。ここで、識別対象データ２０００が異常値データであるとは、例えば、人が写っている画像データを正常値データとした場合に、人以外のもの（例えば、犬）が写っている画像データである。また、例えば、ある製品の塗料から得られた、所定の規格を満たす品質を示す分光情報を正常値データとした場合に、所定の規格を満たさない品質を示す分光情報が異常値データとなる。
【００３０】
なお、上述したように、学習データ１０００は、例えば、ＵＳＢメモリ、ＳＤカード、ＣＤ、ＤＶＤ等の外部装置に格納されており、外部Ｉ／Ｆ１７を介して情報処理装置１０に入力されてもよいし、ＨＤＤ１２等に格納されていてもよい。また、識別対象データ２０００は、例えば、撮像装置１８の撮像動作により生成されてもよいし、外部装置に格納されており外部Ｉ／Ｆ１７を介して情報処理装置１０に入力されてもよい。
【００３１】
次元削減部１０２は、例えばＣＰＵ１１等により実現され、入力された多次元データの次元数を削減する。すなわち、次元削減部１０２は、入力された多次元データを、この多次元データの特性を表し、かつ、この多次元データの次元数よりも少ない次元数の特徴ベクトルを生成する。なお、次元削減部１０２は、例えば、多層ニューラルネットワークの一種であるＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓや主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の手法を用いることができる。
【００３２】
次元復元部１０３は、例えばＣＰＵ１１等により実現され、次元削減部１０２により次元数が削減された後の多次元データを、元の次元数に復元する。すなわち、次元復元部１０３は、次元削減部１０２により生成された特徴ベクトルを、元の多次元データの次元数に復元した多次元データを生成する。なお、次元復元部１０３は、次元削減部１０２と同様に、例えば、多層ニューラルネットワークの一種であるＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓや主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の手法を用いることができる。
【００３３】
誤差算出部１０４は、例えばＣＰＵ１１等により実現され、入力された多次元データが次元削減部１０２により次元削減されたことにより発生した誤差量を算出する。すなわち、誤差算出部１０４は、入力された多次元データと、次元復元部１０３により復元された後の多次元データとの差分を計算することで、誤差量を算出する。
・・・
【００３５】
なお、上記の次元削減部１０２、次元復元部１０３、及びデータ識別部１０５は、後述するように学習データ１０００を用いて予め学習させておく必要がある。
【００３６】
＜処理の詳細＞
次に、本実施形態に係る情報処理装置１０の処理の詳細について説明する。本実施形態に係る情報処理装置１０は、学習データ１０００を用いて、次元削減部１０２、次元復元部１０３、及びデータ識別部１０５を予め学習させておく必要がある。そして、本実施形態に係る情報処理装置１０は、学習された次元削減部１０２、次元復元部１０３、及びデータ識別部１０５等により識別対象データ２０００の識別を行う。
【００３７】
≪学習処理≫
まず、学習データ１０００を用いて、本実施形態に係る情報処理装置１０の次元削減部１０２、次元復元部１０３、及びデータ識別部１０５を学習させる処理について説明する。図３は、第１の実施形態に係る学習処理の一例のフローチャートである。なお、上述したように、学習データ１０００は、正常なモデルに属する複数の多次元データ（すなわち、正常値データ、ポジティブデータ）である。すなわち、以降で説明する学習処理は、半教師あり学習である。
【００３８】
ステップＳ３０１において、データ入力部１０１は、学習データ１０００を入力する。なお、データ入力部１０１は、学習データ１０００を、例えば、ＵＳＢメモリ、ＳＤカード、ＣＤ、ＤＶＤ等の外部装置から外部Ｉ／Ｆ１７を介して又はＨＤＤ１２等から入力する。また、データ入力部１０１は、学習データ１０００を、例えば、ＬＡＮやインターネット等のネットワークを介して入力してもよいし、撮像装置１８の撮像動作により学習データ１０００を生成して入力してもよい。
【００３９】
ステップＳ３０２において、次元削減部１０２及び次元復元部１０３は、入力された学習データ１０００を用いて、学習を行う。なお、ここでは一例として次元削減部１０２及び次元復元部１０３が、主成分分析の手法を用いて実現される場合又はＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの手法を用いて次元される場合の２つの場合について説明する。ただし、次元削減部１０２及び次元復元部１０３は、これらの２つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
・・・
【００４９】
（Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓ）
次に、次元削減部１０２及び次元復元部１０３が多層ニューラルネットワークの一種であるＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの手法を用いて実現される場合について説明する。この場合、次元削減部１０２及び次元復元部１０３の学習とは、入力された学習データ１０００に基づき、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの各層のネットワーク係数（これは「重み」とも称される）を調整することに相当する。なお、このようなネットワーク係数は、所定のパラメータの一例である。
【００５０】
なお、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓとは、Ａｕｔｏ−Ｅｎｃｏｄｅｒと呼ばれるニューラルネットワークを積み重ねて多層とした構成のニューラルネットワークである。ここで、Ａｕｔｏ−Ｅｎｃｏｄｅｒとは、入力層と出力層のニューロン数（ユニット数）が同数であり、かつ、中間層（隠れ層）のニューロン数（ユニット数）が入力層（出力層）より少ない構成のニューラルネットワークである。
・・・
【００６２】
ステップＳ３０３において、誤差算出部１０４は、各学習データ１０００について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップＳ３０２で学習された次元削減部１０２及び次元復元部１０３に、各学習データ１０００を入力する。そして、誤差算出部１０４は、入力された各学習データ１０００と、次元復元された後の各学習データ１０００との誤差を算出する。
【００６３】
例えば、入力される各学習データ１０００が上記の（式１）で表されるものとする。このとき、各ｙｉを入力して次元削減部１０２により次元削減した後、次元復元部１０３により次元復元した結果（出力）をそれぞれＹｉとすると、誤差算出部１０４は、各ｉに対してｙｉとＹｉの差分を計算することにより誤差Δｉを算出する。
・・・
【００６５】
ステップＳ３０４において、データ識別部１０５は、上記のステップＳ３０３で算出された誤差Δｉを用いて学習を行う。
【００６６】
例えば、データ識別部１０５に用いる外れ値検出手法としてＬＯＦを用いる場合、誤差Δｉを多次元空間（上記の例では１００次元空間）にプロットして、ポジティブデータを表すデータ集合（ポジティブモデル）が生成する。なお、このようなデータ集合は、例えば、ＨＤＤ１２等に格納すればよい。
【００６７】
また、例えば、データ識別部１０５に用いる外れ値検出手法としてＯｎｅ−Ｃｌａｓｓ ＳＶＭを用いる場合、誤差Δｉを多次元空間（上記の例では１００次元空間）にプロットして、ポジティブデータを表すデータ集合（ポジティブモデル）が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面（又は曲面）を求める。
【００６８】
このようにデータ識別部１０５を学習させておくことで、後述する識別処理において、ＬＯＦやＯｎｅ−Ｃｌａｓｓ ＳＶＭ等の外れ値検出手法を用いて識別対象データ２０００が異常値データ（外れ値）であるか否かを識別することができる。」

（２）甲６に記載された発明
上記（１）の各記載事項から、甲６には次の発明（以下「甲６発明」という。）が記載されていると認める。

「６ａ 欠陥がある製品を検知する装置における、半教師あり異常検知を用いた識別を行うための、半教師あり学習方法であって、（【０００２】・【００２８】・【００２９】・【００３６】）
６ｂ 物体の複数の分光情報を取得する分光カメラにより複数の分光情報を取得し、物体の多次元ベクトルデータである画像データを生成し、（【００１９】・【００２０】）
６ｃ 外部Ｉ／Ｆを介して情報処理装置に入力される、正常なモデルに属する複数の多次元データからなる学習データを、例えば、ＵＳＢメモリ、ＳＤカード、ＣＤ、ＤＶＤ等の外部装置に格納しておき、または撮像装置の撮像動作により生成し、（【００２１】・【００２８】・【００３０】・【００３８】）
６ｅ 次元削減部・次元復元部・データ識別部が、入力された学習データを用いて、主成分分析または、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓ（入力層と出力層のニューロン数（ユニット数）が同数であり、かつ、中間層（隠れ層）のニューロン数（ユニット数）が入力層（出力層）より少ない構成のニューラルネットワークであるＡｕｔｏ−Ｅｎｃｏｄｅｒを積み重ねて多層とした構成のニューラルネットワーク）の手法を用いて学習され、（【００３７】・【００３９】・【００５０】）
６ｆ そのうちＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの手法を用いた学習では、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの学習は、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓを構成する複数のＡｕｔｏ−Ｅｎｃｏｄｅｒ毎に、学習データ１０００を用いて、第１のＡｕｔｏ−Ｅｎｃｏｄｅｒの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行うことにより、次元削減部及び次元復元部の学習を行うものであり、（【００４９】・【００５２】・【００５４】）
誤差算出部が、次元削減部に入力された学習データと、次元復元された学習データとの差分（誤差）を計算し、（【００６２】・【００６３】）
前記差分（誤差）を多次元空間にプロットして正常なデータを表す集合（ポジティブモデル）を生成し、識別対象データが異常値データであるか否かを識別できるように、データ識別部が学習される、（【００６５】〜【００６８】）
６ｇ 半教師あり学習方法。」

５ 甲４に記載された事項

（１）発明の詳細な説明の記載

「【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の教師画像に基づく画像分類技術に関するものであり、特に教師画像に基づいて教師データを作成する技術に関する。
・・・
【発明を実施するための形態】
【００２２】
図１はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域から欠陥を検出する欠陥検出装置２と、欠陥検出装置２により検出された欠陥をより詳細に分析して欠陥の種類を特定する欠陥分類装置３とを備えている。
欠陥検出装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。
・・・
【００２６】
欠陥分類装置３は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックを専用ハードウェアおよびソフトウェアにより実現する。欠陥分類装置３は、欠陥検出装置２から欠陥画像データを受信するためのインターフェース（Ｉ／Ｆ）３１、欠陥画像データに基づく自動分類により、当該欠陥の種別を判定する欠陥分類部（ＡＤＣ）３２を備えている。インターフェース３１は例えばＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）を介して他の外部機器と通信が可能となっている。
【００２７】
欠陥検出装置２から与えられる画像データおよび欠陥分類部３２における処理過程で生じる種々の処理データは必要に応じて記憶部３３に随時保存される。欠陥分類部３２は、与えられた欠陥画像データに基づき特徴量算出部３４が算出した複数種の特徴量の値に基づき、当該欠陥画像を、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類する。
【００２８】
さらに、欠陥分類装置３は、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部３５および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部３６を備えている。
【００２９】
欠陥分類部３２は、検出された欠陥をＳＶＭ（サポートベクタマシン；Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。具体的には、欠陥検査装置２から与えられて記憶部３３に記憶保存された欠陥画像データと、当該欠陥画像が分類されるべき分類カテゴリに関するユーザからの教示情報とに基づいて予め適宜の学習アルゴリズムによる機械学習を行っておく。そして、未分類の欠陥画像に対応する画像データが新たに与えられると、学習結果に基づく自動分類を行って新たな欠陥画像をいずれかの分類カテゴリに分類する。
・・・
【００３３】
図３は欠陥分類装置の動作を示すフローチャートである。上記した通り、欠陥分類装置３は欠陥検出装置２から出力される欠陥画像を、その欠陥種別に応じた分類カテゴリに分類する。より具体的には、欠陥分類部３２が予め収集された欠陥画像データに基づき事前学習（後述）を行っておき（ステップＳ２０１）、未分類の欠陥画像が欠陥検出装置２から新たに与えられると（ステップＳ２０２）、特徴量算出部３４が当該欠陥画像を特徴付ける複数の特徴量の値を算出する（ステップＳ２０３）。そして、欠陥分類部３２が、算出された特徴量の値に基づき、事前学習により構成された分類器を用いて当該欠陥画像を複数の分類カテゴリのいずれかに分類する（ステップＳ２０４）。
【００３４】
分類カテゴリは当該基板Ｓにおいて発生し得る複数の欠陥種別に対応して複数種が予め設定されており、例えば異物、傷、パターン断線、短絡などが代表的なものであるが、これらに限定されるものではない。
【００３５】
図４は欠陥分類装置により実行される事前学習処理を示すフローチャートである。事前学習処理は、種々の欠陥を撮像した教師画像と、ユーザから教示される、当該教師画像がどの分類カテゴリに分類すべきものであるかを示す教示情報とに基づいて行われる。具体的には、まず最初に教師画像の収集を行う。ここでは欠陥検出装置２から出力される欠陥画像を教師画像としてこれを順次記憶部３３に保存することで収集を行うものとするが（ステップＳ３０１）、例えば予め用意された画像ライブラリや外部のストレージに収集された教師画像データを取得する態様であってもよい。
【００３６】
こうして収集された多数の教師画像のそれぞれについて、特徴量算出部３４が特徴量の算出を行う（ステップＳ３０２）。ここで算出される特徴量の種類は、未知の欠陥画像の分類を行うときに用いられるものと同じである。算出された特徴量の値は、各教師画像に対応する教師データの一部として記憶部３３に記憶保存される。
【００３７】
次に、各教師画像に対して、当該教師画像が分類されるべき分類カテゴリを関連付ける。より具体的には、収集された教師画像を順に表示部３６に表示させ、当該教師画像がどの欠陥種別に属するものであるかについて、入力受付部３５を介してユーザから教示入力を受け付ける。そして、教師画像と、教示された欠陥種別に対応する分類カテゴリとを関連付けて（ステップＳ３０３）、当該教師画像の特徴量の値と、当該教師画像に関連付けられた分類カテゴリを指定するユーザからの教示情報とをセットにして、これを当該教師画像に対応する教師データとして記憶部３３に記憶保存しておく。
【００３８】
続いて、こうして準備された教師データ、すなわち教師画像を表す特徴量の値の組と教示情報とに基づき、欠陥分類部３２が適宜の学習アルゴリズムによる学習を行い、分類器を構成する（ステップＳ３０４）。そして、学習結果を検証するため、構成された分類器を用いて教師データ自身の分類を行い（ステップＳ３０５）、その分類成績を算出する（ステップＳ３０６）。分類成績は適宜の性能評価尺度を用いて表すことができ、例えば分類カテゴリ毎のｐｕｒｉｔｙおよびａｃｃｕｒａｃｙにより表すことができる。こうして算出された分類成績が表示部３６に表示されることで、ユーザは学習の適切さを評価することができる。
・・・
【００４０】
図５は特徴量空間における欠陥画像の分布の一例を示す図である。欠陥画像の分類に用いられる特徴量としては種々のものが知られており、実際の欠陥分類においても多種類の特徴量が用いられる。このため、使用される複数種の特徴量のそれぞれを一の座標軸とする特徴量空間も多次元空間となるが、ここでは原理を理解しやすくするために、２種類の特徴量Ｘ１，Ｘ２からなる２次元の特徴量空間を考える。収集された欠陥画像（教師画像）をその特徴量の値に応じて特徴量空間にプロットすると、例えば図５に示すように、類似した特徴を有する欠陥画像がある程度まとまっていくつかのクラスタを形成する。図５における各点は、欠陥画像を特徴量で表したときそれらの値を特徴量空間における座標値として持つ点を表しており、それぞれの点が１つの欠陥画像に対応する。同じ欠陥種別に分類される欠陥画像は当然に互いに類似した画像上の特徴を持つため、特徴量空間内でも互いに近接すると考えられる。すなわち、同じ欠陥種別に属する欠陥画像が特徴量空間内で１つのクラスタを形成する。
・・・
【００４９】
なお、各特徴量はそれぞれ個別の算出基準に基づき数値化されるので、特徴量ごとに数値のスケールが異なることが当然にあり得る。この点に鑑み、特徴量空間内の超球または超立方体を有意なものとするために、この場合の各特徴量の値は正規化されたものであることが好ましい。特徴量の正規化演算は、例えば、点Ｐに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値で除することにより行うことができる。例えば点ＰのＸ１座標値ｖ１については、点Ｐに対応する教師データにおける特徴量Ｘ１の値をｖ０、同特徴量Ｘ１の全ての教師データ間での最大値をｖｍａｘとしたとき、
ｖ１ ＝ ｖ０／ｖｍａｘ … （式１）
により求めることができる。
【００５０】
また例えば、点Ｐに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値と最小値との差で除することにより行うことができる。例えば点ＰのＸ１座標値ｖ１については、点Ｐに対応する教師データにおける特徴量Ｘ１の値をｖ０、同特徴量Ｘ１の全ての教師データ間での最大値をｖｍａｘ、最小値をｖｍｉｎとしたとき、
ｖ１＝ ｖ０／（ｖｍａｘ−ｖｍｉｎ） … （式２）
により求めることができる。特徴量の数値を結果として求めることを目的としないため、算出ルールが各特徴量間で統一されていれば、（式１）、（式２）のいずれの算出方法によってもよい。」

（２）図面の記載

ア 図５



（３）甲４から認定・看取できる事項
上記（１）（２）の記載から下記の事項が看取・認定される。

認定事項４ア： 甲４では、「教師画像を表す特徴量の値」（【００３８】）、「欠陥画像の分類に用いられる特徴量としては種々のものが知られており、実際の欠陥分類においても多種類の特徴量が用いられる。このため、使用される複数種の特徴量のそれぞれを一の座標軸とする特徴量空間も多次元空間となる」（【００４０】）、「各特徴量はそれぞれ個別の算出基準に基づき数値化される」（【００４９】）、なる各記載や、【００４０】で「２種類の特徴量Ｘ１，Ｘ２からなる２次元の特徴量空間を考える」とした場合の特徴量のプロットを示す図５について、【００４０】では「図５における各点は、欠陥画像を特徴量で表したときそれらの値を特徴量空間における座標値として持つ点を表しており、それぞれの点が１つの欠陥画像に対応する。」と説明されていることから、【００４９】で正規化の対象とされる甲４における「特徴量」とは、教師画像などの画像データの各画素値自体や、該各画素値と一対一に対応づけられた値の組ではなく、欠陥画像の分類のために前記画像データから計算された、画像データ空間とは別の、特徴量空間内の点の座標データ組を意味すると解される。

認定事項４イ：【００２７】・【００２９】の記載から、甲４の欠陥分類部３２は、与えられた欠陥画像データに基づき特徴量算出部３４が算出した複数種の特徴量の値に基づき、当該欠陥画像を、ＳＶＭ（サポートベクタマシン；Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類するものであると認められる。

６ 甲５に記載された事項

（１）発明の詳細な説明の記載事項

「【技術分野】
【０００１】
本発明は、鋼管内部腐食解析装置及び鋼管内部腐食解析方法に関し、さらに詳しくは、鋼管鉄塔の鋼管内部を撮影した画像を解析することにより、劣化部分の抽出と劣化評価を行う鋼管内部腐食解析装置及び鋼管内部腐食解析方法に関するものである。
・・・
【００１３】
この鋼管内部腐食解析装置１００は、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置１００であって、プログラムに従って順次処理を行うＣＰＵと、プログラム及びデータを格納するＲＯＭと、一次的にデータを記憶し、該記憶したデータを読み出してＣＰＵに供給するＲＡＭと、を有する制御部８は、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段１０と、劣化部分を予備的に抽出する劣化部分予備抽出手段１１と、前処理手段１０により撮影条件を統一し、且つ劣化部分予備抽出手段１１により得られた抽出結果に基づいて、画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段１２と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段１４と、劣化領域検証評価手段１４により検証評価された劣化領域を表示する表示処理手段１５と、を備えて構成されている。
本発明で使用した撮影画像は工業用内視鏡にて撮影された動画像と、その中から劣化部分を抜き出した静止画像である。図３にその一部を示す。図２（ａ）〜（ｄ）が劣化度ＩＩ〜Ｖに対応する。
色味について全体的に青っぽくなっているもの（特に開口部）（Ａ部）が多く見られるが、赤味を帯びたもの（Ｂ部）も一部見受けられる。また、光量不足により暗い部分ではＲＧＢのいずれかの値が明るく見えるＣＣＤノイズも散見している。
画像全体の明るさ（明度）については、撮影時の照明と対象物の距離によってかなり偏りが見られる。極端な場合には照明が鋼管側面に近づくと完全に白く飛んでいる部分がある。
・・・
【００３０】
図２７にサンプル画像より抜粋した劣化度部分（ＩＩ〜Ｖ）抽出（計９１画像）し、劣化領域のＹＩＱのＩ（平均）を横軸に、明度（平均）を縦軸にしたグラフを示す。グラフ上の直線は劣化度毎の値を直線近似したものである。劣化度ＩＩはＲＧＢ同様に比較的はっきりと分類できている。劣化度ＩＩＩとＩＶはやや劣化度ＩＶが劣化度ＩＩＩよりに存在している物もあるが、ある程度の領域分けは可能と考えられる。劣化度抽出に用いるパラメータ決定（主観分類）」ではこの結果を基に領域抽出パラメータを主観的に決定する。
前節で得られたサンプル画像（９１枚）の特徴量と劣化度見本Ａ（一般環境）との比較を行った。撮影条件の違いによる明度のばらつきをなくすことは、安定した劣化度抽出には欠かせない処理である。図２８に明度正規化の処理手順を示す。
１）基準となる鋼管Ａ内における画像正規化
ａ）それぞれの画像に対して双六角錘モデルを用いた色補正を行う。
ｂ）鋼管Ａの補正用基準画像の作成
・鋼管Ａ内全ての画像の同一座標にある画素の明度を取り出し、明度順に並び替えて、その中央に位置する画素の明度を代表値とする。
・この処理で作成された画像を鋼管Ａの補正基準画像とする。
ｃ）補正用基準画像もとに鋼管Ａの各画像の明度補正を行う。
・それぞれの画像の平均明度とｂの補正用基準画像の平均明度を求める。
・全ての画素に対して、（補正用基準画像の平均明度）／（処理対象画像の平均明度）の比率を掛けることで、鋼管Ａ内の全ての画像の明度を均一化する。
２）他の鋼管Ｂの画像正規化
ａ〜ｂの処理は１）と同じ
ｃ）鋼管Ａと鋼管Ｂの補正用基準画像の明度平均が同じになるように、鋼管Ｂの補正用基準画像の明度を補正する。補正方法は１）のｃ）と同様の手法を用いる。
ｄ）ｃで得られた補正用基準画像Ｂ’を用いて、１）のｃ）と同様に鋼管Ｂの各画像の明度補正を行う。
・・・
【００３３】
図３２に上記分類パラメータをＮ＝９１の劣化度毎のデータ（Ｉ，明度）を適応し、どの程度一致するかを示す。全体的にばらついている劣化度ＩＶの一致率が低い。
図３３にサポートベクターマシンのイメージを示す図である。サポートベクターマシンとはニューラルネットワークを用いたパターン識別手法の一つであり、学習モデルを採用している。サポートベクターマシンとは例えばデータを二つの種類に分離するために、各データ点との距離が最大となる分離平面を求めるマージン最大化という考え方を用いるものである。図３３は赤と青の２つのデータ群を分離するために、マージン最大となる境界線（黒の太線）の例である。今回はフリーのツール”ｌｉｂｓｖｍ”を使用した。
ここでは図３４に示すように、サンプル画像から選択した９１枚の画像の劣化度と特徴量（ＹＩＱのＩと明度）を学習用パターンとして用い、再度この学習用データのＩと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。
【００３４】
図３５に劣化度毎の一致度を示す。劣化度ＩＩとＩＶは高い一致率を示すが、劣化度ＩＩＩとＶは非常に低い値となっている。これはサポートベクターマシンがクラス（劣化度）毎に領域分けを行おうとするものの、学習データが必ずしもそれぞれの劣化度毎にうまくまとまっていないためである。
ＡｄａＢｏｏｓｔも学習モデルを用いるクラスタリングの一手法である。サポートベクターマシン同様、与えられた教師付きデータを用いて学習を行う。
ＡｄａＢｏｏｓｔはブースティング法と呼ばれる手法の最も基本的なもので、直接一つの判別ルール（判別器と呼ぶ）を決定するのではなく、単純な判別器を多数組み合わせることで全体として一つの判別ルールを構築するものである。与えられた教師付きデータを用いて学習を行い、その学習結果をふまえて逐次重みの調整を繰り返すことで（判別器の追加）複数の学習結果を求め、その結果を組み合わせて精度を向上させる。
【００３５】
ここでも前節と同じデータ（ＹＩＱのＩと明度、劣化度）を用いて学習を行い、再度同じデータ（ＹＩＱのＩと明度）を与えて得られた劣化度の一致率を確認した。図３６はＡｄａＢｏｏｓｔによる分類の一致度を示す図である。
結果は主観分類、サポートベクターマシンよりも良好である。サポートベクターマシンと比較してＡｄａＢｏｏｓｔは必ずしも１つのクラスが１つの領域にある必要はないという柔軟性によるものである。
図３７に３手法を比較した表を示す。３種の分類方式の比較結果としてはＡｄａＢｏｏｓｔが最も高い一致率を示している。
【００３６】
上記までで検討した領域抽出方法を用いて劣化度毎の領域抽出を行う。図３８にプロトタイプの構成を示す。
本プロトタイプでは前処理として、色補正と明度補正を行い、主観分類とＡｄａＢｏｏｓｔによる劣化部分の抽出と分類を行う部分を実装した。以下にその処理手順を示す。
劣化度毎領域抽出手順：
１）前処理として明度の正規化を行う
２）主観分類方法あるいはＡｄａｂｏｏｓｔを用いた劣化度別部位の抽出と分類を行う
また、オプションとしてエンボス処理による強調表示の処理も行うことが可能。
・・・
【００４５】
図５１は異物領域抽出結果例を示す図であり、図５１（ａ）、（ｂ）とも左側が元画像、右側が領域抽出結果を表す図である。劣化処理対象外領域（営巣等の異物）を抽出するための手法の検討として、以下の検討を行った。
１）フーリエ変換を用いた周波数成分の抽出と傾向の検討
２）エッジ形状に着目した領域抽出と傾向の検討
３）テクスチャ特徴量を用いた領域抽出とプロトタイプによる試行
検討の結果、３）のテクスチャ特徴量を学習アルゴリズムとして用いて推定することで、比較的良好に劣化処理対象外領域を抽出することができた。」

７ 甲７に記載された事項

（１）発明の詳細な説明の記載

「【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象物を撮像した検査対象画像を用いて検査対象物の異常の有無を判定する外観検査処理方法に関するものである。
・・・
【課題を解決するための手段】
【０００６】
請求項１の発明は、検査対象物を撮像したカラー画像である検査対象画像の各画素における色度座標の各座標値を用いて前記検査対象物の異常の有無を判定する外観検査処理方法であって、正常状態の検査対象物を撮像したカラー画像である正常サンプル画像の画素ごとに色度座標の各座標値を特徴量とする学習データを作成し、各学習データを競合学習型ニューラルネットワークに入力して学習させ、当該競合学習型ニューラルネットワークの出力層のニューロンをカテゴリに対応付けているクラスタリングマップを作成し、前記競合学習型ニューラルネットワークの学習後に、各学習データを当該競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の各ニューロンにおいて、前記学習データと重みベクトルとのユークリッド距離を求め、前記クラスタリングマップ上の各ニューロンに対して、各学習データと前記重みベクトルとから求めた複数のユークリッド距離により決定した分散、及び前記重みベクトルである平均値により定義したガウス関数を設定し、前記クラスタリングマップ上の各ニューロンに対するガウス関数の設定後に、各学習データを前記競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の全てのニューロンのガウス関数値の総和を求め、全ての学習データに関する前記ガウス関数値の総和の分布から、正常画像であるための下限閾値を設定し、その後、前記検査対象画像の画素ごとに色度座標の各座標値を特徴量とする検査データを作成し、各検査データを前記競合学習型ニューラルネットワークに入力し、前記検査データごとに、当該検査データに関するガウス関数値の総和を求め、当該検査データに関するガウス関数値の総和が前記下限閾値未満である場合、当該検査データに対応する画素を異常判定画素とし、前記検査対象画像における前記異常判定画素を用いた評価条件によって前記検査対象物の異常の有無を判定することを特徴とする。
・・・
【００２１】
続いて、競合学習型ニューラルネットワーク１を学習させるまでの動作について詳細に説明する。まず、画像入力部４が、正常状態の検査対象物を撮像し、ＲＧＢカラー画像を正常サンプル画像として色抽出部５に出力する。色抽出部５は、画像入力部４からの正常サンプル画像の画素ごとに、学習データを作成する。その後、分類部２は、各学習データを競合学習型ニューラルネットワーク１に入力データとして入力して学習させ、競合学習型ニューラルネットワーク１の出力層１２の各ニューロンＮ２（図２参照）を正常カテゴリ（良品カテゴリ）又は未知のカテゴリの何れかに対応付けているクラスタリングマップを作成する。クラスタリングマップは、図１に示すマップ記憶部７に記憶される。
・・・
【００２５】
次に、検査時の動作について図３（ｂ）を用いて説明する。まず、画像入力部４が、検査対象物を撮像し、ＲＧＢカラー画像を検査対象画像として色抽出部５に出力する。色抽出部５は、画像入力部４からの検査対象画像の画素ごとに、検査データを作成する。その後、分類部２は、各検査データを競合学習型ニューラルネットワーク１に入力データとして入力し、検査データごとに、クラスタリングマップ上の各ニューロンに設定されたガウス関数の出力値ｙを求め、さらに、検査データに関するガウス関数値総和を求める。その後、分類部２は、検査データに関するガウス関数値総和が下限閾値未満である場合、上記 検査データに対応する画素を異常判定画素と判定する。
・・・
【００３９】
本実施形態では、図１に示す色抽出部５が、検査対象画像の画素ごとに検査データを作成するとともに、学習データとして用いた正常サンプル画像とは異なる複数の正常サンプル画像の各画素におけるＲＧＢ色度座標のＲ座標値、Ｇ座標値及びＢ座標値を特徴とする入力データを作成する。
【００４０】
本実施形態の分類部２は、検査対象画像における異常判定画素の判定とは別に、各入力データを競合学習型ニューラルネットワーク１に入力し、入力データごとに、入力データに関するガウス関数値の総和を求める。上記入力データに関するガウス関数値の総和が下限閾値未満である場合、入力データに対応する画素を異常判定画素とし、各正常サンプル画像の異常判定画素の総数を求め、求めた異常判定画素の総数の最大値を求める。
【００４１】
その後、分類部２は、検査対象物の異常判定画素が上記最大値を超える場合に検査対象物が異常であると判定する。」

８ 甲８に記載された事項

（１）発明の詳細な説明の記載

「【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は異常検出方法および装置に係り、特に画像に含まれる外乱やあいまいな情報の下でも検知感度の高い異常判断方法および装置に関する。
・・・
【００１１】
【課題を解決するための手段】
上記目的を達成するため本願の第１の発明は、監視カメラにより監視対象物を撮影し、その撮影画像により監視対象物の異常の有無を判断する異常検出方法において、監視カメラにより監視対象物を撮影して原画像として取込む工程と、この原画像の各画素ごとの輝度を多値化する工程と、上記工程により多値化された複数個の画素を共通輝度レベルごとにブロック化する工程と、ブロック化された各ブロックごとの輝度レベル値を学習機能を有するニューラルネットワークに入力することにより原画像の異常の有無を判断し、監視対象物の異常の有無を検出する工程とからなることを特徴とする異常検出方法に関する。
・・・
【００１７】
次の工程は、ブロック化である。原画像の全ての画素数、例えば前記の場合６５，５３６個の情報を本発明のニューラルネットワークへ入力しようとするとニューロンの数、さらにシナプス結合数は膨大となり、非現実的である。また原画像の輝度データには、画像認識を行って異常の度合いや正常などの判断をするという目的上、不要な、またはあまり影響を持たない画素の情報は無視し、さらにある輝度分布のものは、１つに代表させるなどの前処理を施すとこによるブロック化を行う。この方法には、図３に示すように標本中央値を出力するメジアンフィルタや標本平均値を出力する一様平滑化フィルタなどがある。
【００１８】
以上のブロック化により、６５，５３６個の画素データを有効な数の入力データに削減し、ニューラルネットワークにて異常判断を行う。このニューラルネットワークの構成を図２に示す。このネットワークは、入力層（Ｓ層）、中間層（ＡおよびＢ層）、出力層（Ｒ層）の４層よりなっている。これを機能的に分類するとＳ層→Ａ層をＳＴＥＰＩ：画像圧縮の機能、Ｂ層をＳＴＥＰＩＩ：特徴抽出の機能、Ｂ層→Ｒ層をＳＴＥＰＩＩＩ：判断機能の３つの機能を有している。これらの機能を有するためには、ある正常な、または異常な画像データを入力層（Ｓ層）に入力し、各々のＳＴＥＰで学習させる必要がある。すなわち、これらの学習の手法が重要なポイントとなる。
・・・
【０１００】
また、学習に用いた画像や異常な画像の程度からかけ離れた入力画像に対しては、正常または異常といった判定だけでなく、“要観察”を意味する出力を出すニューロンも設けることにより、人間でも判断が難しい画像にも対応した検知装置が実現でき、このことにより、正常、異常の判断の信頼性が向上する。図７には、本発明の実施例でニューラルネットワークに学習させるパターンを示す。すなわち、川の流れ表面の画像を最終的に１０×１０の１００個の入力層ニューロンに入力し、本発明のニューラルネットワークで影なし、影あり／正常な場合（６パターン）および油が浮いている／異常な場合（５パターン）を学習させた。このネットワークに、川の表面の中に油が漏れた場合の画像を入力したところ、影の中に油が漏れた場合でも異常と認識することができた。従来の画像処理による判断では、まず影が川の表面の中にある場合、ない場合をともに正常と判断することは容易でなく、また影の中の油漏れの検出は困難であった。
・・・
【０１０２】
図９には、影の中の油の検知テストを行った結果を示す。影の面積によらず、約３％以上の面積割合の油漏れは、影の中でも検知できることがわかる。本発明の他の実施例としては、画像の種類が可視画像に限らず、赤外線カメラによる熱画像に対しても実施可能である。検知または認識しようとする対象物の画像の信号として、輝度信号ではなく、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を入力層にインプットして、学習させ、対象物の異常を判断するシステムにも、本発明の実施が可能である。この効果としては、微妙な色合い、色のむらなどの検出に有効である。」

第５．当審の判断

第５−１．理由１（進歩性）について

１ 甲１を主引用例とする本件発明１の進歩性について

（１）本件発明１と甲１発明との対比

ア 構成１ａの「赤色異物を検出する対象である茶菓、薬品の錠剤、桜エビ等の原料」、「原料を流下するシュート」はそれぞれ、構成１Ａの「異物の混在がないことを確認する検査対象物」、「検査対象物を搬送する搬送手段」に相当する。

イ 構成１ｂの「光源」は構成１Bの「光照射手段」に相当する。

ウ 構成１ｃの「原料からの反射光を検出する単結晶シリコンセンサ及びアモルファスシリコンセンサ」は、構成１Ｄによれば本件発明１も検査対象物の「反射」光を検出するものであることから、検査対象物の反射光を検出する手段である点で、構成１Ｃの「撮像手段」と共通する。

エ 構成１ｄで、「色分解プリズム」により分解される原料からの反射光のうち、「６００〜６５０ｎｍの赤色」は、構成１ｅで「例えば原料が茶葉である場合には赤色系の茎を異物として選別し」とされるとおり、異物からの反射光に対応する色であるから、「色分解プリズム」により分解される「６００〜６５０ｎｍ」の波長は、構成１Ｄの「前記異物・・・が反射する特徴的な波長」に相当する。よって、構成１ｄの「色分解プリズム」は構成１Ｄの「波長強調手段」に相当する。

オ 構成１ｅの「例えば原料が茶葉である場合には赤色系の茎を異物として選別」することは構成１Ｅの「前記検査対象物の・・・前記異物・・・を識別する」ことに相当する。
また、構成１ｅにおいて前記「識別」を協働して行う「比率計回路」・「電圧比較器」・「エアー噴射装置を作動させるタイミング信号発生器」は併せて、構成１Ｅの「識別処理装置」に相当する。

カ 構成１ｆの「色分解プリズムを用いて、原料の反射光を赤色・緑色の波長に分解」することにおいて、上記エで説示したとおり、該分解された光のうち「６００〜６５０ｎｍ」の波長が「前記異物・・・が反射する特徴的な波長」に相当する。よって、構成１ｆの「色分解プリズム」は構成１Ｆ２の「第１のフィルタ」に相当し、構成１ｆにおいて原料の反射光を前記「赤色・・・に分解」するという「色分解プリズム」の機能は、構成１Ｆ２における「前記異物に特徴的な異物特定波長・・・を通過させて・・・、前記異物特定波長・・・を強調」するという「第１の光学フィルタ」の機能に相当する。

キ 構成１ｈの「前記シュートから流下する原料から赤色系の茎などの異物を排除する」との機能は、自由落下ではあるものの搬送しながらの異物識別であるといえるから、構成１Ｈ４の「前記異物・・・をインラインで識別する」ことに相当する。

（２）一致点・相違点
上記（１）のとおりであるから、本件発明１と甲１発明とは、下記アの点で一致し、下記イの各点で相違する。一致点の認定においては、構成１Ｆ１・１Ｆ２のように（「又は」で並列される）択一的な特定事項はまとめて一致点とした。以下、他の本件発明と甲号証との組み合わせについても同様である。

ア 一致点

「【請求項１】 １Ａ 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
１Ｂ 前記検査対象物に光を照射する光照射手段と、
１Ｃ’前記検査対象物の反射光を検出する手段と
１Ｄ 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
１Ｅ 前記検査対象物の前記良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
１Ｆ１ 前記波長強調手段は、 前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、
前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
１Ｆ２’ 又は、前記反射光を検出する手段に対し、第１の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて検出することで、前記異物特定波長及び／又は前記良品特定波長を強調し、
１Ｈ４ 前記異物又は前記良品をインラインで識別する、
１Ｉ 検査装置。」

イ 相違点

（ア）相違点１（構成１Ｃ・１Ｆ２〜１Ｈ３）
本件発明１は検査対象物の反射光の検出を「撮像手段」により行うのに対し、甲１発明は「単結晶シリコンセンサ及びアモルファスシリコンセンサ」なる単素子である点。

（イ）相違点２（構成１Ｇ２〜１Ｈ３）
本件発明１の「識別処理装置」は、「複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を有し、前記「識別手段」はさらに、「前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」するという機能を備え、ここでの「疑似ＲＧＢ映像」は「少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたもの」であるとの特定事項を備えるものであるのに対し、甲１発明の識別処理装置は、前記識別手段に相当する手段を備えない点。

（ウ）相違点３（構成１Ｇ１）
本件発明１の「識別処理装置」は、「前記撮像手段により撮像された映像を、光強度に応じた階調で正規化データとする手段」を備えるのに対し、甲１発明は相当する手段を備えない点。

（３）相違点の検討

ア 相違点１について

（ア）甲１発明は、シュートから流下する「茶菓、薬品の錠剤、桜エビ等の原料」について、該原料の各粒についてひとつの色情報を検出し、それに基づいて異物を除去選別する色彩選別器に関するものであり、こうした色彩選別器において、流下する各粒の色情報を撮像手段により検出することについて、提示された甲１〜甲８の何れにも開示がない。
（イ）また、光検出手段として撮像手段が周知慣用であるとしても、各粒に対し一つの色情報を取得する色彩選別器において、単センサによる各粒単位の色検出で足りるところ、検出手段を撮像手段に置き換える動機付けが存することが、証拠による裏付けなく直ちに明らかであるといえる理由は見いだせず、申立人もそうした理由について、異議申立書において特段主張しない。
（ウ）以上のとおりであるから、甲１発明において、検査対象物からの反射光の検出手段を撮像手段に置き換えて相違点１の構成とすることは、甲２〜甲８の記載、及び周知の技術事項を考慮してもなお、証拠及び動機付けを欠き、当業者が容易になし得たこととはいえない。

イ 相違点２について

（ア）相違点２に係る構成は、検査対象物が撮像手段により撮像され、該撮像による検査対象物の映像データが存在することを前提とするものである。
甲１発明において検出手段を撮像手段に置き換えることが容易想到性を欠くことは上記アで説示したとおりであるから、甲１発明において相違点２の構成とすることは、その前提においてすでに容易想到性を欠くといえる。

（イ）上記前提の点を措くとしても、相違点２のうち、構成１Ｇ２に係る、「複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を備える点、さらに該識別手段が「前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」すること、については、上記第４．１〜８に摘記したとおり、申立人が提示した甲１〜８の何れにも開示がない。以下個別に詳説する。

ａ 画像データの識別や分類にニューラルネットワークを用いることは甲４〜８にも記載されるが、構成１Ｇ２に係る、「識別手段」に「数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理」を「畳み込みニューラルネットワークによりディープラーニングさせ」ること、また、該「ディープラーニングさせた識別手段」を用いる手法については、甲１〜８に開示がない。

ｂ 甲４に記載された技術事項は、上記第４．５（３）で認定したとおり、画像データを１〜数次元の特徴量に変換して特徴量空間にプロットした分布データに対してニューラルネットワークのアルゴリズムを利用して分類するものであり、特徴量を生成される画像データは欠陥画像であり、「良品のみ」の画像ではなく、利用されるニューラルネットワークのアルゴリズムも、畳み込みニューラルネットワークではない。

ｃ 甲５に記載された技術事項において用いられるニューラルネットワークは、上記第４．６に摘記したとおり、「サポートベクタマシン」なるニューラルネットワークを用いた識別手法や、「ＡｄａＢｏｏｓｔ」なる学習モデルを用いることが開示されるのみで、相違点２に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲５において、該構成に相当する技術事項については開示がない。
また、「ここでは図３４に示すように、サンプル画像から選択した９１枚の画像の劣化度と特徴量（ＹＩＱのＩと明度）を学習用パターンとして用い、再度この学習用データのＩと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。」（【００３３】)と記載されるとおり、ニューラルネットワークを良品のみの画像データを用いて学習させるものでもない。

ｄ 甲６に記載された技術事項では、上記第４．４（１）に摘記され、また、同（２）で認定されたとおり、「主成分分析または、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓ（入力層と出力層のニューロン数（ユニット数）が同数であり、かつ、中間層（隠れ層）のニューロン数（ユニット数）が入力層（出力層）より少ない構成のニューラルネットワークであるＡｕｔｏ−Ｅｎｃｏｄｅｒを積み重ねて多層とした構成のニューラルネットワーク）の手法を用い」るものであり、相違点２に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲６において、該構成に相当する技術事項については開示がない。

ｅ 甲７に記載された技術事項は、上記第４．７で摘記した箇所に記載されるとおり、検査対象物の画像データに対し「競合学習型ニューラルネットワーク」を用いて以上の有無を判定する技術に関し、相違点２に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲７において該構成に相当する技術事項については開示がない。

ｆ 甲８に記載された技術事項は、上記第４．８で摘記した箇所に記載されるとおり、「入力層（Ｓ層）、中間層（ＡおよびＢ層）、出力層（Ｒ層）の４層よりなっている。これを機能的に分類するとＳ層→Ａ層をＳＴＥＰＩ：画像圧縮の機能、Ｂ層をＳＴＥＰＩＩ：特徴抽出の機能、Ｂ層→Ｒ層をＳＴＥＰＩＩＩ：判断機能の３つの機能を有している」ニューラルネットワーク（【００１８】）にて画像の異常を判断するものとされ、「畳み込みニューラルネットワーク」を用いることについて言及がない。また、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」すること、に相当する技術事項ついても開示がない。

ｇ その他、甲２・３には、そもそもニューラルネットワークを用いることについて言及がない。

（ウ）上記（ア）・（イ）の点を措くとしても、甲２〜８には、構成１Ｈ１にあたる「前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理」する点の開示がない。

ａ 本件発明１において、「疑似ＲＧＢ映像として処理」とし（構成１Ｈ１）、「疑似ＲＧＢ映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする」（構成１Ｊ）ことは、本件特許明細書【００２９】に「軽量化手段６１は、まず、撮像手段４により搬送中の検査対象物Ａを撮像した映像Ｄ１を、疑似ＲＧＢ映像Ｄ２とする。このとき、映像Ｄ１の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ映像Ｄ２とすることができる。」と説明されるとおり、異物や良品に応じて色（波長帯やスペクトル）が設定される異物特定波長や良品特定波長による画像データは、特殊な事例を除き、個々に、ＲＧＢのうち複数の成分により表現される色となる（例えば異物特定波長が黄色、良品特定波長が水色であれば、異物特定波長はＲとＧとの、良品特定波長はＧとＢとの成分をそれぞれ均等に有する）ところ、それをＲＧＢの単色（例えば異物特定波長はＲ、良品特定波長はＧ）に一対一に置き換えた映像とすることを意味すると解される。

ｂ 甲４では、上記第４．５に摘記したとおり、撮影画像のカラー（色）情報の扱いについて特段の言及はない。

ｃ 甲５〜７では、上記第４．６・４・７に摘記したとおり、カラー撮像データを用いることについては開示があるものの、ニューラルネットワークによる処理への入力前に、何らかの色合いを特定のＲＧＢの単色へと置き換えるような処理をすることについて開示はない。

ｄ 甲８でも、上記第４．８に摘記したとおり、カラー画像について、輝度信号やＲ・Ｇ・Ｂの色信号をニューラルネットワークに入力することについては言及があるものの、該各信号やその混色信号を、別の（疑似的な）ＲＧＢ信号に一対一に置き換えて前記入力することについては言及がない。

（エ）また、仮に、相違点２に係る、
「複数枚の良品のみの正規化データを用いて、正規化データから異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を設け、前記「識別手段」はさらに、「撮像手段により撮像された映像を疑似ＲＧＢ映像として処理し、再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、搬送手段による検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」する、
ようにすることが、甲号証に実質的に記載されるといえるか、または、該甲号証を参照するまでもなく周知であるとしても、相違点２に係る構成は撮像手段による対象物の撮像を前提とするから、甲１発明において相違点２の構成を備えるようにするためには、甲１発明の検出手段を撮像手段に置き換えた上で、さらに他の甲号証又は周知技術に基づいて相違点２に係る構成とすることを要する。しかし、前記「甲１発明の検出手段を撮像手段に置き換えた」構成は甲１に記載されたものではないから、特許法29条1項3号にいう、「その出願前日本国内または外国において頒布された刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明」とはいえない。よって、前記「甲１発明の検出手段を撮像手段に置き換えた」構成を前提として、他の甲号証又は周知技術に基づいて相違点２に係る構成とすることが当業者にとって容易想到であるとしても、それは特許法29条2項に規定する容易想到性には該当しない。

ウ 小括
上記ア・イのとおりであるから、相違点１・２に相当する技術事項は甲２〜８に開示がなく、相違点３について検討するまでもなく、本件発明１は、甲１発明及び甲２〜８に記載された事項に基づいて当業者が容易に発明できたものとはいえない。

２ 甲１を主引用例とする本件発明３の進歩性について

（１）対比・検討

ア 本件発明３は、本件発明１に対し、下記ア〜エの限定を加えて減縮したものにあたる。
（ア）本件発明１の構成１Ｆ１・１Ｆ２について、「異物特定波長」及び「良品特定波長」の属する波長範囲について数値限定を加え、構成１Ｆ２における波長の強調対象を、「前記異物特定波長及び前記良品特定波長」と、双方共である点を限定して、構成３Ｆ１・３Ｆ２とした。
（イ）構成１Ｇ１・１Ｇ２・１Ｈ３において、「正規化データ」を、さらにそれが「軽量化データ」である点を限定して構成３Ｇ１・３Ｇ２・３Ｈ３とした。
（ウ）構成３Ｋとして「前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つ、及び前記良品特定波長を少なくとも１つ、を強調し、」なる特定事項を追加した。
（エ）構成１Ｈ４について、識別対象を「良品」のみである点を限定して構成３Ｈ４とした。

イ よって、本件発明３と甲１発明とは、少なくとも上記相違点１・２の点で相違するといえる。

ウ しかし、相違点１・２が甲２〜８に記載された事項によっても容易想到でないことは、上記１（特に（３））で説示したとおりである。

エ よって、本件発明３は、甲１発明及び甲２〜８に記載された事項に基づいて当業者が容易に発明できたものではない。

３ 甲２を主引例とする本件発明１・３の進歩性について

（１）対比・検討
本件発明１・３のうち、上記相違点２に係る構成が甲１〜８の何れにも開示されていないことは、上記１（３）イ（特に（イ）・（ウ））で説示したとおりである。
また、本件発明３が本件発明１を減縮したものにあたることは上記２で説示したとおりである。
そうすると、本件発明１・３と甲２との間には、少なくとも上記相違点２と同様の相違点が存在し、該相違点は甲１・甲３〜８に記載された事項ではなく、該各甲号証の記載事項に基づいて当業者が容易に想到し得たものではない。
よって、本件発明１・３は、甲２発明及び甲１・甲３〜８に記載された事項に基づいて当業者が容易に発明できたものではない。

４ 甲３を主引例とする本件発明１・３の進歩性について
本件発明１・３のうち、上記相違点２に係る構成が甲１〜８の何れにも開示されていないことは、上記１（３）イ（特に（イ）・（ウ））で説示したとおりである。
また、本件発明３が本件発明１を減縮したものにあたることは上記２で説示したとおりである。
そうすると、本件発明１・３と甲３との間には、少なくとも上記相違点２と同様の相違点が存在し、該相違点は甲１・甲２・甲４〜８に記載された事項ではなく、該各甲号証の記載事項に基づいて当業者が容易に想到し得たものではない。
よって、本件発明１・３は、甲３発明及び甲１・甲２・甲４〜８に記載された事項に基づいて当業者が容易に発明できたものではない。

５ 甲６を主引例とする本件発明２の進歩性について

（１）本件発明２と甲６発明との対比

ア 構成６ａの「欠陥がある製品を検知する装置」、「半教師あり異常検知を用いた識別」を担うための手段、「半教師あり学習方法」はそれぞれ、構成２Ａの「検査装置」、「識別手段」、「学習方法」に相当する。

イ 構成６ｂの「物体の複数の分光情報を取得する分光カメラにより複数の分光情報を取得し、物体の多次元ベクトルデータである画像データ」は、構成ｂ２Ｂの「検査対象物を撮像した学習映像」に相当する。
また、構成６ｂの「カメラにより複数の分光情報を取得」することは、構成２Ｂの「異物が反射する特徴的な波長を異物特定波長として抽出する」ことと、共に分光画像を取得するものである点で共通する。

ウ 構成６ｃの「正常なモデル」は構成３Ｃの「良品」に相当する。
また、構成６ｃの「複数の多次元データからなる学習データを・・・外部装置に格納しておき、または撮像装置の撮像動作により生成」することは、構成２Ｃの「学習映像を複数枚準備する」ことに相当する。

エ（ア）構成６ｅの学習データは、構成６ｃの「正常なモデルに属する複数の多次元データからなる学習データ」にあたるから、構成２Ｅ１の「複数枚の前記良品のみの・・・データ」に相当する。
（イ）構成６ｅ〜６ｆの、「次元削減部・次元復元部・データ識別部が、入力された学習データを用いて、主成分分析または、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓ（入力層と出力層のニューロン数（ユニット数）が同数であり、かつ、中間層（隠れ層）のニューロン数（ユニット数）が入力層（出力層）より少ない構成のニューラルネットワークであるＡｕｔｏ−Ｅｎｃｏｄｅｒを積み重ねて多層とした構成のニューラルネットワーク）の手法を用いて学習され、そのうちＳｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの手法を用いた学習では、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓの学習は、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓを構成する複数のＡｕｔｏ−Ｅｎｃｏｄｅｒ毎に、学習データ１０００を用いて、第１のＡｕｔｏ−Ｅｎｃｏｄｅｒの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行うことにより、次元削減部及び次元復元部の学習を行うものであり、誤差算出部が、次元削減部に入力された学習データと、次元復元された学習データとの差分（誤差）を計算し、前記差分（誤差）を多次元空間にプロットして正常なデータを表す集合（ポジティブモデル）を生成し、識別対象データが異常値データであるか否かを識別できるように、データ識別部が学習される」工程は、データ識別部に対し「識別対象データが異常値データであるか否かを識別できるよう」「学習」させる一連の手順を特定するものであるから、構成２Ｅ２の、「前記異物又は前記良品を識別する処理を、前記識別手段に」「ラーニングさせる」すなわち学習させることに相当する。

オ 構成６ｇの「半教師あり学習方法」は、構成２Ｇの「識別手段の学習方法」に文言上相当する。

（２）一致点・相違点
上記（１）のとおりであるから、本件発明２と甲６発明とは、下記アの点で一致し、下記イの各点で相違する。

ア 一致点

「２Ａ 検査装置の識別手段の学習方法であって、
２Ｂ’ 検査対象物を撮像した学習映像から分光画像を取得するステップと、
２Ｃ’ 良品のみを撮像した、学習映像を複数枚準備するステップと、
２Ｅ２’ 複数枚の前記良品のみのデータを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に学習させるステップと、を含み、
２Ｇ 識別手段の学習方法。」

イ 相違点

（ア）相違点２−１（構成２Ｂ）
検査対象物が本件発明１では「異物の混在がないことを確認する」ものであるのに対し、甲６発明は相当する特定がなされていない点。

（イ）相違点２−２（構成２Ｂ）
本件発明１が、「前記異物が反射する特徴的な波長を異物特定波長として抽出する」工程を備えるのに対し、上記（ア）のとおり異物確認を少なくとも明示的な目的としない甲６発明は、相当する工程を備えない点。

（ウ）相違点２−３（構成２Ｃ・２Ｈ）
準備される学習映像が、本件発明１では「良品特定波長を含む疑似ＲＧＢ」の学習映像でああり、さらに該「疑似ＲＧＢ学習映像」が「少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたもの」であるのに対し、甲６発明は、学習映像（学習データ）について良品特定波長を含むものとするとの特定事項も、その疑似ＲＧＢ映像とするとの特定事項も備えない点。

（エ）相違点２−４（構成２Ｄ・２Ｅ１）
本件発明１が「前記疑似ＲＧＢ学習映像」を識別手段に学習させるにあたり、「光強度に応じた階調で正規化し、正規化データとする」工程を備えるのに対し、甲６発明は、相違点２−３に関係して、そもそも前提となる「疑似ＲＧＢ学習映像」の生成を行わないことに加え、それを正規化して正規化データとするを工程も備えない点。

（オ）相違点２−５（構成２Ｅ２）
識別手段への学習が、本件発明１では「自己符号化器を用いた再構成又は
輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニング」であるのに対し、甲６発明では、「主成分分析または、Ｓｔａｃｋｅｄ Ａｕｔｏ−Ｅｎｃｏｄｅｒｓ（入力層と出力層のニューロン数（ユニット数）が同数であり、かつ、中間層（隠れ層）のニューロン数（ユニット数）が入力層（出力層）より少ない構成のニューラルネットワークであるＡｕｔｏ−Ｅｎｃｏｄｅｒを積み重ねて多層とした構成のニューラルネットワーク）」である点。

（カ）相違点２−６（構成２Ｆ）
本件発明１は「前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す」との工程を備えるのに対し、甲６発明は、そもそも「畳み込みニューラルネットワーク」を用いるとの前提を欠き、「畳み込みニューラルネットワーク」特有の「カーネル」に関連する「カーネル画像を取り出す」に相当する構成も備えない点。

（３）相違点の検討
事案に鑑み、相違点２−５・２−３について先に検討する。

ア 相違点２−５・２−６について
上記１（３）イ（イ）で各甲号証の記載事項について説示し、また、上記第４．１〜８に摘記したとおり、画像データの識別や分類にニューラルネットワークを用いることは甲４〜８にも記載されるが、相違点２−５に係る、「識別する処理」を「識別手段」に「畳み込みニューラルネットワークによりディープラーニングさせ」ることについては、甲１〜８に開示がない。
よって、また、相違点２−６に係る、前記相違点２−５に係る「畳み込みニューラルネットワーク」の使用を前提とした、「畳み込みニューラルネットワークの中で、カーネル画像を取り出す」工程についても、相当する工程の開示は当然に甲１〜８中にない。
よって、甲６発明において、学習するニューラルネットワークを畳み込みニューラルネットワークとして相違点２−５・２−６の構成とすることは、甲１〜５・甲７・甲８の記載事項に基づいて当業者が容易に想到し得たことではない。

イ 相違点２−３について
上記１（３）イ（ウ）で各甲号証の記載事項について説示し、また、上記第４．１〜８に摘記したとおり、甲１〜８には、撮像した映像をニューラルネットワークに入力するにあたり疑似ＲＧＢ映像とする点の開示がない。
よって、使用するニューラルネットワークの種別に関する相違を措くとしてもなお、甲６発明において、相違点２−３の構成とすることは、甲１〜５・甲７・甲８の記載事項に基づいて当業者が容易に想到し得たことではない。

ウ 小括
上記ア・イのとおりであるから、他の相違点について検討するまでもなく、本件発明２は甲６発明及び甲１〜５・甲７・甲８の記載事項に基づいて当業者が容易に発明できたものとはいえない。

６ 甲６を主引例とする本件発明３・４の進歩性について

（１）本件発明４・５と甲６発明との対比

ア 本件発明２と甲６発明との相違点と共通する相違点について
本件発明２と本件発明４・５とは、構成２Ａ〜２Ｃ（構成４Ａ〜４Ｃ・構成５Ａ〜５Ｃ）、構成２Ｆ〜２Ｈ（構成４Ｆ〜４Ｈ・構成５Ｆ〜５Ｈ）が共通する。
また、構成２Ｅ２のうち、「前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含」む点は相互に共通する（構成４Ｅ・５Ｅ）。
そうすると、本件発明４・５と甲６発明との間には、上記相違点２−１〜２−３・２−６と同様の相違点が共通に存在するといえる。
また、本件発明４と甲６発明との間には、上記相違点２−５と同様の相違点が存在する。

イ 構成５Ｅ２について
構成５Ｅ２は、構成２Ｅの「記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み」なる特定事項から、「自己符号化器を用いた再構成」を削除する減縮を施したものにあたる。
そうすると、相違点２−５が容易想到性を欠くのであれば、当然に本件発明５の構成５Ｅ２の構成とすることも容易想到性を欠くこととなる。

（２）相違点の検討
上記相違点２−３・２−５・２−６について、甲１〜８の記載事項によっても容易想到性を欠くことについては、上記５（３）で説示したとおりである。
そうすると、上記（１）アのとおり、本件発明４・５が本件発明２と、甲６発明との相違点２−３及び２−６を共有すること、また、本件発明５の構成５Ｅ２について上記（１）イの事情があることを考慮すれば、他の相違点について検討するまでもなく、本件発明４・５は、甲６発明及び甲１〜５・甲７・甲８の記載事項に基づいて当業者が容易に発明することができたものとはいえない。

７ 申立人の主張について

（１）本件発明１・３の進歩性について

ア 申立人は上記相違点２に関係し、「「前記識別処理装置」が、「複数枚の前記良品のみの前記データを用いて、前記データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」、を有し、「前記識別手段は、前記撮像手段により撮像された前記映像を処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記データから再構成された画像と前記データとのピクセルごとの差分を計算し、前記異物又は前記良品をインラインで識別する」点についても、甲第６号証に例示されるとおり、周知である。」旨主張する（異議申立書３０・３５頁）。
しかし、「畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」について甲６をはじめ、申立人が提出した何れの甲号証にも開示がないことは上記のとおりであるから、前記主張は失当である。

イ 申立人は、「「ＲＧＢ映像」をニューラルネットワークで処理する点についても、甲第７号証、甲第８号証に例示されるとおり、周知である。」旨主張する（異議申立書３０・３６頁）。
これは相違点２のうち「疑似ＲＧＢ映像として処理」する点についての主張と理解される。
しかし、本件発明１・３における該「疑似ＲＧＢ映像として処理」とは、単にＲＧＢ映像のことを指すのではなく、上記第５−１．１（３）イ（ウ）ａで認定したとおり、異物特定波長や良品特定波長を（通常ＲＧＢの中間色であるそれらとは異なる）ＲＧＢいずれかの単色画像に置き換えることを指すと理解すべきであるところ、申立人の前記主張は、本件発明１の技術内容を正しい理解に基づくものとはいえず、前記主張は失当である。

（２）本件発明２・４・５の進歩性について

ア 申立人は本件発明２と甲６発明との対比において、構成２Ａ・２Ｅ１〜２Ｇにあたる「検査装置の識別手段の学習方法であって、複数枚の前記良品のみの前記正規化データを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、識別手段の学習方法。」が甲６に記載されている旨主張する。
しかし、該各構成が相違点２−４〜２−６において甲６発明と相違すること、該各相違点について他の甲号証に相当する記載が見いだせないことは、上記５（３）で説示したとおりであるから、当該主張は失当である。
また、本件発明４・５についての同様の主張についても、同様に失当である。

イ 申立人は「疑似ＲＧＢ映像」についても上記（１）イと同様の主張をするが、これについても上記（１）イで説示したとおり、失当である。

８ まとめ
以上１〜７のとおりであるから、本件発明１〜５は、申立人が提出した甲１〜甲８に記載された発明及び技術事項に基づいて当業者が容易に発明をすることができたものではない。

第５−２．理由２（明確性要件）について

１ 構成１Ｆ１・１Ｆ２について

（１） 構成１Ｆ２の「前記撮像手段に取付けた第１の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで、前記異物特定波長及び／又は前記良品特定波長を強調し、」なる特定事項には、異物に特徴的な異物特定波長を通過させて撮像することで良品特定波長を強調すること、また、逆に、良品に特徴的な良品特定波長を通過させて撮像することで異物特定波長を強調すること、なる技術事項も含む。
しかし、ある波長の光をＡ・Ｂ一方の物品しか反射しない場合に、Ａ・Ｂが共存するとき、該波長の光での反射画像において、該波長を反射する方の物品は画像の明部となって、反射しない方の物品は画像の影（暗部）となって、何れも強調され得ることは、技術常識である。
該技術常識に照らし、前記構成１Ｆ２に含まれる前記技術事項は何れも、技術的に欠陥があるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成３Ｆ２についても同様である。

（２） 構成１Ｆ１に含まれる、「前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、前記異物に特徴的な異物特定波長・・・を強調するように選択された光を照射し、・・・前記良品特定波長を強調」すること、及び、「前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、・・・前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、・・・前記異物特定波長・・・を強調」することについても、上記（１）で説示したものと同様の理由により、技術的に欠陥があるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成３Ｆ１についても同様である。

（３）構成１Ｆ１・１Ｆ２等に含まれる、「前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長」なる特定事項については、異物や、異物が混入しうる物品について、本件特許の特許請求の範囲及び明細書を通じ、特段の限定がなく、種々の物品や異物が想定されていると理解されるから、異物や良品の分光反射特性についても、狭帯域の反射スペクトルピークを持つ場合から、広帯域で反射能を呈する場合まで含まれるといえる。
そして、２つの物品において分光反射特性に相違があれば、反射率が等しくない特定の波長や波長帯での反射画像を比較することで両物品を分別しうること、該分別を容易にする波長は、２つの物品個別の分光反射特性のほか、両者の分光反射特性の関係によっても相違すること、は何れも技術常識であるといえる。
また、構成１Ｄの「前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段」なる特定事項を考慮すれば、構成１Ｆ１ほかの「前記異物に特徴的な異物特定波長」も反射波長についていうものであることが明確に理解できる。
また、物品について相対的に大きな吸光度を示す波長は、相対的に分光反射率が小さい波長に対応することは、この性質を利用して分光反射測定を通じて分光吸光度測定を行う技術が周知であることに照らしても、技術常識であるといえるから、仮に「異物特定波長」が吸光波長についていうものであると解しても、本件発明１の技術的理解を損ねるとか、技術的な欠陥や理解できない事項が生じるとはいえない。
また、前記各特定波長の選択は、疑似ＲＧＢの各色との対応付けにより影響されるものではない（単に特定波長を便宜上ＲＧＢのいずれかの単色に割り当てて表示やニューラルネットワークへの入力に供するに過ぎない）から、構成１Ｊに係る特定事項により前記特定事項が不明確になるともいえない。
構成３Ｆ１・３Ｆ２についても同様である。

３ 構成１Ｈ１・１Ｊについて
「疑似ＲＧＢ映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする」との特定事項の理解については、上記第５−１．１（３）イ（ウ）ａで説示したとおりであり、一般的にはＲＧＢの中間色となるであろう各特定波長の画像データがＲＧＢのうち一色のデータに置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存するということができる。
よって、構成１Ｊの特定事項については、技術的意義が不明確であるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成３Ｈ１・３Ｊ・２Ｈ・４Ｈ・５Ｈ・２Ｃ・４Ｃ・５Ｃについても同様である。

４ まとめ
以上のとおりであるから、上記１〜３で取り上げた以外の特定事項も含め、特許を受けようとする本件発明１〜５は明確であり、技術的な不備があるということもなく、特許請求の範囲の記載は、特許法第36条第6項第2号の要件を満たすものである。

第５−３．理由３（サポート要件）について

１ 構成１Ｆ１・１Ｆ２・３Ｆ１・３Ｆ２について

（１） 構成１Ｆ１・１Ｆ２・３Ｆ１・３Ｆ２については、本件特許明細書の【００２４】〜【００２７】・【００４５】・【００４８】・【００４９】において、下記（２）に摘記したとおり説明されている。特に、撮像（照射）波長と強調対象とが相違する形態については、上記第５−２．１（１）・（２）で説示したとおり、技術常識に基づいてその実現可能性が導けるほか、本件特許明細書の【００４５】に「実施形態の食品検査装置１では、波長強調手段５は、良品Ｓが反射する良品特定波長Ｗｓを強調する。これにより、検査対象物Ａから異物Ｆｎを識別できるとともに、良品Ｓを識別することができる。」なる、良品特定波長を強調することで異物も識別できる旨の記載があり、この記載から、逆に、異物特定波長を強調することで良品を識別できることも自明であるといえる。
よって、構成１Ｆ１・１Ｆ２・３Ｆ１・３Ｆ２に係る技術事項については、本件特許明細書中において記載・示唆されるとともに、少なくとも該記載や示唆から、出願時の技術常識に照らし、拡張ないし一般化できる範囲のものであるといえる。

（２）「【００２４】
＜波長強調手段の構成−１＞
波長強調手段５は、検査対象物Ａ中の食品Ｂの良品Ｓ又は異物Ｆｎの少なくとも一方が反射する特徴的な波長Ｗｎを強調する。波長強調手段５は、例えば、光照射手段３又は撮像手段４に取付けた第１の光学フィルター５１を用いて、異物Ｆ１に特徴的な異物特定波長（第１の異物特定波長）Ｗｆ１を少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調する。本実施形態では、異物Ｆ１以外の異物Ｆ２に特徴的な第２の異物特定波長Ｗｆ２も、第２の光学フィルター５２を用いて同時に強調する。
【００２５】
＜波長強調手段の構成−２＞
第１の光学フィルター５１及び第２の光学フィルター５２には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段４がＣＣＤカメラである場合、第１の光学フィルター５１及び第２の光学フィルター５２として、ＣＣＤカメラのＣＣＤセルのウェル電圧及び／又はサブストレート電圧を外部から制御するＣＣＤセル電圧外部制御装置であってもよい。ＣＣＤセル電圧外部制御装置を用いれば、一般的に入手できる３ＣＣＤタイプのＣＣＤカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び／又はサブストレート電圧を制御することで、撮像素子に入り込む光子（波長によりエネルギー量が異なる）が電荷パケットに入る応答特性を変化させることが可能となり、異物Ｆに特徴的な異物特定波長Ｗｆを少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調することができる。
【００２６】
＜波長強調手段の構成−３＞
さらに、波長強調手段５は、第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２に加えて、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓも強調可能になっている。なお、第１の光学フィルター５１及び第２の光学フィルター５２は、それぞれ逆の特定波長を強調するように構成されてもよい。
【００２７】
＜波長強調手段の構成−４＞
これらの第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓは、前もって検査対象物Ａを撮像し、得られた映像Ｄ０から抽出しておく必要がある。
・・・
【００４５】
＜実施形態の効果−２＞
実施形態の食品検査装置１では、波長強調手段５は、良品Ｓが反射する良品特定波長Ｗｓを強調する。これにより、検査対象物Ａから異物Ｆｎを識別できるとともに、良品Ｓを識別することができる。検査対象物Ａ（食品Ｂ）から良品Ｓ及び異物Ｆｎを識別できるため、良品Ｓ及び異物Ｆｎの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
・・・
【００４８】
＜変形例の説明−１＞
食品検査装置１の変形例を説明する。
上記実施形態では、波長強調手段５は、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓの合計３つの波長を強調したが、少なくとも１つの第１の異物特定波長Ｗｆ１（Ｗｆ２）と、少なくとも１つの良品特定波長Ｗｓとを強調してもよく、第１の異物特定波長Ｗｆ１のみを強調してもよい。少なくとも、第１の異物特定波長Ｗｆ１を強調することで、食品Ｂの中から異物Ｆｎを識別することができる。あるいは、良品特定波長Ｗｓのみを強調してもよい。なお、異物特定波長Ｗｆ及び良品特定波長Ｗｓを合計４つ以上強調するように構成してもよい。
【００４９】
＜変形例の説明−２＞
上記実施形態では、波長強調手段５は、補光器に取付けた第２の光学フィルター５２でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばＬＥＤ素子や半導体レーザーであってもよい。ＬＥＤ素子であれば、ＬＥＤチップに含まれる材料の種類を変更することで、２００ｎｍから１０００ｎｍ程度の領域内で、所望の波長範囲の光を放出するように構成することができる。」

２ 構成１Ｊ・３Ｊ・２Ｈ・４Ｈ・５Ｈについて

（１）ア 構成１Ｊ・３Ｊ・２Ｈ・４Ｈ・５Ｈに係る「疑似ＲＧＢ映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする」との特定事項の理解については、上記第５−１．１（３）イ（ウ）ａで説示したとおりであり、一般的にはＲＧＢの中間色となるであろう各特定波長の画像データがＲＧＢのうち一色のデータ（疑似ＲＧＢ）に疑似的に置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存する。
イ また、異物・良品各特定波長は、それぞれに割り当てられる疑似ＲＧＢの各単色とは無関係であるから、疑似ＲＧＢ映像とすることで異物や良品の識別が影響を受けるということもない。
ウ また、前記特定事項に関しては、下記（２）摘記したとおり、本件特許明細書の【００３５】に説明が記載されており、ここでの「学習映像ｄ１中の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させる」との説明が、上記アの理解を裏付ける。
エ 以上のとおりであるから、上記特定事項が請求項に記載されている事項が、発明の詳細な説明中に記載も示唆もされていないとはいえない。

（２）「【００３５】
＜学習映像準備ステップの説明−１＞
学習映像準備ステップＳ２では、特定波長抽出ステップＳ１で抽出された第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを強調する波長強調手段５を用い、撮像手段４で検査対象物Ａを撮像する。そして、撮像した学習映像ｄ１から、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを含む疑似ＲＧＢ学習映像ｄ２を作成し、複数枚、例えば１０００枚以上準備する。このとき、学習映像ｄ１中の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ学習映像ｄ２が得られる。」

３ まとめ
以上のとおりであるから、上記１・２で取り上げた以外の特定事項も含め、特許を受けようとする本件請求項１〜５に記載されている事項は、本件特許明細書中において記載・示唆されるものであるといえ、特許請求の範囲の記載は、特許法第36条第6項第1号の要件を満たすものである。

第５−４．理由４（実施可能要件）について

１ 構成１Ｆ１・１Ｆ２・３Ｆ１・３Ｆ２について
上記第５−２．１（１）・（２）及び第５−３．１で説示したとおり、構成１Ｆ１・１Ｆ２・３Ｆ１・３Ｆ２に係る特定事項については、本件特許明細書の【００２４】〜【００２７】・【００４５】・【００４８】・【００４９】において説明されている。
特に、撮像（照射）波長と強調対象とが相違する形態については、上記第５−２．１（１）・（２）に説示したとおり、それ自体、技術常識に基づけばその実現可能性を導くことができるものであるし、さらに上記第５−３．１でで説示したとおり、特に本件特許明細書の【００４５】に「実施形態の食品検査装置１では、波長強調手段５は、良品Ｓが反射する良品特定波長Ｗｓを強調する。これにより、検査対象物Ａから異物Ｆｎを識別できるとともに、良品Ｓを識別することができる。」なる、良品特定波長を強調することで異物も識別できる旨の記載があり、この記載から、逆に、異物特定波長を強調することで良品を識別することが技術的に可能であることも自明であるといえる。

２ 構成１Ｊ・３Ｊ・２Ｈ・４Ｈ・５Ｈについて

（１）構成１Ｊ・３Ｊ・２Ｈ・４Ｈ・５Ｈに係る「疑似ＲＧＢ映像は、少なくとも１つの異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする」との特定事項の理解については、上記第５−１．１（３）イ（ウ）ａで説示したとおりであり、一般的にはＲＧＢの中間色となるであろう各特定波長の画像データがＲＧＢのうち一色のデータ（疑似ＲＧＢ）に疑似的に置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存するということができる。

（２）前記特定事項に関しては、上記第５−３．２（２）摘記したとおり、本件特許明細書の【００３５】に説明が記載されている。
ここでの「学習映像ｄ１中の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させる」との説明が、上記アの理解を裏付ける。
そして、カラー画像データの処理において、画像中のある種の色に別の特定の色を割り当てて表示等行う技術は、「擬似カラー表示」などの通称が存在するほどに一般的な技術であるから、本件発明において、検査対象物のカラー画像において、任意の各特定波長をＲＧＢいずれかの単色に置き換えるようにデータ変換することは、前記一般的な技術の適用によって当業者が容易に実施することができるといえる。

３ まとめ
以上のとおりであるから、上記１・２で取り上げた以外の発明特定事項に関する事項も含め、発明の詳細な説明の記載は，発明が解決しようとする課題及びその解決手段その他のその発明の属する技術の分野における通常の知識を有する者が発明の技術上の意義を理解するために必要な事項を，その発明の属する技術の分野における通常の知識を有する者がその実施をすることができる程度に明確かつ十分に記載したものであるといえ、明細書の記載は、特許法第36条第4項第1号の要件を満たすものである。

第６．むすび
したがって、特許異議の申立ての理由及び証拠によっては、請求項１〜５に係る特許を取り消すことはできない。
また、他に請求項１〜５に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
 
異議決定日 2022-07-06 
出願番号 P2019-109491
審決分類 P 1 651・ 537- Y (G01N)
P 1 651・ 121- Y (G01N)
P 1 651・ 536- Y (G01N)
最終処分 07   維持
特許庁審判長 福島 浩司
特許庁審判官 ▲高▼見 重雄
樋口 宗彦
登録日 2021-09-06 
登録番号 6940215
権利者 株式会社ブレインパッド キユーピー株式会社
発明の名称 検査装置及び検査装置の識別手段の学習方法  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ