• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  G01N
審判 全部申し立て 特36条6項1、2号及び3号 請求の範囲の記載不備  G01N
審判 全部申し立て 特36条4項詳細な説明の記載不備  G01N
管理番号 1387521
総通号数
発行国 JP 
公報種別 特許決定公報 
発行日 2022-08-26 
種別 異議の決定 
異議申立日 2022-02-14 
確定日 2022-07-15 
異議申立件数
事件の表示 特許第6940215号発明「検査装置及び検査装置の識別手段の学習方法」の特許異議申立事件について、次のとおり決定する。 
結論 特許第6940215号の請求項1ないし5に係る特許を維持する。 
理由 第1.手続の経緯

特許第6940215号の請求項1〜5に係る特許についての出願は、平成29年8月22日(優先権主張 平成28年8月22日)を国際出願日とする特願2018−529319号の一部を、令和元年6月12日に新たな特許出願としたものであって、令和3年9月6日にその特許権の設定登録がされ、令和3年9月22日に特許掲載公報が発行された。
その後、その特許に対し、令和4年2月14日に特許異議申立人 平賀博 (以下「申立人」という。)が本件特許異議の申立てを行った。

第2.本件発明

特許第6940215号の請求項1〜5の特許に係る発明(以下、それぞれ「本件発明1」〜「本件発明5」という。)は、それぞれ、その特許請求の範囲の請求項1〜5に記載された事項により特定される次のとおりのものである。後の便宜のため、各構成単位冒頭に「1A」などと分説番号を付し、以下、該各構成単位を分説番号を用いて「構成1A」などと呼ぶ。

「 【請求項1】
1A 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
1B 前記検査対象物に光を照射する光照射手段と、
1C 前記検査対象物の映像を撮像する撮像手段と、
1D 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
1E 前記検査対象物の前記良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
1F1 前記波長強調手段は、
前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
1F2 又は、前記撮像手段に取付けた第1の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで、前記異物特定波長及び/又は前記良品特定波長を強調し、
1G1 前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化データとする手段と、
1G2 複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
1H1 前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、
1H2 前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、
1H3 前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算し、
1H4 前記異物又は前記良品をインラインで識別する、
1I 検査装置。
1J ただし、疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
【請求項2】
2A 検査装置の識別手段の学習方法であって、
2B 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
2C 良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
2D 前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
2E1 複数枚の前記良品のみの前記正規化データを用いて、
2E2 前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
2F 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
2G 識別手段の学習方法。
2H ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
【請求項3】
3A 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
3B 前記検査対象物に光を照射する光照射手段と、
3C 前記検査対象物の映像を撮像する撮像手段と、
3D 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
3E 前記検査対象物の良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
3F1 前記波長強調手段は、
前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
3F2 又は、前記撮像手段に取付けた第1の光学フィルターを用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで前記異物特定波長及び前記良品特定波長を強調し、
3G1 前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた階調で正規化し、軽量化データとする軽量化手段と、
3G2 前記軽量化データから前記異物又は前記良品を識別する処理を、複数枚の良品のみの前記軽量化データを用いて、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段と、を有し、
3K 前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つ、及び前記良品特定波長を少なくとも1つ、を強調し、
3H1 前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、
3H2 前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、また、
3H3 前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記軽量化データから再構成された画像と前記軽量化データとのピクセルごとの差分を計算し、
3H4 前記良品をインラインで識別する、
3I 検査装置。
3J ただし、疑似RGB映像は、第1の異物特定波長、第2の異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
【請求項4】
4A 検査装置の識別手段の学習方法であって、
4B 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
4C 良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
4D 前記疑似RGB学習映像を、光強度に応じた階調で正規化し、軽量化学習データに軽量化するステップと、
4E2 前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
4F 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
4G 識別手段の学習方法。
4H ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。
【請求項5】
5A 検査装置の識別手段の学習方法であって、
5B 異物の混在がないことを確認する検査対象物を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として抽出するステップと、
5C 良品のみを撮像した、良品特定波長を含む疑似RGB学習映像を複数枚準備するステップと、
5D 前記疑似RGB学習映像を、光強度に応じた階調で正規化し、正規化データとするステップと、
5E1 複数枚の前記良品のみの前記正規化データを用いて、
5E2 前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、
5F 前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、
5G 識別手段の学習方法。
5H ただし、疑似RGB学習映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする。」

第3.申立理由の概要

1 申立理由の概要

(1) 理由1(進歩性):
ア 請求項1・3に係る発明は、下記甲1〜3のいずれかに記載された発明及び周知技術に基づき、当業者が容易に発明することができたものであるから、請求項1・3に係る特許は、特許法第29条第2項の規定に違反してされたものであり、請求項1・3に係る特許は取り消されるべきものである。

イ 請求項2・4・5に係る発明は、下記甲6に記載された発明及び周知技術に基づき、当業者が容易に発明することができたものであるから、請求項2・4・5に係る特許は、特許法第29条第2項の規定に違反してされたものであり、請求項2・4・5に係る特許は取り消されるべきものである。

(2)理由2(明確性要件):
本件特許は、特許請求の範囲の請求項1〜5の記載が明確性要件を欠くから、特許法第36条第6項第2号に規定する要件を満たしていない特許出願に対してされたものである。

(3)理由3(サポート要件):
ア 本件特許は、特許請求の範囲の請求項1〜5の記載がサポート要件を欠くから、特許法第36条第6項第1号に規定する要件を満たしていない特許出願に対してされたものである。

イ 上記アについて、異議申立書においては具体的な理由が請求項1・3の記載についてしか示されていない。

(4)理由4(実施可能要件
ア 本件特許は、明細書の記載が実施可能要件を欠くから、特許法第36条第6項第1号に規定する要件を満たしていない特許出願に対してされたものである。

イ 上記アについて、異議申立書においては具体的な実施可能要件欠如の理由が請求項1・3に係る発明に関するものしか示されていない。

2 甲号証
申立人が提出した甲号証は下記のとおり。何れも本件特許出願の優先日前に公知となったものであり、以下、「甲第1号証」〜「甲第8号証」をそれぞれ「甲1」〜「甲8」という。

甲第1号証(甲1):特開平3−78634号公報
甲第2号証(甲2):特開2006−118896号公報
甲第3号証(甲3):特開2012−7952号公報
甲第4号証(甲4):特開2014−178229号公報
甲第5号証(甲5):特開2014−178328号公報
甲第6号証(甲6):特開2016−85704号公報
甲第7号証(甲7):特開2010−8159号公報
甲第8号証(甲8):特開平6−119454号公報

第4.甲号証の記載

1 甲1に記載された事項

(1)甲1の記載事項

ア 明細書の記載事項

(記載1LL)(1頁左下欄 特許請求の範囲欄)
「 原料をV溝を備えたシュートに連続供給する供給手段と、シュートに沿って落下過程にある原料を照射する光源をもつ照射手段と照射された反射光を検出する光学検出器を備え、光学検出器で原料中の色調の異った異物を検出するとエアーバルブのエアー噴射器で異物を排除する色彩選別装置において、前記光学検出器は入射光を2色の波長に分解する色分解プリズムを備え、更にこの色分解プリズムに対応させ、赤の波長には単結晶シリコンセンサ、緑波長はアモルファスシリコンセンサを配置させ各波長による電気信号を受け、この信号を増幅器で増幅及び赤色、緑色出力電圧にオフセット電圧をつけることを特徴として色分解プリズムを用いた色彩選別装置。」

(記載1LR)(1頁右下欄1〜6行)
「[産業上の利用分野]
本発明はシュートを整列して流下する茶菓、薬品の錠剤、桜エビ等の原料中より光学検出装置で原料の中から色調の異った赤色異物を検出して除去する機構をもった色分解プリズムを用いた赤色色彩選別装置に関するものである。」

(記載2UL)(2頁左上欄3行〜右上欄4行)
「 次に本発明に係る色分解プリズムを用いた赤色色彩選別装置の一実施例を図面に基いて説明する。1は傾斜したV溝を備えた第1シュートで、電磁フィーダー2で連続して供給された原料例えば茶菓を一列に整列して第1シュート1に沿って選別位置まで一定速度で滑落し放出される。この第1シュートから放出される原料の茶葉は、放出後外力を加えなければ間隔をおいて配した第2シュート3に沿って滑落して取出される。
4は照明用ランプの光源で、光源4から発する光を、第1シュユート1から滑落する過程の原料茶菓に照射する。
5は、光学検出器で、光源4からの光を原料茶菓に向けて照射し、その光の反射光を検出し、原料の中より色調の異った葉と赤色系の茎を見分けるようにする。(この茶菓の中には葉〔濃い緑色〕と茎〔黄色〕と古い茎〔こげ茶〕のものが含まれ、同じ形状のもので光の反射の強さを比較すると、茎>古い茎≧葉になり、古い茎と葉を選別することは難しい。)」

(記載2UR)(2頁右上欄10行〜右下欄8行)
「 光はレンズ6を透して色分解プリズムPに入射し、この光を赤色、緑色の波長に分解する。この時の波長は第3図に示すように緑色が400nm〜600nm、赤色は600nm〜650nmとする。7はエアー噴射装置で、第2図のブロック図に示すように、前記第1シュート1を一列に整列して滑落し放出される落下過程で、原料茶葉に照射した光源4からの光の反射光は、光学検出器5に設けたレンズ6から色分解プリズムPに入射し、2つの前記赤色、緑色波長に分解される。
色分解プリズムPは相対させて赤の波長のものは単結晶シリコンセンサ8、緑の波長のものはアモルファスシリコンセンサ8aを設置してこれら単結晶シリコンセンサ8、アモルファスシリコンセンサ8aをもって信号を受け、この夫々の信号は増幅器9,9aで増幅され、またオフセット電圧の設定を行い、アナログ演算素子やマイクロコンピュータ等の比率計回路10に入力する。この比率計回路10では


の計算を行い、光がセンサにこない時(選別原料が回路が通過してないとき)でも比率計算回路が誤動作しないように増幅器で緑色及び赤色出力電圧にオフセット電圧をつけるようにしである。このオフセット電圧によって、比率計算回路の出力電圧値Vcは第4図のごとく(A)(B)の2種類の状態を持つことができる。(A)のグラフは種々の選別材料の中より赤色の異物を選別するときのもの、(B)のグラフは赤色の材料の中より、他の色の異物を選別するときのものとなる。また電圧比較器11では、電圧値Vcと予め決められた設定値との比較を行うもので、設定値より小さい時、大きい時に電圧比較器11により比較し、タイミング信号発生器12より信号を発生させエジェクトバルブ駆動回路13により前記エアー噴射装置7のバルブを作用するようにしである。」

(記載3UL)(3頁左上欄3〜12行)
「更に前記電圧値と予め決められた電圧設定値との比較を電圧比較器11により比較し、タイミング信号発生器12より信号を発生させ、エジェクトバルブ駆動信号13によりエアー噴射装置17のバルブを作用しエアー噴射器でシュートを落下する異物を吹飛ばし排除するもので、光学検出器を色分解プリズムPを使用したことで、2つの波長で光の強さの比をとるため、赤色系の例えば茎を選別し異物として排除できる。」

イ 図面の記載事項

(ア)第1図




(イ)第2図



(ウ)第4図



(2)甲1に記載された発明
上記(1)の各記載事項から、甲1には次の発明(以下「甲1発明」という。)が記載されていると認める。分説番号については上記第2.で述べたとおりである。また、各構成単位末尾の括弧内に認定の根拠となる記載箇所を示す。以下、他の甲号証についても同様である。

「1a 赤色異物を検出する対象である茶菓、薬品の錠剤、桜エビ等の原料を流下するシュートと、(記載1LL・1LR・2UR)
1b シュートから放出・落下される原料を照射する照明用ランプからなる光源と、(記載1LL・2UL)
1c 原料からの反射光を検出する単結晶シリコンセンサ及びアモルファスシリコンセンサと、(記載2UR)
1d 前記反射光を600〜650nmの赤色、及び400〜600nmの緑色の波長に分解する色分解プリズムと、前記色分解プリズムで分解されたうち赤色の波長の光を検出する単結晶シリコンセンサと、同じく緑色の波長の光を検出するアモルファスシリコンセンサと、(記載2UR)
1e 前記両センサの信号の比を計算する比率計回路と、(記載2UR)
該比率計回路による2つの波長の反射光の強さの比の出力電圧値を設定電圧値と比較する電圧比較器と、
該電圧比較器の出力に基づいて、例えば原料が茶葉である場合には赤色系の茎を異物として選別し吹き飛ばすエアー噴射装置を作動させるタイミング信号発生器と、を備え、(記載3UL)
1f 前記単結晶シリコンセンサ及びアモルファスシリコンセンサに相対させて設置した色分解プリズムを用いて、原料の反射光を600〜650nmの赤色、及び400〜600nmの緑色の波長に分解し、(記載2UR)
1h 前記シュートから流下する原料から赤色系の茎などの異物を排除する、(記載3UL)
1i 色彩選別装置。(記載1LL)」

2 甲2に記載された事項

(1)甲2の記載事項

ア 発明の詳細な説明の記載事項

「【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラにて得られた画像を処理して外観検査を行うフレキシブルプリント配線板の外観検査方法、及びこの検査に適した外観検査装置に関するものである。特に、複数の検査項目を行う際、確実にかつ安定して良/不良選別を行うことができるフレキシブルプリント配線板の外観検査方法、及び外観検査装置に関する。
・・・
【課題を解決するための手段】
【0006】
本発明は、複数の異なる照明手段を具えておき、各検査に適した照明手段を選択することで、上記目的を達成する。
【0007】
即ち、本発明は、フレキシブルプリント配線板をカメラで撮像し、得られた画像を処理することで外観の良否を判定するフレキシブルプリント配線板の外観検査方法であり、複数の異なる検査群から選択された検査を行う際、複数の異なる照明手段から各検査に適合した照明手段を選択して検査を行うことを特徴とする。
【0008】
・・・
本発明者は、各検査項目にはそれぞれ、適した照明の色(光の波長)、被検査物に対する照明の角度(光の角度)、カメラに対する照明の位置(光源の位置)があるとの知見を得た。この知見に基づき本発明を規定する。
・・・
【0009】
本発明において検査対象とするFPCとしては、有色半透明のフィルムをベースとするものが挙げられる。より具体的な構成としては、上記ベースフィルムと、ベースフィルムの上にプリントされた銅などの回路パターンと、回路パターンを保護するべく回路パターンを覆うように配置されるカバーレイ(通常、上記ベースフィルムと同一材料で形成される)とを具える構成が挙げられる。その他、回路パターンの一端側に形成される別の部材と接続可能な端子部、他端側に形成される別の部材と接続可能な半田などからなる接続用メッキ部、ある物質、回路を保護する保護材などを具えた構成が挙げられる。メッキ部は、回路パターンと同様に銅などからなる環状に設けられた端子接続部と、端子接続部の上に形成される半田などのメッキ部を具えた構成が挙げられる。フィルムの具体的な色としては、赤茶色が挙げられる。また、半透明とは、例えば、透過画像が得られる程度の透明度を有するものが挙げられる。
【0010】
本発明において検査項目としては、例えば、以下に示す検査から選択される2種以上が挙げられる。
・・・
5.フレキシブルプリント配線板のフィルムの内部において異物の有無を調べる内部異物検査
・・・
【0018】
移動手段は、水平方向において直交する二方向、例えば、X軸方向、Y軸方向に移動可能なX軸台と、Y軸台と、これらの台を移動させるモータなどの駆動源とを具える構成が挙げられる。
・・・
【0028】
4. 表面異物検査
4−1 照明手段として、白色の交差照明でFPCの側方から照射するものを選択するステップ
4−2 FPCの上方に配置されたカメラにてFPCを撮像するステップ
4−3 撮像された画像データにおいて白く光る部分の面積が一定以上の大きさである場合、不良と判定するステップ
【0029】
フィルム(カバーレイ)の表面や回路パターンの表面に異物が存在することがある。この異物は種々の色が考えられるため、上記メッキ不のり検査などのように赤色や青色などを用いた場合、適切に異物の検出ができない恐れがある。そこで、フィルムや回路パターンなどの表面に存在する異物を検出するにあたり、白色の照明を用いることを提案する。そして、異物が存在した場合、効率よく検出できるように、FPCの側方から光を当てることができる照明(カメラの光軸と入射光が交差する交差照明)を用いることを提案する。側方から光を当てることで、異物があった場合、入射光は、異物にぶつかって反射し、その反射光はFPCの上方に配置されたカメラにて捉えられ、異物の画像が得られる。このとき、異物以外のFPCの構成要素は、反射光がほとんどカメラに捉えられない状態で撮られるため黒っぽい画像となり、異物は、上記のように反射光により白っぽい画像となる。従って、コントラストの対比が大きく、検査が行い易い。一方、異物がなかった場合、入射光は、FPC表面にぶつかり、入射光とほぼ同じ角度で反射する。このとき、入射光は、側方か入射することで入射角度が浅いため、この反射光をカメラで捉えることがほとんどできない。即ち、黒っぽい画像のみが得られる。
【0030】
5. 内部異物検査
5−1 照明手段として、青色の同軸照明でFPCの下方から照射するものを選択するステップ
5−2 FPCの上方に配置されたカメラにてFPCを撮像するステップ
5−3 フィルム(ワーク)の輪郭を抽出し、検査エリアを求めるステップ
5−4 照明手段として、赤色の同軸照明でFPCの下方から照射するものを選択するステップ
5−5 FPCの上方に配置されたカメラにてFPCを撮像するステップ
5−6 撮像された画像データと、登録されているデータとを比較し、差がある場合、不良と判定するステップ
【0031】
フィルムの内部(ベースフィルムとカバーレイとの間)にも異物が存在することも考えられる。そこで、フィルム部分と異物とのコントラストの対比が大きくなるような照明手段を利用すると、検査が行い易い。例えば、FPCのフィルムが赤茶色の半透明である場合、補色の青色の光源(透過照明)を用いて下方から当てると、例えば、フィルムとフィルムの無い背景部分を対比する場合、フィルム部分がより暗く(黒く)、背景部分がより明るく(白く)みえるため、コントラストの対比が大きくなり、検査エリアを抽出し易くなる。また、赤色の透過照明を用いてFPCの下方から当てると、フィルム部分は、同系色の光が透過するため、白っぽい画像となり、異物(赤色系、透明のものを除いて)は、FPCの下方にて反射して影が見えるため黒い画像となる。なお、ステップ5−6の画像データと登録データとの比較は、公知のマッチング処理を行ってもよい。
・・・
【0042】
・・・。照明手段は、FPC1の上方に配置され、FPC1上面を均一に照射することができる赤色の無影反射型照明11r、同青色の無影反射型照明11b、FPC1の側方に配置され、カメラ10cの光軸と鋭角に交差する光をFPC1に対して入射することができる白色のリング型照明11w、FPC1の下方に配置され、カメラ10cの光軸と同軸方向の光をFPC1に対して入射することができる赤色と青色とに切り替え可能な透過照明11uを用いた。無影反射型照明、リング型照明、透過照明は、いずれも市販品を用いた。
・・・
【0047】
上記構成を具える検査装置を用いて、複数の検査項目についてFPCの外観検査を行う手順を具体的に説明する。図3は、複数の検査項目について検査を行う本発明外観検査方法の検査手順を示す基本フローチャートである。この例では、以下に説明する検査を順に行い、各検査においてそれぞれ良否を判定して、判定結果をパソコンのメモリに保存しておき、7つの検査が全て終了してから、不良品にマークを付す構成とした。
【0048】
具体的には、まず、複数のFPCをマニュピレータにてワーク台にセットし(ステップS1)、このワーク台をマニュピレータにて搭載台に配置する(ステップS2)。そして、カメラをONにし、適切な照明を選択して接続用メッキ部のメッキ不のり検査を行い(ステップS3)、ワーク台に配置された全てのFPCについて不のり検査が終了したら次に適切な照明を選択してメッキ幅検査を行う(ステップS4)。以下、同様にワーク台に配置された全てのFPCについて検査が終了したら、次の検査に適切な照明を選択して次の検査を行う。即ち、メッキ幅検査→回路パターン検査(ステップS5)→表面異物検査(ステップS6)→内部異物検査(ステップS7)→端子部位置ずれ検査(ステップS8)→保護材位置ずれ検査(ステップS9)を順に行う。検査ごとにFPCの判定結果データをパソコンのメモリに保存しておき、最後の検査が終わったら、判定結果データに基づき、マジックペンにてマーキングを行い(ステップS10)、このワーク台に配置された複数のFPCについて外観検査を終了する。以下、各検査の手順を詳しく説明する。
・・・
【0061】
(表面異物検査)
図10は、表面異物検査の検査手順を示すフローチャート、図11(A)は、表面異物検査におけるカメラ、照明、FPCの位置関係を説明する説明図、(B)は、異物が存在した場合の照明からの光の動作を説明する説明図、(C)は、カメラにて撮像された画像の模式図である。この検査は、予めパソコンに入力された照明手段のデータから、白色のリング型照明を選択して行う(ステップSHI1)。先の回路パターン検査に引き続いて行う場合、照明を切り替える。
【0062】
リング型照明11wは、図11(A)に示すようにカメラ10cの光軸方向に対して、交差する方向から光を照射する光源Lを複数環状に具え(図11(A)では2つしか示していないが実際は環状に複数具える)、FPC1に対して光源Lは、側方に配置される。この例では、光源Lからの入射光の入射角度を図11(B)に示すように水平方向に対して30°とした。このような浅い角度で入射した光は、カバーレイ3や回路パターン(接続用メッキ部を含む)の表面に異物が付着していると、水平方向に対して約90°の角度で反射するため、カメラに入射されることになる。一方、異物がない場合、30°で入射された光は、水平方向に対して約30°で反射するため、カメラにほとんど入射されることがない。そのため、カメラ10cから得られた画像は、図11(C)に示すように、異物が白っぽい画像となり、異物以外の部分が黒っぽい画像となり、コントラストの対比が大きく表れる。特に、この例では、白色の照明を利用しているため、種々の色の異物に対応することができる。なお、この例では、側面の角度が水平方向に対して30°以上で、光源Lからの光が反射し易い材質、表面状態である異物の検出を想定している。異物に応じて、光源Lの入射角度は適宜変更するとよい。
【0063】
上記照明でFPC1を照射しながらカメラにて撮像し(ステップSHI2)、得られた画像は、パソコンに送り適宜画像処理を行う。画像中、白く光る部分があればその輪郭の大きさを計測し(ステップSHI3)、その値と設定値を比較し(ステップSHI4)、その値が設定値以上であれば不良と判定され、他の視野について検査することなく、次のワーク又は次の検査に進む。上記輪郭の大きさが設定値未満の場合、良性と判定され、他の視野の検査、次のワーク、次の検査のいずれかに進む。
【0064】
(内部異物検査)
図12は、内部異物検査の検査手順を示すフローチャート、図13(A)は、内部異物検査におけるカメラ、照明、FPCの位置関係を説明する説明図、(B)は、カメラにて撮像された画像の模式図である。この検査は、予めパソコンに入力された照明手段のデータから、赤色及び青色の面照明(透過照明)を選択して行う(ステップSNI1)。先の表面異物検査に引き続いて行う場合、照明を切り替える。
【0065】
面照明11uは、図13(A)に示すようにカメラ10cの光軸方向と同軸方向の光をFPC1に対して下方から照射する光源を具えるものである。このような配置により、ワーク台WT及びFPC1を透過した光がカメラ10cに入射され、FPC1の構成要素や異物によって反射されると、カメラ10cは、その影を写すことになる。従って、カメラ10cから得られた画像は、図13(B)に示すように、銅からなる回路パターン2は、赤色の光をよく反射するため、FPCの下方で反射されて影が写されて黒い画像となり、異物も同様に照明からの光を反射して影が写されて黒い画像となり、赤茶色のカバーレイ3は、赤色の光が透過されてカバーレイ3自体の色である赤茶色となるため、影と比較して白っぽい画像となり、コントラストの対比が大きく表れる。なお、この例では、フィルム部分に存在する透明でない異物の検出を想定している。また、面照明11uは、青色と赤色に切り替え可能なものを使用した。
【0066】
まず、面照明11uを青色に切り替えて、青色の照明にてFPC1を照射しながらカメラにて撮像し(ステップSNI2)、検出エリアを抽出する。青色の照明は、フィルタ(カバーレイ)の補色となるため、フィルム部分が暗く、フィルム以外の部分が明るくみえることで、検出エリアを抽出することができる。次に、照明を赤色に切り替えて、赤色の照明でFPC1を照射しながらカメラにて検出エリアを撮像し(ステップSNI3)、得られた画像は、パソコンに送り適宜画像処理を行う。以降の手順は、一つの視野について画像が得られたら、予め入力しておいた登録データ(ここでは登録CLデータと呼ぶ)を呼び出し、得られた画像データと登録CLデータとについてマッチング処理を行い(ステップSNI4)、両データに差があるか否かを判定する(ステップSNI5)。差があった場合、不良と判定され、他の視野について検査することなく、次のワーク又は次の検査に進む。差がなかった場合、良性と判定され、他の視野の検査、次のワーク、次の検査のいずれかに進む。
【0067】
なお、得られた画像に二値化処理及びラベリング処理を施すことで、異物の面積を求めることができる。」

イ 図面の記載

(ア)図1



(2)甲2に記載された発明
上記(1)の各記載事項から、甲2には次の発明(以下「甲2発明」という。)が記載されていると認める。

「2a フィルムの内部において異物の有無を調べるフレキシブルプリント配線板(FPC)を移動する、X軸方向、Y軸方向に移動可能なX軸台と、Y軸台と、これらの台を移動させるモータなどの駆動源と、
(【0010】・【0018】)
2b フィルム表面の異物検査用の、FPCの側方に配置されカメラの光軸と鋭角に交差する光をFPCに入射する白色のリング型の交差照明でFPCの側方から照射する照明手段と、(【0028】・【0042】)
フィルム内部の異物検査用の、青色と赤色に切り替え可能な同軸の透過照明でFPCの下方から照射する照明手段と、(【0030】・【0042】)
2c FPCを撮像するFPCの上方に配置されたカメラと、(【0028】・【0030】)
2e フィルムの表面異物の検出時には、異物が存在すれば前記カメラにその反射光が入射して異物が白っぽい画像となり、異物以外の部分はカメラにほとんど光が入射せず黒っぽい画像となることを利用し、カメラで撮像した画像をパソコンに送り画像処理を行い、白く光る部分の輪郭の大きさが設定値以上であれば不良と判定し、(【0062】・【0063】)
フィルムの内部異物検査時には、前記青色の透過照明で抽出した検査エリアを、前記赤色の透過照明で撮像し、パソコンで画像処理し、撮像で得られた画像データと、予め登録した画像データとでマッチング処理を行い、両データに差があれば不良と判定する手段を有し、(【0065】・【0066】)
2f フィルム表面異物の検出用には、異物に種々の色が考えられるため、赤色や青色などを用いた場合、適切に異物の検出ができない恐れがあることから、白色の照明を用い、(【0028】・【0029】)
フィルムの内部異物の検出用には、FPCのフィルムが赤茶色の半透明であるため、捕食の青色の透過照明を用いて、フィルムとフィルムのない背景部分とのコントラストの対比を大きくすることで検査エリアであるフィルムの有る部分を抽出し、次いで、フィルム部分が同系色を透過することを利用して得た白っぽい画像の中で、赤色系や透明の異物以外の異物が影として黒く見えるように、赤色の透過照明を用い、(【0030】・【0031】)
2h 前記表面異物検査及び前記内部異物検査を含む複数の検査項目を、各検査項目ごとに適切な照明を選択して搭載台上のワーク台にセットされた複数のFPC全てについて順次行い、一つの検査項目が前記複数のFPC全てについて終了すれば、次の検査項目に適切な照明を選択して、該次の検査項目を前記複数のFPC全てについて行うことを順に行う、(【0048】)
2i FPCの外観検査装置。(【0001】)」

3 甲3に記載された事項

(1)甲3の記載事項

ア 発明の詳細な説明の記載事項

「【技術分野】
【0001】
本発明は、外観検査装置に関する。
・・・
【課題を解決するための手段】
【0010】
本発明の外観検査装置は、ワークに対して光を照射する照明部と、前記ワークの所定領域を撮像する撮像部と、前記撮像部による撮像画像データを入力し画像処理して前記ワークの異物欠陥を検出する画像処理部とを有した外観検査装置において、前記画像処理部は、前記撮像部で撮像した得られたカラー画像データから赤、緑、及び、青のフィルタ画像データを作成するRGB画像データ生成部と、前記赤、緑、及び、青の各フィルタ画像データから検査領域の特徴量を算出する特徴量抽出部と、前記特徴量算出部が抽出した前記赤、緑、及び、青の各フィルタ画像データの特徴量を入力し、それら特徴量を比較して、異物を検出しやすい最適なフィルタ画像データを選び出すフィルタ画像比較部とを備え、前記フィルタ画像比較部が選択したフィルタ画像データを用いて画像処理による異物欠陥検出を行うことを特徴とする。
・・・
【0023】
図1において、外観検査装置1は検査テーブル2を備え、その検査テーブル2には、ワークとしての半導体ウェハWが載置されている。半導体ウェハWには、図2に示すように、ダイシング前の複数の半導体チップCPが区画形成されている。この半導体チップCPは、後工程において、チップ上に電子回路や機械要素が形成されて、MEMS(Micro Electro Mechanical Systems:微小電気機械素子)となる。本実施形態では、各半導体チップCPは、その4隅にダイシングマークAMが形成されているとともに、半導体チップCP内に四角形状の凹部3が形成されている。そして、凹部3の底部は四角形状に形成されるようになっている。
【0024】
半導体ウェハWを載置した検査テーブル2の上方位置には、照明部としての照明装置5が配置されている。照明装置5は、光源として白色LEDを備え、白色光を検査テーブル2上の半導体ウェハWに照射するようになっている。
【0025】
検査テーブル2の上方位置には、撮像部としてのカラー撮像装置8が配置されている。カラー撮像装置8は、照明装置5の白色光が照射された半導体ウェハWの各半導体チップCPを撮像する。カラー撮像装置8は、CCD(Charge Coupled Device)イメージセンサ8aを備え、そのイメージセンサ8aの各画素(受光素子)毎に、R(赤)、G(緑)、B(青)のカラーフィルタのいずれかを配置して、カラー画像を撮像する。尚、本実施形態では、各素子毎のカラーフィルタの配置は、いわゆる、ベイヤー(Bayer)配列としている。
【0026】
そして、カラー撮像装置8で撮像した半導体ウェハWの各半導体チップCPのカラー画像データGDは、画像処理部としての画像処理装置10に出力される。
画像処理装置10は、カラー撮像装置8で撮像したカラー画像データGDを画像処理して半導体ウェハWの各半導体チップCPの欠陥の有無を検出して良否判定を行う。画像処理装置10は、RGB画像データ生成部11、輝度平均値算出部12、平均値比較部13、異物判定処理部14、記憶部15及びルックアップテーブルLTを有している。
【0027】
RGB画像データ生成部11は、カラー撮像装置8(CCDイメージセンサ8a)で撮像したカラー画像データGDを入力し、カラー画像データGDを分解して、赤フィルタ画像データDrf、緑フィルタ画像データDgf、青フィルタ画像データDbfを生成する。
【0028】
詳述すると、イメージセンサ8aの赤のフィルタを配置した各画素(受光素子)からの画素データは、赤フィルタ画像データDrfとなる。また、緑のフィルタを配置した各画素(受光素子)からの画素データは、緑フィルタ画像データDgfとなる。さらに、青のフィルタを配置した各画素(受光素子)からの画素データは、青フィルタ画像データDbfとなる。
【0029】
このとき、本実施形態では、CCDイメージセンサ8aは、カラーフィルタについて、ベイヤー(Bayer)配列を採用している。そのため、イメージセンサ8aの全画素数(例えばN個)に対して、赤と青の画素数N/4、緑が画素数N/2となり、一様でなく数が異なる。
【0030】
そこで、RGB画像データ生成部11は、各画素の周辺の画素のデータを利用して補間処理を行い、N個の画素(即ち、イメージセンサの全画素)からなる赤フィルタ画像データDrf、緑フィルタ画像データDgf、及び、青フィルタ画像データDbfをそれぞれ生成する。
【0031】
RGB画像データ生成部11が作成した、それぞれN個の画素からなる赤フィルタ画像データDrf、緑フィルタ画像データDgf、及び、青フィルタ画像データDbfは、特徴量抽出部としての輝度平均値算出部12に出力される。
【0032】
輝度平均値算出部12は、赤フィルタ画像データDrf、緑フィルタ画像データDgf及び青フィルタ画像データDbfについて、半導体チップCPは、その4隅にダイシングマークAMが形成されているとともに、半導体チップCP内に四角形状の凹部3であって予め定めた検査領域にある各フィルタ画像データDrf,Dgf,Dbfにおける輝度値の輝度平均値Avr,Avg,Avbをそれぞれ求める。尚、各フィルタ画像データDrf,Dgf,Dbfの輝度値は、本実施形態では、8ビットのビットデータで構成され、0〜255の階調に区分されている。
【0033】
詳述すると、予め定めた検査領域にある赤フィルタ画像データDrfについて、その検査領域に属する画素の輝度値を合計し、検査領域にある画素数で割って、赤フィルタ画像データDrfに基づく輝度平均値Avrを求める。同様にして、緑フィルタ画像データDgf及び青フィルタ画像データDbfに基づく輝度平均値Avg,Avbもそれぞれ求める。
【0034】
輝度平均値算出部12にて算出された赤、緑及び青の各フィルタ画像データDrf,Dgf,Dbfに対する輝度平均値Avr,Avg,Avbは、フィルタ画像比較部としての平均値比較部13に出力される。平均値比較部13は、この輝度平均値Avr,Avg,Avbと画像処理装置10内に設けられたルックアップテーブルLTに記憶された選定フィルタ画像データDsfと比較して、一致する選定フィルタ画像データDsfを検索する。
【0035】
ルックアップテーブルLTは、図3に示すように、1つの半導体チップCPから取得されたカラー画像データGD毎に、予め定めた検査領域における赤、緑及び青の各フィルタ画像データDrf,Dgf,Dbfに対する輝度平均値Avr,Avg,Avbが記憶され、その輝度平均値Avr,Avg,Avbに対する選定フィルタ画像データDsfを記憶したテーブルである。
【0036】
詳述すると、カラー撮像装置8にて撮像される半導体チップCPは、良品の範囲内にあっても僅かに膜厚が異なれば、半導体チップCPの凹部3に囲まれた四角枠内の色味が変わる。この場合、良品の範囲内にあってもこの色味の変化に基づいて、異物でないのに異物と誤検出し不良品と判断されてしまう。
【0037】
そこで、カラー撮像装置8にて取得したカラー画像データGDを赤、緑及び青に分解して得た、赤フィルタ画像データDrf、緑フィルタ画像データDgf及び青フィルタ画像データDbfの中のいずれのフィルタ画像データが検査領域内の異物と背景色とのコントラストが最も大きく、そのフィルタ画像データを使用して検査すれば高精度に検査できるかを検証した。そして、その輝度平均値Avr,Avg,Avbの組み合わせから検査に使用するフィルタ画像データを選定するために使用されるのがルックアップテーブルLTである。
【0038】
ルックアップテーブルLTは、以下のように作成される。
つまり、まず、良品であって、色味が異なる全ての半導体チップCPを用意し、これら各半導体チップCPをカラー撮像装置8にて撮像する。そして、色味が異なる良品の各半導体チップCPについて、予め定めた検査領域における赤、緑及び青の各フィルタ画像データに対する輝度平均値Avr,Avg,Avbを求める。そして、その求めた各輝度平均値Avr,Avg,Avbの組み合わせが、色味が異なる良品の半導体チップCP毎にルックアップテーブルLTに記憶される。
【0039】
そして、半導体チップCP毎の各フィルタ画像データDrf,Dgf.Dbfの輝度平均値Avr,Avg,Avbの組み合わせにおいて、赤フィルタ画像データDrf、緑フィルタ画像データDgf及び青フィルタ画像データDbfのいずれのフィルタ画像データが検査領域内の異物と背景色とのコントラストが最も大きく現れるのか検証する。そして、検証して、輝度平均値Avr,Avg,Avbの組み合わせにおいて、赤フィルタ画像データDrf、緑フィルタ画像データDgf及び青フィルタ画像データDbfの中のいずれが、検査領域内の異物と背景色とのコントラストが最も大きいフィルタ画像データかを求めて、そのコントラストが最も大きいフィルタ画像データを選定フィルタ画像データDsfとして記憶する。
【0040】
ここで、検査領域内の異物と背景色とのコントラストが最も大きいフィルタ画像データとした理由は、以後の異物に検出する際の、異物に対する背景色(色味)のコントラストが最も大きく、異物検出の際の閾値が容易に設定でき高精度に検査が可能となるからである。
【0041】
また、ルックアップテーブルLTは、不良品となる半導体チップCPの色味(色味異常)の色味異常判定データNGが設けられている。色味異常とは、検査領域内の異物と背景色と外観検査が不能な色味であって、そのような色味を有する半導体チップCPは検査不能として選定フィルタ画像データDsfを選択せず色味異常判定データNGとする。
【0042】
色味異常判定データNGは、異なる色味異常の全ての半導体チップCPを用意し、同様に、これら各半導体チップCPをカラー撮像装置8にて撮像する。そして、異なる色味異常の各半導体チップCPについて、予め定めた検査領域における赤、緑及び青の各フィルタ画像データに対する輝度平均値Avr,Avg,Avbを求める。そして、その求めた各輝度平均値Avr,Avg,Avbの組み合わせに対して、ルックアップテーブルLTに色味異常判定データNGとして記憶されるようになっている。
【0043】
因みに、図3に示すルックアップテーブルLTにおいて、赤フィルタ画像データDrfの輝度平均値Avrが「55」、緑フィルタ画像データDgfの輝度平均値Avgが「170」、青フィルタ画像データDbfの輝度平均値Avbが「100」の場合は、選定フィルタ画像データDsfは、緑フィルタ画像データDgfとしている。
【0044】
また、赤フィルタ画像データDrfの輝度平均値Avrが「205」、緑フィルタ画像データDgfの輝度平均値Avgが「110」、青フィルタ画像データDbfの輝度平均値Avbが「145」の場合は、選定フィルタ画像データDsfは、赤フィルタ画像データDrfとしている。
【0045】
従って、平均値比較部13は、輝度平均値算出部12が算出した輝度平均値Avr,Avg,AvbとルックアップテーブルLTに記憶された選定フィルタ画像データDsfと比較して、一致する輝度平均値Avr,Avg,Avbがあると、その輝度平均値Avr,Avg,Avbに対する選定フィルタ画像データDsfを読み出す。つまり、選定フィルタ画像データDsfが赤フィルタ画像データDrfであれば、赤フィルタ画像データDrfを選定フィルタ画像データDsfとして選択する。
【0046】
そして、平均値比較部13において、選定フィルタ画像データDsfとして赤フィルタ画像データDrfが選択されると、異物判定処理部14は、この異物と背景色とのコントラストが最も大きい赤フィルタ画像データDrfを使って画像処理を行って、異物の検出を行う。
【0047】
異物検出は、赤フィルタ画像データDrfの全画素の輝度値と予め定めた閾値と比較し、異物の大きさ形状を求めて異物検出し良品判定を行う。
このとき、異物判定処理部14は、異物と背景色とのコントラストが最も大きい赤フィルタ画像データDrfを使って画像処理を行い異物と背景色との判断を行うことから、閾値の設定も容易でかつ高精度の異物検出を行うことができる。
【0048】
また、選定フィルタ画像データDsfとして緑又は青フィルタ画像データDgf,Dbfが選択された場合も同様に、異物と背景色とのコントラストが最も大きい緑又は青フィルタ画像データDgf,Dbfを使って画像処理を行い、異物と背景色との判断を行うことから、閾値の設定も容易でかつ高精度の異物検出を行うことができる。
【0049】
そして、異物判定処理部14は、各半導体チップCPの異物検出を行い、その良品の有無を判定し、その判定結果を、記憶部15に記憶する。
尚、輝度平均値算出部12が算出した輝度平均値Avr,Avg,Avbの組み合わせが、ルックアップテーブルLTにおいて色味異常判定データNGであった場合には、半導体チップCPが色味異常であって、高精度の異物検出ができないとして、該半導体チップCPを不良品として判定する。」

(2)甲3に記載された発明
上記(1)の各記載事項から、甲3には次の発明(以下「甲3発明」という。)が記載されていると認める。

「3a 異物欠陥検出を行う対象の、ワークとしての半導体ウェハが載置される検査テーブルと、(【0010】・【0023】)
3b 半導体ウェハを載置した検査テーブルの上方位置に配置され、白色LED光源を備える照明装置と、(【0024】)
3c 検査テーブルの上方位置に配置されたカラー撮像装置と、(【0025】)
3d カラー撮像装置による赤フィルタ画像データDrf、緑フィルタ画像データDgf、青フィルタ画像データDbfの各フィルタ画像データから、検査領域内の異物と背景色とのコントラストが最も大きく現れる色のフィルタ画像データを選定する平均値比較部と、(【0034】・【0027】〜【0039】・【0045】)
3e カラー撮像装置8で撮像したカラー画像データGDを画像処理して半導体ウェハWの各半導体チップCPの欠陥の有無を検出して良否判定を行う画像処理装置と、(【0026】)
3f カラー撮像装置は、CCDイメージセンサの各画素毎に、R(赤)、G(緑)、B(青)のカラーフィルタのいずれかを配置して、カラー画像を撮像するものであり、(【0025】)
カラー撮像装置で撮像したカラー画像データからRGB画像データ生成部が生成した、それぞれ8ビットのビットデータで構成され、0〜255の階調に区分された、赤フィルタ画像データDrf、緑フィルタ画像データDgf、青フィルタ画像データDbfについて、(【0027】・【0032】)
輝度平均算出部によりそれぞれの輝度平均値Avr,Avg,Avbを求め、(【0032】)
平均値比較部により、該求めた各輝度平均値と、輝度平均値Avr,Avg,Avbの組み合わせから、色味が異なる半導体チップごとに、検査領域内の異物と背景色とのコントラストが最も大きく現れるのが何れの色の画像データであるかを記憶したルックアップテーブルに記憶された選定フィルタ画像データDsfと、前記求めた各色の輝度平均値とを比較して、一致する輝度平均値Avr,Avg,Avbの組み合わせがあると、それに対する色のフィルタ画像データを、選定フィルタ画像Dsfとして選択するものであり、(【0034】・【0027】〜【0039】・【0045】)
3g1 画像処理装置は、前記カラー画像データについて、各輝度値が8ビットのビットデータで構成され、0〜255の階調に区分された、各フィルタ画像データDrf,Dgf,Dbfを生成するRGB画像データ生成部を備え、(【0026】・【0027】・【0032】)
3g2 前記Dsfとして選定された色のフィルタ画像データの全画素の輝度値と予め定めた閾値と比較し、異物の大きさ形状を求めて異物検出し良品判定を行う、異物判定処理部と、を有し、(【0046】・【0047】)
3h 異物検出し良品判定を行う、
3i 外観検査装置。(【0001】)」

4 甲6に記載された事項

(1)甲6の記載事項

ア 発明の詳細な説明の記載事項

「【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
あるデータについて、このデータが異常な値(外れ値)であるか否かを識別する機械学習の手法が知られており、このような手法を用いることにより、例えば、規格外の製品や欠陥がある製品を検知する技術が従来より知られている。あるデータが異常な値であるか否かを識別する手法は、教師あり異常検知手法、半教師あり異常検知手法、教師なし異常検知手法の3通りに大別される。
【0003】
ここで、十分な規模の学習データが得られない状況において、教師あり異常検知手法を用いて、入力されたデータを分類(識別)する技術が従来より知られている(例えば特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術においては、教師あり異常検知手法を用いているため、学習データとして異常な値を示すデータを得ることが難しい場合には、識別の精度が低い場合があるといった問題がある。すなわち、例えば、ある製品を識別するための学習データとして、正常な値を示すデータは大量に得ることができる一方で、異常な値を示すデータはほとんど得ることができない場合、異常な値を示すデータの学習が少ないため、識別の精度が低くなる場合がある。
【0005】
他方、半教師あり異常検知手法は、学習データとして正常な値を示すデータのみを用いる手法であり、一般に、教師あり異常検知手法に比べて識別の精度が低い場合が多いものの、想定外の異常な値も検知することができるという利点を有する。
【0006】
本発明の一実施形態は、上記の点に鑑みてなされたもので、半教師あり異常検知を用いて、高い精度で識別することを目的とする。
・・・
【0018】
外部I/F17は、外部装置とのインタフェースである。外部装置には、例えば、USB(Universal Serial Bus)メモリ、SDカード、CD、DVD等がある。
【0019】
撮像装置18は、撮像により画像データ等の多次元データを生成する装置である。撮像装置18は、例えば、撮像動作により物体の複数の分光情報を取得する分光カメラ等である。
【0020】
ここで、多次元データとは、多次元のベクトルデータとして表すことができるデータを言う。例えば、640×480ピクセルの画像データは、640×480次元=合計307200次元のベクトルデータとして表すことができる多次元データである。同様に、例えば、所定の6つの角度の光源から物体に照射された光により取得された31波長の分光情報は、6×31次元=合計186次元のベクトルデータとして表すことができる多次元データである。さらに、これらに限られず、多次元データには、音データや文書データ等の各種電子データが含まれる。以降では、多次元データは、多次元のベクトルデータとして表されているものとして説明する。
【0021】
本実施形態では、情報処理装置10において、正常なモデルに属する複数の多次元データ(すなわち、ポジティブデータ)を用いて予め学習を行うことにより(半教師あり学習)、入力された多次元データがポジティブデータであるか否かを識別するものである。
・・・
【0028】
ここで、学習データ1000は、後述する次元削減部102、次元復元部103、及びデータ識別部105の学習に用いる正常なモデルに属する複数の多次元データ(すなわち、ポジティブデータ)である。例えば、画像データの被写体が人か人以外をデータ識別部105で識別する場合、学習データ1000とは、人が写っている画像データである。また、例えば、ある製品の塗料の品質(測色結果)が所定の規格を満たすか否かをデータ識別部105で識別する場合、学習データ1000とは、所定の規格を満たす品質の塗料から得られた分光情報である。なお、以降では複数の学習データ1000について、各々区別する場合はそれぞれ「学習データ10001」、「学習データ10002」、・・・と表す。
【0029】
一方、識別対象データ2000は、データ識別部105により識別させる対象のデータである。すなわち、識別対象データ2000により、識別対象データ2000が異常な値を示すデータ(異常値データ)であるか正常な値を示すデータ(正常値データ)であるかが判定(識別)される。ここで、識別対象データ2000が異常値データであるとは、例えば、人が写っている画像データを正常値データとした場合に、人以外のもの(例えば、犬)が写っている画像データである。また、例えば、ある製品の塗料から得られた、所定の規格を満たす品質を示す分光情報を正常値データとした場合に、所定の規格を満たさない品質を示す分光情報が異常値データとなる。
【0030】
なお、上述したように、学習データ1000は、例えば、USBメモリ、SDカード、CD、DVD等の外部装置に格納されており、外部I/F17を介して情報処理装置10に入力されてもよいし、HDD12等に格納されていてもよい。また、識別対象データ2000は、例えば、撮像装置18の撮像動作により生成されてもよいし、外部装置に格納されており外部I/F17を介して情報処理装置10に入力されてもよい。
【0031】
次元削減部102は、例えばCPU11等により実現され、入力された多次元データの次元数を削減する。すなわち、次元削減部102は、入力された多次元データを、この多次元データの特性を表し、かつ、この多次元データの次元数よりも少ない次元数の特徴ベクトルを生成する。なお、次元削減部102は、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析(PCA:Principal Component Analysis)等の手法を用いることができる。
【0032】
次元復元部103は、例えばCPU11等により実現され、次元削減部102により次元数が削減された後の多次元データを、元の次元数に復元する。すなわち、次元復元部103は、次元削減部102により生成された特徴ベクトルを、元の多次元データの次元数に復元した多次元データを生成する。なお、次元復元部103は、次元削減部102と同様に、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析(PCA:Principal Component Analysis)等の手法を用いることができる。
【0033】
誤差算出部104は、例えばCPU11等により実現され、入力された多次元データが次元削減部102により次元削減されたことにより発生した誤差量を算出する。すなわち、誤差算出部104は、入力された多次元データと、次元復元部103により復元された後の多次元データとの差分を計算することで、誤差量を算出する。
・・・
【0035】
なお、上記の次元削減部102、次元復元部103、及びデータ識別部105は、後述するように学習データ1000を用いて予め学習させておく必要がある。
【0036】
<処理の詳細>
次に、本実施形態に係る情報処理装置10の処理の詳細について説明する。本実施形態に係る情報処理装置10は、学習データ1000を用いて、次元削減部102、次元復元部103、及びデータ識別部105を予め学習させておく必要がある。そして、本実施形態に係る情報処理装置10は、学習された次元削減部102、次元復元部103、及びデータ識別部105等により識別対象データ2000の識別を行う。
【0037】
≪学習処理≫
まず、学習データ1000を用いて、本実施形態に係る情報処理装置10の次元削減部102、次元復元部103、及びデータ識別部105を学習させる処理について説明する。図3は、第1の実施形態に係る学習処理の一例のフローチャートである。なお、上述したように、学習データ1000は、正常なモデルに属する複数の多次元データ(すなわち、正常値データ、ポジティブデータ)である。すなわち、以降で説明する学習処理は、半教師あり学習である。
【0038】
ステップS301において、データ入力部101は、学習データ1000を入力する。なお、データ入力部101は、学習データ1000を、例えば、USBメモリ、SDカード、CD、DVD等の外部装置から外部I/F17を介して又はHDD12等から入力する。また、データ入力部101は、学習データ1000を、例えば、LANやインターネット等のネットワークを介して入力してもよいし、撮像装置18の撮像動作により学習データ1000を生成して入力してもよい。
【0039】
ステップS302において、次元削減部102及び次元復元部103は、入力された学習データ1000を用いて、学習を行う。なお、ここでは一例として次元削減部102及び次元復元部103が、主成分分析の手法を用いて実現される場合又はStacked Auto−Encodersの手法を用いて次元される場合の2つの場合について説明する。ただし、次元削減部102及び次元復元部103は、これらの2つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
・・・
【0049】
(Stacked Auto−Encoders)
次に、次元削減部102及び次元復元部103が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。この場合、次元削減部102及び次元復元部103の学習とは、入力された学習データ1000に基づき、Stacked Auto−Encodersの各層のネットワーク係数(これは「重み」とも称される)を調整することに相当する。なお、このようなネットワーク係数は、所定のパラメータの一例である。
【0050】
なお、Stacked Auto−Encodersとは、Auto−Encoderと呼ばれるニューラルネットワークを積み重ねて多層とした構成のニューラルネットワークである。ここで、Auto−Encoderとは、入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークである。
・・・
【0062】
ステップS303において、誤差算出部104は、各学習データ1000について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップS302で学習された次元削減部102及び次元復元部103に、各学習データ1000を入力する。そして、誤差算出部104は、入力された各学習データ1000と、次元復元された後の各学習データ1000との誤差を算出する。
【0063】
例えば、入力される各学習データ1000が上記の(式1)で表されるものとする。このとき、各yiを入力して次元削減部102により次元削減した後、次元復元部103により次元復元した結果(出力)をそれぞれYiとすると、誤差算出部104は、各iに対してyiとYiの差分を計算することにより誤差Δiを算出する。
・・・
【0065】
ステップS304において、データ識別部105は、上記のステップS303で算出された誤差Δiを用いて学習を行う。
【0066】
例えば、データ識別部105に用いる外れ値検出手法としてLOFを用いる場合、誤差Δiを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。なお、このようなデータ集合は、例えば、HDD12等に格納すればよい。
【0067】
また、例えば、データ識別部105に用いる外れ値検出手法としてOne−Class SVMを用いる場合、誤差Δiを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面(又は曲面)を求める。
【0068】
このようにデータ識別部105を学習させておくことで、後述する識別処理において、LOFやOne−Class SVM等の外れ値検出手法を用いて識別対象データ2000が異常値データ(外れ値)であるか否かを識別することができる。」

(2)甲6に記載された発明
上記(1)の各記載事項から、甲6には次の発明(以下「甲6発明」という。)が記載されていると認める。

「6a 欠陥がある製品を検知する装置における、半教師あり異常検知を用いた識別を行うための、半教師あり学習方法であって、(【0002】・【0028】・【0029】・【0036】)
6b 物体の複数の分光情報を取得する分光カメラにより複数の分光情報を取得し、物体の多次元ベクトルデータである画像データを生成し、(【0019】・【0020】)
6c 外部I/Fを介して情報処理装置に入力される、正常なモデルに属する複数の多次元データからなる学習データを、例えば、USBメモリ、SDカード、CD、DVD等の外部装置に格納しておき、または撮像装置の撮像動作により生成し、(【0021】・【0028】・【0030】・【0038】)
6e 次元削減部・次元復元部・データ識別部が、入力された学習データを用いて、主成分分析または、Stacked Auto−Encoders(入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークであるAuto−Encoderを積み重ねて多層とした構成のニューラルネットワーク)の手法を用いて学習され、(【0037】・【0039】・【0050】)
6f そのうちStacked Auto−Encodersの手法を用いた学習では、Stacked Auto−Encodersの学習は、Stacked Auto−Encodersを構成する複数のAuto−Encoder毎に、学習データ1000を用いて、第1のAuto−Encoderの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行うことにより、次元削減部及び次元復元部の学習を行うものであり、(【0049】・【0052】・【0054】)
誤差算出部が、次元削減部に入力された学習データと、次元復元された学習データとの差分(誤差)を計算し、(【0062】・【0063】)
前記差分(誤差)を多次元空間にプロットして正常なデータを表す集合(ポジティブモデル)を生成し、識別対象データが異常値データであるか否かを識別できるように、データ識別部が学習される、(【0065】〜【0068】)
6g 半教師あり学習方法。」

5 甲4に記載された事項

(1)発明の詳細な説明の記載

「【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数の教師画像に基づく画像分類技術に関するものであり、特に教師画像に基づいて教師データを作成する技術に関する。
・・・
【発明を実施するための形態】
【0022】
図1はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム1は、検査対象である半導体基板Sの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム1は、基板S上の検査対象領域から欠陥を検出する欠陥検出装置2と、欠陥検出装置2により検出された欠陥をより詳細に分析して欠陥の種類を特定する欠陥分類装置3とを備えている。
欠陥検出装置2は基板Sの製造ラインに組み込まれ、検査システム1はいわゆるインライン型のシステムとなっている。
・・・
【0026】
欠陥分類装置3は、予め読み込まれた制御プログラムを実行することにより、図1に示す各機能ブロックを専用ハードウェアおよびソフトウェアにより実現する。欠陥分類装置3は、欠陥検出装置2から欠陥画像データを受信するためのインターフェース(I/F)31、欠陥画像データに基づく自動分類により、当該欠陥の種別を判定する欠陥分類部(ADC)32を備えている。インターフェース31は例えばLAN(LocalAreaNetwork)を介して他の外部機器と通信が可能となっている。
【0027】
欠陥検出装置2から与えられる画像データおよび欠陥分類部32における処理過程で生じる種々の処理データは必要に応じて記憶部33に随時保存される。欠陥分類部32は、与えられた欠陥画像データに基づき特徴量算出部34が算出した複数種の特徴量の値に基づき、当該欠陥画像を、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類する。
【0028】
さらに、欠陥分類装置3は、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部35および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部36を備えている。
【0029】
欠陥分類部32は、検出された欠陥をSVM(サポートベクタマシン;Support Vector Machine)、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。具体的には、欠陥検査装置2から与えられて記憶部33に記憶保存された欠陥画像データと、当該欠陥画像が分類されるべき分類カテゴリに関するユーザからの教示情報とに基づいて予め適宜の学習アルゴリズムによる機械学習を行っておく。そして、未分類の欠陥画像に対応する画像データが新たに与えられると、学習結果に基づく自動分類を行って新たな欠陥画像をいずれかの分類カテゴリに分類する。
・・・
【0033】
図3は欠陥分類装置の動作を示すフローチャートである。上記した通り、欠陥分類装置3は欠陥検出装置2から出力される欠陥画像を、その欠陥種別に応じた分類カテゴリに分類する。より具体的には、欠陥分類部32が予め収集された欠陥画像データに基づき事前学習(後述)を行っておき(ステップS201)、未分類の欠陥画像が欠陥検出装置2から新たに与えられると(ステップS202)、特徴量算出部34が当該欠陥画像を特徴付ける複数の特徴量の値を算出する(ステップS203)。そして、欠陥分類部32が、算出された特徴量の値に基づき、事前学習により構成された分類器を用いて当該欠陥画像を複数の分類カテゴリのいずれかに分類する(ステップS204)。
【0034】
分類カテゴリは当該基板Sにおいて発生し得る複数の欠陥種別に対応して複数種が予め設定されており、例えば異物、傷、パターン断線、短絡などが代表的なものであるが、これらに限定されるものではない。
【0035】
図4は欠陥分類装置により実行される事前学習処理を示すフローチャートである。事前学習処理は、種々の欠陥を撮像した教師画像と、ユーザから教示される、当該教師画像がどの分類カテゴリに分類すべきものであるかを示す教示情報とに基づいて行われる。具体的には、まず最初に教師画像の収集を行う。ここでは欠陥検出装置2から出力される欠陥画像を教師画像としてこれを順次記憶部33に保存することで収集を行うものとするが(ステップS301)、例えば予め用意された画像ライブラリや外部のストレージに収集された教師画像データを取得する態様であってもよい。
【0036】
こうして収集された多数の教師画像のそれぞれについて、特徴量算出部34が特徴量の算出を行う(ステップS302)。ここで算出される特徴量の種類は、未知の欠陥画像の分類を行うときに用いられるものと同じである。算出された特徴量の値は、各教師画像に対応する教師データの一部として記憶部33に記憶保存される。
【0037】
次に、各教師画像に対して、当該教師画像が分類されるべき分類カテゴリを関連付ける。より具体的には、収集された教師画像を順に表示部36に表示させ、当該教師画像がどの欠陥種別に属するものであるかについて、入力受付部35を介してユーザから教示入力を受け付ける。そして、教師画像と、教示された欠陥種別に対応する分類カテゴリとを関連付けて(ステップS303)、当該教師画像の特徴量の値と、当該教師画像に関連付けられた分類カテゴリを指定するユーザからの教示情報とをセットにして、これを当該教師画像に対応する教師データとして記憶部33に記憶保存しておく。
【0038】
続いて、こうして準備された教師データ、すなわち教師画像を表す特徴量の値の組と教示情報とに基づき、欠陥分類部32が適宜の学習アルゴリズムによる学習を行い、分類器を構成する(ステップS304)。そして、学習結果を検証するため、構成された分類器を用いて教師データ自身の分類を行い(ステップS305)、その分類成績を算出する(ステップS306)。分類成績は適宜の性能評価尺度を用いて表すことができ、例えば分類カテゴリ毎のpurityおよびaccuracyにより表すことができる。こうして算出された分類成績が表示部36に表示されることで、ユーザは学習の適切さを評価することができる。
・・・
【0040】
図5は特徴量空間における欠陥画像の分布の一例を示す図である。欠陥画像の分類に用いられる特徴量としては種々のものが知られており、実際の欠陥分類においても多種類の特徴量が用いられる。このため、使用される複数種の特徴量のそれぞれを一の座標軸とする特徴量空間も多次元空間となるが、ここでは原理を理解しやすくするために、2種類の特徴量X1,X2からなる2次元の特徴量空間を考える。収集された欠陥画像(教師画像)をその特徴量の値に応じて特徴量空間にプロットすると、例えば図5に示すように、類似した特徴を有する欠陥画像がある程度まとまっていくつかのクラスタを形成する。図5における各点は、欠陥画像を特徴量で表したときそれらの値を特徴量空間における座標値として持つ点を表しており、それぞれの点が1つの欠陥画像に対応する。同じ欠陥種別に分類される欠陥画像は当然に互いに類似した画像上の特徴を持つため、特徴量空間内でも互いに近接すると考えられる。すなわち、同じ欠陥種別に属する欠陥画像が特徴量空間内で1つのクラスタを形成する。
・・・
【0049】
なお、各特徴量はそれぞれ個別の算出基準に基づき数値化されるので、特徴量ごとに数値のスケールが異なることが当然にあり得る。この点に鑑み、特徴量空間内の超球または超立方体を有意なものとするために、この場合の各特徴量の値は正規化されたものであることが好ましい。特徴量の正規化演算は、例えば、点Pに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値で除することにより行うことができる。例えば点PのX1座標値v1については、点Pに対応する教師データにおける特徴量X1の値をv0、同特徴量X1の全ての教師データ間での最大値をvmaxとしたとき、
v1 = v0/vmax … (式1)
により求めることができる。
【0050】
また例えば、点Pに対応する教師データにおける特徴量の値を、全教師データ間での当該特徴量の最大値と最小値との差で除することにより行うことができる。例えば点PのX1座標値v1については、点Pに対応する教師データにおける特徴量X1の値をv0、同特徴量X1の全ての教師データ間での最大値をvmax、最小値をvminとしたとき、
v1= v0/(vmax−vmin) … (式2)
により求めることができる。特徴量の数値を結果として求めることを目的としないため、算出ルールが各特徴量間で統一されていれば、(式1)、(式2)のいずれの算出方法によってもよい。」

(2)図面の記載

ア 図5



(3)甲4から認定・看取できる事項
上記(1)(2)の記載から下記の事項が看取・認定される。

認定事項4ア: 甲4では、「教師画像を表す特徴量の値」(【0038】)、「欠陥画像の分類に用いられる特徴量としては種々のものが知られており、実際の欠陥分類においても多種類の特徴量が用いられる。このため、使用される複数種の特徴量のそれぞれを一の座標軸とする特徴量空間も多次元空間となる」(【0040】)、「各特徴量はそれぞれ個別の算出基準に基づき数値化される」(【0049】)、なる各記載や、【0040】で「2種類の特徴量X1,X2からなる2次元の特徴量空間を考える」とした場合の特徴量のプロットを示す図5について、【0040】では「図5における各点は、欠陥画像を特徴量で表したときそれらの値を特徴量空間における座標値として持つ点を表しており、それぞれの点が1つの欠陥画像に対応する。」と説明されていることから、【0049】で正規化の対象とされる甲4における「特徴量」とは、教師画像などの画像データの各画素値自体や、該各画素値と一対一に対応づけられた値の組ではなく、欠陥画像の分類のために前記画像データから計算された、画像データ空間とは別の、特徴量空間内の点の座標データ組を意味すると解される。

認定事項4イ:【0027】・【0029】の記載から、甲4の欠陥分類部32は、与えられた欠陥画像データに基づき特徴量算出部34が算出した複数種の特徴量の値に基づき、当該欠陥画像を、SVM(サポートベクタマシン;Support Vector Machine)、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類するものであると認められる。

6 甲5に記載された事項

(1)発明の詳細な説明の記載事項

「【技術分野】
【0001】
本発明は、鋼管内部腐食解析装置及び鋼管内部腐食解析方法に関し、さらに詳しくは、鋼管鉄塔の鋼管内部を撮影した画像を解析することにより、劣化部分の抽出と劣化評価を行う鋼管内部腐食解析装置及び鋼管内部腐食解析方法に関するものである。
・・・
【0013】
この鋼管内部腐食解析装置100は、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置100であって、プログラムに従って順次処理を行うCPUと、プログラム及びデータを格納するROMと、一次的にデータを記憶し、該記憶したデータを読み出してCPUに供給するRAMと、を有する制御部8は、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段10と、劣化部分を予備的に抽出する劣化部分予備抽出手段11と、前処理手段10により撮影条件を統一し、且つ劣化部分予備抽出手段11により得られた抽出結果に基づいて、画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段12と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段14と、劣化領域検証評価手段14により検証評価された劣化領域を表示する表示処理手段15と、を備えて構成されている。
本発明で使用した撮影画像は工業用内視鏡にて撮影された動画像と、その中から劣化部分を抜き出した静止画像である。図3にその一部を示す。図2(a)〜(d)が劣化度II〜Vに対応する。
色味について全体的に青っぽくなっているもの(特に開口部)(A部)が多く見られるが、赤味を帯びたもの(B部)も一部見受けられる。また、光量不足により暗い部分ではRGBのいずれかの値が明るく見えるCCDノイズも散見している。
画像全体の明るさ(明度)については、撮影時の照明と対象物の距離によってかなり偏りが見られる。極端な場合には照明が鋼管側面に近づくと完全に白く飛んでいる部分がある。
・・・
【0030】
図27にサンプル画像より抜粋した劣化度部分(II〜V)抽出(計91画像)し、劣化領域のYIQのI(平均)を横軸に、明度(平均)を縦軸にしたグラフを示す。グラフ上の直線は劣化度毎の値を直線近似したものである。劣化度IIはRGB同様に比較的はっきりと分類できている。劣化度IIIとIVはやや劣化度IVが劣化度IIIよりに存在している物もあるが、ある程度の領域分けは可能と考えられる。劣化度抽出に用いるパラメータ決定(主観分類)」ではこの結果を基に領域抽出パラメータを主観的に決定する。
前節で得られたサンプル画像(91枚)の特徴量と劣化度見本A(一般環境)との比較を行った。撮影条件の違いによる明度のばらつきをなくすことは、安定した劣化度抽出には欠かせない処理である。図28に明度正規化の処理手順を示す。
1)基準となる鋼管A内における画像正規化
a)それぞれの画像に対して双六角錘モデルを用いた色補正を行う。
b)鋼管Aの補正用基準画像の作成
・鋼管A内全ての画像の同一座標にある画素の明度を取り出し、明度順に並び替えて、その中央に位置する画素の明度を代表値とする。
・この処理で作成された画像を鋼管Aの補正基準画像とする。
c)補正用基準画像もとに鋼管Aの各画像の明度補正を行う。
・それぞれの画像の平均明度とbの補正用基準画像の平均明度を求める。
・全ての画素に対して、(補正用基準画像の平均明度)/(処理対象画像の平均明度)の比率を掛けることで、鋼管A内の全ての画像の明度を均一化する。
2)他の鋼管Bの画像正規化
a〜bの処理は1)と同じ
c)鋼管Aと鋼管Bの補正用基準画像の明度平均が同じになるように、鋼管Bの補正用基準画像の明度を補正する。補正方法は1)のc)と同様の手法を用いる。
d)cで得られた補正用基準画像B’を用いて、1)のc)と同様に鋼管Bの各画像の明度補正を行う。
・・・
【0033】
図32に上記分類パラメータをN=91の劣化度毎のデータ(I,明度)を適応し、どの程度一致するかを示す。全体的にばらついている劣化度IVの一致率が低い。
図33にサポートベクターマシンのイメージを示す図である。サポートベクターマシンとはニューラルネットワークを用いたパターン識別手法の一つであり、学習モデルを採用している。サポートベクターマシンとは例えばデータを二つの種類に分離するために、各データ点との距離が最大となる分離平面を求めるマージン最大化という考え方を用いるものである。図33は赤と青の2つのデータ群を分離するために、マージン最大となる境界線(黒の太線)の例である。今回はフリーのツール”libsvm”を使用した。
ここでは図34に示すように、サンプル画像から選択した91枚の画像の劣化度と特徴量(YIQのIと明度)を学習用パターンとして用い、再度この学習用データのIと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。
【0034】
図35に劣化度毎の一致度を示す。劣化度IIとIVは高い一致率を示すが、劣化度IIIとVは非常に低い値となっている。これはサポートベクターマシンがクラス(劣化度)毎に領域分けを行おうとするものの、学習データが必ずしもそれぞれの劣化度毎にうまくまとまっていないためである。
AdaBoostも学習モデルを用いるクラスタリングの一手法である。サポートベクターマシン同様、与えられた教師付きデータを用いて学習を行う。
AdaBoostはブースティング法と呼ばれる手法の最も基本的なもので、直接一つの判別ルール(判別器と呼ぶ)を決定するのではなく、単純な判別器を多数組み合わせることで全体として一つの判別ルールを構築するものである。与えられた教師付きデータを用いて学習を行い、その学習結果をふまえて逐次重みの調整を繰り返すことで(判別器の追加)複数の学習結果を求め、その結果を組み合わせて精度を向上させる。
【0035】
ここでも前節と同じデータ(YIQのIと明度、劣化度)を用いて学習を行い、再度同じデータ(YIQのIと明度)を与えて得られた劣化度の一致率を確認した。図36はAdaBoostによる分類の一致度を示す図である。
結果は主観分類、サポートベクターマシンよりも良好である。サポートベクターマシンと比較してAdaBoostは必ずしも1つのクラスが1つの領域にある必要はないという柔軟性によるものである。
図37に3手法を比較した表を示す。3種の分類方式の比較結果としてはAdaBoostが最も高い一致率を示している。
【0036】
上記までで検討した領域抽出方法を用いて劣化度毎の領域抽出を行う。図38にプロトタイプの構成を示す。
本プロトタイプでは前処理として、色補正と明度補正を行い、主観分類とAdaBoostによる劣化部分の抽出と分類を行う部分を実装した。以下にその処理手順を示す。
劣化度毎領域抽出手順:
1)前処理として明度の正規化を行う
2)主観分類方法あるいはAdaboostを用いた劣化度別部位の抽出と分類を行う
また、オプションとしてエンボス処理による強調表示の処理も行うことが可能。
・・・
【0045】
図51は異物領域抽出結果例を示す図であり、図51(a)、(b)とも左側が元画像、右側が領域抽出結果を表す図である。劣化処理対象外領域(営巣等の異物)を抽出するための手法の検討として、以下の検討を行った。
1)フーリエ変換を用いた周波数成分の抽出と傾向の検討
2)エッジ形状に着目した領域抽出と傾向の検討
3)テクスチャ特徴量を用いた領域抽出とプロトタイプによる試行
検討の結果、3)のテクスチャ特徴量を学習アルゴリズムとして用いて推定することで、比較的良好に劣化処理対象外領域を抽出することができた。」

7 甲7に記載された事項

(1)発明の詳細な説明の記載

「【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物を撮像した検査対象画像を用いて検査対象物の異常の有無を判定する外観検査処理方法に関するものである。
・・・
【課題を解決するための手段】
【0006】
請求項1の発明は、検査対象物を撮像したカラー画像である検査対象画像の各画素における色度座標の各座標値を用いて前記検査対象物の異常の有無を判定する外観検査処理方法であって、正常状態の検査対象物を撮像したカラー画像である正常サンプル画像の画素ごとに色度座標の各座標値を特徴量とする学習データを作成し、各学習データを競合学習型ニューラルネットワークに入力して学習させ、当該競合学習型ニューラルネットワークの出力層のニューロンをカテゴリに対応付けているクラスタリングマップを作成し、前記競合学習型ニューラルネットワークの学習後に、各学習データを当該競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の各ニューロンにおいて、前記学習データと重みベクトルとのユークリッド距離を求め、前記クラスタリングマップ上の各ニューロンに対して、各学習データと前記重みベクトルとから求めた複数のユークリッド距離により決定した分散、及び前記重みベクトルである平均値により定義したガウス関数を設定し、前記クラスタリングマップ上の各ニューロンに対するガウス関数の設定後に、各学習データを前記競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の全てのニューロンのガウス関数値の総和を求め、全ての学習データに関する前記ガウス関数値の総和の分布から、正常画像であるための下限閾値を設定し、その後、前記検査対象画像の画素ごとに色度座標の各座標値を特徴量とする検査データを作成し、各検査データを前記競合学習型ニューラルネットワークに入力し、前記検査データごとに、当該検査データに関するガウス関数値の総和を求め、当該検査データに関するガウス関数値の総和が前記下限閾値未満である場合、当該検査データに対応する画素を異常判定画素とし、前記検査対象画像における前記異常判定画素を用いた評価条件によって前記検査対象物の異常の有無を判定することを特徴とする。
・・・
【0021】
続いて、競合学習型ニューラルネットワーク1を学習させるまでの動作について詳細に説明する。まず、画像入力部4が、正常状態の検査対象物を撮像し、RGBカラー画像を正常サンプル画像として色抽出部5に出力する。色抽出部5は、画像入力部4からの正常サンプル画像の画素ごとに、学習データを作成する。その後、分類部2は、各学習データを競合学習型ニューラルネットワーク1に入力データとして入力して学習させ、競合学習型ニューラルネットワーク1の出力層12の各ニューロンN2(図2参照)を正常カテゴリ(良品カテゴリ)又は未知のカテゴリの何れかに対応付けているクラスタリングマップを作成する。クラスタリングマップは、図1に示すマップ記憶部7に記憶される。
・・・
【0025】
次に、検査時の動作について図3(b)を用いて説明する。まず、画像入力部4が、検査対象物を撮像し、RGBカラー画像を検査対象画像として色抽出部5に出力する。色抽出部5は、画像入力部4からの検査対象画像の画素ごとに、検査データを作成する。その後、分類部2は、各検査データを競合学習型ニューラルネットワーク1に入力データとして入力し、検査データごとに、クラスタリングマップ上の各ニューロンに設定されたガウス関数の出力値yを求め、さらに、検査データに関するガウス関数値総和を求める。その後、分類部2は、検査データに関するガウス関数値総和が下限閾値未満である場合、上記 検査データに対応する画素を異常判定画素と判定する。
・・・
【0039】
本実施形態では、図1に示す色抽出部5が、検査対象画像の画素ごとに検査データを作成するとともに、学習データとして用いた正常サンプル画像とは異なる複数の正常サンプル画像の各画素におけるRGB色度座標のR座標値、G座標値及びB座標値を特徴とする入力データを作成する。
【0040】
本実施形態の分類部2は、検査対象画像における異常判定画素の判定とは別に、各入力データを競合学習型ニューラルネットワーク1に入力し、入力データごとに、入力データに関するガウス関数値の総和を求める。上記入力データに関するガウス関数値の総和が下限閾値未満である場合、入力データに対応する画素を異常判定画素とし、各正常サンプル画像の異常判定画素の総数を求め、求めた異常判定画素の総数の最大値を求める。
【0041】
その後、分類部2は、検査対象物の異常判定画素が上記最大値を超える場合に検査対象物が異常であると判定する。」

8 甲8に記載された事項

(1)発明の詳細な説明の記載

「【発明の詳細な説明】
【0001】
【産業上の利用分野】
本発明は異常検出方法および装置に係り、特に画像に含まれる外乱やあいまいな情報の下でも検知感度の高い異常判断方法および装置に関する。
・・・
【0011】
【課題を解決するための手段】
上記目的を達成するため本願の第1の発明は、監視カメラにより監視対象物を撮影し、その撮影画像により監視対象物の異常の有無を判断する異常検出方法において、監視カメラにより監視対象物を撮影して原画像として取込む工程と、この原画像の各画素ごとの輝度を多値化する工程と、上記工程により多値化された複数個の画素を共通輝度レベルごとにブロック化する工程と、ブロック化された各ブロックごとの輝度レベル値を学習機能を有するニューラルネットワークに入力することにより原画像の異常の有無を判断し、監視対象物の異常の有無を検出する工程とからなることを特徴とする異常検出方法に関する。
・・・
【0017】
次の工程は、ブロック化である。原画像の全ての画素数、例えば前記の場合65,536個の情報を本発明のニューラルネットワークへ入力しようとするとニューロンの数、さらにシナプス結合数は膨大となり、非現実的である。また原画像の輝度データには、画像認識を行って異常の度合いや正常などの判断をするという目的上、不要な、またはあまり影響を持たない画素の情報は無視し、さらにある輝度分布のものは、1つに代表させるなどの前処理を施すとこによるブロック化を行う。この方法には、図3に示すように標本中央値を出力するメジアンフィルタや標本平均値を出力する一様平滑化フィルタなどがある。
【0018】
以上のブロック化により、65,536個の画素データを有効な数の入力データに削減し、ニューラルネットワークにて異常判断を行う。このニューラルネットワークの構成を図2に示す。このネットワークは、入力層(S層)、中間層(AおよびB層)、出力層(R層)の4層よりなっている。これを機能的に分類するとS層→A層をSTEPI:画像圧縮の機能、B層をSTEPII:特徴抽出の機能、B層→R層をSTEPIII:判断機能の3つの機能を有している。これらの機能を有するためには、ある正常な、または異常な画像データを入力層(S層)に入力し、各々のSTEPで学習させる必要がある。すなわち、これらの学習の手法が重要なポイントとなる。
・・・
【0100】
また、学習に用いた画像や異常な画像の程度からかけ離れた入力画像に対しては、正常または異常といった判定だけでなく、“要観察”を意味する出力を出すニューロンも設けることにより、人間でも判断が難しい画像にも対応した検知装置が実現でき、このことにより、正常、異常の判断の信頼性が向上する。図7には、本発明の実施例でニューラルネットワークに学習させるパターンを示す。すなわち、川の流れ表面の画像を最終的に10×10の100個の入力層ニューロンに入力し、本発明のニューラルネットワークで影なし、影あり/正常な場合(6パターン)および油が浮いている/異常な場合(5パターン)を学習させた。このネットワークに、川の表面の中に油が漏れた場合の画像を入力したところ、影の中に油が漏れた場合でも異常と認識することができた。従来の画像処理による判断では、まず影が川の表面の中にある場合、ない場合をともに正常と判断することは容易でなく、また影の中の油漏れの検出は困難であった。
・・・
【0102】
図9には、影の中の油の検知テストを行った結果を示す。影の面積によらず、約3%以上の面積割合の油漏れは、影の中でも検知できることがわかる。本発明の他の実施例としては、画像の種類が可視画像に限らず、赤外線カメラによる熱画像に対しても実施可能である。検知または認識しようとする対象物の画像の信号として、輝度信号ではなく、赤(R)、緑(G)、青(B)の色信号を入力層にインプットして、学習させ、対象物の異常を判断するシステムにも、本発明の実施が可能である。この効果としては、微妙な色合い、色のむらなどの検出に有効である。」

第5.当審の判断

第5−1.理由1(進歩性)について

1 甲1を主引用例とする本件発明1の進歩性について

(1)本件発明1と甲1発明との対比

ア 構成1aの「赤色異物を検出する対象である茶菓、薬品の錠剤、桜エビ等の原料」、「原料を流下するシュート」はそれぞれ、構成1Aの「異物の混在がないことを確認する検査対象物」、「検査対象物を搬送する搬送手段」に相当する。

イ 構成1bの「光源」は構成1Bの「光照射手段」に相当する。

ウ 構成1cの「原料からの反射光を検出する単結晶シリコンセンサ及びアモルファスシリコンセンサ」は、構成1Dによれば本件発明1も検査対象物の「反射」光を検出するものであることから、検査対象物の反射光を検出する手段である点で、構成1Cの「撮像手段」と共通する。

エ 構成1dで、「色分解プリズム」により分解される原料からの反射光のうち、「600〜650nmの赤色」は、構成1eで「例えば原料が茶葉である場合には赤色系の茎を異物として選別し」とされるとおり、異物からの反射光に対応する色であるから、「色分解プリズム」により分解される「600〜650nm」の波長は、構成1Dの「前記異物・・・が反射する特徴的な波長」に相当する。よって、構成1dの「色分解プリズム」は構成1Dの「波長強調手段」に相当する。

オ 構成1eの「例えば原料が茶葉である場合には赤色系の茎を異物として選別」することは構成1Eの「前記検査対象物の・・・前記異物・・・を識別する」ことに相当する。
また、構成1eにおいて前記「識別」を協働して行う「比率計回路」・「電圧比較器」・「エアー噴射装置を作動させるタイミング信号発生器」は併せて、構成1Eの「識別処理装置」に相当する。

カ 構成1fの「色分解プリズムを用いて、原料の反射光を赤色・緑色の波長に分解」することにおいて、上記エで説示したとおり、該分解された光のうち「600〜650nm」の波長が「前記異物・・・が反射する特徴的な波長」に相当する。よって、構成1fの「色分解プリズム」は構成1F2の「第1のフィルタ」に相当し、構成1fにおいて原料の反射光を前記「赤色・・・に分解」するという「色分解プリズム」の機能は、構成1F2における「前記異物に特徴的な異物特定波長・・・を通過させて・・・、前記異物特定波長・・・を強調」するという「第1の光学フィルタ」の機能に相当する。

キ 構成1hの「前記シュートから流下する原料から赤色系の茎などの異物を排除する」との機能は、自由落下ではあるものの搬送しながらの異物識別であるといえるから、構成1H4の「前記異物・・・をインラインで識別する」ことに相当する。

(2)一致点・相違点
上記(1)のとおりであるから、本件発明1と甲1発明とは、下記アの点で一致し、下記イの各点で相違する。一致点の認定においては、構成1F1・1F2のように(「又は」で並列される)択一的な特定事項はまとめて一致点とした。以下、他の本件発明と甲号証との組み合わせについても同様である。

ア 一致点

「【請求項1】 1A 異物の混在がないことを確認する検査対象物を搬送する搬送手段と、
1B 前記検査対象物に光を照射する光照射手段と、
1C’前記検査対象物の反射光を検出する手段と
1D 前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
1E 前記検査対象物の前記良品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
1F1 前記波長強調手段は、 前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、
前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
1F2’ 又は、前記反射光を検出する手段に対し、第1の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて検出することで、前記異物特定波長及び/又は前記良品特定波長を強調し、
1H4 前記異物又は前記良品をインラインで識別する、
1I 検査装置。」

イ 相違点

(ア)相違点1(構成1C・1F2〜1H3)
本件発明1は検査対象物の反射光の検出を「撮像手段」により行うのに対し、甲1発明は「単結晶シリコンセンサ及びアモルファスシリコンセンサ」なる単素子である点。

(イ)相違点2(構成1G2〜1H3)
本件発明1の「識別処理装置」は、「複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を有し、前記「識別手段」はさらに、「前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」するという機能を備え、ここでの「疑似RGB映像」は「少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたもの」であるとの特定事項を備えるものであるのに対し、甲1発明の識別処理装置は、前記識別手段に相当する手段を備えない点。

(ウ)相違点3(構成1G1)
本件発明1の「識別処理装置」は、「前記撮像手段により撮像された映像を、光強度に応じた階調で正規化データとする手段」を備えるのに対し、甲1発明は相当する手段を備えない点。

(3)相違点の検討

ア 相違点1について

(ア)甲1発明は、シュートから流下する「茶菓、薬品の錠剤、桜エビ等の原料」について、該原料の各粒についてひとつの色情報を検出し、それに基づいて異物を除去選別する色彩選別器に関するものであり、こうした色彩選別器において、流下する各粒の色情報を撮像手段により検出することについて、提示された甲1〜甲8の何れにも開示がない。
(イ)また、光検出手段として撮像手段が周知慣用であるとしても、各粒に対し一つの色情報を取得する色彩選別器において、単センサによる各粒単位の色検出で足りるところ、検出手段を撮像手段に置き換える動機付けが存することが、証拠による裏付けなく直ちに明らかであるといえる理由は見いだせず、申立人もそうした理由について、異議申立書において特段主張しない。
(ウ)以上のとおりであるから、甲1発明において、検査対象物からの反射光の検出手段を撮像手段に置き換えて相違点1の構成とすることは、甲2〜甲8の記載、及び周知の技術事項を考慮してもなお、証拠及び動機付けを欠き、当業者が容易になし得たこととはいえない。

イ 相違点2について

(ア)相違点2に係る構成は、検査対象物が撮像手段により撮像され、該撮像による検査対象物の映像データが存在することを前提とするものである。
甲1発明において検出手段を撮像手段に置き換えることが容易想到性を欠くことは上記アで説示したとおりであるから、甲1発明において相違点2の構成とすることは、その前提においてすでに容易想到性を欠くといえる。

(イ)上記前提の点を措くとしても、相違点2のうち、構成1G2に係る、「複数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を備える点、さらに該識別手段が「前記撮像手段により撮像された前記映像を疑似RGB映像として処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」すること、については、上記第4.1〜8に摘記したとおり、申立人が提示した甲1〜8の何れにも開示がない。以下個別に詳説する。

a 画像データの識別や分類にニューラルネットワークを用いることは甲4〜8にも記載されるが、構成1G2に係る、「識別手段」に「数枚の前記良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理」を「畳み込みニューラルネットワークによりディープラーニングさせ」ること、また、該「ディープラーニングさせた識別手段」を用いる手法については、甲1〜8に開示がない。

b 甲4に記載された技術事項は、上記第4.5(3)で認定したとおり、画像データを1〜数次元の特徴量に変換して特徴量空間にプロットした分布データに対してニューラルネットワークのアルゴリズムを利用して分類するものであり、特徴量を生成される画像データは欠陥画像であり、「良品のみ」の画像ではなく、利用されるニューラルネットワークのアルゴリズムも、畳み込みニューラルネットワークではない。

c 甲5に記載された技術事項において用いられるニューラルネットワークは、上記第4.6に摘記したとおり、「サポートベクタマシン」なるニューラルネットワークを用いた識別手法や、「AdaBoost」なる学習モデルを用いることが開示されるのみで、相違点2に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲5において、該構成に相当する技術事項については開示がない。
また、「ここでは図34に示すように、サンプル画像から選択した91枚の画像の劣化度と特徴量(YIQのIと明度)を学習用パターンとして用い、再度この学習用データのIと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。」(【0033】)と記載されるとおり、ニューラルネットワークを良品のみの画像データを用いて学習させるものでもない。

d 甲6に記載された技術事項では、上記第4.4(1)に摘記され、また、同(2)で認定されたとおり、「主成分分析または、Stacked Auto−Encoders(入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークであるAuto−Encoderを積み重ねて多層とした構成のニューラルネットワーク)の手法を用い」るものであり、相違点2に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲6において、該構成に相当する技術事項については開示がない。

e 甲7に記載された技術事項は、上記第4.7で摘記した箇所に記載されるとおり、検査対象物の画像データに対し「競合学習型ニューラルネットワーク」を用いて以上の有無を判定する技術に関し、相違点2に係る、「畳み込みニューラルネットワーク」の利用や、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」するとの構成に相当するものではなく、甲7において該構成に相当する技術事項については開示がない。

f 甲8に記載された技術事項は、上記第4.8で摘記した箇所に記載されるとおり、「入力層(S層)、中間層(AおよびB層)、出力層(R層)の4層よりなっている。これを機能的に分類するとS層→A層をSTEPI:画像圧縮の機能、B層をSTEPII:特徴抽出の機能、B層→R層をSTEPIII:判断機能の3つの機能を有している」ニューラルネットワーク(【0018】)にて画像の異常を判断するものとされ、「畳み込みニューラルネットワーク」を用いることについて言及がない。また、「カーネル画像を取り出」すこと、ニューラルネットワークによる「再構成された画像と」入力画像との「ピクセルごとの差分を計算」すること、に相当する技術事項ついても開示がない。

g その他、甲2・3には、そもそもニューラルネットワークを用いることについて言及がない。

(ウ)上記(ア)・(イ)の点を措くとしても、甲2〜8には、構成1H1にあたる「前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理」する点の開示がない。

a 本件発明1において、「疑似RGB映像として処理」とし(構成1H1)、「疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする」(構成1J)ことは、本件特許明細書【0029】に「軽量化手段61は、まず、撮像手段4により搬送中の検査対象物Aを撮像した映像D1を、疑似RGB映像D2とする。このとき、映像D1の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB映像D2とすることができる。」と説明されるとおり、異物や良品に応じて色(波長帯やスペクトル)が設定される異物特定波長や良品特定波長による画像データは、特殊な事例を除き、個々に、RGBのうち複数の成分により表現される色となる(例えば異物特定波長が黄色、良品特定波長が水色であれば、異物特定波長はRとGとの、良品特定波長はGとBとの成分をそれぞれ均等に有する)ところ、それをRGBの単色(例えば異物特定波長はR、良品特定波長はG)に一対一に置き換えた映像とすることを意味すると解される。

b 甲4では、上記第4.5に摘記したとおり、撮影画像のカラー(色)情報の扱いについて特段の言及はない。

c 甲5〜7では、上記第4.6・4・7に摘記したとおり、カラー撮像データを用いることについては開示があるものの、ニューラルネットワークによる処理への入力前に、何らかの色合いを特定のRGBの単色へと置き換えるような処理をすることについて開示はない。

d 甲8でも、上記第4.8に摘記したとおり、カラー画像について、輝度信号やR・G・Bの色信号をニューラルネットワークに入力することについては言及があるものの、該各信号やその混色信号を、別の(疑似的な)RGB信号に一対一に置き換えて前記入力することについては言及がない。

(エ)また、仮に、相違点2に係る、
「複数枚の良品のみの正規化データを用いて、正規化データから異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」を設け、前記「識別手段」はさらに、「撮像手段により撮像された映像を疑似RGB映像として処理し、再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、搬送手段による検査対象物の搬送中に撮像して得られた前記正規化データから再構成された画像と前記正規化データとのピクセルごとの差分を計算」する、
ようにすることが、甲号証に実質的に記載されるといえるか、または、該甲号証を参照するまでもなく周知であるとしても、相違点2に係る構成は撮像手段による対象物の撮像を前提とするから、甲1発明において相違点2の構成を備えるようにするためには、甲1発明の検出手段を撮像手段に置き換えた上で、さらに他の甲号証又は周知技術に基づいて相違点2に係る構成とすることを要する。しかし、前記「甲1発明の検出手段を撮像手段に置き換えた」構成は甲1に記載されたものではないから、特許法29条1項3号にいう、「その出願前日本国内または外国において頒布された刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明」とはいえない。よって、前記「甲1発明の検出手段を撮像手段に置き換えた」構成を前提として、他の甲号証又は周知技術に基づいて相違点2に係る構成とすることが当業者にとって容易想到であるとしても、それは特許法29条2項に規定する容易想到性には該当しない。

ウ 小括
上記ア・イのとおりであるから、相違点1・2に相当する技術事項は甲2〜8に開示がなく、相違点3について検討するまでもなく、本件発明1は、甲1発明及び甲2〜8に記載された事項に基づいて当業者が容易に発明できたものとはいえない。

2 甲1を主引用例とする本件発明3の進歩性について

(1)対比・検討

ア 本件発明3は、本件発明1に対し、下記ア〜エの限定を加えて減縮したものにあたる。
(ア)本件発明1の構成1F1・1F2について、「異物特定波長」及び「良品特定波長」の属する波長範囲について数値限定を加え、構成1F2における波長の強調対象を、「前記異物特定波長及び前記良品特定波長」と、双方共である点を限定して、構成3F1・3F2とした。
(イ)構成1G1・1G2・1H3において、「正規化データ」を、さらにそれが「軽量化データ」である点を限定して構成3G1・3G2・3H3とした。
(ウ)構成3Kとして「前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つ、及び前記良品特定波長を少なくとも1つ、を強調し、」なる特定事項を追加した。
(エ)構成1H4について、識別対象を「良品」のみである点を限定して構成3H4とした。

イ よって、本件発明3と甲1発明とは、少なくとも上記相違点1・2の点で相違するといえる。

ウ しかし、相違点1・2が甲2〜8に記載された事項によっても容易想到でないことは、上記1(特に(3))で説示したとおりである。

エ よって、本件発明3は、甲1発明及び甲2〜8に記載された事項に基づいて当業者が容易に発明できたものではない。

3 甲2を主引例とする本件発明1・3の進歩性について

(1)対比・検討
本件発明1・3のうち、上記相違点2に係る構成が甲1〜8の何れにも開示されていないことは、上記1(3)イ(特に(イ)・(ウ))で説示したとおりである。
また、本件発明3が本件発明1を減縮したものにあたることは上記2で説示したとおりである。
そうすると、本件発明1・3と甲2との間には、少なくとも上記相違点2と同様の相違点が存在し、該相違点は甲1・甲3〜8に記載された事項ではなく、該各甲号証の記載事項に基づいて当業者が容易に想到し得たものではない。
よって、本件発明1・3は、甲2発明及び甲1・甲3〜8に記載された事項に基づいて当業者が容易に発明できたものではない。

4 甲3を主引例とする本件発明1・3の進歩性について
本件発明1・3のうち、上記相違点2に係る構成が甲1〜8の何れにも開示されていないことは、上記1(3)イ(特に(イ)・(ウ))で説示したとおりである。
また、本件発明3が本件発明1を減縮したものにあたることは上記2で説示したとおりである。
そうすると、本件発明1・3と甲3との間には、少なくとも上記相違点2と同様の相違点が存在し、該相違点は甲1・甲2・甲4〜8に記載された事項ではなく、該各甲号証の記載事項に基づいて当業者が容易に想到し得たものではない。
よって、本件発明1・3は、甲3発明及び甲1・甲2・甲4〜8に記載された事項に基づいて当業者が容易に発明できたものではない。

5 甲6を主引例とする本件発明2の進歩性について

(1)本件発明2と甲6発明との対比

ア 構成6aの「欠陥がある製品を検知する装置」、「半教師あり異常検知を用いた識別」を担うための手段、「半教師あり学習方法」はそれぞれ、構成2Aの「検査装置」、「識別手段」、「学習方法」に相当する。

イ 構成6bの「物体の複数の分光情報を取得する分光カメラにより複数の分光情報を取得し、物体の多次元ベクトルデータである画像データ」は、構成b2Bの「検査対象物を撮像した学習映像」に相当する。
また、構成6bの「カメラにより複数の分光情報を取得」することは、構成2Bの「異物が反射する特徴的な波長を異物特定波長として抽出する」ことと、共に分光画像を取得するものである点で共通する。

ウ 構成6cの「正常なモデル」は構成3Cの「良品」に相当する。
また、構成6cの「複数の多次元データからなる学習データを・・・外部装置に格納しておき、または撮像装置の撮像動作により生成」することは、構成2Cの「学習映像を複数枚準備する」ことに相当する。

エ(ア)構成6eの学習データは、構成6cの「正常なモデルに属する複数の多次元データからなる学習データ」にあたるから、構成2E1の「複数枚の前記良品のみの・・・データ」に相当する。
(イ)構成6e〜6fの、「次元削減部・次元復元部・データ識別部が、入力された学習データを用いて、主成分分析または、Stacked Auto−Encoders(入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークであるAuto−Encoderを積み重ねて多層とした構成のニューラルネットワーク)の手法を用いて学習され、そのうちStacked Auto−Encodersの手法を用いた学習では、Stacked Auto−Encodersの学習は、Stacked Auto−Encodersを構成する複数のAuto−Encoder毎に、学習データ1000を用いて、第1のAuto−Encoderの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行うことにより、次元削減部及び次元復元部の学習を行うものであり、誤差算出部が、次元削減部に入力された学習データと、次元復元された学習データとの差分(誤差)を計算し、前記差分(誤差)を多次元空間にプロットして正常なデータを表す集合(ポジティブモデル)を生成し、識別対象データが異常値データであるか否かを識別できるように、データ識別部が学習される」工程は、データ識別部に対し「識別対象データが異常値データであるか否かを識別できるよう」「学習」させる一連の手順を特定するものであるから、構成2E2の、「前記異物又は前記良品を識別する処理を、前記識別手段に」「ラーニングさせる」すなわち学習させることに相当する。

オ 構成6gの「半教師あり学習方法」は、構成2Gの「識別手段の学習方法」に文言上相当する。

(2)一致点・相違点
上記(1)のとおりであるから、本件発明2と甲6発明とは、下記アの点で一致し、下記イの各点で相違する。

ア 一致点

「2A 検査装置の識別手段の学習方法であって、
2B’ 検査対象物を撮像した学習映像から分光画像を取得するステップと、
2C’ 良品のみを撮像した、学習映像を複数枚準備するステップと、
2E2’ 複数枚の前記良品のみのデータを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に学習させるステップと、を含み、
2G 識別手段の学習方法。」

イ 相違点

(ア)相違点2−1(構成2B)
検査対象物が本件発明1では「異物の混在がないことを確認する」ものであるのに対し、甲6発明は相当する特定がなされていない点。

(イ)相違点2−2(構成2B)
本件発明1が、「前記異物が反射する特徴的な波長を異物特定波長として抽出する」工程を備えるのに対し、上記(ア)のとおり異物確認を少なくとも明示的な目的としない甲6発明は、相当する工程を備えない点。

(ウ)相違点2−3(構成2C・2H)
準備される学習映像が、本件発明1では「良品特定波長を含む疑似RGB」の学習映像でああり、さらに該「疑似RGB学習映像」が「少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたもの」であるのに対し、甲6発明は、学習映像(学習データ)について良品特定波長を含むものとするとの特定事項も、その疑似RGB映像とするとの特定事項も備えない点。

(エ)相違点2−4(構成2D・2E1)
本件発明1が「前記疑似RGB学習映像」を識別手段に学習させるにあたり、「光強度に応じた階調で正規化し、正規化データとする」工程を備えるのに対し、甲6発明は、相違点2−3に関係して、そもそも前提となる「疑似RGB学習映像」の生成を行わないことに加え、それを正規化して正規化データとするを工程も備えない点。

(オ)相違点2−5(構成2E2)
識別手段への学習が、本件発明1では「自己符号化器を用いた再構成又は
輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニング」であるのに対し、甲6発明では、「主成分分析または、Stacked Auto−Encoders(入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークであるAuto−Encoderを積み重ねて多層とした構成のニューラルネットワーク)」である点。

(カ)相違点2−6(構成2F)
本件発明1は「前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す」との工程を備えるのに対し、甲6発明は、そもそも「畳み込みニューラルネットワーク」を用いるとの前提を欠き、「畳み込みニューラルネットワーク」特有の「カーネル」に関連する「カーネル画像を取り出す」に相当する構成も備えない点。

(3)相違点の検討
事案に鑑み、相違点2−5・2−3について先に検討する。

ア 相違点2−5・2−6について
上記1(3)イ(イ)で各甲号証の記載事項について説示し、また、上記第4.1〜8に摘記したとおり、画像データの識別や分類にニューラルネットワークを用いることは甲4〜8にも記載されるが、相違点2−5に係る、「識別する処理」を「識別手段」に「畳み込みニューラルネットワークによりディープラーニングさせ」ることについては、甲1〜8に開示がない。
よって、また、相違点2−6に係る、前記相違点2−5に係る「畳み込みニューラルネットワーク」の使用を前提とした、「畳み込みニューラルネットワークの中で、カーネル画像を取り出す」工程についても、相当する工程の開示は当然に甲1〜8中にない。
よって、甲6発明において、学習するニューラルネットワークを畳み込みニューラルネットワークとして相違点2−5・2−6の構成とすることは、甲1〜5・甲7・甲8の記載事項に基づいて当業者が容易に想到し得たことではない。

イ 相違点2−3について
上記1(3)イ(ウ)で各甲号証の記載事項について説示し、また、上記第4.1〜8に摘記したとおり、甲1〜8には、撮像した映像をニューラルネットワークに入力するにあたり疑似RGB映像とする点の開示がない。
よって、使用するニューラルネットワークの種別に関する相違を措くとしてもなお、甲6発明において、相違点2−3の構成とすることは、甲1〜5・甲7・甲8の記載事項に基づいて当業者が容易に想到し得たことではない。

ウ 小括
上記ア・イのとおりであるから、他の相違点について検討するまでもなく、本件発明2は甲6発明及び甲1〜5・甲7・甲8の記載事項に基づいて当業者が容易に発明できたものとはいえない。

6 甲6を主引例とする本件発明3・4の進歩性について

(1)本件発明4・5と甲6発明との対比

ア 本件発明2と甲6発明との相違点と共通する相違点について
本件発明2と本件発明4・5とは、構成2A〜2C(構成4A〜4C・構成5A〜5C)、構成2F〜2H(構成4F〜4H・構成5F〜5H)が共通する。
また、構成2E2のうち、「前記異物又は前記良品を識別する処理を、前記識別手段に輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含」む点は相互に共通する(構成4E・5E)。
そうすると、本件発明4・5と甲6発明との間には、上記相違点2−1〜2−3・2−6と同様の相違点が共通に存在するといえる。
また、本件発明4と甲6発明との間には、上記相違点2−5と同様の相違点が存在する。

イ 構成5E2について
構成5E2は、構成2Eの「記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み」なる特定事項から、「自己符号化器を用いた再構成」を削除する減縮を施したものにあたる。
そうすると、相違点2−5が容易想到性を欠くのであれば、当然に本件発明5の構成5E2の構成とすることも容易想到性を欠くこととなる。

(2)相違点の検討
上記相違点2−3・2−5・2−6について、甲1〜8の記載事項によっても容易想到性を欠くことについては、上記5(3)で説示したとおりである。
そうすると、上記(1)アのとおり、本件発明4・5が本件発明2と、甲6発明との相違点2−3及び2−6を共有すること、また、本件発明5の構成5E2について上記(1)イの事情があることを考慮すれば、他の相違点について検討するまでもなく、本件発明4・5は、甲6発明及び甲1〜5・甲7・甲8の記載事項に基づいて当業者が容易に発明することができたものとはいえない。

7 申立人の主張について

(1)本件発明1・3の進歩性について

ア 申立人は上記相違点2に関係し、「「前記識別処理装置」が、「複数枚の前記良品のみの前記データを用いて、前記データから前記異物又は前記良品を識別する処理を、あらかじめ再構成の畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」、を有し、「前記識別手段は、前記撮像手段により撮像された前記映像を処理し、前記再構成の畳み込みニューラルネットワークの中でカーネル画像を取り出し、前記搬送手段による前記検査対象物の搬送中に撮像して得られた前記データから再構成された画像と前記データとのピクセルごとの差分を計算し、前記異物又は前記良品をインラインで識別する」点についても、甲第6号証に例示されるとおり、周知である。」旨主張する(異議申立書30・35頁)。
しかし、「畳み込みニューラルネットワークによりディープラーニングをさせた識別手段」について甲6をはじめ、申立人が提出した何れの甲号証にも開示がないことは上記のとおりであるから、前記主張は失当である。

イ 申立人は、「「RGB映像」をニューラルネットワークで処理する点についても、甲第7号証、甲第8号証に例示されるとおり、周知である。」旨主張する(異議申立書30・36頁)。
これは相違点2のうち「疑似RGB映像として処理」する点についての主張と理解される。
しかし、本件発明1・3における該「疑似RGB映像として処理」とは、単にRGB映像のことを指すのではなく、上記第5−1.1(3)イ(ウ)aで認定したとおり、異物特定波長や良品特定波長を(通常RGBの中間色であるそれらとは異なる)RGBいずれかの単色画像に置き換えることを指すと理解すべきであるところ、申立人の前記主張は、本件発明1の技術内容を正しい理解に基づくものとはいえず、前記主張は失当である。

(2)本件発明2・4・5の進歩性について

ア 申立人は本件発明2と甲6発明との対比において、構成2A・2E1〜2Gにあたる「検査装置の識別手段の学習方法であって、複数枚の前記良品のみの前記正規化データを用いて、前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングをさせるステップと、を含み、前記畳み込みニューラルネットワークの中で、カーネル画像を取り出す、識別手段の学習方法。」が甲6に記載されている旨主張する。
しかし、該各構成が相違点2−4〜2−6において甲6発明と相違すること、該各相違点について他の甲号証に相当する記載が見いだせないことは、上記5(3)で説示したとおりであるから、当該主張は失当である。
また、本件発明4・5についての同様の主張についても、同様に失当である。

イ 申立人は「疑似RGB映像」についても上記(1)イと同様の主張をするが、これについても上記(1)イで説示したとおり、失当である。

8 まとめ
以上1〜7のとおりであるから、本件発明1〜5は、申立人が提出した甲1〜甲8に記載された発明及び技術事項に基づいて当業者が容易に発明をすることができたものではない。

第5−2.理由2(明確性要件)について

1 構成1F1・1F2について

(1) 構成1F2の「前記撮像手段に取付けた第1の光学フィルターを用いて、前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長を通過させて撮像することで、前記異物特定波長及び/又は前記良品特定波長を強調し、」なる特定事項には、異物に特徴的な異物特定波長を通過させて撮像することで良品特定波長を強調すること、また、逆に、良品に特徴的な良品特定波長を通過させて撮像することで異物特定波長を強調すること、なる技術事項も含む。
しかし、ある波長の光をA・B一方の物品しか反射しない場合に、A・Bが共存するとき、該波長の光での反射画像において、該波長を反射する方の物品は画像の明部となって、反射しない方の物品は画像の影(暗部)となって、何れも強調され得ることは、技術常識である。
該技術常識に照らし、前記構成1F2に含まれる前記技術事項は何れも、技術的に欠陥があるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成3F2についても同様である。

(2) 構成1F1に含まれる、「前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、前記異物に特徴的な異物特定波長・・・を強調するように選択された光を照射し、・・・前記良品特定波長を強調」すること、及び、「前記光照射手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、・・・前記検査対象物の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、・・・前記異物特定波長・・・を強調」することについても、上記(1)で説示したものと同様の理由により、技術的に欠陥があるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成3F1についても同様である。

(3)構成1F1・1F2等に含まれる、「前記異物に特徴的な異物特定波長又は前記検査対象物の良品が反射する特徴的な良品特定波長」なる特定事項については、異物や、異物が混入しうる物品について、本件特許の特許請求の範囲及び明細書を通じ、特段の限定がなく、種々の物品や異物が想定されていると理解されるから、異物や良品の分光反射特性についても、狭帯域の反射スペクトルピークを持つ場合から、広帯域で反射能を呈する場合まで含まれるといえる。
そして、2つの物品において分光反射特性に相違があれば、反射率が等しくない特定の波長や波長帯での反射画像を比較することで両物品を分別しうること、該分別を容易にする波長は、2つの物品個別の分光反射特性のほか、両者の分光反射特性の関係によっても相違すること、は何れも技術常識であるといえる。
また、構成1Dの「前記検査対象物の良品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段」なる特定事項を考慮すれば、構成1F1ほかの「前記異物に特徴的な異物特定波長」も反射波長についていうものであることが明確に理解できる。
また、物品について相対的に大きな吸光度を示す波長は、相対的に分光反射率が小さい波長に対応することは、この性質を利用して分光反射測定を通じて分光吸光度測定を行う技術が周知であることに照らしても、技術常識であるといえるから、仮に「異物特定波長」が吸光波長についていうものであると解しても、本件発明1の技術的理解を損ねるとか、技術的な欠陥や理解できない事項が生じるとはいえない。
また、前記各特定波長の選択は、疑似RGBの各色との対応付けにより影響されるものではない(単に特定波長を便宜上RGBのいずれかの単色に割り当てて表示やニューラルネットワークへの入力に供するに過ぎない)から、構成1Jに係る特定事項により前記特定事項が不明確になるともいえない。
構成3F1・3F2についても同様である。

3 構成1H1・1Jについて
「疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする」との特定事項の理解については、上記第5−1.1(3)イ(ウ)aで説示したとおりであり、一般的にはRGBの中間色となるであろう各特定波長の画像データがRGBのうち一色のデータに置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存するということができる。
よって、構成1Jの特定事項については、技術的意義が不明確であるとはいえず、その他明確性要件を欠く何れの理由にも該当しない。
構成3H1・3J・2H・4H・5H・2C・4C・5Cについても同様である。

4 まとめ
以上のとおりであるから、上記1〜3で取り上げた以外の特定事項も含め、特許を受けようとする本件発明1〜5は明確であり、技術的な不備があるということもなく、特許請求の範囲の記載は、特許法第36条第6項第2号の要件を満たすものである。

第5−3.理由3(サポート要件)について

1 構成1F1・1F2・3F1・3F2について

(1) 構成1F1・1F2・3F1・3F2については、本件特許明細書の【0024】〜【0027】・【0045】・【0048】・【0049】において、下記(2)に摘記したとおり説明されている。特に、撮像(照射)波長と強調対象とが相違する形態については、上記第5−2.1(1)・(2)で説示したとおり、技術常識に基づいてその実現可能性が導けるほか、本件特許明細書の【0045】に「実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。」なる、良品特定波長を強調することで異物も識別できる旨の記載があり、この記載から、逆に、異物特定波長を強調することで良品を識別できることも自明であるといえる。
よって、構成1F1・1F2・3F1・3F2に係る技術事項については、本件特許明細書中において記載・示唆されるとともに、少なくとも該記載や示唆から、出願時の技術常識に照らし、拡張ないし一般化できる範囲のものであるといえる。

(2)「【0024】
<波長強調手段の構成−1>
波長強調手段5は、検査対象物A中の食品Bの良品S又は異物Fnの少なくとも一方が反射する特徴的な波長Wnを強調する。波長強調手段5は、例えば、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51を用いて、異物F1に特徴的な異物特定波長(第1の異物特定波長)Wf1を少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調する。本実施形態では、異物F1以外の異物F2に特徴的な第2の異物特定波長Wf2も、第2の光学フィルター52を用いて同時に強調する。
【0025】
<波長強調手段の構成−2>
第1の光学フィルター51及び第2の光学フィルター52には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段4がCCDカメラである場合、第1の光学フィルター51及び第2の光学フィルター52として、CCDカメラのCCDセルのウェル電圧及び/又はサブストレート電圧を外部から制御するCCDセル電圧外部制御装置であってもよい。CCDセル電圧外部制御装置を用いれば、一般的に入手できる3CCDタイプのCCDカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び/又はサブストレート電圧を制御することで、撮像素子に入り込む光子(波長によりエネルギー量が異なる)が電荷パケットに入る応答特性を変化させることが可能となり、異物Fに特徴的な異物特定波長Wfを少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調することができる。
【0026】
<波長強調手段の構成−3>
さらに、波長強調手段5は、第1の異物特定波長Wf1及び第2の異物特定波長Wf2に加えて、食品Bの良品Sが反射する特徴的な良品特定波長Wsも強調可能になっている。なお、第1の光学フィルター51及び第2の光学フィルター52は、それぞれ逆の特定波長を強調するように構成されてもよい。
【0027】
<波長強調手段の構成−4>
これらの第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsは、前もって検査対象物Aを撮像し、得られた映像D0から抽出しておく必要がある。
・・・
【0045】
<実施形態の効果−2>
実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。検査対象物A(食品B)から良品S及び異物Fnを識別できるため、良品S及び異物Fnの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
・・・
【0048】
<変形例の説明−1>
食品検査装置1の変形例を説明する。
上記実施形態では、波長強調手段5は、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsの合計3つの波長を強調したが、少なくとも1つの第1の異物特定波長Wf1(Wf2)と、少なくとも1つの良品特定波長Wsとを強調してもよく、第1の異物特定波長Wf1のみを強調してもよい。少なくとも、第1の異物特定波長Wf1を強調することで、食品Bの中から異物Fnを識別することができる。あるいは、良品特定波長Wsのみを強調してもよい。なお、異物特定波長Wf及び良品特定波長Wsを合計4つ以上強調するように構成してもよい。
【0049】
<変形例の説明−2>
上記実施形態では、波長強調手段5は、補光器に取付けた第2の光学フィルター52でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばLED素子や半導体レーザーであってもよい。LED素子であれば、LEDチップに含まれる材料の種類を変更することで、200nmから1000nm程度の領域内で、所望の波長範囲の光を放出するように構成することができる。」

2 構成1J・3J・2H・4H・5Hについて

(1)ア 構成1J・3J・2H・4H・5Hに係る「疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする」との特定事項の理解については、上記第5−1.1(3)イ(ウ)aで説示したとおりであり、一般的にはRGBの中間色となるであろう各特定波長の画像データがRGBのうち一色のデータ(疑似RGB)に疑似的に置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存する。
イ また、異物・良品各特定波長は、それぞれに割り当てられる疑似RGBの各単色とは無関係であるから、疑似RGB映像とすることで異物や良品の識別が影響を受けるということもない。
ウ また、前記特定事項に関しては、下記(2)摘記したとおり、本件特許明細書の【0035】に説明が記載されており、ここでの「学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させる」との説明が、上記アの理解を裏付ける。
エ 以上のとおりであるから、上記特定事項が請求項に記載されている事項が、発明の詳細な説明中に記載も示唆もされていないとはいえない。

(2)「【0035】
<学習映像準備ステップの説明−1>
学習映像準備ステップS2では、特定波長抽出ステップS1で抽出された第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを強調する波長強調手段5を用い、撮像手段4で検査対象物Aを撮像する。そして、撮像した学習映像d1から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを含む疑似RGB学習映像d2を作成し、複数枚、例えば1000枚以上準備する。このとき、学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB学習映像d2が得られる。」

3 まとめ
以上のとおりであるから、上記1・2で取り上げた以外の特定事項も含め、特許を受けようとする本件請求項1〜5に記載されている事項は、本件特許明細書中において記載・示唆されるものであるといえ、特許請求の範囲の記載は、特許法第36条第6項第1号の要件を満たすものである。

第5−4.理由4(実施可能要件)について

1 構成1F1・1F2・3F1・3F2について
上記第5−2.1(1)・(2)及び第5−3.1で説示したとおり、構成1F1・1F2・3F1・3F2に係る特定事項については、本件特許明細書の【0024】〜【0027】・【0045】・【0048】・【0049】において説明されている。
特に、撮像(照射)波長と強調対象とが相違する形態については、上記第5−2.1(1)・(2)に説示したとおり、それ自体、技術常識に基づけばその実現可能性を導くことができるものであるし、さらに上記第5−3.1でで説示したとおり、特に本件特許明細書の【0045】に「実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。」なる、良品特定波長を強調することで異物も識別できる旨の記載があり、この記載から、逆に、異物特定波長を強調することで良品を識別することが技術的に可能であることも自明であるといえる。

2 構成1J・3J・2H・4H・5Hについて

(1)構成1J・3J・2H・4H・5Hに係る「疑似RGB映像は、少なくとも1つの異物特定波長及び良品特定波長を、RGB信号のいずれかに1対1で対応させたものとする」との特定事項の理解については、上記第5−1.1(3)イ(ウ)aで説示したとおりであり、一般的にはRGBの中間色となるであろう各特定波長の画像データがRGBのうち一色のデータ(疑似RGB)に疑似的に置換されることで、ニューラルネットワークへの入力データの次元や量が削減されるという技術的意義が存するということができる。

(2)前記特定事項に関しては、上記第5−3.2(2)摘記したとおり、本件特許明細書の【0035】に説明が記載されている。
ここでの「学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させる」との説明が、上記アの理解を裏付ける。
そして、カラー画像データの処理において、画像中のある種の色に別の特定の色を割り当てて表示等行う技術は、「擬似カラー表示」などの通称が存在するほどに一般的な技術であるから、本件発明において、検査対象物のカラー画像において、任意の各特定波長をRGBいずれかの単色に置き換えるようにデータ変換することは、前記一般的な技術の適用によって当業者が容易に実施することができるといえる。

3 まとめ
以上のとおりであるから、上記1・2で取り上げた以外の発明特定事項に関する事項も含め、発明の詳細な説明の記載は,発明が解決しようとする課題及びその解決手段その他のその発明の属する技術の分野における通常の知識を有する者が発明の技術上の意義を理解するために必要な事項を,その発明の属する技術の分野における通常の知識を有する者がその実施をすることができる程度に明確かつ十分に記載したものであるといえ、明細書の記載は、特許法第36条第4項第1号の要件を満たすものである。

第6.むすび
したがって、特許異議の申立ての理由及び証拠によっては、請求項1〜5に係る特許を取り消すことはできない。
また、他に請求項1〜5に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
 
異議決定日 2022-07-06 
出願番号 P2019-109491
審決分類 P 1 651・ 121- Y (G01N)
P 1 651・ 536- Y (G01N)
P 1 651・ 537- Y (G01N)
最終処分 07   維持
特許庁審判長 福島 浩司
特許庁審判官 樋口 宗彦
▲高▼見 重雄
登録日 2021-09-06 
登録番号 6940215
権利者 キユーピー株式会社 株式会社ブレインパッド
発明の名称 検査装置及び検査装置の識別手段の学習方法  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ