• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない(前置又は当審拒絶理由) G06T
管理番号 1391206
総通号数 12 
発行国 JP 
公報種別 特許審決公報 
発行日 2022-12-28 
種別 拒絶査定不服の審決 
審判請求日 2020-03-07 
確定日 2022-11-04 
事件の表示 特願2018− 17411「ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法」拒絶査定不服審判事件〔平成30年 9月27日出願公開、特開2018−152055〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、平成30年(2018年)2月2日(パリ条約による優先権主張 2017年2月3日 米国)の出願であって、その手続の経緯は、概略、以下のとおりである。
平成31年 3月 7日付け:拒絶理由通知書
令和 1年 9月13日 :意見書、手続補正書の提出
令和 1年10月30日付け:拒絶査定
令和 2年 3月 7日 :審判請求書の提出
令和 2年 4月17日 :手続補正書(請求の理由)の提出
令和 3年 5月10日付け:拒絶理由通知書(当審)
令和 3年11月11日 :意見書、手続補正書の提出

第2 本願発明について
本願の請求項1ないし21に係る発明は、令和3年11月11日の手続補正書によって補正された特許請求の範囲の請求項1ないし21に記載された事項により特定されるとおりのものと認められるところ、請求項1に係る発明は、次のとおりである(以下、「本願発明」という)。
なお、(A)〜(G)は、説明のために当審で付したものであり、以下、「構成A」〜「構成G」という。

「【請求項1】
(A)カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってカラー画像と対照して訓練されたカラーパターンの候補ポーズをスコアリングするための方法であって、
(B)当該方法はビジョンシステムプロセッサに訓練されたカラーパターンを提供するステップを有し、前記パターンは前記パターン内のカラーマッチ情報を表す一連のカラーテストポイントを備え、前記カラーテストポイントは勾配度閾値よりも小さい勾配度をもつ領域にあり、
(C)当該方法は、さらに、ビジョンシステムプロセッサに、シーンの実行時カラー画像を提供するステップを有し、
(D)当該方法は、さらに、ビジョンシステムプロセッサによって、前記訓練されたパターンを基準にした、前記実行時カラー画像に対する座標空間を備える実行時ポーズを確定するステップを有し、前記実行時ポーズは幾何学的アライメントプロセスによって生成され、
(E)当該方法は、さらに、ビジョンシステムプロセッサによって、前記実行時カラー画像に対する座標空間上にカラーテストポイントをマッピングするステップを有し、
(F)当該方法は、さらに、ビジョンシステムプロセッサによって、訓練されたカラーパターンと前記マッピングされたカラーテストポイントにおける実行時カラー画像との間の差としてそれぞれマッピングされたカラーテストポイントにおけるカラーマッチを決定するステップを有し、
(G)当該方法は、さらに、カラーマッチに基づいて、実行時カラー画像の少なくとも一部でカラーマッチスコアを判定するステップを有する、
(A)上記方法。」

第3 当審拒絶理由の概要
令和3年5月10日付け拒絶理由通知書(以下「当審拒絶理由通知書」という)で通知した拒絶理由のうち、理由3の概要は以下のとおりである。

本願の請求項1〜21に係る発明は、その出願前日本国内又は外国において頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献1:米国特許出願公開第2003/0083850号明細書

第4 引用文献の記載及び引用発明
(1)引用文献1には、図面と共に以下の事項が記載されている。
なお、下線は当審で付与した。また、仮訳は当審で作成した。

「[0001] The present invention relates to a system and method for locating regions of a target image that match a template image with respect to color and pattern information, wherein the invention includes efficient methods for characterizing the template image, improved methods for performing the color and pattern matching, and improved methods for locating rotated and/or scaled matches. 」
(仮訳:
[0001] 本発明は、カラー及びパターン情報に関してテンプレート画像と一致するターゲット画像の領域を探し出すためのシステム及び方法に関するものであり、ここで本発明は、テンプレート画像を特徴付けるための効率的な方法、カラー及びパターンマッチングを実行するための改良された方法と、回転及び/またはスケーリングされた一致を探し出すための改良された方法を含む。)

「[0004] Typically, the pattern matching algorithm involves comparing the template image, or a subset of sample pixels representing the template image, against locations in the target image on a horizontal pixel column basis and horizontal scan line basis. In other words, the sample pixels representing the template image are compared against a portion of the pixels in the target image, such as by using a 2D correlation, the sample pixels representing the template are then moved down or across a one pixel scan line or one pixel column in the target image, and the pattern matching algorithm is repeated, etc. Thus, the pattern matching algorithm generally involves comparing the template image pixels against all possible locations in the target image in an iterative fashion. The pattern matching may produce the location of the match in the image, the quality of match and possibly the orientation, size and/or scaling of the match.」
(仮訳:
[0004] 典型的には、パターンマッチングアルゴリズムは、テンプレート画像、またはテンプレート画像を表すサンプル・ピクセルのサブセットを、水平ピクセル列ベース及び水平スキャンラインベースでターゲット画像内の位置と比較することを含む。言い換えれば、テンプレート画像を表すサンプル・ピクセルは、ターゲット画像のピクセルの一部と、2D相関を使用するなどして比較され、その後、テンプレートを表すサンプル・ピクセルは、ターゲット画像の1ピクセルのスキャンラインまたは1ピクセルの列だけ下または横に移動され、パターンマッチングアルゴリズムが繰り返されるなどである。このように、パターンマッチングアルゴリズムでは、一般的に、テンプレート画像のピクセルをターゲット画像内のすべての可能な位置と反復的に比較することが行われる。このパターンマッチングは、画像内における一致の位置、一致の品質、さらには方向、サイズ、及び/またはスケーリングにおける一致の可能性を生成することができる。)

「[0028] One embodiment of the present invention comprises a system and method for locating regions in a target image that match, at least to a degree, a template image with respect to color and pattern information.A template image comprising a plurality of pixels may be received by a computer system. A color characterization analysis may be performed in order to determine color information of the template image, e.g., using a color characterization method described herein. A method to characterize pattern information of the template image may also be performed.
[0029] When a target image is received, e.g., when the target image is acquired by a camera for a machine vision application, the target image may then be searched in order to find one or more regions in the target image matching the color and pattern information of the template image. The pattern information may comprise luminance pattern information and/or hue plane pattern information, and may also comprise saturation plane pattern information. In various embodiments, user input may be received which specifies options to use in performing the search, such as options relating to a desired matching granularity or options affecting the search efficiency and time requirements.
[0030] The search may comprise performing a first-pass search using color information obtained in the color characterization analysis of the template image in order to find a plurality of color match candidate regions, i.e., regions in the target image that match the template image with respect to color. For example, a color characterization analysis of various regions within the target image may be performed, and the color information for each region may be compared to the color information of the template image in order to determine whether the region matches the template image with respect to color. The color matching criteria used in this first-pass search may be relatively loose, i.e., a region that is analyzed may not need to match the color information of the template image very closely in order to be considered a color match candidate region. The first-pass color matching search may use a coarse to fine method and may also use a hill-climbing method to locate specific color match candidate regions.
[0031] For each color match candidate region found in the first-pass search, a luminance pattern matching search may be performed for a regionproximal to (i.e., surrounding and encompassing) each color match candidate region (the proximal region or surrounding and encompassing region). The luminance pattern matching may be based on luminance pattern information obtained in the pattern information characterization of the template image. The luminance pattern matching may be performed using luminance or intensity information of the pixels (or a subset of the pixels) in the template image and the target image. Thus the luminance pattern matching may essentially correspond to a gray-scale image pattern matching. Pattern-based searches are summarized below. This pattern matching search of the proximal regions may produce one or more luminance pattern match regions in the target image. The one or more luminance pattern match regions found in the pattern matching search of each surrounding region match the template image with respect to color and pattern information according to some desired metric or degree of closeness. A luminance pattern match score may be calculated for the one or more matching luminance pattern match regions.
[0032] After luminance pattern matching has been performed, the method may then optionally perform hue plane or color-based pattern matching. This step is performed to assure that colored components of a selected image are in the correct locations per the template image. For example, in a case involving the identification of electrical resistors, two resistors selected by the color characteristic search and the luminance search may have stripes of the same colors, but in different order or different location. A hue plane pattern match score may be calculated to determine which of these two candidates matches the template image.
[0033] A final color match score may be calculated for one or more of the candidate regions. In other words, after the refinement of candidate regions based on the pattern matching, a final color match score may be computed for the refined regions. A total score may then be calculated based at least in part on the luminance pattern match score, the hue plane pattern match score, and the final color match score. The total score may be used to determine a list of final matching regions. Output may be generated indicating these final matching regions, and may also include one or more of the calculated scores for each region.」
(仮訳:
[0028] 本発明の一実施形態は、カラー及びパターン情報に関してテンプレート画像と少なくともある程度一致するターゲット画像内の領域を探し出すためのシステム及び方法を含む。複数のピクセルを含むテンプレート画像は、コンピュータシステムによって受信されてもよい。テンプレート画像のカラー情報を決定するために、例えば、本明細書に記載のカラー特徴付け方法を用いて、カラー特徴付け分析を行うことができる。テンプレート画像のパターン情報を特徴付ける方法を行うこともできる。
[0029] ターゲット画像が受信されると、例えば、ターゲット画像がマシンビジョンの用途のためのカメラによって取得されると、そのターゲット画像は、テンプレート画像のカラー及びパターン情報に一致するターゲット画像内の1つまたは複数の領域を見つけるために、探索されてもよい。パターン情報は、輝度パターン情報及び/または色相平面パターン情報を含んでいてもよく、また、彩度平面パターン情報を含んでいてもよい。様々な実施形態では、所望のマッチング粒度に関するオプションや、検索効率や所要時間に影響を与えるオプションなど、検索を実行する際に使用するオプションを指定するユーザー入力を受信してもよい。
[0030] 探索は、複数のカラーマッチ候補領域、すなわち、色に関してテンプレート画像と一致するターゲット画像内の領域を見つけるために、テンプレート画像のカラー特徴付け解析で得られたカラー情報を使用して、第1パス探索を実行することを含んでもよい。例えば、ターゲット画像内の様々な領域のカラー特徴付け解析を行うようにしてもよいし、各領域のカラー情報は、その領域が色に関してテンプレート画像と一致するかどうかを判断するために、テンプレート画像のカラー情報と比較されてもよい。この第1パス探索で使用されるカラーマッチング基準は、比較的緩やかなものであってもよく、すなわち、分析される領域は、カラーマッチ候補領域とみなされるために、テンプレート画像のカラー情報と非常に近く一致する必要はなくてもよい。第1パスのカラーマッチング探索は、粗いものから細かいものにしていく方法を使用してもよく、また、特定のカラーマッチ候補領域を見つけるために、ヒルクライミング法を使用してもよい。
[0031] 第1パス探索で見つかった各カラーマッチ候補領域について、各カラーマッチ候補領域(近傍領域または周辺・包含領域)に近接した(すなわち、周辺・包含)領域について、輝度パターンマッチングの検索を行ってもよい。輝度パターンマッチングは、テンプレート画像のパターン情報の特徴付けで得られた輝度パターン情報に基づいて行われてもよい。輝度パターンマッチングは、テンプレート画像及びターゲット画像のピクセル(またはピクセルのサブセット)の輝度または強度の情報を用いて行うことができる。したがって、輝度パターンマッチングは、本質的にグレースケール画像のパターンマッチングに対応することができる。パターンに基づく探索は、以下に要約される。近傍領域のこのパターンマッチング検索は、ターゲット画像内に1つまたは複数の輝度パターンマッチ領域を生成することができる。各周辺領域のパターンマッチング検索で見つかった1つまたは複数の輝度パターンマッチ領域は、何らかの所望の指標または近さの度合いに従って、カラー及びパターン情報に関してテンプレート画像と一致している。一致した1つ以上の輝度パターンマッチ領域に対して、輝度パターンマッチスコアを計算することができる。
[0032] 輝度パターンマッチングが実行された後、この方法は、色相平面または色に基づくパターンマッチングを任意に実行することができる。このステップは、選択された画像の色付きコンポーネントが、テンプレート画像ごとに正しい位置にあることを保証するために実行される。例えば、電気抵抗器の識別を行う場合、カラー特徴付け探索及び輝度探索によって選択された2つの抵抗器は、同じ色の縞模様を有しているが、順序が異なっていたり、位置が異なっていたりすることがある。これらの2つの候補のうち、どちらがテンプレート画像と一致するかを判断するために、色相平面パターンマッチスコアを計算することができる。
[0033] 最終的なカラーマッチスコアは、一つ以上の候補領域に対して計算されてもよい。言い換えれば、パターンマッチングに基づいて候補領域を精緻化した後、精緻化された領域に対して最終的なカラーマッチスコアを計算してもよい。その後、少なくとも輝度パターンマッチスコア、色相平面パターンマッチスコア、及び最終的なカラーマッチスコアに部分的に基づいて、合計スコアが計算されてもよい。合計スコアは、最終的に一致する領域のリストを決定するために使用されてもよい。出力は、これらの最終的に一致する領域を示すように生成されてもよく、各領域について計算された1つまたは複数のスコアを含んでもよい。)

「[0038] In one embodiment, a coarse-to-fine heuristic may be utilized, in which multiple passes of decreasing granularity are performed. A first-pass search may operate to identify a list of candidate match regions. For example, the target image may be stepped across at a step interval, wherein color information of a target image region is characterized at each step, using the color characterization method described above. For each target image region, a measure of difference between the color characterization information of the target image region and the color characterization information of the template image may be calculated. If this difference is smaller than a threshold value, then the target image region may be added to a list of candidate regions.」
(仮訳:
[0038] 一実施形態では、粗いものから細かいものへのヒューリスティックが利用され、粒度が小さくなる複数のパスが実行される。第1パス探索は、マッチ候補領域のリストを識別するように動作することができる。例えば、ターゲット画像は、ステップ間隔で横切ることができ、ターゲット画像領域の色情報は、上述したカラー特徴付け方法を使用して、各ステップで特性評価される。各ターゲット画像領域に関して、ターゲット画像領域のカラー特徴付け情報とテンプレート画像のカラー特徴付け情報の差分の測定値を計算することができる。この差が閾値よりも小さいならば、ターゲット画像領域を候補領域のリストに追加することができる。)

「[0044] In one embodiment, a pattern characterization method may be performed on the template image which comprises sampling the template image using a Low Discrepancy sequence, also referred to as a quasi-random sequence, to determine a plurality of sample pixels in the template image which characterize the pattern information of the template image. This sample information may be stored for later use. In various embodiments, the template image may be sampled in different color space planes. For example, in one embodiment, the image may be sampled in each of the hue plane, saturation plane, and/or luminance plane.」
(仮訳:[0044] 一実施形態では、テンプレート画像のパターン情報を特徴付けるテンプレート画像内の複数のサンプル・ピクセルを決定するために、パターン特徴付け方法がテンプレート画像に対して実行されてもよく、準ランダムシーケンスとも呼ばれる低不一致シーケンスを使用してテンプレート画像をサンプリングすることを含む。このサンプル情報は、後で使用するために保存されてもよい。様々な実施形態において、テンプレート画像は、異なる色空間平面でサンプリングされてもよい。例えば、一実施形態では、画像は、色相平面、彩度平面、及び/または輝度平面のそれぞれでサンプリングされてもよい。)

「[0046] In another embodiment, the pattern characterization may involve sampling the template image, wherein the template image comprises a first plurality of pixels, and wherein the sampling produces a second lesser number of sample pixels. This sampling may use any of various sampling techniques, including a Low Discrepancy sequence as described above. A local stability analysis may then be performed around at least a subset of the sample pixels to determine a lesser third number of sample pixels which have a desired degree of stability. The local stability analysis operates to ensure stability of each of the subset of sample pixels to spatial perturbations around the sample pixel. For each pixel, the local stability analysis preferably comprises finding a neighborhood around the sample pixel where the value, e.g., the grayscale value, of the sample pixel correlates highly with the template image pixel values in the neighborhood. The local stability analysis is preferably performed for all of the sample pixels. The third plurality of sample pixels may then be used in the pattern matching.」
(仮訳:[0046] 別の実施形態では、パターンの特徴付けは、テンプレート画像をサンプリングすることを含んでもよく、テンプレート画像は、第1の複数のピクセルからなり、サンプリングは、第2のより少ない数のサンプル・ピクセルを生成することを特徴とする。このサンプリングは、上述したような低不一致シーケンスを含む、様々なサンプリング技術のいずれかを使用してもよい。次に、サンプル・ピクセルの少なくともサブセットの周りで局所的な安定性分析を行い、所望の安定性の度合いを有する第3のより少ない数のサンプル・ピクセルを決定してもよい。局所的な安定性分析は、サンプル・ピクセルの周りの空間的な乱れに対するサンプル・ピクセルのサブセットのそれぞれの安定性を確実にするように動作する。各ピクセルについて、局所的な安定性分析は、好ましくは、サンプル・ピクセルの値であり、例えばグレースケール値が近傍のテンプレート画像ピクセル値と高い相関を有する、サンプル・ピクセル周囲の近傍を見つけることからなる。局所的な安定性分析は、好ましくは、サンプル・ピクセルのすべてに対して実行される。そして、第3の複数のサンプル・ピクセルは、パターンマッチングに使用されてもよい。)

「[0049] The techniques described herein may also be used to perform pattern matching to locate one or more instances of a rotated or scaled color template image in a color target image. The pattern characterization of the template image may comprise first sampling the template image along one or more rotationally invariant paths, preferably circular perimeters, to produce one or more sets of sample pixels. The pattern matching performed may then use a cyclic correlation between each of the one or more sets of sample pixels and the target image to determine zero or more regions of the template image in each region surrounding a color match candidate region. This pattern matching detects rotated versions of the template image in the target image. Similar techniques may also be used to detect scaled versions of the template image in the target image. 」
(仮訳:
[0049] また、本明細書に記載されている技術は、回転またはスケーリングされたカラーテンプレート画像の1つまたは複数のインスタンスをカラーターゲット画像内で見つけるためのパターンマッチングを実行するために使用されてもよい。テンプレート画像のパターン特徴付けは、まず、1つまたは複数の回転不変パス、好ましくは円形の周縁に沿ってテンプレート画像をサンプリングして、1つまたは複数のサンプル・ピクセルのセットを生成することを含んでもよい。次に、実行されたパターンマッチングは、1つ以上のサンプル・ピクセルのセットのそれぞれとターゲット画像との間の周期的な相関を使用して、カラーマッチ候補領域を囲む各領域におけるテンプレート画像のゼロ以上の領域を決定してもよい。このパターンマッチングにより、ターゲット画像内のテンプレート画像の回転したバージョンが検出される。また、同様の技術を用いて、ターゲット画像内のテンプレート画像のスケールされたバージョンを検出することもできる。)

「[0103] FIG. 4 illustrates a machine vision system or image acquisition system, which is an example of one application of the present invention. The color and/or pattern match determination/location techniques described herein may be used in various types of machine vision or motion control applications. For example, the computer 102 may be embodied in various form factors and/or architectures, e.g., a robot or embedded device, among others. It is also noted that the color and pattern match location techniques described herein may be performed in any of various manners, either in software, programmable logic, or hardware, or a combination thereof.
[0104] In the machine vision system of FIG.4, computer system 102 is coupled to a camera 112 and operates to receive one or more images. The computer system 102 may be operable to perform a color characterization method to characterize the colors in a template image and/or may be operable to perform a pattern characterization method to determine pattern information of the template image. In the present application, the term “template image” is used to refer to either an entire image, or a portion of an image, eg., a region of interest (ROI). The computer system 102 may also be operable to perform a search of a target image to locate target image regions that match the color and/or pattern information of the template image. As described below, the search may be performed to locate matching regions with any of various degrees of exactness, as appropriate for a particular application.」
(仮訳:
[0103] 図4は、本発明の1つの実施例であるマシンビジョンシステムまたは画像取得システムを示す。本明細書に記載されているカラー及び/またはパターンマッチ判定/位置決定技術は、様々なタイプのマシンビジョンまたはモーションコントロールアプリケーションで使用されてもよい。例えばコンピュータ102は、様々なフォームファクタ及び/またはアーキテクチャ、例えば、ロボットまたは組み込みデバイスなどで具現化されてもよい。また、本明細書に記載されているカラー及びパターンマッチ位置決定技術は、ソフトウェア、プログラマブル・ロジック、またはハードウェア、またはそれらの組み合わせのいずれかで実行されてもよいことに留意されたい。
[0104] 図4のマシンビジョンシステムにおいて、コンピュータシステム102は、カメラ112に結合され、1つまたは複数の画像を受信するように動作する。コンピュータシステム102は、テンプレート画像のカラーを特徴付けるカラー特徴付け方法を実行するように動作可能であり、及び/または、テンプレート画像のパターン情報を決定するパターン特徴付け方法を実行するように動作可能であってもよい。本願では、テンプレート画像という用語は、画像全体、または画像の一部分、例えば関心領域(ROI)のいずれかを指すために使用される。また、コンピュータシステム102は、テンプレート画像のカラー及び/またはパターン情報と一致するターゲット画像領域を見つけるために、ターゲット画像の探索を実行するように動作可能であってもよい。以下に説明するように、探索は、特定の用途に適切なように、様々な正確さの度合いのいずれかで一致する領域を見つけるために実行されてもよい。)

「[0129] In many applications, it is necessary or desired to perform the color and pattern matching in real time when the target image is acquired. In machine vision applications, real time often refers to video real time, i.e., to performing the function for every single image acquired by the camera, e.g., for a NTSC camera that acquires 30 frames/second. For example, in the machine vision embodiment shown in FIG. 4, the color and pattern matching is preferably performed in real time when the target image is acquired by the camera 112. In these real time embodiments, the template image may be pre-stored in the computer 102, and there is generally a large amount of time in which to characterize the color and pattern information of the template image. Once these characterizations have been performed, the system can perform the color and pattern matching methods a plurality of times for a plurality of acquired target images, preferably in real time. 」
(仮訳:
「[0129] 多くの用途において、ターゲット画像が取得されるときに、カラー及びパターンマッチングをリアルタイムで実行することが必要であり、または望まれる。マシン・ビジョンの用途において、リアルタイムとは、ビデオリアルタイムを指すことが多く、すなわち、例えば、30フレーム/秒を取得するNTSCカメラ用などのカメラによって取得された1つの画像ごとに機能を実行する。例えば、図4に示すマシンビジョンの実施形態では、カラー及びパターンマッチングは、ターゲット画像がカメラ112によって取得されるときにリアルタイムで実行されることが好ましい。このようなリアルタイムの実施形態では、テンプレート画像がコンピュータ102に予め記憶されている場合があり、一般に、テンプレート画像のカラー及びパターン情報を特徴付けるための時間が多く確保されている。これらの特徴付けが実行されると、システムは、複数の取得されたターゲット画像に対して、カラー及びパターンマッチング方法を、好ましくはリアルタイムで複数回実行することができる。)

「[0196] As shown in step 302 , after the sampling of the image has been performed to produce a plurality of sample pixels, a local stability analysis may be performed for at least a subset of and preferably for all of the generated sample pixels to determine stability cf the respective sample pixels to spatial perturbations. For each candidate sample pixel value for which this local analysis is performed, the method operates to determine a neighborhood around the respective candidate sample pixel where the template image pixel values comprised in the neighborhood correlate highly with the candidate sample pixel value. In other words, for each candidate sample pixel value for which the local stability analysis is performed, a correlation is performed with neighboring pixel values within the template image to determine if the candidate sample pixel value is stable within its neighborhood, i.e., the neighboring pixel values have similar or correlated values with the respective candidate sample pixel value.
[0197] In step 304 the method optionally operates to save only those candidate sample pixel values which have a requisite stability within a predetermined or predefined neighborhood size. Sample pixel values generated in step 300 which are not stable within the predefined neighborhood are preferably thrown out or not used. Thus, step 304 operates to further reduce the number of sample pixel values used in the pattern matching operation. 」
(仮訳:
[0196] ステップ302に示すように、複数のサンプル・ピクセルを生成するために画像のサンプリングが実行された後、空間的な乱れに対するそれぞれのサンプル・ピクセルの安定性を決定するために、生成されたサンプル・ピクセルの少なくともサブセット、好ましくはすべてについて局所的な安定性分析を実行してもよい。この局所的な分析が実行される各候補サンプル・ピクセル値について、本方法は、それぞれの候補サンプル・ピクセルの周りの近傍を決定するように動作し、その近傍で構成されるテンプレート画像ピクセル値は、候補サンプル・ピクセル値と高い相関性を有する。言い換えれば、局所的な安定性分析が実行される各候補サンプル・ピクセル値について、テンプレート画像内の近隣のピクセル値との相関が実行され、候補サンプル・ピクセル値がその近隣で安定しているかどうか、すなわち、近隣のピクセル値がそれぞれの候補サンプル・ピクセル値と類似した値または相関のある値を有するかどうかが判断される。
[0197] ステップ304において、本方法は、任意に、所定のまたは予め定義された近傍サイズ内で必要な安定性を有する候補サンプル・ピクセル値のみを保存するように動作する。ステップ300で生成されたサンプル・ピクセル値のうち、予め定義された近傍内で安定していないものは、好ましくは破棄されるか、または使用されない。したがって、ステップ304は、パターンマッチング動作で使用されるサンプル・ピクセル値の数をさらに減らすように動作する。)

(2)上記記載から、引用文献1には以下の事項が記載されている。
・上記[0001]、[0028]、[0033]、[0103]によれば、引用文献1には、マシンビジョンシステムにおいて、カラー及びパターン情報に関してテンプレート画像と一致するターゲット画像内の領域を探し出すために、最終的に一致する領域のリストを決定する合計スコアを計算する方法が記載されている。
・上記[0028]、[0104]によれば、マシンビジョンシステムにおけるコンピュータシステムは、カメラに結合され、複数のピクセルを含むテンプレート画像を受信するように動作するものである。
・上記[0129]によれば、テンプレート画像はコンピュータに予め記憶されるものであり、テンプレート画像のカラー及びパターン情報を特徴付けるための時間が多く確保されている。
・上記[0004]、[0028]、[0044]によれば、テンプレート画像のカラー及びパターン情報は、パターン情報がテンプレート画像内の複数のサンプル・ピクセルによって特徴付けられており、テンプレート画像を表すサンプル・ピクセルは、ターゲット画像のピクセルの一部と比較されるものである。
・上記[0129]によれば、カラー及びパターンマッチングは、ターゲット画像がカメラによって取得されるときにリアルタイムで実行される。
・上記[0029]によれば、ターゲット画像がカメラによって取得されると、そのターゲット画像は、テンプレート画像のカラー及びパターン情報に一致するターゲット画像内の1つまたは複数の領域を見つけるために探索され、パターン情報は、輝度パターン情報及び色相平面パターン情報を含んでいる。
・上記[0030]によれば、探索は、複数のカラーマッチ候補領域、すなわち、色に関してテンプレート画像と一致するターゲット画像内の領域を見つけるために、テンプレート画像のカラー特徴付け解析で得られたカラー情報を使用して、第1パス探索(カラーマッチング)を実行し、ターゲット画像内の各領域のカラー情報は、その領域が色に関してテンプレート画像と一致するかどうかを判断するために、テンプレート画像のカラー情報と比較される。
・上記[0031]によれば、第1パス探索で見つかった各カラーマッチ候補領域について、各カラーマッチ候補領域(近傍領域または周辺・包含領域)に近接した(すなわち、周辺・包含)領域について、輝度パターンマッチングの検索を行い、輝度パターンマッチングは、テンプレート画像及びターゲット画像のピクセル(またはピクセルのサブセット)の輝度または強度の情報を用いて行い、一致した1つ以上の輝度パターンマッチ領域に対して、輝度パターンマッチスコアを計算している。
・上記[0032]によれば、輝度パターンマッチングが実行された後、色相平面に基づくパターンマッチングを実行して、色相平面パターンマッチスコアを計算している。
・上記[0033]によれば、最終的なカラーマッチスコアは、一つ以上の候補領域に対して計算され、言い換えれば、パターンマッチングに基づいて候補領域を精緻化した後、精緻化された領域に対して最終的なカラーマッチスコアを計算し、その後、少なくとも輝度パターンマッチスコア、色相平面パターンマッチスコア、及び最終的なカラーマッチスコアに部分的に基づいて、合計スコアが計算され、合計スコアは、最終的に一致する領域のリストを決定するために使用される。
・上記[0049]によれば、回転またはスケーリングされたカラーテンプレート画像のインスタンスをカラーターゲット画像内で見つけるためのパターンマッチングを実行するために使用される。

(3)したがって、上記摘記事項及び図面を総合勘案すると、引用文献1には次の発明(以下、「引用発明」という。)が記載されている。なお、(a)〜(e)は、説明のために当審で付与したものであり、以下、「構成a」〜「構成e」という。

「(a)マシンビジョンシステムにおいて、カラー及びパターン情報に関してテンプレート画像と一致するターゲット画像内の領域を探し出すために、最終的に一致する領域のリストを決定する合計スコアを計算する方法であって、
(b)マシンビジョンシステムにおけるコンピュータシステムは、カメラに結合され、複数のピクセルを含むテンプレート画像を受信するように動作し、
(c1)テンプレート画像はコンピュータに予め記憶されるものであり、テンプレート画像のカラー及びパターン情報を特徴付けるための時間が多く確保されており、
(c2)テンプレート画像のカラー及びパターン情報は、パターン情報がテンプレート画像内の複数のサンプル・ピクセルによって特徴付けられており、テンプレート画像を表すサンプル・ピクセルは、ターゲット画像のピクセルの一部と比較されるものであり、
(d)カラー及びパターンマッチングは、ターゲット画像がカメラによって取得されるときにリアルタイムで実行され、
(d1)ターゲット画像がカメラによって取得されると、そのターゲット画像は、テンプレート画像のカラー及びパターン情報に一致するターゲット画像内の1つまたは複数の領域を見つけるために探索され、パターン情報は、輝度パターン情報及び色相平面パターン情報を含んでおり、
(d2)探索は、複数のカラーマッチ候補領域、すなわち、色に関してテンプレート画像と一致するターゲット画像内の領域を見つけるために、テンプレート画像のカラー特徴付け解析で得られたカラー情報を使用して、第1パス探索(カラーマッチング)を実行し、ターゲット画像内の各領域のカラー情報は、その領域が色に関してテンプレート画像と一致するかどうかを判断するために、テンプレート画像のカラー情報と比較され、
(d3)第1パス探索で見つかった各カラーマッチ候補領域について、各カラーマッチ候補領域(近傍領域または周辺・包含領域)に近接した(すなわち、周辺・包含)領域について、輝度パターンマッチングの検索を行い、輝度パターンマッチングは、テンプレート画像及びターゲット画像のピクセル(またはピクセルのサブセット)の輝度または強度の情報を用いて行い、一致した1つ以上の輝度パターンマッチ領域に対して、輝度パターンマッチスコアを計算し、
(d4)輝度パターンマッチングが実行された後、色相平面に基づくパターンマッチングを実行して、色相平面パターンマッチスコアを計算し、
(d5)最終的なカラーマッチスコアは、一つ以上の候補領域に対して計算され、言い換えれば、パターンマッチングに基づいて候補領域を精緻化した後、精緻化された領域に対して最終的なカラーマッチスコアを計算し、その後、少なくとも輝度パターンマッチスコア、色相平面パターンマッチスコア、及び最終的なカラーマッチスコアに部分的に基づいて、合計スコアが計算され、合計スコアは、最終的に一致する領域のリストを決定するために使用され、
(e)回転またはスケーリングされたカラーテンプレート画像のインスタンスをカラーターゲット画像内で見つけるためのパターンマッチングを実行するために使用される、
(a)方法。」

第5 対比
本願発明と引用発明とを対比する。
1 構成Aについて
(1)引用発明の構成bの「マシンビジョンシステム」は、「コンピュータシステム」と「カメラ」が結合されたものである。また、当該「コンピュータシステム」が、プロセッサを有することは自明といえる。
したがって、引用発明の「マシンビジョンシステム」は、本願発明の「カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステム」に相当する。

(2)引用発明において、探索される対象の「ターゲット画像」(構成d〜d5)は、カラーマッチングに用いられるものであるから、本願発明のスコアリングの際に対照する「カラー画像」に相当する。

(3)本願発明の「カラーパターン」について、本願明細書の発明の詳細な説明を参照すると、
「・・・システム及び方法は、関係のあるカラー、グレースケール及び/レンジ情報を含む訓練されたパターンを提供するが、この情報は一連のカラー/グレースケール/レンジテストポイントにおいて特徴付けられる。・・・カラー/グレースケール/レンジテストポイントは、画像に対する座標空間にマッピングされる。」(【0006】、下線は当審にて付与。)
と記載されている。
上記記載によれば、本願発明の「カラーパターン」は、「カラー情報」を含み、「画像に対する座標空間」にマッピングされる「一連のカラーテストポイント」において特徴付けられるものである。
ここで、引用発明が特徴付ける「テンプレート画像のカラー及びパターン情報」は、「カラー情報」を含み(構成d2)、また、「パターン情報」を特徴付ける「サンプル・ピクセル」は、ターゲット画像のピクセルの一部と比較されるものであり(構成c2)、ターゲット画像内の領域と比較される一連のテストポイントといえるものである。
そして、引用発明の「テンプレート画像のカラー及びパターン情報」は、「カラーマッチ候補領域」を探す際に、テンプレート画像と比較されるポーズといえるものである。
そうすると、引用発明の「テンプレート画像のカラー及びパターン情報」は、本願発明の「カラーパターンの候補ポーズ」に相当する。

(4)引用発明の「テンプレート画像のカラー及びパターン情報」は、ターゲット画像のカラー画像と比較され、対照されるものといえる。
また、引用発明が特徴付ける「テンプレート画像のカラー及びパターン情報」は(構成c1)、ターゲット画像とのカラー及びパターンマッチングの実行前に、時間を確保して用意されており、予めコンピュータシステムによって訓練されたものといえる。
したがって、引用発明の「テンプレート画像のカラー及びパターン情報」は、本願発明の「カラー画像と対照」される「訓練されたカラーパターンの候補ポーズ」に相当する。

(5)上記(3)、(4)で述べたとおり、引用発明の「テンプレート画像のカラー及びパターン情報」は、本願発明の「訓練されたカラーパターンの候補ポーズ」に相当するものである。
そして、引用発明が「テンプレート画像のカラー及びパターン情報」を用いてカラー及びパターンマッチングを行い、構成d3〜d5において各種スコアを計算することや、最終的に合計スコアを計算することは、本願発明の「訓練されたカラーパターンの候補ポーズをスコアリングする」ことに相当する。

(6)そうすると、引用発明は、上記(1)ないし(5)で述べた事項を全て含んでおり、本願発明の「カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってカラー画像と対照して訓練されたカラーパターンの候補ポーズをスコアリングするための方法」に相当する構成を有するものである。

2 構成Bについて
(1)引用発明は「テンプレート画像のカラー及びパターン情報」による探索を行うに当たり、当該情報を「コンピュータシステム」プロセッサに提供するといえるものであり、本願発明の「ビジョンシステムプロセッサに訓練されたカラーパターンを提供するステップ」に相当する構成を有している。

(2)上記1(3)で述べたとおり、引用発明が特徴付ける「テンプレート画像のカラー及びパターン情報」は、「パターン情報」を特徴付ける「サンプル・ピクセル」がターゲット画像のピクセルの一部と比較されるものであり、一連のテストポイントを備えているといえるものである。
また、当該「テンプレート画像のカラー及びパターン情報」は、ターゲット画像内の領域とのカラーマッチを見るためのカラーマッチ情報といえる。
したがって、引用発明が特徴付ける「テンプレート画像のカラー及びパターン情報」は、本願発明の「カラーマッチ情報を表す一連のカラーテストポイントを備え」ることに相当する。

(3)上記(1)、(2)より、引用発明と本願発明は「当該方法はビジョンシステムプロセッサに訓練されたカラーパターンを提供するステップを有し、前記パターンは前記パターン内のカラーマッチ情報を表す一連のカラーテストポイントを備え」る点で共通する。
ただし、カラーテストポイントに関して、本願発明は「前記カラーテストポイントは勾配度閾値よりも小さい勾配度をもつ領域にあ」るのに対し、引用発明はその旨の特定がない点で相違する。

3 構成Cについて
引用発明の「ターゲット画像」は、カメラによって取得されるものであり(構成d)、カメラによって取得される「シーン」といえる。
また、引用発明の「ターゲット画像」は、カラー及びパターンマッチングがリアルタイムで実行され(構成d)、本願発明の「実行時カラー画像」に相当する。
さらに、引用発明の「ターゲット画像」は、上記2(1)で述べた「テンプレート画像のカラー及びパターン情報」と同様に、探索を行うに当たり、「コンピュータシステム」のプロセッサに提供するものといえる。
したがって、引用発明は本願発明の「ビジョンシステムプロセッサに、シーンの実行時カラー画像を提供するステップ」に相当する構成を有するものである。

4 構成Dについて
上記3で述べたとおり、引用発明の「ターゲット画像」は本願発明の「実行時カラー画像」に相当するものである。
また、引用発明における探索(構成d1〜d5)は、カラー情報の比較、及びパターンマッチングの実行を含む以上、コンピュータシステムのプロセッサによって、比較対象となる「ターゲット画像」のポーズを確定する構成を当然備えるものといえる。
したがって、引用発明と本願発明は「ビジョンシステムプロセッサによって、」「実行時ポーズを確定するステップ」を有する点で共通する。
ただし、実行時ポーズを確定するステップに関して、本願発明は「前記訓練されたパターンを基準にした、前記実行時カラー画像に対する座標空間を備える実行時ポーズを確定」しており、「前記実行時ポーズは幾何学的アライメントプロセスによって生成され」るのに対し、引用発明はその旨の特定がない点で相違する。

5 構成Eについて
引用発明における探索(構成d1〜d5)は、カラー情報の比較、及びパターンマッチングの実行を含む以上、コンピュータシステムのプロセッサによって、「ターゲット画像」内の座標空間上に「テンプレート画像のカラー及びパターン情報」をマッピングする構成を当然備えるものといえる。
したがって、引用発明は、本願発明の「ビジョンシステムプロセッサによって、前記実行時カラー画像に対する座標空間上にカラーテストポイントをマッピングするステップ」に相当する構成を有するものである。

6 構成Fについて
上記5で述べたとおり、引用発明における探索(構成d1〜d5)は、コンピュータシステムのプロセッサによって、「ターゲット画像」内の座標空間上に「テンプレート画像のカラー及びパターン情報」をマッピングする構成を当然備えるものである。
そして、マッピングによって「ターゲット画像」と「テンプレート画像のカラー及びパターン情報」を比較し、カラーマッチ候補領域を見つけ、カラーマッチスコアを計算し、一致する領域のリストを決定するものといえる。
したがって、引用発明と本願発明は「ビジョンシステムプロセッサによって、それぞれマッピングされたカラーテストポイントにおけるカラーマッチを決定するステップ」を有する点で共通する。
ただし、カラーマッチを決定するステップに関して、本願発明は「訓練されたカラーパターンと前記マッピングされたカラーテストポイントにおける実行時カラー画像との間の差として」カラーマッチを決定するのに対して、引用発明はその旨の特定がない点で相違する。

7 構成Gについて
上記3で述べたとおり、引用発明の「ターゲット画像」は本願発明の「実行時カラー画像」に相当するものである。
そうすると、引用発明が「ターゲット画像」内の「カラーマッチ候補領域」(構成d2)について、各種スコアを計算し、合計スコアから一致する領域のリストを決定することは(構成d3〜d5)、本願発明の「カラーマッチに基づいて、実行時カラー画像の少なくとも一部でカラーマッチスコアを判定するステップ」に相当する。

上記1ないし7から、本願発明と引用発明との一致点及び相違点は、次のとおりである。

<一致点>
(A)カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってカラー画像と対照して訓練されたカラーパターンの候補ポーズをスコアリングするための方法であって、
(B’)当該方法はビジョンシステムプロセッサに訓練されたカラーパターンを提供するステップを有し、前記パターンは前記パターン内のカラーマッチ情報を表す一連のカラーテストポイントを備え、
(C)当該方法は、さらに、ビジョンシステムプロセッサに、シーンの実行時カラー画像を提供するステップを有し、
(D’)当該方法は、さらに、ビジョンシステムプロセッサによって、実行時ポーズを確定するステップを有し、
(E)当該方法は、さらに、ビジョンシステムプロセッサによって、前記実行時カラー画像に対する座標空間上にカラーテストポイントをマッピングするステップを有し、
(F’)当該方法は、さらに、ビジョンシステムプロセッサによって、それぞれマッピングされたカラーテストポイントにおけるカラーマッチを決定するステップを有し、
(G)当該方法は、さらに、カラーマッチに基づいて、実行時カラー画像の少なくとも一部でカラーマッチスコアを判定するステップを有する、
(A)上記方法。

<相違点1>
カラーテストポイントに関して、本願発明は「前記カラーテストポイントは勾配度閾値よりも小さい勾配度をもつ領域にあ」るのに対し、引用発明はその旨の特定がない点。

<相違点2>
実行時ポーズを確定するステップに関して、本願発明は「前記訓練されたパターンを基準にした、前記実行時カラー画像に対する座標空間を備える実行時ポーズを確定」しており、「前記実行時ポーズは幾何学的アライメントプロセスによって生成され」るのに対し、引用発明はその旨の特定がない点。

<相違点3>
カラーマッチを決定するステップに関して、本願発明は「訓練されたカラーパターンと前記マッピングされたカラーテストポイントにおける実行時カラー画像との間の差として」カラーマッチを決定するのに対して、引用発明はその旨の特定がない点。

第6 判断
1 相違点について
(1)<相違点1>について
引用発明は、テンプレート画像を表すサンプル・ピクセルとターゲット画像のピクセルの一部とを比較している。
また、上記サンプル・ピクセルを用いた実施形態として、引用文献1の[0046]、[0196]−[0197]には、局所的な安定性分析を行って所望の安定性の度合いを有する(近隣のピクセル値がそれぞれの候補サンプル・ピクセル値と類似した値または相関のある値を有する)、より少ない数のサンプル・ピクセルをパターンマッチングに使用することが記載されている。
ここで、上述した実施形態におけるサンプル・ピクセルは、近隣のピクセル値がそれぞれの候補サンプル・ピクセル値と類似した値を有するものであるから、変化の勾配が低い領域に存在するものと認められる。
そして、類似した値を有するか否か(変化の勾配が低いか否か)といった判断を、閾値との比較により行うことは、当業者によって広く行われている周知の技術事項であり、引用発明の探索におけるパターンマッチングに上記実施形態、及び周知の技術事項を適用して、上記相違点1に係る本願発明の構成とすることは当業者が容易になし得たことである。

(2)<相違点2>について
引用発明は「回転またはスケーリングされたカラーテンプレート画像のインスタンスをカラーターゲット画像内で見つけるためのパターンマッチング」を実行するために使用されるものである。
ここで、テンプレート画像とターゲット画像を比較する際に、回転、拡大・縮小等の幾何学的な変換を行うことは、周知の技術事項である(必要であれば、特開2007−293546号公報の【0025】、特開2009−250880号公報の【0008】、【0022】〜【0025】、特開2008−45887号公報の【0041】、特開2015−35211号公報の【0008】等参照)。
してみると、引用発明において、テンプレート画像と一致するターゲット画像内の領域を探し出す際に、上記周知の技術事項を適用して上記相違点2に係る本願発明の構成とすることは当業者が容易になし得たことである。

(3)<相違点3>について
引用発明は「テンプレート画像のカラー及びパターン情報」(本願発明の「訓練されたカラーパターン」の候補ポーズに相当)と「ターゲット画像」(本願発明の「実行時カラー画像」に相当)をマッピングした際の両者の差からカラーマッチ候補領域であるか否かの判断を行っていることが自明といえ、相違点3は実質的な相違ではない。
仮に実質的な相違であったとしても、引用文献1の上記[0038]には、第1パス探索に関して、ターゲット画像領域のカラー特徴付け情報とテンプレート画像のカラー特徴付け情報の差分の測定値を計算し、この差がしきい値よりも小さいならば、ターゲット画像領域を候補領域のリストに追加する実施形態が記載されている。
そうすると、引用発明の第1パス探索における比較に、上記実施形態を用いて、ターゲット画像領域のカラー特徴付け情報とテンプレート画像のカラー特徴付け情報との差から、ターゲット画像内で一致する領域を見つけるようにして、上記相違点3に係る本願発明の構成とすることは当業者が容易になし得たことである。

2 請求人の主張について
(1)請求人は、令和3年11月11日の意見書において「引用発明において、パターンマッチングに基づいて候補領域を精緻化するという抽象的な記載はあるものの、その『精緻化』について、訓練されたカラーパターンと実行時カラー画像との間の差として、カラーマッチを決めるという具体的な技術手法については引用発明に記載や示唆が見当たらないと思料いたします。」と主張している。
しかしながら、上記<相違点3>についてで述べたとおり、引用発明は「テンプレート画像のカラー及びパターン情報」(本願発明の「訓練されたカラーパターン」の候補ポーズに相当)を「ターゲット画像」(本願発明の「実行時カラー画像」に相当)にマッピングして比較することで、カラーマッチ候補領域の判断を行っていることが自明といえ、この点は実質的な相違ではない。また、仮に実質的な相違であったとしても、引用発明の第1パス探索における比較に、引用文献1の上記[0038]に記載された実施形態を用いて、本願発明の構成とすることは当業者が容易になし得たことである。

(2)また、請求人は、上記意見書において「拒絶理由通知において、<相違点1>として挙げていただいた事項については、『カラーテストポイント』が『低勾配の領域』だけでなく『低勾配の領域』を含む画像全体の全ての領域にあってもよいという前提のもとで、相違点1についての容易性が認定されていますが、上記した記載不備の説明のとおり、補正後の本願発明では、『カラーテストポイント』は画像全体の全ての領域にあってもよいものではなくなったため、この<相違点1>については実質的な相違であってしかも当業者が容易に採用し得るものではなくなったと思料いたします。」と主張している。
しかしながら、上記<相違点1>についてで述べたとおり、引用発明の探索におけるパターンマッチングに、引用文献1の[0046]、[0196]−[0197]に記載された実施形態、及び周知の技術事項を適用して、本願発明の構成とすることは当業者が容易になし得たことである。
なお、当審拒絶理由通知では、<相違点1>が実質的な相違であったとしても、引用文献1に記載された上記実施形態を適用することにより当業者が容易になし得る旨を通知したが、この点について請求人から意見はなかった。

よって、請求人の主張を採用することはできない。

3 まとめ
以上のとおりであるから、本願発明は引用文献1に記載された発明及び周知の技術事項に基づいて、当業者が容易に発明をすることができたものである。
そして、本願発明のように構成したことによる効果も引用文献1に記載された発明及び周知の技術事項から当業者が予測できる範囲のものである。

第7 むすび
以上のとおり、本願発明は、特許法第29条第2項の規定により特許を受けることができないから、その余の請求項について検討するまでもなく、本願は拒絶されるべきものである。
よって、結論のとおり審決する。
 
別掲 (行政事件訴訟法第46条に基づく教示) この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。

審判長 清水 正一
出訴期間として在外者に対し90日を附加する。
 
審理終結日 2022-05-27 
結審通知日 2022-06-02 
審決日 2022-06-17 
出願番号 P2018-017411
審決分類 P 1 8・ 121- WZ (G06T)
最終処分 02   不成立
特許庁審判長 清水 正一
特許庁審判官 五十嵐 努
樫本 剛
発明の名称 ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法  
代理人 栗原 弘幸  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ