• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 取り消して特許、登録 A61B
管理番号 1367541
審判番号 不服2020-6011  
総通号数 252 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-12-25 
種別 拒絶査定不服の審決 
審判請求日 2020-05-01 
確定日 2020-11-10 
事件の表示 特願2017-557592「画像処理装置、画像処理方法およびプログラム」拒絶査定不服審判事件〔平成29年 6月29日国際公開、WO2017/109904、請求項の数(15)〕について、次のとおり審決する。 
結論 原査定を取り消す。 本願の発明は、特許すべきものとする。 
理由 第1 手続の経緯
本願は,2015年12月24日を国際出願日とする出願であって,平成30年6月8日に手続補正書が提出され,令和元年9月20日付け(発送日 同年同月24日)で拒絶理由が通知され,同年11月19日に手続補正がなされるとともに意見書が提出されたが,令和2年1月28日付け(送達日 同年2月4日)で拒絶査定がなされ,これに対し,同年5月1日に拒絶査定不服審判請求がなされるとともに,同時に手続補正(以下「本件補正」という)がなされたものである。

第2 原査定の概要
本願請求項1?16に係る発明は,以下の引用文献1に記載された発明と,以下の引用文献2?6に記載された周知事項に基づいて,その発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから特許法第29条第2項の規定により特許を受けることができない。

引用文献等一覧
1 米国特許出願公開第2012/0288186号明細書
2 特開2015-173827号公報
3 特許第3347817号公報
4 特開2013-240701号公報
5 特開2014-23566号公報
6 特開2007-236957号公報
以下,それぞれ「引用文献1」?「引用文献6」という。

第3 本願発明
本願請求項1?15に係る発明(以下,それぞれ「本願発明1」?「本願発明15」という)は,本件補正で補正された特許請求の範囲の請求項1?15に記載された事項により特定される発明であるところ,本願発明1は以下のとおりである。(下線部は,補正箇所を示す)

「【請求項1】
生体の管腔内画像を取得する画像取得部と、
前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成部が前記複数の画像を生成する際の前記範囲情報を決定する範囲決定部と、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習部と
を備え、
前記範囲決定部は、
前記管腔内画像の臓器種類を判別する臓器判別部と、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出部と
を有し、
前記画像生成部は、前記臓器判別部によって判別された臓器種類に応じた前記体液の有無によって定まる色相および/または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とする画像処理装置。」

なお,本願発明2?13は,本願発明1を限定・減縮した発明であり,本願発明14は,装置の発明である本願発明1のカテゴリーを変更して方法の発明としたものであり,本願発明15は,プログラムの発明としたものである。

第4 引用文献の記載事項
1 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献1には,下記の事項が記載されている(仮訳は当審が作成し,下線も当審が付与した。以下,同様)。

(1-1)
「[0001] Computer vision allows computing systems to understand an image or a sequence of images (e.g., video) by extracting information from the image. The ability of a computing system to accurately detect and localize objects in images has numerous applications, such as content-based searching, targeted advertisements, and medical diagnosis and treatment. It is a challenge, however, in object recognition methods and systems, to teach the computing system to detect and localize particular rigid or articulated objects in a given image.」(当審仮訳:[0001]コンピュータビジョンは,画像から情報を抽出することにより,コンピューティングシステムが画像または一連の画像(例えば,ビデオ)を理解することを可能にする。画像中のオブジェクトを正確に検出・位置特定するコンピューティングシステムの可能性は,多くの用途,例えば,コンテンツベースの検索,ターゲットを絞った広告,医療診断および治療など,を有している。しかしながら,オブジェクト認識の方法およびシステムでは,所与の画像において,特に剛性または連結オブジェクトの検出・位置特定をコンピューティングシステムに教示することは,難問である。)

(1-2)
「[0023] The object recognition models are trained by the enhanced training sample set 106 and are implemented by an image processor engine 108. Based on the training, the image processor engine 108 may perform object detection operations, object segmentation operations, object classification operations, and/or other object recognition operations for various object types. Object detection locates an object in a given image and may identify the object by placing a bounding box around the object. Object segmentation precisely identifies an object in a given image by selecting the pixels in the image that belong to the object. Object classification determines whether a given image contains an object belonging to a particular class and labels the object according to that class.
[0024] In an implementation, an unknown image 110 is input into the image processor engine 108, which performs object classification, detection, and/or segmentation operations on the unknown image 110 based on the training provided by the enhanced training sample set 106. The image processor engine 108 outputs object processing results 112. The object processing results 112 may include a detected, segmented, and/or classified object from the unknown image 110, which may be presented in a graphical user interface, data readout, data stream, etc.」(当審仮訳:[0023]オブジェクト認識モデルは,拡張されたトレーニングサンプルセット106によりトレーニングされ,画像処理エンジン108によって実行される。トレーニングに基づいて,画像処理エンジン108は,様々な型のオブジェクトに対して,オブジェクト検出操作,オブジェクト分割操作,オブジェクト分類操作,および/または他のオブジェクト認識操作を実行することができる。オブジェクト検出操作は,所与の画像内のオブジェクトを識別してもよい。オブジェクト分割操作は,オブジェクトに属する画像中の画素を選択することにより,所与の画像内のオブジェクトを正確に識別する。オブジェクト分類操作は,所与の画像が特定のクラスに属するオブジェクトを含むか否かを決定し,そのクラスに応じてオブジェクトをラベル付けする。
[0024]一実施例形態において,未知の画像110が画像処理エンジン108に入力され,該画像処理エンジン108は,拡張されたトレーニングサンプルセット106によって与えられるトレーニングに基づいて未知画像110上のオブジェクトの分類,検出,および/またはセグメント操作を行う。画像処理エンジン108は,オブジェクトの処理結果112を出力する。処理結果112は,未知画像110から検出され,セグメント化され,および/または分類されたオブジェクトを含み,グラフィカル・ユーザ・インターフェース,データ読出し,データストリーム等で,提示される。)

(1-3)
「[0043] FIG. 5 illustrates an example object recognition system 500 for introducing variations to an original training sample set based on one or more global transform models. The object recognition system 500 includes an original training sample set 502, containing training images with objects from various object classes. The training images contained in the original training samples 502 are annotated to identify objects in each training image. One or more global transform models 504 transform or otherwise augment a given training image as a whole, including any objects and the background. The annotations are transformed with their corresponding objects and/or background.
[0044] The global transform models 504 are applied to the original training sample set 502 to generate a synthesized training sample set 510 for each object type. The global transform models 504 generate synthesized training images that introduce, for example, poses, scales, and appearances of objects of interest that are different from the training images in the original training sample set 502. In one implementation, the global transform models 504 include a photometric transform model 506 and a geometric transform model 508. The synthesized training sample set 510 includes training images generated by one or both of the photometric transform model 506 and the geometric transform model 508.
[0045] The photometric transform model 506 globally augments the appearance of a training image from the original training sample set 502 by varying the photometric characteristics, including without limitation the brightness, luminosity, color balance, and contrast, of the training image. The photometric transform model 506 applies a photometric transform independently of other training images in the original training sample set 502. The photometric transform may be linear or non-linear.」(当審仮訳:[0043]図5は,1つまたは複数の全体的変換モデルに基づいてオリジナルトレーニングサンプルに変化を導入する,一例のオブジェクト認識システム500を示している。オブジェクト認識システム500は,種々のオブジェクトクラスからのオブジェクトを有するオリジナルトレーニングサンプルセット502を含む。オリジナルトレーニングサンプルセット502に含まれるトレーニング画像は,トレーニング画像内のオブジェクトを識別するためにアノテーションされている。1つまたは複数の全体的変換モデル504は,全体として任意のオブジェクトおよび/または背景を含んでいる与えられたトレーニング画像を変換またはそうでなければ改良する。アノテーションは,対応するオブジェクトおよび/または背景と一緒に変換される。
[0044]全体的変換モデル504は,オリジナルトレーニングサンプルセット502に適用され,各オブジェクト型のために合成されたトレーニングサンプルセット510を生成する。全体的変換モデル504は,例えば,オリジナルトレーニングサンプルセット502内のトレーニング画像とは異なる,姿勢,スケールおよび注目点のあるオブジェクトの外観を導入する合成されたトレーニング画像を生成する。一実施形態において,全体的変換モデル504は,フォトメトリック変換モデル506と幾何変換モデル508を含む。合成されたトレーニングサンプルセット510は,フォトメトリック変換モデル506と幾何変換モデル508の一方または両方によって生成されたトレーニング画像を含む。
[0045]フォトメトリック変換モデル506は,トレーニング画像の,輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させることによって,オリジナルトレーニングサンプルセット502からトレーニング画像の外観を全体的に改良する。フォトメトリック変換モデル506は,オリジナルトレーニングサンプルセット502における他のトレーニング画像とは独立してフォトメトリック変換を適用する。フォトメトリック変換は,直線状また非直線状であってよい。)

(1-4)
「[0047] The synthesized training sample set 510 may be combined with the original training sample set 502 to form an enhanced training sample set 512, which contains training images for object types that had a higher object recognition performance accuracy based on the application of one or more of the global transform models 504.」(当審仮訳:[0047]合成されたトレーニングサンプルセット510は,オリジナルトレーニングサンプルセット502と組み合わせて,拡張されたトレーニングサンプルセット512を形成し,該拡張されたトレーニングサンプルセット512は,全体的変換モデル504の1つまたは複数のアプリケーションに基づいて,より高いオブジェクト認識能力の正確さを有するオブジェクト型のためのトレーニング画像を含む。)

(1-5)
「[0077] An application operation 1106 applies the selected transform model(s) from the selection operation 1104 to the original training samples to generate synthesized training samples for each object class. The synthesized training samples includes training samples for each object class that may be used to construct object recognition model(s) that have a satisfactorily increased accuracy in performing object recognition operations for each class. By selecting the variations to apply to the original training samples for each object class, the accuracy of the object recognition operations is significantly increased without human input. An output operation 1108 outputs one or more object recognition models for each object class constructed from the training samples containing the original training samples and the synthesized training samples generated in the application operation 1106.」(当審仮訳:[0077]適用操作1106は,選択操作1104から選択された変換モデル(単数または複数)をオリジナルトレーニングサンプルに適用し,各オブジェクトクラスに適する合成トレーニングサンプルを生成する。合成トレーニングサンプルは,各オブジェクトクラスに適するトレーニングサンプルを含み,該トレーニングサンプルは,オブジェクト認識モデル(単数または複数)を構築するために使用することができ,該オブジェクト認識モデルは,各暮らすに対するオブジェクト認識操作を実行する際に十分増大した精度を有する。各オブジェクトクラスのためにオリジナルトレーニングサンプルに適用する変形例を選択することによって,オブジェクト認識操作の精度は,人間の入力なしに著しく増大される。出力操作1108は,各オブジェクトクラスのために,1つまたは複数のオブジェクト認識モデルを出力し,該各オブジェクトクラスは,オリジナルトレーニングサンプルと適用操作1106で生成された合成トレーニングサンプルを含んでいるトレーニングサンプルから構築される。)

(1-6)



2 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献2には,下記の事項が記載されている。

(2-1)
「【0014】
図1に示すように、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、カプセル型内視鏡等の医用観察装置により撮像された管腔内画像に対応する画像データを取得する画像取得部20と、外部からの操作に応じた信号を制御部10に入力する入力部30と、各種情報や画像の表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。」

(2-2)
「【0021】
次に、演算部100の構成について説明する。図1に示すように、演算部100は、一連の画像群から異常領域を含む異常画像を検出する検出部110と、該検出部110が検出した異常画像から、同一の異常領域を含む異常画像群を抽出する異常画像群抽出部120と、抽出された異常画像群から、各異常領域の重要度と、各異常領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出部130とを備える。ここで、異常領域の重要度とは、管腔内画像に対する診断における検出対象と各異常領域との関連性、言い換えると、検出対象らしさのことをいい、この関連性が強いほど(検出対象らしいほど)重要度が高くなる。例えば、出血源を検出対象とする場合、検出された異常領域が出血源らしいほど、当該異常領域の重要度は高いと判断される。
【0022】
検出部110は、管腔内画像の各種特徴量に基づいて異常領域を検出する。実施の形態1においては、管腔内画像の色特徴量(色情報)に基づいて異常領域を検出する例を説明する。ここで、出血や発赤、血管異常等の異常領域は赤色調の特定色を示し、潰瘍やアフタ等の異常領域は白色調の特定色を示す。そこで、検出部110は、画素値の各色成分(R成分、G成分、B成分)や、これらの各色成分を基に公知の変換により2次的に算出した値(例えば、YCbCr変換により算出した色差、HSI変換により算出した色相、彩度、G/R、B/G等の色比など)といった色特徴量を用いて、管腔内画像内の特定色を示す領域を検出し、この領域を異常領域とする。より詳細には、事前に収集した各種の異常領域の色特徴量を基に、異常領域の判別基準(色範囲)を予め作成し、記録部50に記録しておく。そして、管腔内画像から異常領域を検出する際に、この判別基準を記録部50から読み出すと共に、管腔内画像を構成する各画素について色特徴量を算出し、各画素の色特徴量を判別基準と比較することにより、当該管腔内画像から異常領域を検出する。」

(2-3)
「【0040】
詳細には、代表画像抽出部130は、まず、処理対象の異常画像群に属する各異常画像に対し、ノイズ、泡、及び残渣等の不要領域を検出する。不要領域の検出方法としては、公知の種々の方法を適用することができる。例えば、事前に、管腔内画像に写ったノイズ、泡、残渣、及び粘膜の領域の色特徴量(画素値のR成分、G成分、B成分の値、これらの各色成分の値を基に公知の変換により2次的に算出した値(YCbCr変換により算出した色差、HSI変換により算出した色相、彩度、G/R、B/G等の色比など))や、形状特徴量(Histograms of Oriented Gradients(HOG)、面積、周囲長、フェレ径等の形状情報)や、テクスチャ特徴量(Local Binary Pattern(LBP)、同時正規行列等)の特徴量分布を算出し、該特徴量分布に基づいてサポートベクターマシン(SVM)等の学習器により判別基準を作成する。この判別基準に対し、各異常画像に対して算出された特徴量を比較することにより、ノイズ、泡、及び残渣等の不要領域を検出することができる。」

(2-4)
「【0077】
図7は、変形例2-4において抽出枚数決定部210が実行する代表画像の抽出枚数の決定処理を示すフローチャートである。
まず、ステップS211において、抽出枚数決定部210は、一連の管腔内画像から抽出された各異常画像に写った異常領域の種類を判別する。異常領域の種類の判別方法としては、公知の種々の方法を適用することができる。例えば、事前に、管腔内画像に写った各種異常(出血、発赤、血管異常、アフタ、潰瘍等)の領域から、色特徴量(例えば、画素値のR成分、G成分、B成分の値、これらの各色成分の値を基に公知の変換により2次的に算出した値(YCbCr変換により算出した色差、HSI変換により算出した色相、彩度、G/R、B/G等の色比など))や、形状特徴量(Histograms of Oriented Gradients(HOG)、面積、周囲長、フェレ径等の形状情報)や、テクスチャ特徴量(Local Binary Pattern(LBP)、同時正規行列等)の特徴量分布を算出し、該特徴量分布に基づいてサポートベクターマシン(SVM)等の学習器により判別基準を作成する。この判別基準に対し、各異常画像内の異常領域に対して算出された特徴量を比較することにより、異常領域を出血、発赤、血管異常、アフタ、潰瘍の各種異常に分類する。以下においては、出血は比較的重要度が高い異常、アフタ及び潰瘍は重要度が中程度の異常、発赤及び血管異常は重要度が比較的低い異常として説明する。」

3 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献3には,下記の事項が記載されている。

(3-1)
「【0001】
【産業上の利用分野】本発明は、TVカメラなどで撮影された画像について、分類、識別、評価などを行う装置で、そのための手法、法則などを学習方式で自動的に作成し利用する装置に適用できる。本発明装置は、例えば手書き文字認識や製品検査装置や果樹選別装置などに利用されるもので、あからじめ(当審注:「あらかじめ」の誤記である)学習用のサンプル画像を与えておいて分類、識別、評価等の判別ルールを学習させ、その学習した判別ルールに基づき、入力された画像の分類、識別、評価などを行う装置に利用される。」

(3-2)
「【0005】
【発明が解決しようとする課題】学習をさせる場合に、同一分類となるものでも変動要素があれば、それを変化させた学習サンプル画像が必要になるため多くの学習サンプル画像を必要とする。変動要素が複数になればその組み合わせでさらに学習サンプルの数は増加する。さらに判別時に安定した正確な判定を必要とすれば、ノイズなども変動要素として考慮しなければならない。そのため学習には非常に多くのサンプル画像が必要となる。またその学習の為には非常に多くの手間が必要になる。
【0006】本発明は上述の問題に鑑みなされたもので、学習サンプル画像を自動的に作成してこれによって学習画像認識装置に学習させることにより、多くのサンプル画像を作成、用意する必要をなくし、また学習時間を短縮することができる画像認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明は上記した事情に着目してなされたもので、一つあるいはいくつかの変動要素を考慮した学習サンプル画像を複数自動的に生成する機能と、自動生成された複数の学習サンプル画像を用いて、自動的に学習する機能と、判別時、あるいは学習時に変化させる事ができる、あるいは変化してしまういくつかのパラメータを、それぞれの学習サンプル画像について学習時に自動的に変化させながら自動的に学習する機能をもつことを特徴とする。
【0008】すなわち、本発明の観点は、入力された複数の学習サンプル画像を認識し、別途入力され学習サンプル画像がどのグループに属するかを指示する情報に基づいて学習サンプル画像を分類し入力画像を分類する判別ルールを自動的に作成する学習型画像認識装置を備えた画像認識装置において、前記学習サンプル画像として元になる学習サンプル画像に対して当該学習サンプル画像のグループの範囲内の変動を与えて複数の学習サンプル画像を生成して前記学習型画像認識装置に与える自動学習サンプル生成手段を備え、前記自動学習サンプル生成手段は、前記元になる学習サンプル画像に対する変動要素についての複数の値をあらかじめ決められた手順で与えて、あらかじめ作成された複数の変動要素の値の組み合わせの表に基づいて、前記元になる学習サンプル画像に前記複数の変動要素の値を与えて、複数の学習サンプル画像を生成する手段を含むことを特徴とする。」

(3-3)
「【0047】また大きさや形は変形させないときでも図10のように明るさのむらなどの変形も可能である。図10は図9で示すように画像のあるラインの輝度を縦方向にとった図である。(d)はレンズのシェーディングに対応した変形をしたものである。また(e)は照明むらのように片側が明るい映像を平にしたものである。また逆に(f)のように平な映像を変形させる事もできる。さらにネガポジ反転処理などもできる。
【0048】学習時はこれらの変形をつかって一つの学習サンプルから複数の映像を作り出す。変形は動画に対してもカラー画像に対しても同様に行う事ができる。なお図6では輝度だけを対象としたが、たとえば同様な回路を三系統もつことでカラー画像にも適応でき、その場合は変形だけでなく色を変化させる事もできる。これらを組み合わせるとカラー画像で照明にむらがあって色のシェーディングがあるような画像を作り出す事もできる。学習時にこの変形を行ったサンプルを加える事で色のシェーディングに対して判定が強くなる。さらにむらだけではなく画像全体のオフセットを加える事もできる。また、画像の縦横比やゆがみを加える事ができるからレンズの違いや光軸の傾きに対しても強くなる。」

(3-4)
「【0080】本発明を実施したメロン等級判別装置は、この学習サンプル網目模様を学習型画像認識装置1に学習サンプル画像として与えて、網目模様による判定ルールを作成させ、学習終了後に作成した判定ルールに基づいてメロンの等級選別を行う。この判定ルール作成は第一実施例で説明した特徴ベクトルを用いる方法でも良いし他の方法でもよい。
【0081】上述の図19ないし図21の学習サンプル画像に対して変動要素として画像に回転を与えて生成した学習サンプル画像が図22ないし図24である。
【0082】学習モード時には、学習サンプル画像として図19ないし図21の学習サンプル画像に対して回転変動を与えた図22ないし図24の学習サンプル画像やあるいは回転や縮小拡大だけでなく、ノイズ成分の重畳等の一つの等級のグループの範囲内の変動要素を与えた種々の学習サンプル画像を生成し学習型画像認識装置1に与えて学習させることができる。」

4 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献4には,下記の事項が記載されている。

(4-1)
「【0005】
ところで、体腔内画像には、例えば食道や胃、小腸、大腸等の内部が映る。ここで、体腔内画像に映る小腸粘膜や大腸粘膜は、黄色の消化液(胆汁)を通して撮像されるため、黄色系の色を有する。一方で、体腔内画像に映る胃粘膜は、赤色系の色を有する。このため、特許文献1に開示されている手法では、出血や発赤等に代表される赤色の色特性を有する病変領域を適切に検出できない場合があった。例えば、胃粘膜等の赤色系の色を有する粘膜の場合には、赤色系の病変領域のデータは正常な粘膜領域のクラスタから彩度方向に逸脱したデータとして得られるため、これらのデータを良好に検出できる。しかしながら、小腸粘膜や大腸粘膜等の黄色系の色を有する粘膜の場合、正常な粘膜領域のクラスタから彩度方向に逸脱したデータには、赤色系の病変領域だけでなく、正常な黄色系の粘膜領域のデータが含まれる。このため、正常な粘膜領域を病変領域として誤検出する場合があった。」

(4-2)
「【0085】
(実施の形態3)
次に、実施の形態3について説明する。図22は、実施の形態3の画像処理装置10bの機能構成を説明するブロック図である。なお、実施の形態1または実施の形態2で説明した構成と同一の構成については、同一の符号を付する。図22に示すように、画像処理装置10bは、画像取得部11と、入力部12と、表示部13と、記録部14bと、演算部15bと、画像処理装置10b全体の動作を制御する制御部21とを備える。
【0086】
記録部14bには、実施の形態2で説明した判定基準テーブルデータ143aが記録される。また、記録部14bには、体腔内画像に映る臓器種類を判別し、判別した臓器種類毎に体腔内画像を抽出して病変領域を検出するための画像処理プログラム141bが記録される。
【0087】
また、演算部15bは、体腔内画像抽出手段としての体腔内画像抽出部20bと、変換部16と、抽出部17と、判定基準作成部18bと、病変領域検出部19とを含む。体腔内画像抽出部20bは、一連の体腔内画像の中から同一の臓器種類と判別された体腔内画像を抽出する。この体腔内画像抽出部20bは、各体腔内画像に映る臓器種類を判別する臓器種類判別手段としての臓器種類判別部201bを含む。また、実施の形態3では、判定基準作成部18bは、判定基準テーブル読出処理部183bを含み、臓器種類毎に判定基準を作成する。

(4-3)
【0097】
上記した実施の形態1や2では、体腔内画像毎に粘膜領域を抽出して粘膜領域分布を求め、この粘膜領域分布をもとに判定基準を作成する場合について説明した。このように体腔内画像毎に粘膜領域を抽出して粘膜領域分布を求めることとすると、例えば体腔内画像全体に出血があるような場合、出血部のデータを多く含んだ状態で粘膜領域分布を求めることになる。このため、これら出血部のデータが、粘膜領域分布から逸脱するデータとして得られない事態が生じ、病変領域として検出できない場合があった。これに対し、実施の形態3によれば、同一の臓器種類と判別された全ての体腔内画像から抽出した粘膜領域の粘膜領域分布を用いて判定基準を作成することによって、臓器種類毎に判定基準を作成することができる。そして、作成した臓器種類毎の判定基準を該当する臓器が映る体腔内画像に対してそれぞれ適用できる。したがって、同一の臓器種類と判別された体腔内画像の中に、全体に出血があるような体腔内画像が含まれる場合であっても、画像間のばらつきを抑えてこれら出血部を病変領域として安定的に検出することができる。
【0098】
また、実際の粘膜の組成は臓器毎に異なるため、臓器種類によって粘膜領域の色味が変化する。実施の形態3によれば、色味の類似した臓器種類毎に判定基準を作成することができ、病変領域を精度良く検出することができる。なお、このような色味の異なる粘膜領域の粘膜領域分布をもとに判定基準を作成すると、粘膜領域分布が色平面上で広がってしまうことになり、判定基準を適正に算出することができなくなる。」

5 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献5には,下記の事項が記載されている。

(5-1)
「【0027】
ステップS201において、粘膜領域抽出部111は、管腔内画像内の各画素のエッジ強度に基づいて、管腔内画像を複数の小領域に分割する。この管腔内画像を複数の小領域に分割する処理を、図4を参照しながら詳しく説明する。まず、ステップS2011において、粘膜領域抽出部111は、管腔内画像内の各画素の画素値のうちのG成分を用いて、G成分画像を作成する。ここでG成分を用いる理由は、G成分は血液の吸光帯域に近いことから、粘膜の隆起や残渣の境界といった被写体の構造を最もよく表すからである。なお、本実施の形態1においてはG成分を用いるが、その代わりに、他の色成分や、画素値(R、G、B各成分)を変換して得られる輝度値、色差(YCbCr変換)、色相、彩度、明度(HSI変換)、色比等を用いても良い。」

(5-2)
「【0032】
ステップS201に続くステップS202において、粘膜領域抽出部111は、領域分割により得られた各小領域に対し、特徴量の平均値を算出する。より詳細には、粘膜領域抽出部111は、小領域内の各画素の画素値から、R、G、B各成分の平均値を算出する。そして、これらの平均値に対してHSI変換(参考:CG-ARTS協会、「ディジタル画像処理」、第64頁(HSI変換と逆変換))を施すことにより、小領域の色相平均値を算出する。ここで、色相平均値を算出するのは、粘膜や管腔内の内容物等の被写体は、それらの成分である血液や胆汁等の吸光特性の違いから、色相等の色特徴量によってある程度判別できるからである。基本的に、胃粘膜、腸粘膜、内容物の色相は、この順に、赤系の色相から黄系に向かって変化する。
【0033】
なお、各小領域の色相平均値は、小領域内の各画素の画素値(R、G、B各成分)に対してHSI変換を施して色相を算出した後、各画素の色相の平均値を算出することにより求めても良い。また、色相の代わりに、例えば、色差、色比(G/R、B/G)等の特徴量の平均値を算出しても良い。」

6 本願出願前に頒布され,原査定の拒絶理由に引用された引用文献6には,下記の事項が記載されている。

(6-1)
「【0021】
そのため、例えばしきい値処理による粘膜構造の抽出を行う場合には各薬剤の違いにより処理結果が逆転することとなり、同じ疾患であるにもかかわらず異なる特徴量の値が算出されるため、薬剤散布のない通常画像及び各種薬剤を散布した画像を混在して使用できないという問題がある。
【0022】
また、薬剤散布のない通常の内視鏡画像においては、粘膜表面の構造成分はRGB画像におけるG画像に最も多く含まれる。クリスタルバイオレットにおいてもその紫色の色調から同様である。一方、インジゴカルミン及びメチレンブルー等の青色系の薬剤を使用した場合はR画像が最も多く構造成分を含む場合がある。したがって、特徴量算出においてRGB画像のいずれを処理の対象とするかについて、薬剤散布の有無及び散布に使用した菓剤の種別に応じて変更することで診断支援の高精度化が図れるにも関わらずこの点について考慮されていないという問題がある。」

第5 引用発明
以下,引用文献1の記載事項については,当審仮訳を使用する。

1 上記記載事項(1-1)の「画像中のオブジェクトを正確に検出・位置特定するコンピューティングシステムの可能性は,多くの用途・・・・・医療診断および治療など,を有している」および同(1-3)の「オブジェクト認識システム500は,種々のオブジェクトクラスからのオブジェクトを有するオリジナルトレーニングサンプルセット502を含む」からみて,引用文献1には「医療診断および治療用のオブジェクト認識システムにおいて,オリジナルトレーニングサンプルセットを含む」ことが記載されているといえる。

2 上記記載事項(1-3)の「フォトメトリック変換モデル506は,トレーニング画像の,輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させることによって,オリジナルトレーニングサンプルセット502からトレーニング画像の外観を全体的に改良する。」および図5からみて,引用文献1には「オリジナルトレーニングサンプルセットから,その画像の輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させて,新たな複数のトレーニング画像を生成するフォトメトリック変換モデルを備える」ことが記載されているといえる。

3 上記記載事項(1-4)の「合成されたトレーニングサンプルセット510は,オリジナルトレーニングサンプルセット502と組み合わせて,拡張されたトレーニングサンプルセット512を形成し,該拡張されたトレーニングサンプルセット512は,全体的変換モデル504の1つまたは複数のアプリケーションに基づいて,より高いオブジェクト認識能力の正確さを有するオブジェクト型のためのトレーニング画像を含む」および同(1-5)の「該トレーニングサンプルは,オブジェクト認識モデル(単数または複数)を構築するために使用することができ,該オブジェクト認識モデルは,各暮らすに対するオブジェクト認識操作を実行する際に十分増大した精度を有する」からみて,引用文献1には「合成されたトレーニングサンプルセットとオリジナルトレーニングサンプルセットとを組み合わせた拡張されたトレーニングサンプルセットに基づいて,オブジェクト認識操作を実行するためのオブジェクト認識モデルを構築する」ことが記載されているといえる。

4 上記1?3を総合すると,引用文献1には,次の発明が記載されていると認められる。
「医療診断および治療用のオリジナルトレーニングサンプルセットを含み,
該オリジナルトレーニングサンプルセットから,その画像の輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させて,新たな複数のトレーニング画像を生成するフォトメトリック変換モデルを備え,
前記オリジナルトレーニングサンプルセットと前記フォトメトリック変換モデルにより生成された複数のトレーニング画像を含む拡張されたトレーニングサンプルセットに基づいて,オブジェクト認識操作を実行するためのオブジェクト認識モデルを構築する,
オブジェクト認識システム。」
(以下「引用発明」という)

第6 対比・判断
1 本願発明1について
(1)対比
本願発明1と引用発明とを対比する。
ア 引用発明の「オブジェクト認識システム」は,上記記載事項(1-2)の「オブジェクト認識モデルは,拡張されたトレーニングサンプルセット106によりトレーニングされ,画像処理エンジン108によって実行される。トレーニングに基づいて,画像処理エンジン108は,様々な型のオブジェクトに対して,オブジェクト検出操作,オブジェクト分割操作,オブジェクト分類操作,および/または他のオブジェクト認識操作を実行することができる。」からみて,「画像」を処理していることが明らかであり,「画像処理装置」の一種であるといえる。

イ 引用発明の「医療診断および治療用のオリジナルトレーニングサンプルセット」は,明らかに外部から取得される画像であるから,引用発明は「画像を取得する画像取得部」を備えているといえる。

ウ 引用発明の「医療診断および治療用のオリジナルトレーニングサンプルセット」と本願発明1の「生体の管腔内画像」とは,上位概念である「生体の画像」の点で一致するといえる。

エ 引用発明の「フォトメトリック変換モデル」は,「新たな複数のトレーニング画像を生成する」のであるから,「新たな複数の画像を生成する画像生成部」の一種であるといえる。また,引用発明の「輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させて」と本願発明1の「色相および/または明るさを所定値毎に変化させて」とは,「明るさを変化させて」の点で一致するといえる。

オ 「オブジェクト認識」と「対象認識」とは同義であり,技術常識を考慮すると,引用発明の「オブジェクト認識モデルを構築する」が,本願発明1の「認識基準を学習する」に相当するといえるから,引用発明も「学習部」を備えているといえる。
そうすると,引用発明の「トレーニングサンプルセットに基づいて,オブジェクト認識操作を実行するためのオブジェクト認識モデルを構築する」ものは,本願発明1の「前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習部」に相当する。

カ 上記ア?オを総合すると,本願発明1と引用発明とは,
(一致点)
「生体の画像を取得する画像取得部と,
該画像の明るさを変化させて新たな複数の画像を生成する画像生成部と,
前記複数の画像に基づいて,対象認識を行うための認識基準を学習する学習部と
を備えた画像処理装置。」
の点で一致し,以下の点で相違するといえる。

(相違点1)
「生体の画像」について,本願発明1では「管腔内画像」に特定・限定されているのに対し,引用発明ではそのような特定・限定がされていない点。

(相違点2)
「画像生成部」について,本願発明1では「新たな複数の画像」を「前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて」および「前記臓器判別部によって判別された臓器種類に応じた前記体液の有無によって定まる色相および/または明るさに応じた前記範囲情報に基づいて」生成しているのに対し,引用発明では「新たな複数のトレーニング画像」を「輝度,明度,カラーバランス,コントラストなどを限定せず,フォトメトリック特性を変化させて」生成しているものの,「範囲情報に基づいて明るさを所定値毎に変化させて」生成していない点。

(相違点3)
本願発明1が「前記管腔内画像に含まれる生体情報に基づいて、前記画像生成部が前記複数の画像を生成する際の前記範囲情報を決定する範囲決定部」を備え,「前記範囲決定部は、前記管腔内画像の臓器種類を判別する臓器判別部と、前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出部とを有し」ているのに対し,引用発明は,そのような「範囲決定部」を備えていない点

(2)相違点についての判断
事案に鑑みて,上記相異点2について先に検討する。
引用文献3の上記記載事項(3-1)の「本発明装置は、例えば手書き文字認識や製品検査装置や果樹選別装置などに利用されるもので、あからじめ学習用のサンプル画像を与えておいて分類、識別、評価等の判別ルールを学習させ、その学習した判別ルールに基づき、入力された画像の分類、識別、評価などを行う装置に利用される」および同(3-2)の「本発明は上述の問題に鑑みなされたもので、学習サンプル画像を自動的に作成してこれによって学習画像認識装置に学習させることにより、多くのサンプル画像を作成、用意する必要をなくし、また学習時間を短縮することができる画像認識装置を提供することを目的とする」からみて,引用文献3記載の「画像認識装置」も,用途の技術分野が異なるものの,引用発明の「オブジェクト認識システム」および本願発明1の「画像処理装置」と同様に,所謂「データ拡張Data Augmentationを有する画像処理(認識)装置」に関するものであるといえる。
そして,上記記載事項(3-2)の「前記自動学習サンプル生成手段は、前記元になる学習サンプル画像に対する変動要素についての複数の値をあらかじめ決められた手順で与えて、あらかじめ作成された複数の変動要素の値の組み合わせの表に基づいて、前記元になる学習サンプル画像に前記複数の変動要素の値を与えて、複数の学習サンプル画像を生成する手段を含む」および同(3-3)の「また大きさや形は変形させないときでも図10のように明るさのむらなどの変形も可能である。・・・・・カラー画像にも適応でき、その場合は変形だけでなく色を変化させる事もできる」からみて,引用文献3には「あらかじめ作成された複数の変動要素(明るさ等)の値の組み合わせの表に基づいて,元になる学習サンプル画像に対する変動要素(明るさ等)についての複数の値をあらかじめ決められた手順で与えて,複数の学習サンプル画像を生成する手段」が記載されているといえ,該複数の変動要素」が引用発明の「輝度,明度,カラーバランス,コントラストなど」に相当し,該「あらかじめ作成された複数の変動要素(明るさ等)の値の組み合わせの表」が本願発明1の「明るさの範囲が設定された範囲情報」に相当するといえる。
しかしながら,引用文献3には,該「組み合わせの表」をどの様な情報あるいは条件に基づいて設定するのか具体的に記載されておらず,本願発明1の「管腔内画像に含まれる生体情報」あるいは「前記臓器判別部によって判別された臓器種類に応じた前記体液の有無」に対応する何らかの情報・条件が記載・示唆されておらず,該情報・条件を特定・限定する動機付けが欠如しているといえる。また,上記記載事項(3-3)を参照すると,具体的な実施例としてメロン等級判別装置が記載されており,その「一つの等級のグループの範囲内の変動要素を与えた種々の学習サンプル画像を生成し学習型画像認識装置1に与えて学習させることができる」からみて,「等級別」に「変動要素を与えた種々の学習サンプル画像を生成」することが記載されているといえるものの,該「等級別」と本願発明1の「生体情報」あるいは「臓器種類に応じた体液の有無」とは,前者では対象が「個体別」であるのに対し,後者では「同一個体内の別部位」を対象としており,その技術的意義を全く異にし,前者を後者に置き換える動機付けがないというべきである。
一方,引用文献2の上記記載事項(2-2)の「事前に収集した各種の異常領域の色特徴量を基に、異常領域の判別基準(色範囲)を予め作成し」からみて,「異常領域の色特徴量が所定の色範囲を有し,その色範囲を異常領域の判別基準とする」こと記載されているものの,該「判別基準(色範囲)」は,本願発明1の「学習された認識基準」に相当するものであり,これを本願発明1の「範囲情報」とすることは,引用文献2あるいは3に記載・示唆されておらず,また,そうする動機付けもなく,当業者において自明な事項ともいえない。
そうすると,引用発明の「フォトメトリック変換モデル」を引用文献3記載の「複数の学習サンプル画像を生成する手段」に置き換えたとしても,相違点2における本願発明1の構成に到達し得ないというべきである。
さらに,「前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報」であって「前記臓器判別部によって判別された臓器種類に応じた前記体液の有無によって定まる色相および/または明るさに応じた前記範囲情報」に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させ」る構成は,引用文献4?6には記載されておらず,本願出願前において周知技術であるともいえない

そうすると,引用発明及び引用文献2?6の記載の事項から,当業者であっても上記相違点2に係る本願発明1の発明特定事項を容易に想起し得たとはいえない。

したがって,本願発明1は,相違点1及び3を検討するまでもなく,当業者であっても引用発明及び引用文献2?6の記載の事項に基づいて容易に発明をすることができたものであるとはいえない。

2 本願発明2?13について
本願発明2?18は,本願発明1を技術的に限定・減縮した発明であるから,本願発明1と同じ理由により,引用発明および引用文献2?6記載の事項に基づいて当業者が容易に発明をすることができたものではない。

3 本願発明14について
本願発明14は,装置の発明である本願発明1のカテゴリーを変更にして方法の発明としたものであるが,その技術内容は実質的に同一であるから,本願発明1と同じ理由により,引用発明および引用文献2?6記載の事項に基づいて当業者が容易に発明をすることができたものではない。

4 本願発明15について
本願発明15は,装置の発明である本願発明1を変更にしてプログラムの発明としたものであるが,その技術内容は実質的に同一であるから,本願発明1と同じ理由により,引用発明および引用文献2?6記載の事項に基づいて当業者が容易に発明をすることができたものではない。

第7 むすび
以上のとおり,本願発明1?15は,引用発明および引用文献2?6記載の事項に基づいて当業者が容易に発明をすることができたものではない。
したがって,原査定の理由により,本願を拒絶することはできない。
また,他に本願を拒絶すべき理由を発見しない。
よって,結論のとおり審決する。

 
審決日 2020-10-26 
出願番号 特願2017-557592(P2017-557592)
審決分類 P 1 8・ 121- WY (A61B)
最終処分 成立  
前審関与審査官 佐藤 秀樹  
特許庁審判長 福島 浩司
特許庁審判官 森 竜介
信田 昌男
発明の名称 画像処理装置、画像処理方法およびプログラム  
代理人 特許業務法人酒井国際特許事務所  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ