• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  G01N
審判 全部申し立て 1項3号刊行物記載  G01N
管理番号 1404838
総通号数 24 
発行国 JP 
公報種別 特許決定公報 
発行日 2023-12-28 
種別 異議の決定 
異議申立日 2023-08-03 
確定日 2023-12-07 
異議申立件数
事件の表示 特許第7217589号発明「画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム」の特許異議申立事件について、次のとおり決定する。 
結論 特許第7217589号の請求項1ないし21に係る特許を維持する。 
理由 第1 手続の経緯
特許第7217589号(以下「本件特許」という。)の請求項1ないし21に係る特許についての出願は、平成30年2月27日の出願であって、令和5年1月26日にその特許権の設定登録がされ、同年2月3日に特許掲載公報が発行された。その後、その特許に対し、同年8月3日に特許異議申立人 堀久美子(以下「申立人」という。)により特許異議の申立てがされた。

第2 本件発明
本件特許の請求項1ないし21に係る発明(以下、それぞれ請求項の番号に対応して「本件発明1」などという。)は、それぞれその特許請求の範囲の請求項1ないし21に記載された事項により特定される、次のとおりのものである。

【請求項1】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析方法であって、
解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、
前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
ことを含み、
前記深層学習アルゴリズムが、前記組織の種類に応じて生成されている、
画像解析方法。

【請求項2】
前記画素領域が腫瘍領域であるか否かを示すデータは、前記画素領域が腫瘍領域であること、前記画素領域が非腫瘍領域であること、又は前記画素領域が組織を含まない領域であることを示す、請求項1に記載の画像解析方法。

【請求項3】
前記解析対象画像が、組織診断用標本の画像であり、前記解析対象画像が2以上の原色を組み合わせた色相を含む、
請求項1または2の画像解析方法。

【請求項4】
前記解析対象画像が、前記解析対象の組織を3倍から20倍に拡大して撮像された画像である、
請求項1乃至3のいずれか1項の画像解析方法。

【請求項5】
前記画素領域が正方形であり、前記画素領域の大きさが、200μm×200μm以上400μm×400μm以下である、
請求項1乃至4のいずれか1項の画像解析方法。

【請求項6】
前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、腫瘍細胞の領域とそれ以外の領域との境界を示すデータを生成する、
請求項1乃至5のいずれか1項の画像解析方法。

【請求項7】
前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域の含有率を示すデータを生成する、
請求項1乃至6のいずれか1項の画像解析方法。

【請求項8】
前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域と非腫瘍領域の比率を示すデータを生成する、
請求項1乃至6のいずれか1項の画像解析方法。

【請求項9】
前記ニューラルネットワークの入力層のノード数が、前記画素領域の画素数と各画素の原色の数との積に対応している、
請求項1乃至8のいずれか1項の画像解析方法。

【請求項10】
前記標本が染色された標本であり、前記解析対象画像は、前記染色された標本を顕微鏡
の明視野下で撮像した画像である、
請求項3乃至9のいずれか1項の画像解析方法。

【請求項11】
前記深層学習アルゴリズムの学習に用いられる訓練データが、個体から採取された腫瘍領域を含む組織の標本に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像に基づいて生成されている、
請求項1乃至10のいずれか1項の画像解析方法。

【請求項12】
前記明視野観察用染色は、核染色にヘマトキシリンを用いる、
請求項11の画像解析方法。

【請求項13】
前記明視野観察用染色が、ヘマトキシリン・エオジン染色である、
請求項11の画像解析方法。

【請求項14】
前記訓練データが、前記明視野画像から判定された、腫瘍領域であることを示すラベル
値を含む、
請求項11乃至13のいずれか1項の画像解析方法。

【請求項15】
前記訓練データが、前記ラベル値を前記明視野画像の所定画素数の領域毎に含む、
請求項14の画像解析方法。

【請求項16】
前記訓練データが、前記明視野画像における所定画素数の領域毎に生成されている、請求項11乃至15のいずれか1項の画像解析方法。

【請求項17】
前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである、
請求項1乃至16のいずれか1項の画像解析方法。

【請求項18】
前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
請求項1乃至17のいずれか1項の画像解析方法。

【請求項19】
さらに、前記組織の種類に応じて複数の前記深層学習アルゴリズムの中から選択された、前記解析対象の組織の種類に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する、
請求項1乃至18のいずれか1項の画像解析方法。

【請求項20】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析装置であって、
解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから切り出した複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、
前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する処理部、
を備え、
前記深層学習アルゴリズムが、前記組織の種類に応じて生成されている、
画像解析装置。

【請求項21】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析するコンピュータプログラムであって、
コンピュータに、
解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成する処理と、
前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力する処理と、
前記深層学習アルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する処理と、を実行させ、
前記深層学習アルゴリズムが、前記組織の種類に応じて生成されている、
コンピュータプログラム。

第3 特許異議申立理由の概要
申立人は、下記の甲第1号証ないし甲第7号証を提示し、以下の申立理由1ないし3により、請求項1ないし21に係る特許を取り消すべきである旨主張する。

1 申立理由1
請求項1、4、10ないし14及び18ないし21に係る発明は、甲第1号証に記載された発明であるから、その特許は、特許法第29条第1項の規定に違反してされたものである。
したがって、請求項1、4、10ないし14及び18ないし21に係る特許は、特許法第113条第2号に該当し、取り消されるべきものである。

2 申立理由2
請求項1ないし21に係る発明は、甲第1号証に記載された発明及び甲第2号証ないし甲第7号証に記載された事項に基いて、その発明の属する技術の分野における通常の知識を有する者(以下「当業者」という。)が容易に発明をすることができたものであるから、その特許は、特許法第29条第2項の規定に違反してされたものである。
したがって、請求項1ないし21に係る特許は、特許法第113条第2号に該当し、取り消されるべきものである。

3 申立理由3
請求項1ないし21に係る発明は、甲第2号証に記載された発明並びに甲第1号証及び甲第3号証ないし甲第7号証に記載された事項に基いて、当業者が容易に発明をすることができたものであるから、その特許は、特許法第29条第2項の規定に違反してされたものである。
したがって、請求項1ないし21に係る特許は、特許法第113条第2号に該当し、取り消されるべきものである。

4 証拠方法
甲第1号証:Pegah Khosravi et al. ,“Deep Convolutional Neural Networks Enable Discrimination of Heterogeneous Digital Pathology Images”,EBioMedicine,Vol.27,p.317-328,[online],2017年12月28日,https://doi.org/10.1016/j.ebiom.2017.12.026(以下「甲1」という。)
甲第2号証:特開2012−8027号公報(以下「甲2」という。)
甲第3号証:特表2005−530138号公報(以下「甲3」という。)
甲第4号証:Angel Cruz-Roa et al. ,“Accurate and reproducible invasive breast cancer detection in whole-slide images: A Deep Learning approach for quantifying tumor extent”,SCIENTIFIC REPORTS,46450,[online],2017年4月18日,https://www.nature.com/articles/srep46450(以下「甲4」という。)
甲第5号証:Babak Ehteshami Bejnordi et al. ,“Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images”,Journal of Medical Imaging,2017 Vol.4, No.4,044504,[online],2017年12月14日, https://doi.org/10.1117/1.JMI.4.4.044504(以下「甲5」という。)
甲第6号証:国際公開第2018/008593号(以下「甲6」という。)
甲第7号証:特表2007−505379号公報(以下「甲7」という。)

第4 各甲号証の記載事項
1 甲1の記載事項及び甲1に記載された発明
(1)甲1には、以下の記載がある(下線は当審で付加した。以下同じ。)。
(甲1−ア)「Deep Convolutional Neural Networks Enable Discrimination of Heterogeneous Digital Pathology Images」(タイトル)
(当審訳:深層畳み込みニューラルネットワークが異種デジタル病理画像の識別を可能にする)

(甲1−イ)「ABSTRACT
Pathological evaluation of tumor tissue is pivotal for diagnosis in cancer patients and automated image analysis approaches have great potential to increase precision of diagnosis and help reduce human error.
In this study, we utilize several computational methods based on convolutional neural networks (CNN) and build a stand-alone pipeline to effectively classify different histopathology images across different types of cancer.
In particular, we demonstrate the utility of our pipeline to discriminate between two subtypes of lung cancer, four biomarkers of bladder cancer, and five biomarkers of breast cancer. In addition, we apply our pipeline to discriminate among four immunohistochemistry (IHC) staining scores of bladder and breast cancers.
Our classification pipeline includes a basic CNN architecture, Google’s Inceptions with three training strategies, and an ensemble of two state-of-the-art algorithms, Inception and ResNet. Training strategies include training the last layer of Google’s Inceptions, training the network from scratch, and fine-tunning the parameters for our data using two pre-trained version of Google’s Inception architectures, Inception-V1 and Inception-V3.
We demonstrate the power of deep learning approaches for identifying cancer subtypes, and the robustness of Google’s Inceptions even in presence of extensive tumor heterogeneity. On average, our pipeline achieved accuracies of 100%, 92%, 95%, and 69% for discrimination of various cancer tissues, subtypes, biomarkers, and scores, respectively. Our pipeline and related documentation is freely available at https://github.com/ih-_lab/CNN_Smoothie.」(317頁中段)
(当審訳:概要
腫瘍組織の病理学的評価は、がん患者の診断にとって極めて重要であり、自動化された画像分析アプローチは、診断の精度を高め、ヒューマンエラーを減らすのに役立つ大きな可能性を秘めている。
この研究では、畳み込みニューラルネットワーク(CNN)に基づくいくつかの計算手法を利用し、スタンドアロンパイプラインを構築して、さまざまな種類のがんのさまざまな組織病理画像を効果的に分類する。
特に、肺癌の2つのサブタイプ、膀脱癌の4つのバイオマーカー、乳癌の5つのバイオマーカーを識別するパイプラインの有用性を示す。さらに、パイプラインを適用して、膀脱癌と乳癌の4つの免疫組織化学(IHC)染色スコアを識別する。
我々の分類パイプラインには、基本的なCNNアーキテクチャ、3つのトレーニング戦略を備えたGoogleのInceptions、及び2つの最先端アルゴリズムであるInceptionとResNetのアンサンブルが含まれている。トレーニング戦略には、GoogleのInceptionsの最終層のトレーニング、ネットワークのスクラッチでのトレーニング、及びGoogleのInceptionアーキテクチャの2つの事前トレーニング済みバージョンであるInception-VlとInception-V3を使用した我々のデータのためのパラメータのファインチューニングが含まれる。
がんのサブタイプを特定するための深層学習アプローチの力と、広範な腫瘍の不均一性が存在する場合でもGoogleのInceptionsの堅牢性を実証する。平均して、我々のパイプラインは、さまざまながん組織、サブタイプ、バイオマーカー、及びスコアの識別について、それぞれ100%、92%、95%、及び69%の正解率を達成した。我々のパイプラインと関連ドキュメントは、https://github.com/ih-_lab/CNN_Smoothieで無料で入手できる。)

(甲1−ウ)「1. Introduction
Evaluation of microscopic histopathology slides by experienced pathologists is currently the standard procedure for establishing a diagnosis and identifying the subtypes of different cancers. Visual-only assessment of well-established histopathology patterns is typically slow, and is shown to be inaccurate and irreproducible in certain diagnosis cases of tumor subtypes and stages (Mosquera-Lopez et al., 2015).
・・・
While new advanced approaches have improved image recognition (e.g., normal versus cancerous), the image interpretation of heterogeneous populations still suffers from lack of robust computerization approaches (Razzak et al., 2017; Carneiro et al., 2017; Gurcan, 2016; Jiang et al., 2016). Current available automatic methods focus on classification of just one type of cancer versus the corresponding normal condition. Although these studies achieved reasonable accuracy in detecting normal or cancerous conditions in specific kind of cancers, leveraging methods such as training Convolutional Neural Networks (CNNs)(LeCun et al., 1998), they have certain limitations which we address in this work:
1. Developing ensemble deep learning methods to employ stateof- the-art algorithms for improving training approaches in diagnosis and detection of various cancer subtypes (e.g., adenocarcinoma versus cell squamous lung cancer).
2. Improving the speed of deep learning, and investigating the trade-offs between performance (i.e., the size of the training set) and efficiency (i.e., the training speed).
3. Making decisions on selecting proper neural networks for different types of datasets.
One of the main challenges of computational pathology is that tumor tissue images often vary in color and scale batch effects across different research laboratories and medical facilities due to differences in tissue preparation methods and imaging implements (Kothari et al., 2013). Furthermore, erroneous evaluation of histopathology images and decision-making using tissue slides containing millions of cells can be time-consuming and subjective (Yu et al., 2016; Kothari et al., 2013). In this regard, utilization of the deep learning approaches with sufficient number of images to untangle color information can improve the computational approaches within a reasonable amount of time.
In addition, cancer is known to be a heterogeneous disease. i.e., a high degree of genetic and phenotypic diversity exists “within tumors” (intra-tumor) and “among tumors” (inter-tumor) (Polyak, 2011). Tumor heterogeneity leads to an important effect of disease progression and resistant responses to targeted therapies (Hardiman et al., 2016). We also aim to evaluate deep learning approaches for discrimination of digital pathology images from intra- and intertumor heterogeneous samples.
Deep learning approaches are emerging as leading machine-learning tools in medical imaging where they have been proven to produce precious results on various tasks such as segmentation, classification, and prediction (Greenspan et al., 2016). In this paper, we present an innovative deep learning based pipeline, CNN_Smoothie, to discriminate various cancer tissues, subtypes, and their relative staining markers and scores. We utilize the pathological images which stained by immunohistochemical markers of tumor differentiation to train CNNs for analyzing and identifying specific clinical patterns in different staining markers and scores of breast and bladder cancers. In addition, we applied deep learning methods on immunohistochemistry (IHC) and hematoxylin & esoin (H&E)(当審注:「esoin」は「eosin」の誤記と認める。) stained images of squamous cell carcinoma and lung adenocarcinoma to investigate the performance of various classifiers.」(317頁下段左欄1行〜318頁左欄下から8行)
(当審訳:1.はじめに
経験豊富な病理学者による顕微鏡組織病理学スライドの評価は、現在、診断を確定し、さまざまながんのサブタイプを同定するための標準的な手順である。十分に確立された組織病理学パターンの視覚のみの評価は、一般的に時間がかかり、腫瘍のサブタイプと病期の特定の診断ケースでは、不正確で再現性がないことが示されている(Mosquera-Lopez et al., 2015)。
・・・
新しい高度なアプローチにより画像認識が改善されたが(例:正常対がん)、異種集団の画像解釈は、堅牢なコンピュータ化アプローチの欠如に悩まされている(Razzak et al., 2017; Carneiro et al., 2017; Gurcan, 2016; Jiang et al., 2016)。現在利用可能な自動化手法は、1つのタイプのがんを対応する正常な状態に対して分類することに焦点を当てている。これらの研究は、畳み込みニューラルネットワーク(Convolutional Neural Networks、CNNs) のトレーニングなどの方法を活用して、特定の種類のがんについて、正常又はがん状態を検出する上で妥当な正解率を達成したが(LeCunet al., 1998)、この研究で対処する特定の制限がある:
1.さまざまながんサブタイプ(例えば、腺癌と細胞扁平上皮肺癌)の診断と検出におけるトレーニングアプローチを改善する、最先端のアルゴリズムを採用するためのアンサンブル深層学習手法の開発。
2.深層学習の速度の改善及びパフォーマンス(すなわち、トレーニングセットのサイズ)と効率(すなわち、トレーニング速度)の間のトレードオフの調査。
3.さまざまな種類のデータセットに適切なニューラルネットワークの選択についての決定。
計算病理学の主な課題の1つは、腫瘍組織画像は、組織の準備方法と画像処理装置の違いにより、研究施設や医療施設によって色やスケールのバッチ効果が異なることが多いことである(Kothari et al., 2013)。さらに、何百万もの組胞を含む組織スライドを使用した組織病理学的画像の誤った評価と意思決定は、時間がかかり、主観的なものになる可能性がある(Yu et al., 2016; Kothari et al., 2013)。この点、色情報を解きほぐすのに十分な数の画像を用いた深層学習アプローチの使用は、合理的な時間内での計算アプローチを改善できる。
さらに、がんは異種疾患であることが知られている。すなわち、高度な遺伝的及び表現型の多様性が「腫瘍内」(intra-tumor) 及び「腫瘍間」(inter-tumor) に存在する(Polyak、2011)。腫瘍の不均一性は、疾患の進行と標的療法に対する耐性反応の重要な影響につながる(Hardiman et al., 2016)。また、我々は、腫瘍内及び腫瘍間の異種サンプルからデジタル病理画像を識別するための深層学習アプローチを評価することも目指している。
深層学習アプローチは、医用画像処理における主要な機械学習ツールとして浮上しており、セグメンテーション、分類、予測などのさまざまなタスクで貴重な結果を生み出すことが証明されている(Greenspan et al., 2016)。この論文では、さまざまながん組織、サブタイプ、及びそれらの相対的な染色マーカーとスコアを識別するための、革新的な深層学習ベースのパイプライン、CNN_Smoothieを紹介する。腫瘍分化の免疫組織化学マーカーによって染色された病理画像を利用して、さまざまな染色マーカーと乳癌及び膀脱癌のスコアにおける特定の臨床パターンを分析及び識別するためのCNNをトレーニングする。さらに、扁平上皮癌及び肺腺癌の免疫組織化学(IHC)及びヘマトキシリン&エソイン(H&E)(当審注:「エソイン」は「エオジン」の誤記と認める。)染色画像に深層学習手法を適用して、さまざまな分類器の性能を調査した。)

(甲1−エ)「2. Materials and Methods
2.1. Histopathology Images Resource
Our datasets come from a combination of open-access histopathology images, The Stanford Tissue Microarray Database (TMAD) and The Cancer Genome Atlas (TCGA). A total of 12,139 whole-slide stained histopathology images were obtained from TMAD (Marinelli et al., 2007). TMA database enables researchers have access to bright field and fluorescence images of tissue microarrays. This archive provide thousand human tissues which are probed by antibodies simultaneously for detection of protein abundance (immunohistochemistry; IHC), or by labeled nucleic acids (in situ hybridization; ISH) to detect transcript abundance. The extracted data included samples from three cancer tissues: (1) lung, (2) breast, comprising five biomarker types (EGFR, CK17, CK5/6, ER, and HER2), and (3) bladder with four biomarker types (CK14, GATA3, S0084, and S100P). Characteristics of all three cohorts and the comprised classes are summarized in Table 1. From the extracted TMA datasets, one dataset is stained by H&E method (BladderBreastLung) and one dataset is stained by both H&E and IHC methods (TMAD-InterHeterogeneity). The remaining datasets (BladderBiomarkers, BreastBiomarkers, BladderScores, and BreastScores) are stained by IHC markers including different polyclonal antiserums such as CK14, GATA3, S0084, S100P, EGFR, CK17, CK5/6, ER, and HER2 for their related proteins which play critical roles in tumor progression.
The markers are widely used in clinical immunohistochemistry as biomarkers for detection of various neoplasm types (Higgins et al., 2007; Vandenberghe et al., 2017). Several studies have acquired the expressions of biomarkers in biopsy samples of various cancer types to improve the distinction of specific pathological subtyping and understanding of molecular pathways of different cancers. For example, we can refer to the attempts made to discriminate morphologic subtyping of non-small call lung carcinoma (NSCLC), lung adenocarcinoma (LUAD) versus lung squamous cancer (LUSC) (Scagliotti et al., 2008; Khayyata et al., 2009; Conde et al., 2010; Fatima et al., 2011). Antiserums staining tissue are sub-classified according to the staining grade. Each tissue sample in this cohort was scored by a trained pathologist using a discrete scoring system (0, 1, 2, 3). A score zero represents no significant protein expression (negative) because there is no staining color, whereas a score three indicates high expression. Positive results were scored based on both the extent and the intensity of staining. For score three, intense staining was required in more than 50% of the cells. Other scores including one and two staining comprise in fewer than 50% of the total cells (Higgins et al., 2007).
We also obtained the TCGA (Network et al., 2012, 2014) images by extracting them from the Cancer Digital Slide Archive (CDSA) (Gutman et al., 2013) that is accessible to the public and, at the time of writing this, hosts 31,999 whole-slide images from 32 cancer tissues. For the purpose of this study, we analyze 1520 H&E stained whole-slide histopathology images as well as 1629 H&E stained high resolution image patches (40× magnification) of two TCGA lung cancer subtypes (i.e., LUAD versus LUSC).
2.2. Classification and Diagnostic Framework
This study presents a framework (see Fig. 1) to discriminate different cancer types, subtypes, immunohistochemistry markers, and marker staining scores of histopathology images (Table 1). For the first step of our study, the stained whole-slide images with 1504 × 1440 and 2092 × 975 pixels were obtained from TMA and TCGA databases, respectively. Note that we did not use any pre-processing methods such as color deconvolution to separate the images from staining (van der Laak et al., 2000) or any watershed algorithms to identify cells (Vincent and Soille, 1991) manually. The whole images directly used as the input to the pipeline.
The images are then divided in different classes based on the classification aims and the CNN algorithms are applied on these classes. For each class, images divided in three groups including training, validation, and test groups. For this purpose, 70% of all images are allocated to the training group and 30% of the remaining images devoted to validation and test sets. Although the ratio is not always stringent due to image limitation, we set the train:validation:test ratio to 70:15:15 while the training, validation, and test sets are not identical and contain different images. The allocation ration was selected 70/30 since various references (Akram et al., 2015; Lam et al., 2014) in tumor classification concept have separated their datasets into training and testing set with the composition of 70/30 which yields the best results.」(318頁右欄3行〜319頁右欄17行)
(当審訳:2.材料と方法
2.1 組織病理画像リソース
我々のデータセットは、オープンアクセスの組織病理学画像である、スタンフォード組織マイクロアレイデータベース(TMAD)及びがんゲノムアトラス(TCGA)の組み合わせから得られる。合計12,139枚のスライド全体を染色した組織病理画像がTMADから得られた(Marinelli et al., 2007)。TMAデータベースにより、研究者は組織マイクロアレイの明視野及び蛍光画像にアクセスできる。このアーカイブは、タンパク質存在量を検出するための抗体(免疫組織化学;IHC)、又は転写物存在量を検出するための標識核酸(インサイチュハイブリダイゼーション;ISH)によって同時にプローブされた数千のヒト組織を提供する。抽出されたデータには、以下の3つのがん組織からのサンプルが含まれていた: (1)肺、(2)5つのバイオマーカータイプ(EGFR、CK17、CK5/6、ER、及びHER2)を含む乳房、及び(3)4つのバイオマーカータイプ(CK14、GATA3、S0084及びS100P)を含む膀脱。3つのコホートすべての特徴と、含まれるクラスを表1にまとめてある。抽出されたTMAデータセットから、1つのデータセットがH&Eメソッドで染色されており(膀胱、乳房、肺)、1つのデータセットがH&EメソッドとIHCメソッドの両方で染色されている(TMAD腫瘍間非均一性)。残りのデータセット(膀胱バイオマーカー、乳房バイオマーカー、膀胱スコア及び乳房スコア)は、CK14、GATA3、S0084、SlOOP、EGFR、CK17、CK5/6、ER及びHER2などの、さまざまなポリクローナル抗血清を含む、腫瘍の進行における重要な役割を果たすたんぱく質に関連するIHCマーカーによって染色されている。
マーカーは、さまざまな新生物タイプを検出するためのバイオマーカーとして、臨床免疫組織化学で広く使用されている(Higgins et al., 2007; Vandenberghe et al., 2017)。様々ながんの生検検体におけるバイオマーカーの発現を取得することで、特異的な病理学的サブタイピングの区別や異なるがんの分子経路の理解を深める研究がいくつか行われている。例えば、非スモールコール肺癌(NSCLC)、肺腺癌(LUAD)と肺扁平上皮癌(LUSC)の形態学的サブタイピングを区別するために行われた試みについて言及することができる(Scagliottiet al., 2008; Khayyata et al., 2009; Conde et al., 2010; Fatima et al., 2011)。抗血清染色組織は、染色グレードに従って下位分類されます。このコホートの各組織サンプルは、訓練を受けた病理学者によって、離散採点システム(0、1、2、3)を使用して採点された。スコア0は、染色の色がないため有意なタンパク質発現がない(陰性である)ことを表し、一方で、スコア3は高発現を示す。陽性結果は、染色の範囲と強度の両方に基づいて採点された。スコア3については、細胞の50%以上で強い染色を必要とした。1及び2の染色を含む他のスコアは、全細胞の50%未満である(Higgins et a 1., 2007)。
また、一般公開されており、執筆時において32のがん組織から得た31,999のホールスライド画像を提供する、がんデジタルスライドアーカイブ(CDSA)(Gutman et al., 2013) から画像を抽出して、TCGA(Network et al., 2012, 2014)の画像を入手した。この研究の目的のために、2つのTCGA肺癌サブタイプ(すなわち、LUAD対LUSC) の1520枚のH&E染色されたスライド全体の組織病理画像と、1629枚のH&E染色された高解像度画像パッチ(倍率40倍)を分析する。
2. 2. 分類と診断のフレームワーク
この研究は、組織病理画像の異なるがんの種類、サブタイプ、免疫組織化学マーカー及びマーカー染色スコアを識別するためのフレームワーク(図1を参照)を提示する(表1)。我々の研究の最初のステップでは、1504×1440及び2092×975ピクセルの染色されたスライド全体の画像が、それぞれTMA及びTCGAデータベースから取得された。なお、画像を染色から分離するための色のデコンボリューション(van der Laak et al., 2000)や、細胞を識別するためのウォーターシェッドアルゴリズム(Vincent and Soille, 1991)といった前処理方法を、手動で使用しなかったことに注意されたい。画像全体が、パイプラインヘの入力として直接使用された。
次に、画像は分類の目的に基づいてさまざまなクラスに分割され、これらのクラスにCNNアルゴリズムが適用される。クラスごとに、画像は、訓練、検証及びテストグループを含む3つのグループに分けられる。この目的のために、全画像のうち70%が訓練グループに割り当てられ、残りの30%の画像が検証及びテストセットに割り当てられる。画像の制限により、この比率は常に厳密であるとは限らないが、訓練:検証:テストの比率を70:15:15に設定しており、ここで、訓練、検証及びテストセットは同一ではなく、異なる画像が含まれている。腫瘍分類概念のさまざまな参考文献(Akram et al., 2015; Lam et al., 2014)では、最良の結果が得られるとして70/30の構成でデータセットが訓練セットとテストセットに分けられているため、割り当て比は70/30が選択された。)

(甲1−オ)「2.3. Convolutional Neural Networks (CNNs)
In this study, we use various architectures of CNN algorithms (i.e., deep neural network methods). The most well-known traditional neural networks is called the multi-layered perceptrons (MLP) that have many layers of transformations. A neural network which contains multiple hidden layers, in between the input and output, is considered a “deep neural network”. A survey on deep neural network approaches and their application in medical image analysis is described in (Litjens et al., 2017).
Convolutional neural networks have become the technique of choice for using deep learning approaches in medical images analysis since the first time in 1995 by (Lo et al., 1995). Before deep neural networks (DNN) gained popularity, they were considered hard to train large networks efficiently for a long time. Their popularity indebted to good performance of training DNNs layer by layer in an unsupervised manner (pre-training), followed by supervised finetuning of the stacked network. In this project, we are going to utilize DNNs for histopathology image analysis. They are the most successful type of models for image analysis because they comprise multiple layers which transform their input with convolution filters (Bengio et al., 2007; Hinton et al., 2006; Hinton and Salakhutdinov, 2006).
A convolutional neural network is a type of deep, feed-forward artificial neural networks which obtain simple features as input and then return them into more complex features as output (Simard et al., 2003). The CNNs use the spatial structure of images to share weights across units and benefit of some parameters to be learned a rotation, translation, and scale invariance. So, each image patch around each image can be extracted and directly used as input to CNNs model.・・・
Simonyan and Zisserman (2014) explored much deeper networks containing 19-layer model which called OxfordNet and won the ImageNet challenge of 2014. Then, Szegedy et al. (2015) introduced a 22-layer network named GoogLeNet which later referred to as Inception and made use of so-called inception blocks (Lin et al., 2013). This Inceptions family architectures allow a similar function to be represented with less parameters. Also, the ResNet architecture (He et al., 2016) won the ImageNet challenge in 2015 and consisted of so-called ResNet-blocks. However, the majority of recent landmark studies in the field of medical imaging use a version of GoogLeNet called Inception-V3 (Esteva et al., 2017; Gulshan et al., 2016; Liu et al., 2017). Recently Esteva et al. (2017) utilized a deep CNN as a pixel-wise classifier which is computationally demanding in cancer research to detect melanoma malignant with high performance.
・・・Then, they call the new model as Inception-v3 which comprising Inception-V2 plus batch-normalization (BN) auxiliary (Szegedy et al., 2016).」(319頁右欄18行〜320頁左欄26行)
(当審訳:2.3.畳み込みニューラルネットワーク(CNNs)
この研究では、CNNアルゴリズムのさまざまなアーキテクチャ(つまり、深層ニューラルネットワーク手法)を使用する。最もよく知られている従来のニューラルネットワークは、多層パーセプトロン(MLP)と呼ばれ、多数の変換層を有する。入力と出力の間に複数の隠れ層を含むニューラルネットワークは、「深層ニューラルネットワーク」とみなされる。深層ニューラルネットワークのアプローチとその医用画像解析への応用に関する調査が(Litjens et al., 2017)に記載されている。
1995年に(Lo et al., 1995)によって初められて以来、畳み込みニューラルネットワークは、医療画像分析にディープラーニングアプローチを使用するための最適な手法になった。深層ニューラルネットワーク(DNN)が普及する前は、長い間、大規模なネットワークを効率的にトレーニングするのは難しいと考えられていた。それらの人気は、スタックされたネットワークを監視下でファインチューニングを行う前の、監視されていない方法でのDNNの層ごとに行うトレーニング(事前トレーニング)についての優れたパフォーマンスに恩恵を受けている。このプロジェクトでは、組織病理画像解析にDNNを利用する。それらは、畳み込みフィルターで入力を変換する複数の層で構成されているため、画像解析で最も成功したタイプのモデルである(Bengio et al., 2007;Hinton et al., 2006;Hinton and Salakhutdinov, 2006)。
畳み込みニューラルネットワークは、単純な特徴を入力として取得し、それらをより複雑な特徴にして出力として返す、深層のフィードフォワード人工ニューラルネットワークの一種である(Simard et al., 2003)。CNNは、画像の空間構造を使用してユニット間で重みを共有し、回転、平行移動、及びスケールの不変性を学習するためのいくつかのパラメーターの利点を活用する。そのため、各画像の周囲の各画像パッチを抽出して、CNNモデルヘの入力として直接使用することができる。・・・
SimonyanとZisserman (2014) は、OxfordNetと呼ばれる、19層モデルを含むより深いネットワークを開拓し、2014年のImageNetチャレンジに勝利した。そして、Szegedyら(2015)が、GoogLeNetという名前の22層ネットワークを導入し、これは後にInceptionと呼ばれ、いわゆるinceptionブロックを利用した(Lin et al., 2013)。このInceptionsファミリアーキテクチャでは、同様の関数をより少ないパラメータで表すことができる。また、ResNetアーキテクチャ(He et al., 2016)は、2015年のImageNetチャレンジで優勝し、いわゆるResNetブロックで構成されていた。しかしながら、医用画像の分野における最近のランドマーク研究の大部分は、Inception-V3と呼ばれるGoogLeNetのバージョンを使用している(Esteva et rl., 2017;Gulshan et al., 2016;Liu et al., 2017)。最近では、Estevaら(2017)が、がん研究において計算負荷の高いピクセル単位の分類器としてディープCNNを利用し、メラノーマの悪性を高い性能で検出した。
・・・そして、彼らは、Inception-V2と補助的なバッチ正規化(BN) で構成される新しいモデルをInception-v3と呼ぶ(Szegedy et al., 2016)。)

(甲1−カ)「Given the prevalence of CNNs in medical image analysis, we focused on the most common architectures and strategies with a preference for far deeper models that have lower memory footprint during inference. In this study, we compare various strategies and architectures for application of CNN algorithm to assess their performance on classification of histopathology images. These are included basic architecture of CNN, pre-trained network (training the last layer) of Google’s Inceptions versions 1 and 3, fine-tunning the parameters for all layers of our network derived from the data using two pre-trained version of Google’s Inception architectures, and the ensemble of two the state of the art algorithms (i.e., Inception and ResNet).」(320頁右欄22〜33行)
(当審訳:医用画像分析におけるCNNの普及を考慮して、我々は、推論中のメモリフットプリントがより少ない、より深いモデルを好み、最も一般的なアーキテクチャと戦略に焦点を当てた。この研究では、組織病理画像の分類におけるCNNのパフォーマンスを評価するために、CNNアルゴリズムを適用するためのさまざまな戦略とアーキテクチャを比較した。これらには、CNNの基本アーキテクチャ、GoogleのInceptionsバージョン1及び3の事前トレーニング済みネットワーク(最終層トレーニング)、GoogleのInceptionアーキテクチャの2つの事前トレーニング済みバージョンを使用したデータに由来する、我々のネットワークのすべての層のパラメーターのファインチューニング、及び、2つの最先端アルゴリズム(すなわち、InceptionとResNet)のアンサンプルが含まれる。)

(甲1−キ)「A fixed image (with the JPG format) size of 20 × 20 pixels was selected for CNN-basic architecture to ensure that all images have the same size and large cells were entirely captured. CNN with the basic architecture consist of a two layer CNN network with maxpooling blocks; at the end we have two fully connected layers. The image sizes for Inception-V1, Inception-V3, and Inception-ResNet were automatically selected as 224 × 224 , 229 × 229, and 229 × 229 pixels by the algorithms, respectively.」(321頁左欄6〜13行)
(当審訳:すべての画像が同じサイズになり、大きな細胞が完全にキャプチャされるように、CNNの基本アーキテクチャ用に20×20ピクセルサイズに固定された画像(JPG形式)が選択された。基本アーキテクチャを備えたCNNは、最大プーリングブロックを備えた2層のCNNネットワークで構成されている;最後には、完全に接続された2つの層がある。Inception-VI、Inception-V3及びInception-ResNetの画像サイズは、アルゴリズムによってそれぞれ224×221、229×229及び229×229ピクセルとして自動的に選択された。)

(甲1−ク)「3.1. Evaluation of Various CNN Architectures in Pathological Tumor Images
In this section, we present details of our evaluations on various CNN architectures. There are two basic subjects in analysis of digital histopathology images including classification and segmentation (Xu et al., 2017). We restricted the evaluations to image-based classification. Also, the basic architecture of CNN was utilized as well as Inception-V1 and Inception-V3 architectures (with fine-tuning the parameters for the last layer as well as all the layers). In addition, we evaluated the ensemble of Inception and ResNet (Inception-ResNet- V2) on all datasets.
Our results show that CNN_Smoothie is able to detect different cancer tissues, subtypes, and their related markers with highly reliable accuracy which depends on the dataset content, dataset size, and the selected algorithm (Table 2).」(321頁右欄35〜49行)
(当審訳:3.1.病理学的腫瘍画像におけるさまざまなCNNアーキテクチャの評価
このセクションでは、さまざまなCNNアーキテクチャに関する評価の詳細を示す。デジタル組織病理学画像の分析には、分類とセグメンテーションを含む2つの基本的な主題がある(Xu et al., 2017)。我々は、評価を、画像ベースの分類に限定した。また、CNNの基本的なアーキテクチャと、Inception-VI及びInception-V3アーキテクチャ(最終層とすべての層のパラメーターがファインチューニングされている)が利用された。さらに、すべてのデータセットでInceptionとResNetのアンサンブル(Inception-ResNet-V2)を評価した。
我々の結果は、CNN_Smoothieが、異なるがん組織、サブタイプ、及びそれらに関連するマーカーを、データセットの内容、データセットのサイズ、及び選択したアルゴリズムに依って、強く信頼できる正解率で検出できることを示している(表2)。)

(甲1−ケ)「Although medical images are mostly interpreted by clinicians, the accuracy of their interpretation is reduced due to subjectivity, large variations across interpreters, and exhaustion (Greenspan et al., 2016; Webster and Dunstan, 2014). We reviewed BreastScores and BladderScores datasets and the content images that are labeled as negative and positive scores. We perceived the low concordance in our result also could be indeed due to significant human errors in labeling, particularly among positive scores (i.e. scores 1, 2, or 3) (Fig. 2).
In this regard, we categorized the image datasets into two negative an positive classes for the breast cancer and applied CNNbasic and Inception-V3 (last layer training) on them. The result showed significant increasing of the algorithms performance. The CNN algorithm with basic architecture could discriminate the positive (scores 1, 2, and 3) and negative (score 0) images with 94% accuracy. Besides, applying the Inception-V3 which its last layer was trained indicated 96% accuracy for the same dataset.」(322頁右欄14〜30行)
(当審訳:医用画像は主に臨床医によって解釈されるが、その解釈の正確さは、主観性、解釈者間の大きなばらつき、そして疲労のために低下する(Greenspan et al., 2016;Webster and Dunstan, 2014)。我々は、BreastScoresとBladderScoresのデータセットと、陰性スコアと陽性スコアとしてラベル付けされたコンテンツ画像をレビューした。我々は、結果の一致率の低さは、特に陽性スコア(つまり、スコア1、2、又は3)の間で、ラベリングにおける重大な人為的エラーが原因である可能性があると認識した(図2)。
この点で、乳癌について、画像データセットを陰性クラスと陽性クラスの2つに分類し、それらにCNN-basicとInception-V3(最終層トレーニング)を適用した。その結果、アルゴリズムのパフォーマンスが大幅に向上した。基本的なアーキテクチャを備えたCNNアルゴリズムは、陽性(スコア1、2、及び3) と陰性(スコア0) の画像を94%の正解率で識別することができた。さらに、最終層がトレーニングされたInception-V3を適用すると、同じデータセットで96%の正解率が示された。)

(甲1−コ)「3.4. Robustness and Limitations of CNN_Smoothie
To demonstrate the robustness of the CNN_Smoothie method, we apply it to eight different datasets of histopathological images with different spectrum of apparent colors to show the uniformity of its performance. The image set spans multiple tumor types, along with several different image colors. The results show that although the colors space for different images have different distributions, our CNN_Smoothie method can successfully identify and register tumor variations and discriminate them consistently and robustly (Fig. 8).」(324頁右欄8行〜325頁左欄5行)
(当審訳:3. 4. CNN_Smoothieの堅牢性と限界
CNN_Smoothieメソッドの堅牢性を実証するために、知覚色のスペクトルが異なる組織病理学的画像の8つの異なるデータセットに適用して、そのパフォーマンスの均一性を示す。画像セットは、いくつかの異なる画像色を伴う、複数の腫瘍タイプにまたがっている。結果は、異なる画像の色空間は異なる分布を持っているにもかかわらず、我々のCNN_Smoothieメソッドは、一貫して確実に、腫瘍のバリエーションをうまく認識して登録し、それらを識別することができることを示している(図8)。)

(甲1−サ)319頁のTable 1



(当審訳:



(甲1−シ)322頁のTable 2



(当審訳:



(甲1−ス)320頁のFig. 1


Fig. 1. This flowchart demonstrates the pipeline, which includes extracting data, training and evaluation of CNN algorithms, and prediction of various classes. a: tumor image preparation of biopsy samples, b: extracting biopsy-derived tissue slides from TMA and TCGA databases, c: analysis of images using CNN_smoothie, and d: evaluation of the algorithms performance and annotation of the output results.」
(当審訳:図1.このフローチャートは、データの抽出、CNNアルゴリズムの訓練と評価、及びさまざまなクラスの予測を含むパイプラインを示している。a:生検サンプルの腫瘍画像の準備、b:TMA及びTCGAデータベースからの生検由来の組織スライドの抽出、c:CNN_smoothieを使用した画像の分析、及びd:アルゴリズムのパフォーマンスの評価と出力結果の注釈。)

(甲1−セ)323頁のFig. 2


Fig. 2. Low accuracy may be associated with human errors in labeling of IHC scores. For example, figures a, b, c, and d labeled to score 3 by pathologists, while the algorithm (Inception-V1) has classified them to score 3, 3, 1, and 0, respectively. In particular, figures e and g are both labeled to score 0 by pathologists; however, the algorithm correctly has classified them into score 0 and 1, respectively. Finally, figures f and h are labeled to score 2 by pathologists while the algorithm has classified them into score 2 and 3, respectively. Closer manual inspection of images indicate the algorithm results are indeed more reliable. Highlighted probability scores in green and orange indicate concordance and discordance between algorithm classification and pathologist labeling, respectively.」
(当審訳:図2.低い正解率は、IHCスコアのラベル付けにおける人的エラーに関連している可能性がある。例えば、図a、b、c及びdは、病理学者によってスコア3にラベル付けされているが、アルゴリズム(Inception-V1)は、それらをそれぞれスコア3、3、1及び0に分類している。特に、図cとgは、両方とも病理学者によってスコア0とラベル付けされている。;しかしながら、アルゴリズムは、それらをそれぞれスコア0と1に正しく分類している。最後に、図fとhは、病理学者によってスコア2にラベル付けされているが、アルゴリズムは、それらをそれぞれスコア2と3に分類している。画像を手動で詳細に検査すると、実際には、アルゴリズムの結果がより信頼できることが示される。緑とオレンジで強調表示された確率スコアは、アルゴリズム分類と病理学者のラベル付けの間の一致と不一致をそれぞれ示している。)

(甲1−ソ)324頁のFig. 3


Fig. 3. Intra- and inter-tumor heterogeneity. The figure shows the squamous cell lung cancer in the left (A) and adenocarcinoma cell lung cancer in the right (B). The top images (A and B) represent whole-slide images and the down images represent the extracted high-resolution patches from TCGA datasets. The red cubes show the patches that algorithms are trained for them and the blue cubes indicate the patches comprising test set.」
(当審訳:図3.腫瘍内及び腫瘍間(Intra-and inter-tumor) の不均一性。図は、左(A) が扁平上皮肺癌、右(B)が肺腺細胞癌を示す。上の画像(A及びB)はホールスライド画像を表し、下の画像はTCGAデータセットから抽出された高解像度パッチを表す。赤のキューブはアルゴリズムがトレーニングされたパッチを示し、青のキューブはテストセットを構成するパッチを示す。)

(甲1−タ)326頁のFig. 8


Fig. 8. CNN_Smoothie successfully identifies tumor subtypes (LUAD vs. LUSC) and discriminates them consistently and robustly across different spectrum of colors. Highlighted probability scores in green indicate the output of classification using Inception-V1.」
(当審訳:図8.CNN_Smoothieは、腫瘍のサブタイプ(LUAD対LUSC)をうまく認識し、異なる色のスペクトルにわたって一貫して堅牢にそれらを識別する。緑で強調表示された確率スコアは、Inception-V1を使用した分類の出力を示す。)

(2)甲1の記載から看取できる事項
ア 上記(甲1−ア)の「深層畳み込みニューラルネットワークが異種デジタル病理画像の識別を可能にする」、上記(甲1−イ)の「我々の分類パイプラインには、基本的なCNNアーキテクチャ、3つのトレーニング戦略を備えたGoogleのInceptions、及び2つの最先端アルゴリズムであるInceptionとResNetのアンサンブルが含まれている。トレーニング戦略には、GoogleのInceptionsの最終層のトレーニング、ネットワークのスクラッチでのトレーニング、及びGoogleのInceptionアーキテクチャの2つの事前トレーニング済みバージョンであるInception-VlとInception-V3を使用した我々のデータのためのパラメータのファインチューニングが含まれる。
がんのサブタイプを特定するための深層学習アプローチの力と、広範な腫瘍の不均一性が存在する場合でもGoogleのInceptionsの堅牢性を実証する。」、上記(甲1−ウ)の「この論文では、さまざまながん組織、サブタイプ、及びそれらの相対的な染色マーカーとスコアを識別するための、革新的な深層学習ベースのパイプライン、CNN_Smoothieを紹介する。」、及び、上記(甲1−オ)の「畳み込みニューラルネットワークは、単純な特徴を入力として取得し、それらをより複雑な特徴にして出力として返す、深層のフィードフォワード人工ニューラルネットワークの一種である」との記載から、CNN_Smoothieは深層学習ベースのパイプラインであること、当該パイプラインは深層畳み込みニューラルネットワークを含むこと、当該ニューラルネットワークはInception-V3のアルゴリズムを含むことが読み取れる。このことから、Inception-V3は、深層学習ベースの深層畳み込みニューラルネットワークのアルゴリズムであることが読み取れる。

イ 上記(甲1−エ)の「クラスを表1にまとめてある。・・・画像は分類の目的に基づいてさまざまなクラスに分割され、これらのクラスにCNNアルゴリズムが適用される。クラスごとに、画像は、訓練、検証及びテストグループを含む3つのグループに分けられる。」との記載及び上記(甲1−サ)の表1の記載から、Inception-V3を含むCNNアルゴリズムは、膀胱、乳、肺癌のためのH&E染色画像のデータセット1、膀胱癌のGATA3、CK14、S1OOP及びS0084を含むがんバイオマーカーのIHC染色画像のデータセット2、乳癌のER、CK17、CK5/6、EGFR及びHER2を含むがんバイオマーカーのIHC染色画像のデータセット3、腺及び扁平上皮細胞肺癌のH&E及びIHC染色ホールスライドのTMAD腫瘍間不均一性のデータセット4、腺及び扁平上皮細胞肺組織のH&E染色高解像度画像パッチのTCGA腫瘍内不均一性のデータセット5、腺及び扁平上皮細胞肺組織のH&E染色ホールスライド画像のTCGA腫瘍間不均一性のデータセット6、膀胱癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット7、並びに、乳癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット8のそれぞれについて、訓練されていることが読み取れる。

ウ 上記(甲1−エ)の「我々の研究の最初のステップでは、1504×1440及び2092×975ピクセルの染色されたスライド全体の画像が、それぞれTMA及びTCGAデータベースから取得された。なお、画像を染色から分離するための色のデコンボリューション(van der Laak et al., 2000)や、細胞を識別するためのウォーターシェッドアルゴリズム(Vincent and Soille, 1991)といった前処理方法を、手動で使用しなかったことに注意されたい。画像全体が、パイプラインヘの入力として直接使用された。」、上記(甲1−オ)の「各画像の周囲の各画像パッチを抽出して、CNNモデルヘの入力として直接使用することができる。」、及び上記(甲1−キ)の「Inception-VI、Inception-V3及びInception-ResNetの画像サイズは、アルゴリズムによってそれぞれ224×221、229×229及び229×229ピクセルとして自動的に選択された。」との記載から、スライド全体の画像に対して前処理方法を使用せずに、スライド全体の画像から画像サイズが229×229ピクセルである画像パッチを抽出し、Inception-V3のアルゴリズムにおける入力として直接使用することが読み取れる。

エ 上記(甲1−ケ)の「乳癌について、画像データセットを陰性クラスと陽性クラスの2つに分類し、それらにCNN-basicとInception-V3(最終層トレーニング)を適用した。その結果、アルゴリズムのパフォーマンスが大幅に向上した。・・・陽性(スコア1、2、及び3) と陰性(スコア0) の画像・・・最終層がトレーニングされたInception-V3を適用すると、同じデータセットで96%の正解率が示された。」との記載から、Inception-V3のアルゴリズムは、入力された画像パッチに対して、乳癌について陽性の画像であるか陰性の画像であるかを示す判定結果を出力することができることが読み取れる。

(3)上記(2)のアないしエを踏まえると、上記(甲1−ア)ないし(甲1−タ)の記載から、甲1には、
「深層学習ベースの深層畳み込みニューラルネットワークのアルゴリズムであるInception-V3を使用して、組織病理画像の異なるがんの種類、サブタイプ、免疫組織化学マーカー及びマーカー染色スコアを識別する方法であって、
Inception-V3は、膀胱、乳、肺癌のためのH&E染色画像のデータセット1、膀胱癌のGATA3、CK14、S1OOP及びS0084を含むがんバイオマーカーのIHC染色画像のデータセット2、乳癌のER、CK17、CK5/6、EGFR及びHER2を含むがんバイオマーカーのIHC染色画像のデータセット3、腺及び扁平上皮細胞肺癌のH&E及びIHC染色ホールスライドのTMAD腫瘍間不均一性のデータセット4、腺及び扁平上皮細胞肺組織のH&E染色高解像度画像パッチのTCGA腫瘍内不均一性のデータセット5、腺及び扁平上皮細胞肺組織のH&E染色ホールスライド画像のTCGA腫瘍間不均一性のデータセット6、膀胱癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット7、並びに、乳癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット8のそれぞれについて、訓練されており、
スライド全体の画像に対して前処理方法を使用せずに、スライド全体の画像から画像サイズが229×229ピクセルである画像パッチを抽出して入力として直接使用して、Inception-V3のアルゴリズムに入力し、
Inception-V3のアルゴリズムは、入力された画像パッチに対して、乳癌について陽性の画像であるか陰性の画像であるかを示す判定結果を出力することができる、
方法。」
の発明(以下「甲1発明」という。)が記載されていると認められる。

2 甲2の記載事項及び甲2に記載された発明
(1)甲2には、以下の記載がある。
(甲2−ア)「【技術分野】
【0001】
この発明は、病理診断をコンピュータシステム等によって支援するための技術に関するものである。
【背景技術】
【0002】
病理診断の1つに、患者から臓器の一部を検体として採取し、これを組織切片ガラススライド標本(プレパラート)にして顕微鏡下で観察し診断を行う生検組織診断がある。このような診断自体は医師が行わなければならないが、そのための作業量は膨大であり、医師の負担は重い。そこで、診断のための観察作業を効率よく行い医師の負担を軽減するために、コンピュータシステムによる画像処理技術を利用した種々の診断支援装置が従来より提案されている(例えば、特許文献1ないし4)。これらの技術においては、検体を撮像した画像の中から、対象臓器の病変に特有の特徴を抽出することで、検体中の異常な部位を検出するようにしている。
・・・
【発明が解決しようとする課題】
【0004】
この種の装置を用いて診断を効率よく行うためには、ある特徴を有する細胞や組織所見が検体内においてどのような分布をしているかが容易に判る機能が重要である。しかしながら、従来技術の病理診断支援装置では、このような要求に十分に応えるに至っていなかった。その主な理由は以下の通りである。すなわち、従来の技術においては、検体内で撮像された画像を個別に評価して既知の異常組織のサンプル画像と共通する特徴を有する画像を抽出したり、抽出された画像が病変に起因するものか否かを判定することに主眼が置かれている。しかしながら、このような抽出・判定の結果を上記のような検体内での分布を判りやすくする態様で表示することで診断の効率化を図るという点において、従来の診断支援技術はさらなる改善の余地が残されていた。」

(甲2−イ)「【発明を実施するための形態】
【0021】
図1はこの発明にかかる病理診断支援装置の一実施形態を示す図である。この病理診断支援装置1は、ホストコンピュータ10と撮像部20とを備えている。ホストコンピュータ10は、例えば公知のパーソナルコンピュータやワークステーション端末と同等の構成および機能を有するものであり、各種の制御プログラムを実行するプロセッサ部100と、ユーザからの操作入力を受け付ける入力部150と、各種の情報を表示する表示部160と、制御プログラムや画像データなどの各種データを記録した外部記録媒体である光学ディスクODにアクセスしてデータを読み出すディスクドライブ170と、インターフェース180とを備えている。このホストコンピュータ10は、インターフェース180を介して構内LANやインターネットなどの電気通信回線30に接続可能となっている。
・・・
【0023】
撮像部20は、CCDカメラ201が取り付けられた顕微鏡202を有している。顕微鏡202は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をCCDカメラ201の受光部に結像し、CCDカメラ201はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。検体組織は観察目的に応じて適宜の染色法によって染色される(例えばヘマトキシリン・エオジン(HE)染色)。
【0024】
ホストコンピュータ10は、光学ディスクODから読み込まれた制御プログラムにしたがって、撮像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像に各種の画像処理を施して表示部160に表示させることで、ユーザ(診断医)による病理診断を支援する。
・・・
【0026】
この病理診断支援装置1において処理対象となる画像(対象画像)は、例えば、検体組織を撮像しデータ化してなるバーチャルスライドの全体またはそれを複数に分割した画像である。また、同一または複数の患者から採取した複数の検体組織のそれぞれを個別に撮像した複数の画像を対象画像としてもよい。1つのバーチャルスライドを複数に分割して複数の対象画像とする場合には、後の処理でバーチャルスライドを復元できるように、元のバーチャルスライドにおける各対象画像の位置を特定できる情報(例えば、座標情報)を各対象画像データに付しておくことが望ましい。
【0027】
ここでは、患者の前立腺から採取された組織を検体組織として用いることとする。撮像部20で撮像された対象画像に対応するRGB画像データは、グリッド画像生成部101および特殊部位検出部121に与えられる。特殊部位検出部121の動作については後で詳しく説明する。
【0028】
グリッド画像生成部101は、撮像部20から入力された対象画像を予め定められた、あるいはユーザにより指定された任意の大きさのグリッドで複数のグリッド画像に分割する。この際、各グリッド画像が元の対象画像においてどの位置にあったかを示す情報(例えば、座標情報)を、グリッド画像データに付与しておく。入力受付部102は入力部150を介したユーザからの操作入力を受け付けるインターフェースとして機能し、ユーザからの各種操作入力を受け付ける。入力受付部102は、ユーザにより入力された各種の操作指示に対応する制御信号を装置各部に送信する。
【0029】
画像特徴量計算部122は、作成された各グリッド画像の特徴量を計算する機能を有している。なお、全てのグリッド画像の特徴量を計算してもよく、また特殊部位検出部121の検出結果に基づいて選択した所定のグリッド画像の特徴量を計算してもよい。画像の特徴量としては、例えば画像の輝度、テクスチャ情報、所定の条件を満たす領域の大きさなど種々のものを用いることができる。
【0030】
画像特徴量計算部122で計算されたグリッド画像の特徴量は分類器123に入力される。分類器123は、予めサンプル画像記憶部112に保存されているサンプル画像、例えば癌化した細胞に特有の特徴が現れている画像を基準画像として用いて、あるいは、撮像された対象画像の中からユーザにより選ばれたグリッド画像を基準画像として用いて、各グリッド画像をいくつかの分類カテゴリに分類する。分類は公知の分類技術、例えば特徴量空間内におけるユークリッド距離に基づく分類技術を適用することができる。
・・・
【0032】
図3はこの装置における診断支援処理を示すフローチャートである。また、図4は対象画像の例を示す図である。診断支援処理においては、まず最初に診断の対象となる対象画像を取得する(ステップS101)。対象画像は、図4(a)に示すように、主として検体組織Sの全体を撮像したバーチャルスライド画像Ivであるが、同図に破線で示すように、画像のサイズが大きい場合にはバーチャルスライド画像Ivを複数の部分画像Ipに分割して各部分画像をそれぞれ対象画像としてもよい。また、バーチャルスライド画像Ivについては撮像部20から受け取ることができるほか、他の撮像装置やストレージから電気通信回線30等を介して受け取ってもよい。
【0033】
こうして取得した対象画像(ここではバーチャルスライド画像Ivの部分画像Ip)内から、前立腺癌、特に高分化癌において特徴的に見られる腺管組織内の好酸性クリスタロイド(晶質)を特殊部位として、これを特殊部位検出部121が行う画像処理によって検出する。」

(甲2−ウ)「【0045】
図3に戻って、診断支援処理の説明を続ける。続いて、対象画像(バーチャルスライド画像Ivまたはその部分画像Ip)を、図4(b)に示すように任意の大きさのグリッドによって複数のグリッド画像Igに分割する(ステップS103)。こうして分割されたグリッド画像Igのうち、上記した好酸性クリスタロイドの位置情報から、好酸性クリスタロイドが含まれるグリッド画像およびこのグリッド画像に隣接するグリッド画像を抽出し、これらを癌化している可能性が極めて高い病変部位に分類する(ステップS104)。続いて、病変部位と判定されなかった各グリッド画像Igについて、以下に説明するように分類器による分類を実施する。
【0046】
図7は分類器のモデル例を示す図である。本実施形態における分類器123では、図7(a)に示す分類器5のように、ある基準画像と入力画像とが入力され、これらが互いに類似しているか、非類似であるかを判定し出力する。より具体的には、分類器5は基準画像および入力画像それぞれの特徴量から特徴量空間における両者のユークリッド距離を求め、その距離が所定の閾値より小さければ両者は類似していると判定する一方、距離が閾値よりも大きければ非類似と判定する。
【0047】
このような分類器5に、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を基準画像に類似するものとそうでないものとに分類することができる。…なお、このような分類器のアルゴリズムとしてはニューラルネットワークや判別分析など各種のモデルが提案されており、本実施形態でも上記に限定されずそのような公知の分類器(例えば特開2003−317082号公報に記載のもの)を適宜選択して使用することが可能である。
・・・
【0049】
・・・なお、ここでは全てのグリッド画像を分類対象としているが、特殊部位検出部121の検出結果に基づき、既に好酸性クリスタロイドが検出されているグリッド画像については分類対象から除外してもよい。分類を行うまでもなく、好酸性クリスタロイドの存在によって病変と判断することができるからである。
【0050】
再び図3に戻って、診断支援処理の説明を続ける。上記した処理(好酸性クリスタロイド検出処理、分類処理)の結果、各グリッド画像は、好酸性クリスタロイドが検出されたことにより癌化していると判定された病変部位、好酸性クリスタロイドは検出されなかったが別の異常要素を含む部位、正常な部位などいくつかのカテゴリに分類される。」

(甲2−エ)「【0059】
以上のように、この実施形態では、検体組織を撮像してなるバーチャルスライド画像を画像処理し、当該組織の病変に特徴的な特殊部位(ここでは前立腺癌における好酸性クリスタロイド)を検出し、その検出位置が視覚的に判るように、原画像とともに表示する。具体的には、原画像を複数のグリッド画像に分割し、そのうち好酸性クリスタロイドを含むグリッド画像に他のグリッド画像とは異なる視覚情報(色彩、濃淡など)を付して表示する。こうすることで、ユーザ(診断医)は、特殊部位を画像の目視によって見つけ出す必要はなく、検体組織内における特殊部位の分布を直感的に把握することができる。そのため、少ない作業量で的確な診断を効率よく行うことが可能となり、診断医の負担が大きく軽減される。
【0060】
また、特殊部位が検出されたグリッド画像以外のグリッド画像についても、既知の病理画像や検体組織内から選択されたグリッド画像を基準画像とする分類を行うことで、異常な部位を検出することができ、その分類結果を原画像および特殊部位の検出結果と重ねて表示することで、ユーザによる種々の診断を効果的に支援することができる。」

(甲2−オ)【図1】




(甲2−カ)【図4】




(2)上記(甲2−ア)ないし(甲2−カ)の記載から、甲2には、
「撮像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像に各種の画像処理を施して表示部160に表示させることで、ユーザ(診断医)による病理診断を支援する方法であって、
撮像部20は、CCDカメラ201が取り付けられた顕微鏡202を有し、顕微鏡202は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をCCDカメラ201の受光部に結像し、CCDカメラ201はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成し、
撮像部20で撮像された対象画像に対応するRGB画像データは、グリッド画像生成部101および特殊部位検出部121に与えられ、
グリッド画像生成部101は、撮像部20から入力された対象画像を複数のグリッド画像に分割し、
画像特徴量計算部122は、作成された各グリッド画像の特徴量を計算し、
画像特徴量計算部122で計算されたグリッド画像の特徴量は分類器123に入力され、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を、癌化した細胞に特有の特徴が現れている画像である基準画像に類似するものとそうでないものとに分類し、分類器のアルゴリズムとしてニューラルネットワークを使用する、
方法。」
の発明(以下「甲2発明」という。)が記載されていると認められる。

3 甲3の記載事項
(1)甲3には、以下の記載がある。
(甲3−ア)「【特許請求の範囲】
【請求項1】
(a)第1の解像度で組織標本の画像を表す第1のピクセルデータセット、及び組織標本の組織タイプの識別をコンピュータメモリの中に受け入れることと、
(b)複数の構造−識別アルゴリズムから組織タイプに対応する少なくとも1つの構造−識別を選択し、複数のアルゴリズムの構造−識別アルゴリズムの内の少なくとも2つが異なる組織タイプに対応し、各構造−識別アルゴリズムが指定された組織タイプの中の少なくとも1つの細胞パターンを指定された組織タイプの重要な構造の存在と相互に関連付けることと、
(c)該選択された少なくとも1つの構造−識別アルゴリズムを第1のピクセルデータセットに適用し、組織標本の中の重要な構造の存在を決定することと、
(d)第2の解像度で第2のピクセルデータセットを捕捉し、第2のピクセルデータセットが重要な構造の画像を表し、第2の解像度が、画像内で密接に離間されているオブジェクトが第1の解像度で互いから区別できる程度の上昇を実現することと、
を備えることを特徴とする、組織標本の中で重要な構造の画像を自動的に捕捉するコンピュータを利用した方法。」

(甲3−イ)「【0001】
本発明は組織標本の重要な構造の画像を自動的に捕捉するコンピュータを利用する装置及び方法に関する。」

(甲3−ウ)「【0018】
図1Cは、第1の解像度でロボット顕微鏡21により獲得される組織標本26の組織標本画像46を描いている。繰り返す多細胞パターンに基づいて組織成分を認識するためのコンピュータシステム及び方法の場合、組織標本の画像は、特徴が、それらが組織内で発生するにつれて多くの細胞に渡り、画像で検出可能となるように十分な倍率、または解像度を有さなければならない。典型的なロボット病理学顕微鏡21は5xから60xの範囲の倍率でカラーデジタル画像を生成する。画像はデジタル電荷結合素子(CCD)カメラによって補足され、24ビットのタグ付き画像ファイルフォーマット(TIFF)ファイルとして記憶されてよい。各ピクセルの色及び明るさは、それぞれ、赤チャネル、緑チャネル及び青チャネルの輝度(RGB)に対応する0から255(8ビット)の範囲で3つの整数値により指定されてよい。組織標本画像46は、システム20及び組織標本26内の重要な構造を識別するために選択されるアルゴリズムとともに使用するのに適した任意の倍率及びピクセル密度で捕捉されてよい。倍率及びピクセル密度は関連していると見なされてよい。例えば、相対的に低い倍率及び相対的に高いピクセル密度は、相対的に高い倍率及び相対的に低いピクセル密度として密接に離間されたオブジェクトを区別する類似する能力を生じさせることができる。本発明の実施形態は、5x倍率及び1024行x1280列の単一画像というピクセル寸法を使用して試験された。これは、構造−識別アルゴリズムを実行している計算機に対して過剰なメモリ及び記憶要求を課さずに、重要な構造を識別するために第1の解像度で有用な第1ピクセルデータセットを提供する。前述されたように、組織標本画像46は、処理のための単一の組織標本画像46を形成するために、複数の重複画像(タイル)を収集し、タイルをつなぎ合わせることによって組織標本26から獲得されてよい。」

(甲3−エ)「【0024】
図2は、本発明の実施形態に従って、組織標本の中の重要な構造の画像を自動的に捕捉する画像捕捉アプリケーション内の複数のオブジェクトクラスファミリ150を描くクラス図である。オブジェクトクラスファミリ150は、組織クラス160、ユーティリティクラス170、及びフィルタクラス180を含む。フィルタクラス180はここでは「複数構造−識別アルゴリズム」とも呼ばれる。重要な構造の画像の自動的な捕捉を実行するアプリケーション及び方法の態様はオブジェクト指向用語で説明されてよいが、態様は図1Dの計算機100などの計算機で実行できるように実現されてもよい。オブジェクトクラスファミリ150に加えて、図2は構築され、試験されたインプリメンテーションの一部であるオブジェクトクラスCVPObjectとCLSBImageも示している。代わりに、構造識別アルゴリズムは、2002年4月9日に出願された、有機物での画像パターン認識のためのコンピュータ方法(Computer Methods for Image Pattern Recognition in Organic Material)と題される米国出願番号第10/120,206号に開示されるようなニューラルネットワークなどの人工知能方法を使用してコンピュータシステムによって自動的に作成されてもよい。」

(2)上記(甲3−ア)ないし(甲3−エ)の記載から、甲3には、
「組織標本の重要な構造の画像を自動的に捕捉するコンピュータを利用する方法において、組織標本の画像について、5xから60xの範囲の倍率でカラーデジタル画像を生成すること」
という技術事項(以下「甲3技術事項」という。)が記載されていると認められる。

4 甲4の記載事項及び甲4に記載された技術事項
(1)甲4には、以下の記載がある。
(甲4−ア)「Accurate and reproducible invasive breast cancer detection in wholeslide images: A Deep Learning approach for quantifying tumor extent」(タイトル)
(当審訳:ホールスライド画像における正確かつ再現性のある浸潤性乳癌の検出: 腫瘍範囲を定量化するための深層学習アプローチ)

(甲4−イ)「With the increasing ability to routinely and rapidly digitize whole slide images with slide scanners, there has been interest in developing computerized image analysis algorithms for automated detection of disease extent from digital pathology images. The manual identification of presence and extent of breast cancer by a pathologist is critical for patient management for tumor staging and assessing treatment response. However, this process is tedious and subject to inter- and intra-reader variability. For computerized methods to be useful as decision support tools, they need to be resilient to data acquired from different sources, different staining and cutting protocols and different scanners. The objective of this study was to evaluate the accuracy and robustness of a deep learning-based method to automatically identify the extent of invasive tumor on digitized images. Here, we present a new method that employs a convolutional neural network for detecting presence of invasive tumor on whole slide images. Our approach involves training the classifier on nearly 400 exemplars from multiple different sites, and scanners, and then independently validating on almost 200 cases from The Cancer Genome Atlas. Our approach yielded a Dice coefficient of 75.86%, a positive predictive value of 71.62% and a negative predictive value of 96.77% in terms of pixel-by-pixel evaluation compared to manually annotated regions of invasive ductal carcinoma.」(1頁の概要)
(当審訳:スライドスキャナーを使用してスライド画像全体を日常的かつ迅速にデジタル化する能力が高まるにつれて、デジタル病理画像から疾患範囲を自動検出するためのコンピュータ化された画像分析アルゴリズムの開発に関心が集まっている。病理学者による乳癌の存在と範囲の手動による特定は、腫瘍の病期分類や治療反応の評価のための患者管理にとって重要である。ただし、このプロセスは退屈で、リーダー間及びリーダー内の変動の影響を受ける。コンピュータ化された方法が意思決定支援ツールとして役立つためには、さまざまなソース、さまざまな染色及び切断プロトコル、並びにさまざまなスキャナーから取得されたデータに対する復元力が必要である。この研究の目的は、デジタル化された画像上で浸潤腫瘍の範囲を自動的に特定する深層学習ベースの方法の精度と堅牢性を評価することである。ここでは、スライド画像全体で浸潤腫瘍の存在を検出するために畳み込みニューラルネットワークを使用する新しい方法を紹介する。我々のアプローチには、複数の異なるサイトとスキャナーからのほぼ400のサンプルで分類器をトレーニングし、その後、Cancer Genome Atlasからのほぼ200の症例で独立して検証することが含まれる。我々のアプローチでは、浸潤性乳管癌の手動でアノテーションが付けられた領域と比較して、ピクセルごとの評価に関して、Dice係数75.86%、陽性的中率71.62%、陰性的中率96.77%が得られた。)

(甲4−ウ)「Results
Quantitative evaluation for automatic invasive breast cancer detection. Table 1 shows the detection performance of the ConvNet classifier trained with data from Hospital of the University of Pennsylvania (HUP) and University Hospitals Case Medical Center/Case Western Reserve University (UHCMC/CWRU) in terms of mean and standard deviation of Dice coefficient, positive predictive value (PPV), negative predictive value (NPV), true positive rate (TPR), true negative rate (TNR), false positive rate (FPR) and false negative rate (FNR) for the validation data set, in turn comprised of the TCGA and the NC cohorts. Figure 1 shows some representative slide images from the validation data set. Figure 1A-C depict the ground truth annotations from the pathologists on three whole-slide images from the TCGA data cohort and Fig. 1D-F represent the automatic predictions of the fully-trained ConvNet classifier as a probability map of invasive breast cancer, with the color bar reflecting the probability values, high probability values reflected in red colors and low probability values in blue colors. Finally, three example slides without any malignant pathology and part of the NC cases are illustrated in Fig. 1G-I. As may be seen in Fig. 1G-I, the ConvNet classifier did not identify any regions as having invasive breast cancer.」(2頁下から17〜4行)
(当審訳:結果
浸潤性乳癌の自動検出の定量的評価。表1は、ペンシルバニア大学病院(HUP)及びケースメディカルセンター/ケースウェスタンリザーブ大学の両大学病院(UHCMC/CWRU) からのデータでトレーニングされたConvNet分類器の検出パフォーマンスを、検証データセットにおけるDice係数の平均と標準偏差、陽性的中率(PPV)、陰性的中率(NPV)、真陽性率(TPR)、真陰性率(TNR)、偽陽性率(FPR)、及び偽陰性率(FNR)に関して、TCGA及びNCコホートの順番で示している。図1は、検証データセットからのいくつかの代表的なスライド画像を示している。図1A〜Cは、TCGA データコホートからの3枚のスライド全体画像に対する病理学者からのグラウンドトゥルースアノテーションを示す。そして、図1D〜Fは、完全にトレーニングされたConvNet分類器の自動予測を浸潤性乳癌の確率マップとして表している。カラーバーは確率値を反映し、高確率値は赤色で、低確率値は青色で反映される。最後に、悪性病理のないNC 症例の一部である3つのスライド例を図1G〜Iに示す。図1G〜Iに見られるように、ConvNet分類子はいずれの領域も浸潤性乳癌があると特定しなかった。)

(甲4−エ)「Slide Digitization and Pathologists Ground Truth. H&E stained histopathology slides were digitized via a whole-slide scanner at 40x magnification for this study. An Aperio Scanscope CS scanner was used to digitize cases from the HUP, CINJ and TCGA cohorts. The Ventana iCoreo scanner was used for scanning the UHCMC/CWRU and NC data cohorts. 40x magnification corresponds to Aperio’s slides at 0.25 μm/pixel resolution and to Ventana’s slides at 0.23 μm/pixel.」(8頁15〜19行)
(当審訳:スライドのデジタル化と病理学者による真実の解明。この研究では、H&E染色された病理組織スライドを40倍の倍率で全スライドスキャナーを介してデジタル化した。Aperio Scanscope CSスキャナーを使用して、HUP、CINJ、及び TCGA コホートの症例をデジタル化した。Ventana iCoreoスキャナーは、UHCMC/CWRU及びNCデータコホートのスキャンに使用された。40倍の倍率は、Aperioのスライドの解像度0.25μm/ピクセル、Ventana のスライドの解像度0.23μm/ピクセルに相当する。)

(甲4−オ)「Invasive Breast Cancer Tissue Detection in Whole-Slide Images. Our deep-learning based approach for detection of invasive breast cancer on whole-slide images is illustrated in Fig. 10. The approach comprises three main steps: (i) tile tissue sampling, (ii) tile pre-processing, and (iii) convolutional neural network (ConvNet) based classification. In this work, a tile is a square tissue region with a size of 200 × 200 μm. The tile tissue sampling process involves extraction of square regions of the same size (200 × 200 μm), on a rectangular grid for each whole-slide image. Only tissue regions are invoked during the sampling process and any regions corresponding to non-tissue within the background of the slide are ignored. The first part of the tile pre-processing procedure involves a color transformation from the original Red-Green-Blue color space representation to a YUV color space representation. A color normalization step is then applied to the digitized slide image to get zero mean and unit variance of the image intensities, and to remove correlations among the pixel intensity values. Tiles extracted from new whole-slide images, different from the ones used for training, are preprocessed using the same mean and standard deviation values in the YUV color space learned during training. The ConvNet classifier41,42, was trained using a set of image tiles extracted from invasive (positive examples) and non-invasive (negative examples) tissue regions, annotated on whole slide digitized images by expert pathologists. Positive examples were identified as those in which the detected cancer regions had a minimum of 80% overlap with the manual annotations of the expert pathologists. Three different ConvNet architectures were evaluated using the training data: 1) a simple 3-layer ConvNet architecture, 2) a typical 4-layer ConvNet architecture, and 3) a deeper 6-layer ConvNet architecture. The 3-layer ConvNet architecture is constituted as follows, the first layer is the convolutional and pooling layer and the second is a fully connected layer, where each layer has 256 units (or neurons). The third is the classification layer with two units as outputs, one for each class (invasive and non-invasive), corresponding to a value between zero and one. The 4-layer ConvNet architecture is comprised of an initial convolutional and pooling layer with 16 units, followed by a second convolutional and pooling layer with 32 units, the third layer is a fully connected layer with 128 units, and the final classification layer comprises two units as class outputs (invasive and non-invasive). The 6-layer ConvNet architecture comprises four convolutional and pooling layers with 16 units, a fully connected layer with 128 units, and a final classification layer with two units as class outputs (invasive and non-invasive). The 3-layer ConvNet resulted in the best performance and hence was selected as the model of choice for all subsequent experiments (Fig. 11). The implementation of the ConvNets classifier was performed using Torch 7, a scientific computing framework for machine learning54.」(10頁3行〜11頁13行)
(当審訳:スライド全体画像における浸潤性乳癌組織の検出。スライド全体の画像上で浸潤性乳癌を検出するための深層学習ベースのアプローチを図10に示す。このアプローチは、(i)タイル組織サンプリング、(ii)タイル前処理、(iii)畳み込みニューラルネットワーク (ConvNet)ベースの分類、という3つの主要なステップで構成される。この研究では、タイルは200×200μmのサイズの正方形の組織領域である。タイル組織サンプリングプロセスには、各スライド画像全体の長方形グリッド上で同じサイズ(200×200μm)の正方形領域が抽出される。サンプリングプロセス中に組織領域のみが呼び出され、スライドの背景内の非組織に対応する領域は無視される。タイル前処理手順の最初の部分には、元の赤、緑、青の色空間表現からYUV色空間表現への色変換が含まれる。次に、デジタル化されたスライド画像に色正規化ステップが適用され、画像強度の平均値と単位分散がゼロになり、ピクセル強度値間の相関関係が除去される。新しいスライド全体の画像から抽出されたタイルは、トレーニングに使用されたものとは異なり、トレーニング中に学習されたYUV色空間内の同じ平均値と標準偏差値を使用して前処理される。ConvNet分類子41,42は、専門の病理学者によってスライド全体のデジタル化画像に注釈が付けられた、侵襲性(陽性例)及び非侵襲性(陰性例)の組織領域から抽出された一連の画像タイルを使用してトレーニングされた。陽性例は、検出された癌領域が専門の病理医による手動の注釈と少なくとも80%重複するものとして特定された。トレーニングデータを使用して3つの異なる ConvNetアーキテクチャが評価された。1)単純な3層ConvNetアーキテクチャ、2)典型的な4層 ConvNetアーキテクチャ、3)より深い6層ConvNetアーキテクチャ。3層のConvNetアーキテクチャは次のように構成される。最初の層は畳み込み及びプーリング層、2番目の層は全結合層であり、各層には256個のユニット(又はニューロン)がある。3番目は、各クラス(侵襲的及び非侵襲的)に1つずつの出力として2つのユニットを備えた分類層であり、0から1までの値に対応する。4層のConvNetアーキテクチャは、16ユニットの最初の畳み込み層とプーリング層、それに続く32ユニットの2番目の畳み込み層とプーリング層、3番目の層は128ユニットの全結合層、そして最後の分類層は、クラス(侵襲的及び非侵襲的)の出力として2つのユニットで構成される。6層ConvNetアーキテクチャは、16ユニットを備えた4つの畳み込み層とプーリング層、128ユニットを備えた完全接続層、及びクラス出力(侵襲的及び非侵襲的)として2つのユニットを備えた最終分類層で構成される。3層ConvNetは最高のパフォーマンスをもたらしたため、その後のすべての実験で最適なモデルとして選択された(図11)。ConvNets分類器の実装は、機械学習用の科学計算フレームワークであるTorch 7を使用して実行された54。)

(甲4−カ)10頁のFigure 10


Figure 10. Overview of the process of training and testing of the deep learning classifiers for invasive breast cancer detection on whole-slide images. The training data set had 349 ER+ invasive breast cancer patients (HUP N = 239, UHCMC/CWRU N = 110). The validation data set contained 40 ER+ invasive breast cancer patients from the Cancer Institute of New Jersey (CINJ). The test data set was composed of 195 ER+ invasive breast cancer cases from TCGA and 21 negative controls (NC).」
(当審訳:

図10.ホールスライド画像で浸潤性乳癌を検出するための深層学習分類器のトレーニングとテストのプロセスの概要。トレーニングデータセットには349人のER+浸潤性乳癌患者が含まれていた(HUP N=239、UHCMC/CWRU N=110)。検証データセットには、ニュージャージ一がん研究所(CINJ)からの40人のER+浸潤性乳癌患者が含まれていた。試険データセットは、TCGAからのER+浸潤性乳癌症例195例と陰性対照(NC)21例で構成された。)

(2)上記(甲4−ア)ないし(甲4−カ)の記載から、甲4には、
「ホールスライド画像における浸潤性乳癌の腫瘍範囲を定量化するための深層学習アプローチにおいて、H&E染色された病理組織スライドを40倍の倍率で全スライドスキャナーを介してデジタル化し、各スライド画像全体の長方形グリッド上で同じサイズ(200×200μm)の正方形領域を抽出し、元の赤、緑、青の色空間表現からYUV色空間表現への色変換を行い、色正規化ステップを適用し、専門の病理学者によってスライド全体のデジタル化画像に注釈が付けられた侵襲性(陽性例)及び非侵襲性(陰性例)の組織領域から抽出された一連の画像タイルを使用してトレーニングされた畳み込みニューラルネットワーク(ConvNet)ベースの分類子によって、スライド全体画像における浸潤性乳癌組織の検出を行うこと、及び、ConvNet分類器の自動予測の結果を、高確率値は赤色で、低確率値は青色で反映させた確率マップとして表すこと」
という技術事項(以下「甲4技術事項」という。)が記載されていると認められる。

5 甲5の記載事項及び甲5に記載された技術事項
(1)甲5には、以下の記載がある。
(甲5−ア)「Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images」(タイトル)
(当審訳:全スライド病理組織画像における乳癌分類のための文脈考慮積層畳み込みニューラルネットワーク)

(甲5−イ)「3 Experiments
3.1 Data
We conducted our study on a large cohort comprising 221 digitized WSIs of H&E stained breast tissue sections from 122 patients, taken from the pathology archive. Ethical approval was waived by the institutional review boards of the Radboud University Medical Center because all images were provided anonymously. All slides were stained in our laboratory and digitized using the 3DHISTECH Pannoramic 250 Flash II digital slide scanner with a 20× objective lens. Each image has square pixels of size 0.243 μm × 0.243 μm in the microscope image plane.」(044504−5頁左欄1〜11行)
(当審訳:3 実験
3.1 データ
122名の患者から採取したH&E染色乳房組織切片のデジタル化されたWSI 221枚からなる大規模コホートを用いて研究を行った。すべての画像は匿名で提供されたため、Radboud University Medical Centerの施設審査委員会による倫理的承認は免除された。すべてのスライドは当研究室で染色され、3DHISTECH Pannoramic 250 Flash IIデジタルスライドスキャナー(20×対物レンズ付き)を用いてデジタル化された。各画像は、顕微鏡像面内で0.243μm×0.243μmの正方形ピクセルを有する。)

(甲5−ウ)「3.2 Training Protocols for Convolutional Neural Networks
We preprocessed all the data by scaling the pixel intensities between 0 and 1 for every RGB channel of the image patch and subtracting the mean RGB value that was computed on the training set. The training data were augmented with rotation, flipping, and jittering of the hue and saturation channels in the HSV color model.」(044504−5頁左欄38〜45行)
(当審訳:3.2 畳み込みニューラルネットワークの学習プロトコル
画像パッチの各RGBチャンネルのピクセル強度を0から1の間でスケーリングし、トレーニングセットで計算されたRGB平均値を差し引くことで、すべてのデータを前処理した。訓練データは、HSVカラーモデルの色相と彩度チャンネルの回転、反転、ジッタリングで補強した。)

(甲5−エ)044504−6頁のFig. 4


Fig. 4 Examples of correctly and incorrectly classified patches for different types of lesions. Each image is of size 350 μm × 350 μm. (a-c) Correctly classified normal, DCIS, and IDC regions, respectively. (d) A benign lesion (usual ductal hyperplasia) misclassified as DCIS. (e) A DCIS lesion misclassified as normal/benign. (f) IDC misclassified as DCIS.」
(当審訳:図4 さまざまな種類の病変に対して正しく分類されたパッチと誤って分頚されたパッチの例。各画像のサイズは350μm×350μmです。(a-C)それぞれ正常、DCIS、IDC領域が正しく分類された。(d)DCISとして誤分類された良性病変(通常の乳管過形成)。(e)正常/良性として誤って分類されたDCIS病変。(f) DCISとして誤分類されたIDC。)

(2)上記(甲5−ア)ないし(甲5−エ)の記載から、甲5には、
「全スライド病理組織画像における乳癌分類のための文脈考慮積層畳み込みニューラルネットワークにおける学習プロトコルにおいて、画像パッチの各RGBチャンネルのピクセル強度を0から1の間でスケーリングし、トレーニングセットで計算されたRGB平均値を差し引くことで、すべてのデータを前処理すること、及び、分類するパッチの画像のサイズを350μm×350μmとすること」
という技術事項(以下「甲5技術事項」という。)が記載されていると認められる。

6 甲6の記載事項及び甲6に記載された技術事項
(1)甲6には、以下の記載がある。
(甲6−ア)「技術分野
[0001] 本発明は、診断対象が写された診断対象画像において異常領域を検知する技術に関する。
背景技術
[0002] 診断対象が写された画像において、診断対象が異常性を有する可能性がある領域を検知することを要求される分野がある。以下、診断対象が写された画像を、診断対象画像とも記載する。また、診断対象が異常性を有する可能性がある領域を、異常領域とも記載する。例えば、消化器系の癌やポリープといった病変を発見するための検診では、消化器内視鏡カメラを用いて内臓壁面が撮影された内視鏡画像を、専門医が目視で確認する作業が行われてきた。内視鏡カメラは管形状であって、それを体外から挿入して、抜き差ししたり回転したりすることにより、内臓壁面が撮影される。また、体内は暗いため、内視鏡カメラの先端にある照明で内臓壁面を照らしながら、撮影が行われる。」

(甲6−イ)「[0032] ここで、損失値は、ニューラルネットワークの学習時に計算される最適化のための指標であって、任意の指標を適用可能である。良く利用される損失値の例としては、Forward計算で出力された数値群(計算結果)を、SoftMax関数を用いて0から1の範囲の値を取りうる実数値に変換した上で、正解クラスを1.0としてその差分を損失値とするものがある。なお、前述の「学習用画像に事前に付与された異常性を表す情報」は、正解の異常性を示す情報であり、正解クラスの1.0に対応する。ただし、損失値の計算手法は、これに限らない。」

(甲6−ウ)「[0051] 以上のように構成された画像診断学習装置2の動作について、図8を参照して説明する。なお、ニューラルネットワークの学習処理では、学習データセットからサブセットを選択して、それらから計算された損失の累積値を最小化するようにパラメータを更新する方式が、識別精度を高める効果を得るためによく利用される。そこで、ここでは、内視鏡画像から切り出されて病変クラス情報がそれぞれ付与されたパッチ画像からなる学習データセット、および、その学習データセットから選択されたサブセットを用いた動作例について説明する。
[0052] そのような学習データセットおよびサブセットの情報は、メモリ1002に保存されていてもよい。この場合、画像診断学習装置2は、メモリ1002からこれらの学習データセットおよびサブセットの情報を読み込んで、以下の動作を実行すればよい。
[0053] また、パッチ画像のサイズは、任意のサイズでよい。例えば、幅および高さが256画素で色のRGB成分が3つ(=3チャネル)の場合、CNNの入力層のユニット数は、256×256×3となる。また、識別させる病変クラスが「非病変」、「病変(腺腫)」および「病変(進行がん)」の3つの場合、出力層のユニット数は、3となる。
[0054] また、CNNのネットワーク構成は、例えば、複数のConvolution層と1つのPooling層を1セットとして、このセットが複数接続されたものであってもよい。」

(2)上記(甲6−ア)ないし(甲6−ウ)の記載から、甲6には、
「ニューラルネットワークの学習時に計算される最適化のための指標である損失値として、Forward計算で出力された数値群(計算結果)を、SoftMax関数を用いて0から1の範囲の値を取りうる実数値に変換した上で、正解クラスを1.0としてその差分を損失値とすること、及び、パッチ画像のサイズが幅および高さが256画素で色のRGB成分が3つ(=3チャネル)の場合、CNNの入力層のユニット数を、256×256×3とすること」
という技術事項(以下「甲6技術事項」という。)が記載されていると認められる。

7 甲7の記載事項及び甲7に記載された技術事項
(1)甲7には、以下の記載がある。
(甲7−ア)「【発明の名称】人工ニューラルネットワーク」

(甲7−イ)「【0080】
本発明による人工ニューラルネットワークで得られた結果と、誤差逆伝播学習で訓練されたMLPネットワークにより得られた結果を比較した。この試験において使用されるMLPネットワークは、従来型の誤差逆伝播学習の機能を拡張したものである。MLPネットワークはセメイオン研究所で開発されたもので、詳しくはBusma M. ,Sacco P. L. 著 " Feedforward networks in financial predictions:the future that modifies the present" Expert Systems、vol.17(3) , pp149-170(英国オックスフォード、ブラックウェル、アゴスト、2000年)に掲載されている。」

(甲7−ウ)「【0101】
(乳がんデータベース)
乳がんデータベース特性について簡単な概要を以下に示す。
タイトル:ウィスコンシン乳がんデータベース
インスタンス数:699
属性数:10+クラス属性(良性/悪性)
クラス分布:良性/458(65.5%)、悪性/241(34.5%)
ネットワーク構成は、誤差逆伝播法の一つの出力ノードに対して活性化関数としてシグモイド関数を用い、別の出力ノードに対してソフトマックス関数を用いる。一方のノードは悪性クラス、別のノードは良性クラスとする。(詳しくは、Mangasarian O.L. and Wolberg W. H. ," Cancer diagnosis via linear program" , SIAM NEWS, vol.23 Nomner 5, pp1&18(1990年9月)を参照のこと。)」

(2)上記(甲7−ア)ないし(甲7−ウ)の記載から、甲7には、
「誤差逆伝播学習で訓練されたMLPネットワークの構成において、悪性クラスに対応する一つの出力ノードに対して活性化関数としてシグモイド関数を用い、良性クラスに対応する別の出力ノードに対してソフトマックス関数を用いること」
という技術事項(以下「甲7技術事項」という。)が記載されていると認められる。

第5 当審の判断
1 本件発明1について
(1)甲1発明を主引用発明にした場合
ア 本件発明1と甲1発明とを対比する。
(ア)a 甲1発明の「深層学習ベースの深層畳み込みニューラルネットワークのアルゴリズムであるInception-V3」は、本件発明1の「ニューラルネットワーク構造の深層学習アルゴリズム」に相当する。
b 甲1発明の「組織病理画像の異なるがんの種類、サブタイプ、免疫組織化学マーカー及びマーカー染色スコアを識別する方法」が、「Inception-V3を使用して」「組織病理画像」を解析して「異なるがんの種類」などを「識別する」ことは明らかであるから、甲1発明の「組織病理画像の異なるがんの種類、サブタイプ、免疫組織化学マーカー及びマーカー染色スコアを識別する方法」は、本件発明1の「組織の画像を解析する画像解析方法」に相当するといえる。
c 上記a及びbの対比から、甲1発明の「深層学習ベースの深層畳み込みニューラルネットワークのアルゴリズムであるInception-V3を使用して、組織病理画像の異なるがんの種類、サブタイプ、免疫組織化学マーカー及びマーカー染色スコアを識別する方法」は、本件発明1の「ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析方法」に相当する。

(イ)a 甲1発明の「スライド全体の画像」は、「乳癌について陽性の画像であるか陰性の画像であるかを示す判定」を行う対象となる画像パッチを抽出するIHC染色画像であるから、甲1発明の「スライド全体の画像」は、本件発明1の「解析対象の組織を含む解析対象画像」に相当する。
b また、甲1発明の「スライド全体の画像」は、画像データであるといえるから、「解析対象画像」に係るデータである点において、本件発明1の「解析対象データ」に相当する。
c 甲1発明の「画像サイズが229×229ピクセルである画像パッチ」は、本件発明1の「複数の画素からなる」「画素領域」に相当し、甲1発明の「画像サイズが229×229ピクセルである画像パッチを抽出」することと、本件発明1の「複数の画素からなる複数の画素領域を切り出」すこととは、「複数の画素からなる画素領域を切り出」すことで共通する。
d 甲1発明の「画像パッチ」は、画像データであるといえるから、「画素領域」に係るデータである点において、本件発明1の「解析用データ」に相当する。
e 上記aないしdを踏まえると、甲1発明の「スライド全体の画像に対して前処理方法を使用せずに、スライド全体の画像から画像サイズが229×229ピクセルである画像パッチを抽出して入力として直接使用して、Inception-V3のアルゴリズムに入力」することと、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力」することとは、「解析対象の組織を含む解析対象画像に係る解析対象データから複数の画素からなる画素領域を切り出し、切り出した画素領域に係る解析用データを、前記深層学習アルゴリズムに入力」することの点で共通する。

(ウ)甲1発明の「Inception-V3のアルゴリズムは、入力された画像パッチに対して、乳癌について陽性の画像であるか陰性の画像であるかを示す判定結果を出力する」ことと、本件発明1の「前記深層学習アルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する」こととは、「前記深層学習アルゴリズムによって、前記解析用データに対して、前記画素領域が腫瘍領域であるか否かを示すデータを生成する」ことの点で共通する。

(エ)甲1発明の「Inception-V3は、膀胱、乳、肺癌のためのH&E染色画像のデータセット1、膀胱癌のGATA3、CK14、S1OOP及びS0084を含むがんバイオマーカーのIHC染色画像のデータセット2、乳癌のER、CK17、CK5/6、EGFR及びHER2を含むがんバイオマーカーのIHC染色画像のデータセット3、腺及び扁平上皮細胞肺癌のH&E及びIHC染色ホールスライドのTMAD腫瘍間不均一性のデータセット4、腺及び扁平上皮細胞肺組織のH&E染色高解像度画像パッチのTCGA腫瘍内不均一性のデータセット5、腺及び扁平上皮細胞肺組織のH&E染色ホールスライド画像のTCGA腫瘍間不均一性のデータセット6、膀胱癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット7、並びに、乳癌の、スコア0、スコア1、スコア2及びスコア3を含む異なる染色スコアを有するIHC染色画像のデータセット8のそれぞれについて、訓練されて」いることは、「Inception-V3」が、「膀胱癌」に係る「データセット2」及び「データセット7」、「乳癌」に係る「データセット3」及び「データセット8」、並びに「肺癌」に係る「データセット4」ないし「データセット6」のそれぞれのデータセットについて個別に訓練されることを含んでいるから、本件発明1の「前記深層学習アルゴリズムが、前記組織の種類に応じて生成されている」ことを満たすといえる。

イ そうすると、本件発明1と甲1発明とは、
「ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析方法であって、
解析対象の組織を含む解析対象画像に係る解析対象データから複数の画素からなる画素領域を切り出し、切り出した画素領域に係る解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析用データに対して、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
ことを含み、
前記深層学習アルゴリズムが、前記組織の種類に応じて生成されている、
画像解析方法。」
の発明である点で一致し、次の3点において相違する。

(相違点1)
解析対象の組織を含む解析対象画像に係る解析対象データについて、本件発明1においては、「解析対象の組織を含む解析対象画像から」「生成し」たものであるのに対し、甲1発明においては、「解析対象画像」に相当する「スライド全体の画像」そのものであり、「スライド全体の画像」から生成したものではない点。

(相違点2)
切り出した画素領域に係る解析用データについて、本件発明1においては、「切り出した画素領域」「について」「生成し」たものであるのに対し、甲1発明においては、「「画像サイズが229×229ピクセルである画像パッチ」そのものであり、「画像パッチ」から生成したものではない点。

(相違点3)
解析対象データから切り出す画素領域の数について、本件発明1においては、「複数」であり、それに伴い、「解析用データ」を「複数の」「画素領域のそれぞれについて」「生成し」、「前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力し」て「前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する」のに対し、甲1発明においては、「画像パッチ」を「スライド全体の画像から」複数抽出することは特定されていない点。

ウ 上記相違点1について検討する。
(ア)本件発明1の「解析対象データ」は、「解析対象画像から」「生成」されるものであるから、「解析対象画像」そのものではない。したがって、上記相違点1は、実質的な相違点であり、本件発明1は甲1発明ではない。

(イ)甲2発明は、「撮像部20で撮像された対象画像に対応するRGB画像データは、グリッド画像生成部101および特殊部位検出部121に与えられ、
グリッド画像生成部101は、撮像部20から入力された対象画像を複数のグリッド画像に分割し、
画像特徴量計算部122は、作成された各グリッド画像の特徴量を計算し、
画像特徴量計算部122で計算されたグリッド画像の特徴量は分類器123に入力され」という特定事項を含んでいる。
ここで、甲2発明の「撮像部20で撮像された対象画像に対応するRGB画像データ」は、「撮像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像」であるから、本件発明1の「解析対象の組織を含む解析対象画像」に相当する。
そして、甲2発明では、「グリッド画像生成部101は、撮像部20から入力された対象画像を複数のグリッド画像に分割し」と特定されているところ、「撮像部20から入力された対象画像」は「撮像部20で撮像された対象画像に対応するRGB画像データ」であり、「撮像部20から入力された対象画像」である「撮像部20で撮像された対象画像に対応するRGB画像データ」を「複数のグリッド画像に分割」する前に、「撮像部20で撮像された対象画像に対応するRGB画像データ」に対して何らかの処理を施すことは特定されていない。
また、甲2発明では、「画像特徴量計算部122は、作成された各グリッド画像の特徴量を計算し」と特定されているが、「特徴量」の計算は「各グリッド画像」に対して行うことから、当該「特徴量」を計算することは、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することには相当しない。
すなわち、甲2発明は、本件発明1の特定事項である「解析対象の組織を含む解析対象画像から解析対象データを生成」することを開示するものではない。

(ウ)甲4技術事項は、「各スライド画像全体の長方形グリッド上で同じサイズ(200×200μm)の正方形領域を抽出し、元の赤、緑、青の色空間表現からYUV色空間表現への色変換を行い、色正規化ステップを適用し」という事項を含んでいる。
ここで、甲4技術事項の「スライド画像全体」は、本件発明1の「解析対象の組織を含む解析対象画像」に相当する。
甲4技術事項では、「各スライド画像全体の長方形グリッド上で同じサイズ(200×200μm)の正方形領域を抽出し」と特定されていることから、「スライド画像全体」から「正方形領域を抽出」する前に、「スライド画像全体」に対して何らかの処理を施すことは特定されていない。
また、甲4技術事項では、「元の赤、緑、青の色空間表現からYUV色空間表現への色変換を行い、色正規化ステップを適用し」と特定されているが、「色変換」及び「色正規化」は、抽出された「正方形領域」に対して行うことから、当該「色変換」及び「色正規化」は、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することには相当しない。
すなわち、甲4技術事項は、本件発明1の特定事項である「解析対象の組織を含む解析対象画像から解析対象データを生成」することを開示するものではない。

(エ)甲5技術事項は、「全スライド病理組織画像における乳癌分類のための文脈考慮積層畳み込みニューラルネットワークにおける学習プロトコルにおいて、画像パッチの各RGBチャンネルのピクセル強度を0から1の間でスケーリングし、トレーニングセットで計算されたRGB平均値を差し引くことで、すべてのデータを前処理する」という事項を含んでいる。
ここで、甲5技術事項の「全スライド病理組織画像」は、本件発明1の「解析対象の組織を含む解析対象画像」に相当する。
甲5技術事項では、「全スライド病理組織画像」から「画像パッチ」を得る前に、「全スライド病理組織画像」に対して何らかの処理を施すことは特定されていない。
また、甲5技術事項では、「画像パッチの各RGBチャンネルのピクセル強度を0から1の間でスケーリングし、トレーニングセットで計算されたRGB平均値を差し引くことで、すべてのデータを前処理する」と特定されているが、「スケーリング」を含む「前処理」は、「画像パッチ」に対して行うことから、当該「スケーリング」を含む「前処理」は、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することには相当しない。
すなわち、甲5技術事項は、本件発明1の特定事項である「解析対象の組織を含む解析対象画像から解析対象データを生成」することを開示するものではない。

(オ)さらに、甲3技術事項、甲6技術事項及び甲7技術事項について検討しても、本件発明1の特定事項である「解析対象の組織を含む解析対象画像から解析対象データを生成」することを開示するものではない。

(カ)ここで、本件特許の明細書の段落【0081】には、解析対象データの具体的な生成の仕方について、
「・画像解析方法の概要 図6に示すように、画像解析方法では、解析対象の組織を含む標本を撮像した解析対象画像(明視野画像)78から、解析用データ80を生成する。前記標本は、第1の訓練用画像と同じ染色が施されていることが好ましい。解析対象画像78も、例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて、例えばカラー画像として取得することができる。解析対象画像78は、訓練用画像と同程度または同じ拡大倍率で取得されることが好ましい。解析対象画像(明視野画像)78は、1以上の原色を含む画像であればよい。カラーの解析対象画像78を、各画素についてR、G、B各色の色濃度値で符号化すると、画像全体をR、G、B毎に各画素における色濃度値の符号化図として表すことができる(解析用色濃度符号化図79r,79g,79b)。解析用色濃度符号化図79r,79g,79bから画素毎にR、G、Bの色濃度値が組み合わされた解析対象データ(図示せず)が生成される。図6に例示的に示すR、G、B各色の単一色画像における色濃度の符号を示す色濃度符号化図79r,79g,79bは、3原色の各画像79R,79G,79Bに代えて、値0から値7の8段階の符号で表された色濃度値を表示している。本明細書において、解析対象データの各画素の位置は、便宜上列を左からl1、l2・・・li、行を上からm1、m2・・・mjで表す。」
との記載がある。
そして、図6は以下のとおりである。

これら段落【0081】及び図6の記載によれば、本件発明1における「解析対象の組織を含む解析対象画像から解析対象データを生成」することは、解析対象の組織を含む標本を撮像したカラーの解析対象画像78を3原色の各原色画像79R,79G,79Bに分解し、各原色画像79R,79G,79Bごとに各画素の色濃度値を所定の段階数で符号化して、解析対象画像78の画素が有する色濃度そのものではなく、所定の段階数の符号で表された色濃度値を用いた解析用色濃度符号化図79r,79g,79bを生成し、解析用色濃度符号化図79r,79g,79bそれぞれの対応する画素ごとにR、G、Bの色濃度値を組み合わせることにより、解析対象データを生成すること(以下「解析対象データ生成ステップ」という。)を意味しているといえる。
そして、甲1ないし甲7の全体の記載を見ても、解析対象データ生成ステップを開示又は示唆する記載は見当たらない。

(キ)したがって、甲1ないし甲7に接した当業者といえども、甲1発明を上記相違点1に係る本件発明1の発明特定事項を備えたものとすることは、容易に想到し得たこととはいえない。

エ 以上のとおりであるから、上記相違点2及び3について検討するまでもなく、本件発明1は、甲1発明、甲2発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものとはいえない。

(2)甲2発明を主引用発明にした場合
ア 本件発明1と甲2発明とを対比する。
(ア)a 甲2発明の「分類器のアルゴリズムとしてニューラルネットワークを使用する」ことと、本件発明1の「ニューラルネットワーク構造の深層学習アルゴリズムを用い」ることとは、「ニューラルネットワーク構造のアルゴリズムを用い」ることの点で共通する。
b 甲2発明の「ユーザ(診断医)による病理診断を支援する方法」は、「像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像」を「分割し」た「グリッド画像の特徴量を計算」し、「グリッド画像を、癌化した細胞に特有の特徴が現れている画像である基準画像に類似するものとそうでないものとに分類」する行程を含んでいるところ、当該行程は検体組織の画像を解析する行程であるといえる。
そうすると、甲2発明の「ユーザ(診断医)による病理診断を支援する方法」は、本件発明1の「組織の画像を解析する画像解析方法」に相当するといえる。
c 上記a及びbを踏まえると、甲2発明の「分類器のアルゴリズムとしてニューラルネットワークを使用する」、「ユーザ(診断医)による病理診断を支援する方法」と、本件発明1の「ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析方法」とは、「ニューラルネットワーク構造のアルゴリズムを用いて、組織の画像を解析する画像解析方法」の点で共通する。

(イ)a 甲2発明の「撮像部20で撮像された対象画像に対応するRGB画像データ」は、「撮像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像」であるから、甲2発明の「撮像部20で撮像された対象画像に対応するRGB画像データ」と、本件発明1の「解析対象の組織を含む解析対象画像から」「生成し」た「解析対象データ」とは、「解析対象の組織を含む解析対象画像に係る全体データ」の点で共通する。
b 甲2発明の「グリッド画像」が複数の画素を含む領域の画像であることは明らかであるから、甲2発明の「グリッド画像」は、本件発明1の「複数の画素からなる」「画素領域」に相当するといえる。
甲2発明の「撮像部20から入力された対象画像」は、「撮像部20で撮像された対象画像に対応するRGB画像データ」であるから、上記aを踏まえる、甲2発明の「撮像部20から入力された対象画像を複数のグリッド画像に分割」することと、本件発明1の「解析対象データから複数の画素からなる複数の画素領域を切り出」すこととは、「解析対象の組織を含む解析対象画像に係る全体データから複数の画素からなる複数の画素領域を切り出」すことの点で共通する。
c 甲2発明の「特徴量」は、「グリッド画像」から「計算」され、「分類器123に入力され」ることから、甲2発明の「特徴量」は、本件発明1の「解析用データ」に相当する。
そして、甲2発明の「作成された各グリッド画像の特徴量を計算」することは、本件発明1の「切り出した画素領域のそれぞれについて解析用データを生成」することに相当する。
d 上記aないしcを踏まえると、甲2発明の「撮像部20で撮像された対象画像に対応するRGB画像データは、グリッド画像生成部101」「に与えられ、グリッド画像生成部101は、撮像部20から入力された対象画像を複数のグリッド画像に分割し、画像特徴量計算部122は、作成された各グリッド画像の特徴量を計算」することと、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成」することとは、「解析対象の組織を含む解析対象画像に係る全体データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成」することの点で共通する。

(ウ)上記(ア)を踏まえると、甲2発明の「画像特徴量計算部122で計算されたグリッド画像の特徴量は分類器123に入力され、対象画像内の各グリッド画像を入れ替えて順次入力する」ことであって、「分類器のアルゴリズムとしてニューラルネットワークを使用する」ことと、本件発明1の「前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力」することとは、「前記解析用データのそれぞれを、前記ニューラルネットワーク構造のアルゴリズムに入力」することの点で共通する。

(エ)a 甲2発明において、「各グリッド画像を、癌化した細胞に特有の特徴が現れている画像である基準画像に類似するものとそうでないものとに分類」した際、当該分類結果を表すデータを生成しているといえる。
b 上記aを踏まえると、甲2発明の「分類器123」により「各グリッド画像を、癌化した細胞に特有の特徴が現れている画像である基準画像に類似するものとそうでないものとに分類」することと、本件発明1の「前記深層学習アルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する」こととは、「前記ニューラルネットワーク構造のアルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する」ことの点で共通する。

イ そうすると、本件発明1と甲2発明とは、
「ニューラルネットワーク構造のアルゴリズムを用いて、組織の画像を解析する画像解析方法であって、
解析対象の組織を含む解析対象画像に係る全体データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、
前記解析用データのそれぞれを、前記ニューラルネットワーク構造のアルゴリズムに入力し、
前記ニューラルネットワーク構造のアルゴリズムによって、前記解析用データ毎に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
ことを含む、
画像解析方法。」
の発明である点で一致し、次の2点において相違する。

(相違点4)
ニューラルネットワーク構造のアルゴリズムについて、本件発明1においては、「深層学習アルゴリズム」であり、「前記組織の種類に応じて生成されている」のに対し、甲2発明においては、そのような特定はされていない点。

(相違点5)
解析対象の組織を含む解析対象画像に係る全体データについて、本件発明1においては、「解析対象の組織を含む解析対象画像から」「生成し」た「解析対象データ」であるのに対し、甲2発明においては、「撮像部20で撮像された対象画像に対応するRGB画像データ」そのものである点。

ウ 事案に鑑み、先に上記相違点5について検討する。
上記相違点5は、本件発明1と甲1発明との相違点である上記相違点1に対応する相違点である。
そして、上記(1)ウで説示したとおり、甲1ないし甲7に接した当業者といえども、甲1発明を上記相違点1に係る本件発明1の発明特定事項を備えたものとすることは、容易に想到し得たこととはいえないから、同様の理由により、甲1ないし甲7に接した当業者といえども、甲2発明を上記相違点5に係る本件発明1の発明特定事項を備えたものとすることは、容易に想到し得たこととはいえない

エ 以上のとおりであるから、上記相違点4について検討するまでもなく、本件発明1は、甲2発明、甲1発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものとはいえない。

2 本件発明2ないし19について
本件発明2ないし19は、本件発明1に対し、更に特定事項を追加したものであるから、上記1で説示した本件発明1に対する理由と同じ理由により、本件発明2ないし19は、甲1発明ではなく、甲1発明、甲2発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものとはいえないし、甲2発明、甲1発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものともいえない。

3 本件発明20及び21について
本件発明20は、画像解析方法に係る発明である本件発明1を実施するための画像解析装置に対応する発明であり、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成」することに対応する処理を行う「処理部」を備えている。
本件発明21は、画像解析方法に係る発明である本件発明1をコンピュータに実施させるためのコンピュータプログラムに対応する発明であり、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成」することに対応する処理を実行させるものである。
したがって、上記1で説示した本件発明1に対する理由と同じ理由により、本件発明20及び21は、甲1発明ではなく、甲1発明、甲2発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものとはいえないし、甲2発明、甲1発明及び甲3技術事項ないし甲7技術事項に基づいて当業者が容易に発明をすることができたものともいえない。

4 申立人の主張について
(1)申立人は、特許異議申立書の67頁6行〜68頁6行において、甲1に記載された「生検サンプルの腫瘍画像」は、本件発明1の「解析対象の組織を含む解析対象画像」に該当し、甲1では「生検サンプルの腫瘍画像」から「1504×1440及び2092×975ピクセルの染色されたホールスライド画像が取得され」るところ、これは、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することに該当する旨主張するとともに、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することが、甲1に明記されていないことから甲1発明との相違点になるとしても、甲1に記載されているに等しい事項か、当業者の設計事項にすぎず、容易に想到できるものである旨主張する。
また、申立人は、同132頁6〜14行において、甲2には「検体組織を撮像しデータ化してなる画像である対象画像に対応するRGB画像データが存在する」旨の記載があり、これは、本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することに該当する旨主張する。

(2)上記(1)における申立人の主張について検討するに、上記(甲1−エ)に「我々のデータセットは、オープンアクセスの組織病理学画像である、スタンフォード組織マイクロアレイデータベース(TMAD)及びがんゲノムアトラス(TCGA)の組み合わせから得られる。・・・我々の研究の最初のステップでは、1504×1440及び2092×975ピクセルの染色されたスライド全体の画像が、それぞれTMA及びTCGAデータベースから取得された。」と記載されていることから、「1504×1440及び2092×975ピクセルの染色されたスライド全体の画像」は、「組織病理学画像」、すなわち申立人がいう「生検サンプルの腫瘍画像」そのものであるから、甲1に本件発明1の「解析対象の組織を含む解析対象画像から解析対象データを生成」することに該当する事項が記載されているとはいえない。
そして、上記(甲1−エ)に「画像を染色から分離するための色のデコンボリューション(van der Laak et al., 2000)や、細胞を識別するためのウォーターシェッドアルゴリズム(Vincent and Soille, 1991)といった前処理方法を、手動で使用しなかったことに注意されたい。画像全体が、パイプラインヘの入力として直接使用された。」と記載されていることから、甲1発明は入力前の画像に対して前処理を施さないことをその特徴の1つとするものといえ、前処理に該当する「解析対象データを生成」する行程を加えることには、阻害要因があるといえる。
したがって、甲1発明において「スライド全体の画像」から「解析対象データを生成」することは、当業者が容易に想到し得ることとはいえない。
また、上記(甲2−イ)に「撮像部20は、CCDカメラ201が取り付けられた顕微鏡202を有している。顕微鏡202は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をCCDカメラ201の受光部に結像し、CCDカメラ201はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。・・・撮像部20によって撮像されデジタルデータ(RGBデータ)化された検体組織の画像・・・撮像部20で撮像された対象画像に対応するRGB画像データは、グリッド画像生成部101および特殊部位検出部121に与えられる。」と記載されていることから、「撮像部20で撮像された対象画像に対応するRGB画像データ」は、「検体組織から作成されたプレパラート」を「CCDカメラ201」で「撮像しデジタルデータ化し」た「デジタルデータ(RGBデータ)」であり、「CCDカメラ201」で作成した「画像」そのものである。
したがって、甲2に「RGB画像データ」の記載があることをもって、甲2に「解析対象の組織を含む解析対象画像から解析対象データを生成」することに該当する記載があるとはいえない。
よって、上記(1)における申立人の主張は採用することができない。

第6 むすび
以上のとおりであるから、本件請求項1ないし21に係る特許は、特許異議申立理由及び証拠によっては取り消すことはできない。
また、他に本件請求項1ないし21に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
 
異議決定日 2023-11-28 
出願番号 P2018-032761
審決分類 P 1 651・ 113- Y (G01N)
P 1 651・ 121- Y (G01N)
最終処分 07   維持
特許庁審判長 樋口 宗彦
特許庁審判官 渡戸 正義
▲高▼見 重雄
登録日 2023-01-26 
登録番号 7217589
権利者 シスメックス株式会社
発明の名称 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム  
代理人 弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ