ポートフォリオを新規に作成して保存 |
|
|
既存のポートフォリオに追加保存 |
|
PDFをダウンロード |
審決分類 |
審判 一部申し立て 2項進歩性 G06N |
---|---|
管理番号 | 1394021 |
総通号数 | 14 |
発行国 | JP |
公報種別 | 特許決定公報 |
発行日 | 2023-02-24 |
種別 | 異議の決定 |
異議申立日 | 2022-08-25 |
確定日 | 2023-01-28 |
異議申立件数 | 1 |
事件の表示 | 特許第7076167号発明「機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム」の特許異議申立事件について、次のとおり決定する。 |
結論 | 特許第7076167号の請求項1ないし6、10ないし12に係る特許を維持する。 |
理由 |
1 手続の経緯 特許第7076167号の請求項1ないし6及び10ないし12に係る特許についての出願は、令和3年12月1日に出願され、令和4年5月19日にその特許権の設定登録がされ、令和4年5月27日に特許掲載公報が発行された。その後、その特許に対し、令和4年8月25日に特許異議申立人 青木幾雄は、特許異議の申立てを行った。 2 本件特許発明 特許第7076167号の請求項1ないし6及び10ないし12の特許に係る発明(以下、「本件特許発明1」、…「本件特許発明12」などという。)は、それぞれ、その特許請求の範囲の請求項1ないし6及び10ないし12に記載された事項により特定される次のとおりのものである。なお、分説及びその記号は、異議申立書(第1〜11ページ)に記載のものを援用する。(分説に対応する構成を構成要件A、構成要件B…などという。) (1)本件特許発明1 A 画像データを取得するデータ取得部と、 B 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 C 前記畳み込みニューラルネットワークは複数の層から構成され、 D 前記機械学習計算部は、 D1 準同型暗号による暗号実行領域において演算する暗号処理部と、 D2 平文実行領域において演算する平文処理部と、 D3 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付ける受付部と、を有し、 D1−1 前記暗号処理部は、前記入力層から前記第N層までの演算を実行し、 D2−1 前記平文処理部は、第(N+1)層から前記出力層までの演算を実行する、 E 機械学習装置。 (2)本件特許発明2 F 前記データ取得部は、前記画像データ及び当該画像データに対するラベルを関連付けた教師データを取得し、 G 前記機械学習計算部は、前記教師データに基づいて、前記画像データに対する前記ラベルを出力するよう畳み込みニューラルネットワークの学習モデルのパラメータを生成する H 請求項1に記載の機械学習装置。 (3)本件特許発明3 I 入力される画像データについての前記入力層から前記出力層までの演算を、前記平文処理部が実行した場合の当該演算に関する平文途中演算情報を提供する提供部をさらに備える J 請求項1又は請求項2に記載の機械学習装置。 (4)本件特許発明4 K 前記提供部は、前記平文途中演算情報として、前記入力層に入力される画像データと、前記入力層から前記出力層までの各層に入力されるデータとの情報の差を、ユーザが比較できる態様で提供する、 L 請求項3に記載の機械学習装置。 (5)本件特許発明5 M1 前記提供部は、前記平文途中演算情報として、各層に入力される画像データを提供する、 N 請求項3または請求項4に記載の機械学習装置。 (6)本件特許発明6 M2 前記提供部は、前記入力層から所定の層までを前記暗号処理部が演算し、当該所定の層の次の層から前記出力層までを前記平文処理部が実行した場合の計算コストを、ユーザが比較できる態様で提供する、 O 請求項3から請求項5のいずれか一項に記載の機械学習装置。 (7)本件特許発明10 A 画像データを取得するデータ取得部と、 B 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 C 前記畳み込みニューラルネットワークは複数の層から構成され、 D 前記機械学習計算部は、 D1 準同型暗号による暗号実行領域において演算する暗号処理部と、 D2 平文実行領域において演算する平文処理部と、 D3 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付ける受付部と、を有し、 D1−1 前記暗号処理部は、前記入力層から前記第N層までの演算を実行し、 D2−1 前記平文処理部は、第(N+1)層から前記出力層までの演算を実行する、 P 機械学習システム。 (8)本件特許発明11 A’ 画像データを取得するステップと、 B’ 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、 C’ 前記畳み込みニューラルネットワークは複数の層から構成され、 D’ 前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、 D1’ 準同型暗号による暗号実行領域において演算するステップと、 D2’ 平文実行領域において演算するステップと、 D3’ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付けるステップと、を有し、 D1−1’ 前記暗号実行領域では、前記入力層から前記第N層までの演算が実行され、 D2−1’ 前記平文実行領域では、第(N+1)層から前記出力層までの演算が実行される、機械学習方法。 (9)本件特許発明12 Q 制御部と、記憶部と、を備えるコンピュータに実行させる機械学習プログラムであって、 A” 前記制御部が、画像データを取得するステップと、 A1 前記記憶部が、前記画像データを記憶するステップと、 B” 前記制御部が、前記記憶部が記憶した前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、 C’ 前記畳み込みニューラルネットワークは複数の層から構成され、 D’ 前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、 D1’ 準同型暗号による暗号実行領域において演算するステップと、 D2’ 平文実行領域において演算するステップと、 D3’ 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付けるステップと、を有し、 D1−1’ 前記暗号実行領域では、前記入力層から前記第N層までの演算が実行され、 D2−1’ 前記平文実行領域では、第(N+1)層から前記出力層までの演算が実行される、機械学習プログラム。 3 申立理由の概要 特許異議申立人 青木幾雄は、以下の甲第1号証ないし甲第8号証を提出し、本件特許発明1及び10ないし12は、甲第1号証記載の発明から容易になすことができたものであるか、あるいは甲第1号証記載の発明と甲第3号証記載事項又は甲第4号記載事項とに基づき当業者が容易になすことができた発明であり、また、本件特許発明2ないし6は、甲第1号証記載の発明から容易になすことができたものであるか、あるいは甲第1号証記載の発明と甲第2号証記載事項、甲第3号証記載事項又は甲第4号記載事項とに基づき当業者が容易になすことができた発明であり、請求項1ないし6及び10ないし12に係る特許は特許法第29条第2項の規定に違反してされたものであるから、特許法第113号第2号の規定により取り消すべきものである旨主張する。 甲第1号証:特開2020−177223号公報 甲第2号証:特開2019−15654号公報 甲第3号証:福井宏、外5名、“プライバシーに配慮したDeep Convolution Neural Networkによるクラウド型顔照合システム”、第2回画像センシングシンポジウムSII2016、画像センシング技術研究会、2016年6月8日、pp.1−6 甲第4号証:岡谷貴之、“ディープラーニングと画像認識−基礎と最近の動向−”、オペレーションズ・リサーチ、公益法人日本オペレーションズ・リサーチ学会、2015年4月号、平成27年4月、p.198−p.204 甲第5号証:第22回画像センシングシンポジウムの予稿としてのUSBメモリのデータを格納したDVD−R 甲第6号証:特願2017−159207に対して発行された、平成30年2月16日起案の拒絶理由通知書 甲第7号証:公益社団法人日本オペレーションズ・リサーチ学会のウェブサイトの写し 甲第8号証:国立国会図書館サーチの検索結果画面の写し なお、令和4年10月28日に提出された上申書によれば、甲第5号証及び甲第6号証は、甲第3号証の公知日を、また、甲第7号証及び甲第8号証は、甲第4号証の公知日を、それぞれ証明するために提出されたものである。 4 各甲号証の記載事項 (1)甲第1号証 ア 甲第1号証の記載事項 甲第1号証(以下、単に「甲1」という場合がある。)には、図面とともに次の記載がある。(なお、下線は、強調のため当審が付与した。以降も同様である。) (ア)「【0023】 計算機システム1は、クライアント装置10と、演算システム2とを備える。演算システム2は、サーバ20と、演算装置30とを備える。クライアント装置10と、サーバ20とは、ネットワーク40を介して接続されている。ネットワーク40は、例えば、LAN(Local Area Netowork)や、WAN(Wide Area Network)等である。サーバ20と、演算装置30とは、バス50を介して接続されている。サーバ20は、情報処理装置の一例である。 【0024】 クライアント装置10は、処理対象のデータを暗号化して演算システム2に送信し、演算システム2から暗号化された処理結果(例えば、推論結果)を受信し、暗号化された処理結果を復号し、処理結果を利用する。演算システム2は、暗号化されたデータを受信し、暗号化されたデータに対して所定の処理(例えば、推論処理)を実行し、暗号化された処理結果をクライアント装置10に送信する。」 (イ)「【0037】 図3は、一実施形態に係るサーバの機能構成図である。 【0038】 サーバ20は、中継部21と、推論処理制御部22と、受信部23と、記憶部24と、送信部25とを備える。推論処理制御部22は、演算制御部の一例である。 【0039】 中継部21は、クライアント装置10の鍵共有部15と、演算装置30の後述する鍵共有部33、40との間の鍵交換処理における通信を中継する。 【0040】 推論処理制御部22は、記憶部24に格納されているモデル情報242に従って、暗号化された対象データ241を暗号化した状態で用いてニューラルネットワークモデルによる推論処理を実行する。そして、推論処理制御部22は、暗号化された状態の推論処理の処理結果142を送信部25に渡す。例えば、推論処理制御部22は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行する。そして、推論処理制御部22は、ニューラルネットワークモデル中の演算装置30が担当する処理レイヤーについては、この処理レイヤーを演算処理30に実行させるように制御する。ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーである。なお、ニューラルネットワークモデルの構成及び処理レイヤーの例については後述する。 【0041】 記憶部24は、暗号化された対象データ241と、推論処理制御部22により実行される推論処理で用いられるニューラルネットワークモデルの各処理レイヤーの構成及び各処理レイヤーで使用する設定値の情報を含むモデル情報242と、を記憶する。対象データ241は、推論処理を実行させる対象のデータである。モデル情報242に含まれる設定値としては、例えば、畳込処理レイヤーで使用されるフィルタの係数や、アフィンレイヤーで用いられる重み等がある。なお、各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含む。 【0042】 受信部23は、クライアント装置10から送信される暗号化された対象データ141を受信して記憶部24に格納する。送信部25は、推論処理制御部22によって得られた暗号化されている処理結果142をクライアント装置10に送信する。対象データ241は、暗号化された対象データ141、演算装置30から取得する暗号化された演算結果、及び情報処理装置20において暗号化されたまま処理された暗号化されたデータの少なくとも一つを含むデータである。」 (ウ)「【0043】 図4は、一実施形態に係る演算装置の機能構成図である 【0044】 演算装置30は、例えば、専用LSI(Large−Scale Integrated circuit)や、ASIC(Application Specific Integrated Circuit)や、FPGA(Field−Programmable Gate Array)により構成されている。本実施形態では、演算装置30は、サーバ20の内部バスに接続されている。演算装置30は、復号部31と、演算実行部32と、鍵共有部33と、暗号化部34と、取得部35と、出力部36とを備える。演算装置30は、例えば、外部の装置(サーバ20等)に対しては暗号化されたデータのみしか出力しないように構成されている。演算装置30は、例えば、全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難(不可能又はほぼ不可能)となっている。したがって、サーバ20によって、演算装置30から処理途中の暗号化されていない状態のデータを取り出すことは、不可能又はほぼ不可能である。なお、演算装置30は、外部の装置に対して少なくとも一部が暗号化されたデータを出力してもよい。」 (エ)「【0047】 取得部35は、サーバ20から渡される暗号化されているデータを取得する。そして、復号部31は、サーバ20から渡される暗号化されているデータを、設定されている秘密鍵143により復号する。なお、サーバ20から渡される暗号化されているデータは、クライアント装置10から送信された暗号化された対象データに基づく、暗号化されているデータである。すなわち、サーバ20から渡される暗号化されているデータは、クライアント装置10から送信された暗号化された対象データそのままの場合や、暗号化された対象データに対して何らかの処理が行われた後の暗号化されているデータである。復号部31は、復号したデータを演算実行部32に渡す。なお、取得部35は、暗号化されているデータとともに、処理で使用する設定値をサーバ20から受け取るようにし、受け取った設定値を演算実行部32に設定又は通知するようにしてもよい。なお、秘密鍵143及び公開鍵144に代えて、通信用共通鍵を用いる場合には、復号部31は、サーバ20から渡される暗号化されているデータを、設定されている通信用共通鍵により復号する。 【0048】 演算実行部32は、復号部31から渡された復号されたデータに対して所定の処理を実行する。ここでの所定の処理は、ニューラルネットワークモデルにおける暗号化されたデータのままでは実行不可能な処理レイヤーを含む処理である。演算実行部32は、演算結果を暗号化部34に渡す。」 (オ)「【0052】 ニューラルネットワークモデル3は、推論処理制御部22による推論処理の構成を示すニューラルネットワークモデルであり、例えば、処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク(CNN)のモデルである。 【0053】 ニューラルネットワークモデル3は、複数の処理レイヤー4により構成されている。具体的には、ニューラルネットワークモデル3は、畳込レイヤー4−1、活性化レイヤー4−2、プーリングレイヤー4−3、活性化レイヤー4−n−2、アフィンレイヤー4−n−1、及びSoftMaxレイヤー4−n等を含む。畳込レイヤー4−1は、画像データについて畳込処理を実行する。活性化レイヤー4−2は、前レイヤーからの入力データに対して活性化処理を実行する。プーリングレイヤー4−3は、前レイヤーから入力されたデータについてダウンサンプリング処理を実行する。活性化レイヤー4−n−2は、前レイヤーからの入力データに対して活性化処理を実行する。アフィンレイヤー4−n−1は、前レイヤーからの入力データに対してアフィン変換処理を実行する。SoftMaxレイヤー4−nは、前レイヤーからの入力データに対してソフトマックス(SoftMax)関数による処理を実行する。活性化処理を行う活性化レイヤーとしては、例えば、ReLU関数(Rectified Linear Unit Rectifier:正規化線形関数)による活性化処理を行う活性化レイヤーがある。 【0054】 本実施形態では、畳込みレイヤー4−1の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっている。また、その他のレイヤー4については、暗号化されたデータをそのまま用いて処理することができないものとなっている。 【0055】 このようなニューラルネットワークモデル3について、推論処理制御部22は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ20と演算装置30とのいずれかに実行させる。また、推論処理制御部22は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置30に実行させる。したがって、暗号化されたデータのままで演算できる処理レイヤーは、設定によって、全てをサーバ20側で実行するようにすることも、一部をサーバ20側で実行するようにすることも、すべてを演算装置30側で実行させるようにすることもできる。なお、演算装置30で処理レイヤーを実行させるためには、例えば、演算装置30の演算実行部32に、演算装置30側で実行させる全ての処理レイヤー4を実行するための回路を構成しておけばよい。この場合、処理レイヤー4で使用する変数等の設定値については、予め固定的に設定してもよく、処理に際して、推論処理制御部22から演算装置30に渡して設定するようにしてもよい。」 (カ)「【0122】 また、上記実施形態又は変形例において、推論処理制御部22は、暗号化されたデータのままで演算できる処理レイヤーについて、サーバ20と演算装置30(30A)とのいずれに実行させるかを設定に従って決めるようにしていた。本発明はこれに限られず、例えば、サーバ20の処理負荷や、演算装置30(30A)の処理負荷の少なくとも一方を検出し、この処理負荷に基づいて、サーバ20と演算装置30(30A)とのいずれに処理レイヤーを実行させるかを決定するようにしてもよい。例えば、推論処理制御部22は、サーバ20の処理負荷が所定以上の場合に、暗号化されたデータのままで演算できる処理レイヤーについて、演算装置30(30A)に実行させてもよい。また、推論処理制御部22は、演算装置30(30A)の処理負荷が所定以上である場合に、暗号化されたデータのままで演算できる処理レイヤーについて、サーバ20で実行させてもよい。これにより、サーバ20や、演算装置30(30A)の処理負荷を抑制することができる。」 (キ)「【図1】 」 (ク)「【図3】 」 (ケ)「【図4】 」 (コ)「【図5】 」 イ 甲1発明 上記ア(ア)の【0023】の「計算機システム1は、クライアント装置10と、演算システム2とを備える」との記載からすると、甲1には、「クライアント装置10と、演算システム2とを備える」「計算機システム1」における「演算システム2」の発明が記載されているといえる。 よって、上記アの特に下線部に着目すると、甲1には、次の発明(以下、「甲1発明」という。)が記載されていると認められる。 「 クライアント装置10と、演算システム2とを備える計算機システム1における演算システム2であって、 演算システム2は、サーバ20と、演算装置30とを備え、 クライアント装置10と、サーバ20とは、ネットワーク40を介して接続され、 サーバ20と、演算装置30とは、バス50を介して接続され、 クライアント装置10は、処理対象のデータを暗号化して演算システム2に送信し、演算システム2から暗号化された処理結果(例えば、推論結果)を受信し、暗号化された処理結果を復号し、処理結果を利用し、演算システム2は、暗号化されたデータを受信し、暗号化されたデータに対して所定の処理(例えば、推論処理)を実行し、暗号化された処理結果をクライアント装置10に送信し、 サーバ20は、中継部21と、推論処理制御部22と、受信部23と、記憶部24と、送信部25とを備え、 推論処理制御部22は、記憶部24に格納されているモデル情報242に従って、暗号化された対象データ241を暗号化した状態で用いてニューラルネットワークモデルによる推論処理を実行し、暗号化された状態の推論処理の処理結果142を送信部25に渡し、 推論処理制御部22は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置30が担当する処理レイヤーについては、この処理レイヤーを演算処理30に実行させるように制御し、ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーであり、 各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含み、 受信部23は、クライアント装置10から送信される暗号化された対象データ141を受信して記憶部24に格納し、 演算装置30は、復号部31と、演算実行部32と、鍵共有部33と、暗号化部34と、取得部35と、出力部36とを備え、全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難(不可能又はほぼ不可能)となっており、 復号部31は、サーバ20から渡される暗号化されているデータを、設定されている秘密鍵143により復号し、 演算実行部32は、復号部31から渡された復号されたデータに対して所定の処理を実行し、ここでの所定の処理は、ニューラルネットワークモデルにおける暗号化されたデータのままでは実行不可能な処理レイヤーを含む処理であり、 ニューラルネットワークモデル3は、処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク(CNN)のモデルであり、 ニューラルネットワークモデル3は、複数の処理レイヤー4により構成され、具体的には、畳込レイヤー4−1、活性化レイヤー4−2、プーリングレイヤー4−3、活性化レイヤー4−n−2、アフィンレイヤー4−n−1、及びSoftMaxレイヤー4−n等を含み、 畳込みレイヤー4−1の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっており、その他のレイヤー4については、暗号化されたデータをそのまま用いて処理することができないものとなっており、 ニューラルネットワークモデル3について、推論処理制御部22は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ20と演算装置30とのいずれかに実行させ、また、推論処理制御部22は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置30に実行させ、 サーバ20の処理負荷や、演算装置30(30A)の処理負荷の少なくとも一方を検出し、この処理負荷に基づいて、サーバ20と演算装置30(30A)とのいずれに処理レイヤーを実行させるかを決定するようにしてもよい、 演算システム2。」 (2)甲第2号証 甲第2号証(以下、単に「甲2」という場合がある。)には、図面とともに次の記載がある。 「【0001】 本発明は、機械学習装置及び機械学習方法に関する。特に、機械学習のための学習データを効率的に生成することができる機械学習装置及び機械学習方法に関する。また、この機械学習装置及び機械学習方法を利用した検査装置に関する。 【背景技術】 【0002】 …(中略)… 【0003】 この機械学習を行うためには、検査対象物の画像と、その画像に写っている検査対象物がOKなのかNGなのかを指定するラベルと、からなる学習データが必要となる。このように、検査対象物の画像と、「OK」又は「NG」の値を有するラベルと、の学習データの組を数多く準備すれば、それら学習データの組を用いて機械学習を行うことができる。その後、機械学習した内容に基づき、検査対象物の新たな入力画像に対して、(機械学習を行った)機械学習装置がOK、NGを判別できるようになる。」 (3)甲第3号証 甲第3号証(以下、単に「甲3」という場合がある。)には、図面とともに次の記載がある。 (Abstract) 「 障がい者や高齢者を支援するサービスを実現するために、クラウド上の端末で情報処理を担うクラウドロボティクスの考えが普及している.クラウドロボティクスにおいて顔画像を扱う場合は、プライバシーに配慮する必要がある.本稿では、クラウドロボティクスのフレームワークにおいて、プライバシーに配慮したDeep Convolutional Neural Network(DCNN) に基づく顔照合システムを提案する.DCNNは、高性能な顔照合が可能であるが、計算コストが高いため、ロボットの負担が大きくなる.提案するクラウド型顔照合システムは、DCNNの下位層をロボットで処理し、DCNNの上位層をクラウドサーバで処理する.これにより、ロボット側の計算コストを大幅に削減できる.」 (第1ページ右段) 「 クラウドロボティクスは、ロボットとクラウド上の認識エンジンや情報処理技術を連携させ、大規模な計算やデータベースを要求するような情報処理クラウドで担うという考え方である…(中略) …DCNNの特徴マップは、DCNNの構造や重みフィルタなどのパラメータの係数がでな既知でない場合に復元が不可能である.そのため、暗号化されたデータを送受信していることと等価なため、プライバシーに配慮したシステムとなる.」 (第3ページ左段) 「 顔画像を学習したDCNNに対して、畳み込み層をロボットとクラウドサーバで処理する2つのネットワークに分割する.ロボット側は、指定した畳み込み層の特徴マップをクラウドサーバに送信する.クラウドサーバでは、受信した特徴マップを再度DCNNへ入力し、畳み込みとプーリングの続きを行う.DCNNの構造を分割することで、ロボットの計算コストを大幅に削減できる.」 (第3ページ右段) 「 本システムでは、ロボット側のDCNNで算出した特徴マップのみを送信し、クラウド側に顔画像を保存しないため、プライバシを配慮したシステムとなる.」 (第4ページ左段〜右段) 「 図5に、ロボットで処理する畳み込み数を変化させた際のロボット側の処理時間とデータ通信量を示す.ロボットはクラウドサーバと比べて計算能力が低いため、ロボットで処理する層が多い場合に総処理時間が長くなる.しかし、ロボットで処理する層数を浅くした場合、データ通信量が膨大になるため、通信時間が長くなる.図5より、2層目の畳み込み層(Conv2+Pool1)で分割した際に、ロボットの処理時間が短く、かつデータ送信量が少ないことがわかる.」 (第4ページ右段〜第5ページ左段) 「4.3 プライバシーの評価 顔画像は個人を特定できる情報であるため、インターネットを介した通信には注意が必要である.図7に、各畳み込み層の特徴マップを可視化した結果を示す.図7より、DCNNの畳み込み層が上位層になるにつれて、目視による個人の特定が困難になることが確認できる. …(中略)… 図8より、分割する畳み込み層が上位層になるにつれてプライバシー率が向上し、被験者の顔照合精度が低下していることが確認できる.特に、切り離す畳み込み層が4層目のときに、プライバシー率が大幅に向上し、顔照合精度が大幅に低下していることがわかる.」 (図1) 「 」 (図5) 「 」 (4)甲第4号証 甲第4号証(以下、単に「甲4」という場合がある。)には、図面とともに次の記載がある。 (第200ページ右段〜第201ページ左段) 「2.5 畳込み層とプーリング層の役割 畳込み層は上述のとおりフィルタが表す特徴を入力から抽出する働きがあり、プーリング層は抽出された特徴の位置感度を低下させる働きがある.これを概観するため、図5に手書き数字の認識を目的とする畳込みネットの各層の出力例を示す2.この畳込みネットは、入力層から順に畳込み層(conv1)、プーリング層(pool1)、畳込み層(conv2)、プーリング層(pool2)、最後に数字10種に対応する10個のユニットからなる全結合層を持つ.入力層ではグレースケールの画像1枚を受け取り、これに16個の1チャネルのフィルタを畳込んで16チャネルのマップを得、プーリング層を経た後、16個の16チャネルのフィルタを畳込んで16チャネルのマップを得、再度プーリング層を経て、最後に全結合層から10種のクラス尤度を出力する. この図より、畳込み層の各マップ(conv1、conv2)では数字の文字形状に対応すると思われる何らかの特徴が抽出されていることが現に見て取れる.その後に続くプーリング層(pool1、pool2)では、各マップの解像度が一律に低下しており、畳込み層で抽出された特徴の位置感度が低下するだろうことも確かめられる.」 (図5) 「 」 5 当審の判断 (1)本件特許発明1について ア 対比 本件特許発明1と甲1発明とを対比する。 (ア)構成要件Aについて 甲1発明において、「演算システム2」は、「暗号化されたデータを受信し、暗号化されたデータに対して所定の処理(例えば、推論処理)を実行し、暗号化された処理結果をクライアント装置10に送信」するものであり、「サーバ20」の「受信部23」は、「クライアント装置10から送信される暗号化された対象データ141を受信して記憶部24に格納」するものである。 また、甲1発明において、「演算システム2」を構成する「サーバ20」及び「演算装置30」は、「ニューラルネットワークモデル3」を構成する複数の「処理レイヤー」を処理するものであり、「ニューラルネットワークモデル3」は、「処理対象とする画像データが何を表しているか、例えば、人、犬、猫等の何を表しているかを推論する推論処理を実行して処理結果を出力するための畳込みニューラルネットワーク(CNN)のモデル」である。 また、甲1発明において、「サーバ20」の「推論処理制御部22」は、「ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置30が担当する処理レイヤーについては、この処理レイヤーを演算処理30に実行させるように制御」するものである。 以上から、甲1発明において、「サーバ20」の「受信部23」は、「処理対象とする画像データ」を暗号化した「暗号化されたデータ」を受信し、「暗号化されたデータ」に基づいて、「サーバ20」の「推論処理制御部22」と「演算装置30」が、「畳込みニューラルネットワーク(CNN)のモデル」を用いて「推論処理」を行うものといえる。 ここで、甲1発明の「暗号化された対象データ141」は、「処理対象とする画像データ」を暗号化したものであるから、本件特許発明1の「画像データ」に相当する。 そして、甲1発明の「サーバ20」の「受信部23」は、「暗号化された対象データ141」を受信することにより“取得”しているといえる。 したがって、甲1発明の「サーバ20」の「受信部23」は、本件特許発明1の「画像データを取得するデータ取得部」に相当する。 (イ)構成要件Bについて 前記(ア)を参酌すれば、甲1発明の「ニューラルネットワークモデル3」は、「畳込みニューラルネットワーク(CNN)のモデル」と同一視できるから、本件特許発明1の「畳み込みニューラルネットワーク」に相当する。 また、甲1発明において、「各処理レイヤーで使用する設定値等は、ニューラルネットワークモデルを用いた学習により得られた値を含」むから、「処理レイヤー」を処理する「サーバ20」の「推論処理制御部22」と「演算装置30」は、“機械学習計算部”といい得るものである。 よって、前記(ア)を参酌すれば、甲1発明の「サーバ20」の「推論処理制御部22」と「演算装置30」は、本件特許発明1の「前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部」に相当する。 (ウ)構成要件Cについて 甲1発明における「処理レイヤー」は、本件特許発明1の「層」に相当する。 よって、甲1発明において、「ニューラルネットワークモデル3」が複数の「処理レイヤー」により構成されることは、本件特許発明1の「前記畳み込みニューラルネットワークは複数の層から構成され」ることに相当する。 (エ)構成要件D、D1、D2及びD3について 甲1発明は、 「推論処理制御部22は、ニューラルネットワークモデルの中の自身が担当する処理レイヤーについては、この処理レイヤーの処理を実行し、ニューラルネットワークモデル中の演算装置30が担当する処理レイヤーについては、この処理レイヤーを演算処理30に実行させるように制御し、ここで、ニューラルネットワークモデルに含まれる自身が担当する処理レイヤーは、暗号化されたデータのままで実行可能な処理レイヤーであり、」及び 「 ニューラルネットワークモデル3は、複数の処理レイヤー4により構成され、具体的には、畳込レイヤー4−1、活性化レイヤー4−2、プーリングレイヤー4−3、活性化レイヤー4−n−2、アフィンレイヤー4−n−1、及びSoftMaxレイヤー4−n等を含み、 畳込みレイヤー4−1の演算処理については、加法準同型暗号による暗号化データをそのまま用いて処理を行うことができるものとなっており、その他のレイヤー4については、暗号化されたデータをそのまま用いて処理することができないものとなっており、 ニューラルネットワークモデル3について、推論処理制御部22は、暗号化されたデータのままで演算できる処理レイヤーは、予め決められた設定に従って、サーバ20と演算装置30とのいずれかに実行させ、また、推論処理制御部22は、暗号化されたデータのままで演算できない処理レイヤーは、演算装置30に実行させ、」 との構成を備えていることからすると、「暗号化されたデータのままで演算できる処理レイヤー」の処理は、「加法準同型暗号」により暗号化されたデータを処理する“暗号実行領域”における演算といえ、逆に、「暗号化されたデータのままで演算できない処理レイヤー」の処理は、「加法準同型暗号」により暗号化されていない平文のデータを処理する“平文実行領域”における演算といえる。 そして、甲1発明において、「サーバ20」の「推論処理制御部22」及び/又は「演算装置30」は、「暗号化されたデータのままで演算できる処理レイヤー」を処理するものであるから、本件特許発明1の「準同型暗号による暗号実行領域において演算する暗号処理部」に相当し、また、「演算装置30」は、「暗号化されたデータのままで演算できない処理レイヤー」を処理するものであるから、本件特許発明1の「平文実行領域において演算する平文処理部」に相当する。 したがって、甲1発明の「サーバ20」の「推論処理制御部22」と「演算装置30」と、本件特許発明1の 「 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、 前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付ける受付部と、を有」することとは、 「 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、を有」する点において共通する。 (オ)構成要件D1−1及びD2−1について 甲1発明は、構成要件D3に相当する構成を備えない以上、構成要件D1−1及びD2−1に相当する構成も備えていない。 (カ)構成要件E 甲1発明の「演算システム2」は、「サーバ20」(「受信部23」と「推論処理制御部22」を含む。)と「演算装置30」を備えるものであるから、後述する相違点を除いて、本件特許発明1の「機械学習装置」に相当する。 イ 一致点、相違点 前記アより、本件特許発明1と甲1発明とは、以下の点において一致ないし相違する。 ○一致点 「 画像データを取得するデータ取得部と、 前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、 前記畳み込みニューラルネットワークは複数の層から構成され、 前記機械学習計算部は、 準同型暗号による暗号実行領域において演算する暗号処理部と、 平文実行領域において演算する平文処理部と、を有する、 機械学習装置。」 ○相違点 本件特許発明1において、「機械学習計算部」は「前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第N層を指定する層指定情報を受け付ける受付部」(構成要件D3)を有し、「前記暗号処理部は、前記入力層から前記第N層までの演算を実行し」(構成要件D1−1)、「前記平文処理部は、第(N+1)層から前記出力層までの演算を実行する」(構成要件D2−1)のに対し、甲1発明は、本件特許発明1の構成要件D3、D1−1及びD2−1に相当する構成を備えることを具体的に特定していない点。 ウ 相違点についての判断 (ア)甲1発明のみに基づく進歩性の判断 本件特許発明1の構成要件D3、D1−1及びD2−1は、入力層から第N層までを暗号処理部(暗号実行領域)により演算し、第(N+1)層から出力層までを平文処理部(平文実行領域)により演算することを前提として、途中の層である第N層を任意に指定する層指定情報を受け付けるものである。 一方、甲1発明は、「暗号化されたデータのままで演算できる処理レイヤー」が、入力層から第N層までであり、かつ、「暗号化されたデータのままで演算できない処理レイヤー」が、第(N+1)層から出力層までであることを前提とするものでなく、また、「暗号化されたデータのままで演算できる処理レイヤー」及び/又は「暗号化されたデータのままで演算できない処理レイヤー」は、暗号化されたデータのままで演算できるか否かに基づいて決定されるべきものであることから、複数の「処理レイヤー」の中から任意に指定できるようなものでもない。 また、本件特許発明1の構成要件D3、D1−1及びD2−1の構成が、本件特許の出願時における技術常識であったとも認められない。 したがって、本件特許発明1は、当業者が甲1発明に基づいて容易に発明をすることができたものではない。 (イ)甲1発明と甲3記載事項又は甲4記載事項に基づく進歩性の判断 a 甲1発明と甲3記載事項に基づく進歩性の判断 甲3には、ロボット側のDCNNで算出した特徴マップのみを送信し、クラウド側に顔画像を保存しない、プライバシを配慮したシステムにおいて、顔画像を学習したDCNNに対して、畳み込み層をロボットとクラウドサーバで処理する2つのネットワークに分割すること、ロボットで処理する畳み込み数を変化させた際のロボット側の処理時間とデータ通信量は、ロボットはクラウドサーバと比べて計算能力が低いため、ロボットで処理する層が多い場合に総処理時間が長くなるが、ロボットで処理する層数を浅くした場合、データ通信量が膨大になるため、通信時間が長くなること、画像は個人を特定できる情報であるため、インターネットを介した通信には注意が必要であること、DCNNの畳み込み層が上位層になるにつれて、目視による個人の特定が困難になること、及び、分割する畳み込み層が上位層になるにつれてプライバシー率が向上し、被験者の顔照合精度が低下していることが記載されている。(以下、これを「甲3記載事項」という。) 甲3記載事項は、ロボットとクラウドサーバとがインターネットで接続されていることを前提に、データ通信量、通信時間、及び/又はプライバシの観点に基づいて、畳み込みネットワーク(DCNN)をロボットとクラウドサーバとの間で分割するものである。 一方、甲1発明において、「クライアント装置10」と「サーバ20」とは「ネットワーク40」を介して接続されているものの、「暗号化されたデータのままで演算できる処理レイヤー」を処理することが可能な「推論処理制御部22」を備える「サーバ20」と、「暗号化されたデータのままで演算できない処理レイヤー」を処理する「演算装置30」とは、「バス50」を介して接続され、また、「演算装置30」の「復号部31」は、「サーバ20から渡される暗号化されているデータを、設定されている秘密鍵143により復号」し、「演算装置30」の「演算実行部32」は、「復号部31から渡された復号されたデータに対して所定の処理を実行」するよう構成されているから、「サーバ20」から「演算装置30」に送信されるデータは暗号化されているため、甲3記載事項のように、インターネットを介した通信におけるプライバシの問題は発生しない。加えて、甲1発明において、「演算装置30」は、「全体又は大部分が、処理を実行するハードウェア回路で構成されており、不正にデータを出力するなどの不正動作を起こさせるようにすることが困難(不可能又はほぼ不可能)」であるように構成されているから、「暗号化されたデータのままで演算できない処理レイヤー」を処理するにあたり、暗号化されていないデータが外部に漏洩することがないように配慮がなされている。 したがって、当業者といえども、甲1発明に甲3記載事項に係る技術を適用する動機付けは存在しない。 仮に、甲1発明に甲3記載事項を適用し得るとしても、甲1発明に、「クライアント装置10」と「サーバ20」との間で処理を分割する構成が付加されることになり、上記相違点に係る本件特許発明1の構成には至らない。 したがって、本件特許発明1は、当業者が甲1発明と甲3記載事項に基づいて容易に発明をすることができたものではない。 b 甲1発明と甲4記載事項に基づく進歩性の判断 甲4には、手書き数字の認識を目的とする畳込みネットの各層の出力を見ることができること、畳込み層の各マップ(conv1、conv2)では数字の文字形状に対応すると思われる何らかの特徴が抽出され、その後に続くプーリング層(pool1、pool2)では、各マップの解像度が一律に低下しており、畳込み層で抽出された特徴の位置感度が低下することが記載されている。(以下、これを「甲4記載事項」という。) 甲4記載事項は、上記相違点に係る本件特許発明1の構成を開示するものではない。 よって、本件特許発明1は、当業者が甲1発明と甲4記載事項に基づいて容易に発明をすることができたものではない。 c まとめ 以上のとおりであるから、本件特許発明は、当業者が甲1発明と、甲3記載事項又は甲4記載事項に基づいて容易に発明をすることができたものではない。 (2)本件特許発明10ないし12について 本件特許発明10は、本件特許発明1を「機械学習システム」の発明として特定したものであり、本件特許発明11は、本件特許発明1を「機械学習方法」の発明として特定したものであり、また、本件特許発明12は、本件特許発明1を「機械学習プログラム」として特定したものであり、本件特許発明10ないし12は、上記相違点に係る本件特許発明1の構成に対応する技術事項を備えたものである よって、本件特許発明10ないし12は、本件特許発明1と同様の理由により、当業者が甲1発明と、甲3記載事項又は甲4記載事項に基づいて容易に発明をすることができたものではない。 (3)本件特許発明2ないし6について 本件特許発明2ないし6は、本件特許発明1の構成をすべて含むものである。 また、甲2は、上記相違点に係る本件特許発明1の構成を開示するものではない。 よって、本件特許発明2ないし6は、本件特許発明1と同様の理由により、当業者が甲1発明と、甲2記載事項、甲3記載事項又は甲4記載事項に基づいて容易に発明をすることができたものではない。 6 むすび したがって、特許異議の申立ての理由及び証拠によっては、請求項1ないし6及び10ないし12に係る特許を取り消すことはできない。 また、他に請求項1ないし6及び10ないし12に係る特許を取り消すべき理由を発見しない。 よって、結論のとおり決定する。 |
異議決定日 | 2023-01-13 |
出願番号 | P2021-195808 |
審決分類 |
P
1
652・
121-
Y
(G06N)
|
最終処分 | 07 維持 |
特許庁審判長 |
篠原 功一 |
特許庁審判官 |
林 毅 児玉 崇晶 |
登録日 | 2022-05-19 |
登録番号 | 7076167 |
権利者 | EAGLYS株式会社 |
発明の名称 | 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム |
代理人 | 西田 聡子 |