• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 1項3号刊行物記載 特許、登録しない(前置又は当審拒絶理由) G06N
審判 査定不服 2項進歩性 特許、登録しない(前置又は当審拒絶理由) G06N
管理番号 1412770
総通号数 32 
発行国 JP 
公報種別 特許審決公報 
発行日 2024-08-30 
種別 拒絶査定不服の審決 
審判請求日 2023-01-16 
確定日 2024-07-10 
事件の表示 特願２０２１− ３９４８「人工ニューラルネットワークモデル学習方法およびシステム」拒絶査定不服審判事件〔令和 ４年 ３月１４日出願公開、特開２０２２− ４２４６７〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 理 由
第１ 手続の経緯
本願は、令和３年（２０２１年）１月１４日（パリ条約による優先権主張 ２０２０年９月２日（以下、「本願優先日」という。） 韓国）に出願された特願２０２１−３９４８号であって、その願書に、「特許法第30条第2項の適用を受けようとする特許出願」と特記されているように、特許法第30条第2項に係る発明の新規性の喪失の例外の規定（以下、「新規性喪失の例外規定」という。）の適用を受けようとする特許出願であって、以下の「新規性の喪失の例外証明書提出書」の提出により、特許法第30条第3項に規定する証明書の提出を伴うものであり、その手続の経緯は、概略、以下のとおりである。

令和 ３年 １月２２日 ： 新規性の喪失の例外証明書提出書の提出
令和 ４年 ３月２５日付け： 拒絶理由通知書
同年 ７月 ４日 ： 意見書の提出
同年１１月 １日付け： 拒絶査定
令和 ５年 １月１６日 ： 審判請求書の提出
同年 ６月２７日 ： 面接
同年 ７月２５日 ： 上申書の提出
同年 ９月２６日付け： 証拠調べ通知書

なお、令和５年９月２６日付け証拠調べ通知書（以下、「証拠調べ通知書」という。）に対する、請求人からの意見書の提出はなかった。

第２ 本願発明
本願の請求項１ないし１５に係る発明は、令和３年１月１４日に提出された特許請求の範囲の請求項１ないし１５に記載された事項により特定されるものであるところ、その請求項１に係る発明（以下、「本願発明」という。）は、特許請求の範囲の請求項１に記載される、次のとおりのものである。

【請求項１】
少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法において、
モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階；
前記決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する段階；および
前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含み、
前記パラメータ値は複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む、人工ニューラルネットワークモデル学習方法。

第３ 原審における拒絶査定の理由
原審における令和４年１１月１日付けの拒絶査定（以下、「原査定」という。）の理由は、概略、次のとおりのものである。

（理由１）新規性欠如
本願の請求項１ないし１５に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献１に記載された発明であるから、特許法第29条第1号第３号に該当し、特許を受けることができない。

（理由２）進歩性欠如
本願の請求項１ないし１５に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献１に記載された発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献１：KIM, Taehoon et al.，"StatAssist & GradBoost A Study on
Optimal INT8 Quantization-aware Training from Scratch"
［オンライン］，arXiv，２０２０年６月１７日，［検索日２
０２２年３月２５日］，インターネット：＜URL: https://arx
iv.org/abs/2006.09679v1＞，2006.09679v1

第４ 新規性喪失の例外規定の適用を受けるための手続
１ 特許法上の手続
特許法第29条は、特許出願より前に同条第１項各号に該当するに至った発明 (以下、「公開された発明」という。）については、原則として、特許を受けることができないことを規定しているが、特定の条件の下で発明が公開された後にその発明の特許を受ける権利を有する者（以下、「権利者」という。）が特許出願した場合には、先の公開によってその発明の新規性が喪失しないものとして取り扱う規定、いわゆる、発明の新規性喪失の例外規定が同法第30条に設けられている。
発明の新規性喪失の例外規定の適用対象となる「公開された発明」は、発明が公開されてから出願されるまでの期間が１年以内のものであり、（ｉ）権利者の意に反して公開された発明（第１項）（ｉｉ）権利者の行為に起因して公開された発明（第２項）のいずれかである。また、同条第２項の規定の適用を受けるためには、特許出願の日から３０日以内に、「公開された発明」が同条第２項の規定の適用を受けることができる発明であることを証明する書面（以下、「証明書」という。）を特許庁長官に提出しなければならないことが同条第３項に規定されている。

２ 審査基準による例外的な規定
特許法第30条の趣旨に鑑みると、権利者が発明を複数の異なる雑誌に掲載した場合等、権利者の行為に起因して公開された発明が複数存在する場合において、同条第２項の規定の適用を受けるためには、原則として、それぞれの「公開された発明」について、同条第３項に係る「証明書」を提出しなければならない。しかしながら、特許・実用新案審査基準（第ＩＩＩ部 第２章 第５節「発明の新規性喪失の例外」）（以下、「審査基準」という。）では、「公開された発明」が以下に示す条件（ｉ）から（ｉｉｉ）までのすべてを満たすことが出願人によって証明された場合は、その「証明書」が提出されていなくても同条第２項の規定の適用を受けることができるとされている。

(ｉ)「証明書」に基づいて第２項の規定の適用が認められた発明（以下、「第２項の規定の適用が認められた発明」という。）と同一であるか、又は同一とみなすことができること。
(ｉｉ) 「第２項の規定の適用が認められた発明」の公開行為と密接に関連する公開行為によって公開された発明であること、又は権利者若しくは権利者が公開を依頼した者のいずれでもない者によって公開された発明であること。
（ｉｉｉ）「第２項の規定の適用が認められた発明」の公開以降に公開された発明であること。

第５ 新規性喪失の例外規定の適用を受けるための証明書
１ 公開の事実
令和３年１月２２日提出の新規性の喪失の例外証明書提出書（以下、「証明書提出書」という。）に添付された発明の新規性の喪失の例外の規定の適用を受けるための証明書の「公開の事実」には、概略、次の事項が記載されている。

（１）ホームページのアドレス
https://www.researchgate.net/publication/342258905_StatAssist_Grad
Boost_A_Study_on_Optimal_INT8_Quantization-aware_Training_from_Scrat
ch

（２）掲載日
２０２０年６月１７日

（３）公開者
ユ ヨンジュン（Young Joon YOO）、キム テフン（Tae Hoon KIM）、ヤン ジフン（Jihoon Yang）

（４）公開された発明の内容
ユ ヨンジュン、キム テフン、ヤン ジフンが、上記アドレスのウェブ
サイトで「StatAssist & GradBoost: A Study on optimal INT8 Quantizati
on-aware Training from Scratch」について公開した。

２ 新規性喪失の例外規定の適用を受けようとする発明
上記１から、特許法第30条第3項に規定する「証明書」の提出により、同条第２項に規定される新規性喪失の例外規定の適用を受けようとする発明（以下、「例外適用発明」という。）は、概略、次のとおりである。

「ユ ヨンジュン、キム テフン、ヤン ジフンが、インターネット上のア
ドレス https://www.researchgate.net/publication/342258905_StatAssist
_GradBoost_A_Study_on_Optimal_INT8_Quantization-aware_Training_from_
Scratch で、２０２０年６月１７日に「StatAssist & GradBoost: A Study
on optimal INT8 Quantization-aware Training from Scratch」として公開
された事項」

なお、例外適用発明が公開されている上記ホームページの運営者である ResearchGate が、本願優先日より前である２００８年から開始された、論文の共有機能を有する研究者向けのソーシャル・ネットワーク・サービスであることは、本願優先日における顕著な事実である。

第６ 本願において、新規性喪失の例外規定の適用を受けることができる範囲について
１ 特許法へのあてはめ
上記第４及び第５を踏まえて、本願における新規制喪失の例外規定の適用範囲について検討すると、例外適用発明及び引用文献１に係る発明は、いずれもその公開から本願優先日までの期間が１年以内であるから、新規性喪失の例外規定の適用対象となり得るものである。
そして、本願は、新規性喪失の例外規定の適用を受けようとする出願であるが、その適用に必要な同条第３項に係る「証明書」が提出されているのは、上記「例外適用発明」のみであるから、特許法上、新規性喪失の例外規定が適用されるのは、上記「例外適用発明」のみに限られる。

２ 審査基準へのあてはめ
本件において、「権利者の行為に起因して公開された発明が複数存在する場合」には、上記「例外適用発明」を審査基準の「第２項の規定の適用が認められた発明」とした場合に、審査基準の（ｉ）ないし（ｉｉｉ）の全てを満たす発明は、「証明書」を提出することなく例外規定を受けることができる。
そして、引用文献１に係る発明が、仮に、権利者の行為に起因して公開された発明であり、かつ、新規性喪失の例外規定の適用を受けることができる発明である場合には、引用文献１に係る発明を、特許法第29条第1項各号に規定する発明とする原査定は、適法なものではないこととなるため、引用文献１に係る発明が、新規性喪失の例外規定の適用を受けることができるか否かについて検討する。
また、事案に鑑みて、審査基準の（ｉｉｉ）の条件について先に検討することとする。

（１）原査定における判断
原査定では、「例外適用発明」と引用文献１の公開の先後関係について、以下のように説示している。

「引用文献１には、「2006.09679v1」という arXiv identifier が付与されている。https://arxiv.org/help/availability の A note about arXiv-id
assignments には、論文が発表されるまで arXiv identifier が割り当てることができないと記載されていることから、「2006.09679v1」が付与されるのは、arXiv での発表後であると認められる。
このとき、令和３年１月２１日提出の「発明の新規性の喪失の例外の規定の適用を受けるための証明書」に記載された「公開された発明」には、特許法第30条第2項の規定の適用が認められるものの、当該公開された発明は
https://www.researchgate.net/publication/342258905_StatAssist_GradBo
ost_A_Study_on_Optimal_INT8_Quantization-aware_Training_from_Scratch
で公開された文献（以下、「文献Ａ」という）に記載された発明であり、当該ＵＲＬを参照すると、文献Ａは arXiv identifier である「2006.09679v1」が付与されたものであることから、引用文献１は、文献Ａよりも前に公開されたものと認められる。」

引用文献１及び「例外適用発明」が記載された文献Ａのいずれにも付与されている arXiv identifier が、引用文献１が公開されたウェブ・サービスである arXiv で付与されるものであることを考慮すれば、引用文献１が「例外適用発明」が記載された文献Ａより先に公開されたものであるとする上記説示には、一定の合理性があるものの、必ずしも、「例外適用発明」と引用文献１の公開日時を具体的に特定した上で判断したものではないので、当審としては、上記説示を裏付ける証拠を得るために、証拠調べを実施した。

（２）当審における証拠調べ
ア 証拠調べの概要
当審において職権に基づく証拠調べとして、「例外適用発明」（文献Ａ）及び引用文献１のそれぞれの公開日時について、電子メールにて公開元に問い合わせた結果、以下に示す証拠を発見したので、特許法第150条第5項の規定に基づき、証拠調べ通知書により請求人に通知し、期間を指定してこれに対する意見を求めた。

（ア）証明書の「公開の事実」に記載されたホームページのアドレスに掲載されている論文の公開日時
ａ 令和５年８月２８日付け審判官稲垣から ResearchGate コミュニティサポート窓口宛の問い合わせ電子メール文書及び令和５年９月１日付け ReseachGate コミュニティサポート サム氏から審判官稲垣宛の電子メール文書

「






」

（当審仮訳）
「Sam, ２０２３年９月１日１１時２９分（ＧＭＴ＋２）

良一さん

このたびはご連絡いただき、そして、お待ちいただきありがとうございます。
ご指摘の公開ページは２０２０年６月１８日に作成したことが確認できました。このページは、公開されているメタデータを使用して作成されました。
全文は、オープンアクセス指定により、２０２０年６月１８日に出版物のページに自動的に追加されました。
なお、この論文は２０２０年６月１７日の時点でArxivで公開されているようです（https://arxiv.org/abs/2006.09679v1）。

敬具
サム

ResearchGate コミュニティサポート
ResearchGate GmbH
Chausseestr. 20, 10115 Berlin, Germany
E: support@researchgate.net

ResearchGateのヘルプセンター www.help.researchgate.net をご覧ください。
----------------------------------------------

Inagaki-ryoichi2, ２０２３年８月２３日 ９時８分（ＧＭＴ＋２）

私は稲垣良一と申し、日本国特許庁で特許審判官をしています。

私を含む審判合議体は、現在、ある特許審判事件の審判に不可欠な情報（証拠）を収集しています。
この度、ResearchGateに掲載された以下の論文について正確な情報が必要となり、メールを差し上げました。

[論文]
- StatAssist & GradBoost: A Study on Optimal INT8 Quantization-aware
Training from Scratch
https://www.researchgate.net/publication/342258905_StatAssist_GradBo
ost_A_Study_on_Optimal_INT8_Quantization-aware_Training_from_Scratch

上記論文の全文PDFがResearchGateで公開された正確な日時を教えていただけますか。
全文PDFは著者が手動でアップロードすることで公開されると理解しておりますが、私たちは上記論文の全文PDFがアップロードされ、公開された「正確」な日時を知りたいのです。

この情報は審判の審決に是非とも必要な情報ですので、何卒ご配慮いただけますようお願い申し上げます。

なお、この件が他部署に回されるべきものである場合は、適切な部署に転送してください

敬具
稲垣良一


Registered Seat: Berlin, HRB 232771 B
Managing Directors: Dr Ijad Madisch, Dr S?ren Hofmayer VAT-ID: DE258434568
A proud affiliate of: ResearchGate Corporation, 350 Townsend St #754, San Francisco, CA 94107

このEメールは機密であり、法的な特権を有する場合があります。指定された受信者のみを対象としています。誤って受信された場合は、その旨をご連絡ください。直ちに返信メールにてご連絡の上、このメッセージをシステムから削除してください。また、本メッセージをコピーしたり、他の目的で使用したり、他の人に内容を開示したりしないでください。ご協力ありがとうございます。」

ｂ 令和５年９月４日付け審判官稲垣から ResearchGate サム氏宛の電子メール文書

「





」

（当審仮訳（上記（１）と重複する箇所の仮訳は省略））
「サムさん

返信ありがとうございます。
返信いただく前の先週金曜日にリマインダとして同じ問い合わせを投稿したことをお詫びいたします。どうか問い合わせは無視してください。

加えて、返信について２点確認させてください。
i) 公開ページの日付（２０２０年６月１８日）に加えて、時刻も教えていただくことは可能でしょうか。
ii) 返信中のタイムゾーンは中央ヨーロッパ時間でしょうか。

この問い合わせは日時が重要なので、念のため、確認させてください。
ご迷惑でなければ幸いです。

敬具
稲垣良一」

ｃ 令和５年９月１４日付け ReseachGate サム氏から審判官稲垣宛の電子メール文書

「

















」

（当審仮訳（上記（１）及び（２）と重複する箇所の仮訳は省略））
「Sam, ２０２３年９月１４日１６時１９分（ＧＭＴ＋２）

良一さん

お待たせいたしました。100%正確であるという確認まではできませんが、弊社の記録によると、この公開ページはグリニッジ標準時２０２０年６月１８日３時２０分に作成され、その後まもなくグリニッジ標準時２０２０年６月１８日３時３４分に全文PDFが利用可能になったようです。

敬具
サム

ResearchGate コミュニティサポート
ResearchGate GmbH
Chausseestr. 20, 10115 Berlin, Germany
E: support@researchgate.net

ResearchGateのヘルプセンター www.help.researchgate.net をご覧ください。」


（イ） 引用文献１の公開日時
ａ 令和５年８月２９日付け審判官稲垣と arXiv テクニカルサポート ジェイク・ワイスコフ氏との間の電子フォーラムでのやりとり

「



」
（当審仮訳（審判官稲垣とJake Weiskoffの会話部分のみ））
「論文に関する問い合わせ

稲垣良一が昨日午前２時５８分、次のように述べた。

私は稲垣良一と申し、日本国特許庁で特許審判官をしています。
私を含む審判合議体は、現在、ある特許審判事件の審判に不可欠な情報（証拠）を収集しています。
この度、arXivに掲載された以下の論文について正確な情報が必要となり、メールを差し上げました。

[論文]
StatAssist & GradBoost: A Study on Optimal INT8 Quantization-aware T
raining from Scratch
https://arxiv.org/abs/2006.09679v1

上記論文のPDFデータがarXivで公開された正確な日時を教えていただけますか。
ヘルプの内容 (https://info.arxiv.org/help/availability.html) は既に拝見しており、投稿された論文がスケジュールに従って米国東部標準時の２０時００分に公開されたものとみなしていますが、上記論文のPDFデータが公開された「正確な」日時を知りたいのです。

この情報は審判の審決に是非とも必要な情報ですので、何卒ご配慮いただけますようお願い申し上げます。
なお、この件が他部署に回されるべきものである場合は、適切な部署に転送してください

敬具
稲垣良一


ジェイク・ワイスコフ 昨日午後３時３８分

稲垣良一さん
お問い合わせありがとうございます。私たちの記録によると、この論文は米国東部標準時２０２０年１月１７日２０時００分にそのＵＲＬで公開されました。PDFが利用可能になるまでに（約１５分ほどの）若干の遅れがあります。成果物は１８日０時００分までアナウンスされないですが、メーリング処理の一環として１７日にはそのＵＲＬが恒久的に割り当てられています。

敬具
ジェイク・ワイスコフ
arXiv テクニカルサポートマネージャー

稲垣良一 本日午前４時１８分

ジェイク・ワイスコフさん

迅速に返信いただきありがとうございます。
返信についてひとつ確認させてください。
返信にある「２０２０年１月１７日」は、公開論文から正確には「２０２０年６月１７日」だと思います。この問い合わせは日時が重要ですので、念のため、確認させていただきます。

敬具
稲垣良一


ジェイク・ワイスコフ 本日午前８時６分

稲垣良一さん
はい、私のミスです。ログの時刻は“Jun”になっていて、単純な読み間違いでした。

敬具
ジェイク・ワイスコフ」

イ 証拠調べから得られた事実
上記証拠調べ通知書に対する、請求人からの意見書の提出はなかった。
したがって、証拠調べにより発見した、以下に示す事項を証拠として採用する。

（ア）例外適用発明の公開日時
上記ア（ア）によると、例外適用発明が公開されたＵＲＬである https:/
/www.researchgate.net/publication/342258905_StatAssist_GradBoost_A_S
tudy_on_Optimal_INT8_Quantization-aware_Training_from_Scratch は、グリニッジ標準時の２０２０年６月１８日３時２０分に作成されていることから、例外適用発明は、同日同時刻に当該ＵＲＬで公開されたものと認められる。

（イ）引用文献１の公開日時
上記ア（イ）によると、引用文献１は、米国東部標準時２０２０年６月１７日２０時００分（グリニッジ標準時の２０２０年６月１８日１時００分に相当）に https://arxiv.org/abs/2006.09679v1 で公開されたものと認められる。

（３）まとめ
上記（２）により、引用文献１に係る発明は、「例外適用発明」より先に公開されたものであることが認められたから、上記（１）に示す原査定の判断が適切であるとの確証を得られた。
したがって、引用文献１に係る発明は、「例外適用発明」の公開以降に公開された発明ではなく、審査基準に規定する条件のうち、少なくとも（ｉｉｉ）の条件を満たさないため、仮に、権利者の行為に起因して公開された発明であるとしても、「証明書」が提出されていなくても新規性喪失の例外規定の適用を受けることができるものには該当しない。

第７ 原査定についての判断
請求人は、令和４年７月４日提出の意見書（以下、「意見書」という。）、令和５年１月１６日提出の審判請求書（以下、「審判請求書」という。）及び令和５年７月２５日提出の上申書（以下、「上申書」という。）において、引用文献１に係る発明の新規性喪失の例外規定の適否についてのみ主張し、それ以外の新規性、進歩性の判断について特段の主張を行っていないものと解されるが、念のため、本願発明について、新規性、進歩性の判断を行う。

１ 引用文献１記載事項
引用文献１には、図面とともに、次の事項が記載されている。なお、下線は、強調のため当審が付与した。（以降においても同様。）

（１）第１ページ第２１行〜第３４行
「The network quantization aims to approximate the floating-point (FLOAT32) computation of full-precision (FP) models using fixed-point computation in lower-bits (INT8), and hence, has been targeting on transfer learning from the pre-trained network to the quantized counterpart, so called post-quantization [43, 40]. However, the approximation errors are accumulated in the computations operated during the forward-propagation, and bring noticeable performance degradation. Especially for the lightweight models [32, 33, 38, 12] with less representational capacity compared to the baseline architectures [22, 39, 8, 42], the initial statistics error caused by quantization makes it challenging to directly use the pre-trained FP model weights [5].
A promising approach to solve this problem is to imitate the network quantization during the training. Quantization-aware training (QAT) [17] simulates the quantized inference during the forward pass and uses the straight through estimator (STE) [1] to compute the gradient for the back-propagation. While QAT ameliorates the quantization error by reducing the differences in range of weights and the number of outlier weight values [17], it still cannot overcome the gradient approximation error caused by STE.」
（当審仮訳）
「 ネットワークの量子化は、フル精度(FP)モデルの浮動小数点(FLOAT32)計算を下位ビット(INT8)の固定小数点計算で近似することを目指して、そのため、事前学習済みネットワークから量子化後の対応するネットワークへの転移学習（いわゆるポスト量子化）を目標にしている [43, 40]。しかし、近似誤差は順方向伝播の計算の中で累積され、顕著な性能劣化をもたらす。特に、ベースラインアーキテクチャ[22, 39, 8, 42]と比較して表現能力の低い軽量モデル[32, 33, 38, 12]の場合、量子化による初期統計誤差が、事前学習されたFPモデルの重みを直接使用することを困難にさせている[5]。
この問題を解決する有望なアプローチは、学習中にネットワークの量子化を模倣することである。量子化認識トレーニング（QAT）[17]は、順方向パスの量子化推論をシミュレートし、誤差逆伝播の勾配を計算するためにストレートスルー予測器（STE）[1]を使用する。QATは、重みの範囲の差や異常値の数を減らすことで量子化誤差を改善するが[17]、それでもSTEによる勾配近似誤差を克服することはできない。」

（２）第２ページ第８行〜第１９行
「In this work, we propose intensive and flexible strategies that enable the QAT of a deep model from scratch for better quantization performance with reduced training cost. Our proposal tackles two common factors that lead to the failure of QAT from scratch: 1) the gradient approximation error and 2) the gradient instability from the inaccurate initial quantization statistics. We show that assisting the optimizer momentum with initial statistics of FP model and boosting the optimizer gradients with noise in early stage of training can stabilize the whole training process without any harm to the performance of the model. For sure, our proposed FP-statistic assisting (StatAssist) and stochastic-gradient boosting (GradBoost) QAT can be applied to diverse training schemes of existing lightweight models including object detection, segmentation, and style transfer with significantly reduced training cost, along with classification which has been a main target for the previous quantization methods. We demonstrate the effectiveness of the StatAssist + GradBoost during the back-propagation of QAT in figure 1 with histograms of gradients.」
（当審仮訳）
「 本研究では、学習コストを削減しながら量子化性能を向上させるために、ゼロから深層モデルのQATを可能にする集中的かつ柔軟な戦略を提案する。我々の提案は、ゼロからのQATの失敗につながる2つの共通要因： 1）勾配近似誤差、2）不正確な初期量子化統計量による勾配の不安定性、に取り組む。FPモデルの初期統計量を用いてオプティマイザのモーメンタムを補助し、学習の初期段階でオプティマイザの勾配をノイズでブーストすることで、モデルの性能を損なうことなく学習プロセスを安定させることができることを示す。提案するFP統計量アシスト（StatAssist）と確率勾配ブースティング（GradBoost）QATは、物体検出、セグメンテーション、スタイル変換など、既存の軽量モデルの多様な学習スキームに適用可能であり、従来の量子化手法の主なターゲットであった分類とともに、学習コストを大幅に削減できる。QATの誤差逆伝播におけるStatAssist + GradBoostの有効性を、勾配のヒストグラムを用いて図1で示す。」

（３）第３ページ第３行〜第５行
「Network quantization requires to approximate the weight parameters W ∈ R and activation a ∈ R of the network F to Wq ∈ Rq and aq ∈ Rq, where the space R and Rq each denotes the space represented by 32-bit (FLOAT32) and the lower-bit (INT8) precision.」
（当審仮訳）
「 ネットワークの量子化は、ネットワークFの複数の重みパラメータW ∈ R と活性化関数 a ∈ R を Wq ∈ Rq と aq ∈ Rq に近似する必要がある。ここで、空間RとRqはそれぞれ32ビット（FLOAT32）と下位ビット（INT8）の精度で表現される空間を示す。」

（４）第４ページ第１６行〜第４１行
「Let the quantity g(W) be the gradient computed for the weight W by the floating point precision. Then, in each update step t, the weight Wt is updated as follows:

where the term mt denotes the momentum statistics accumulating the traces of the gradient computed in previous time-steps. The term η governs the learning rate of the model training. In QAT setting, the fake quantization module approximates the process by the function A(Wt; St) in section 2.2, as:

The term St denotes the quantization statistics of Wt. The quantization step of Wt includes the value clipping by the smin and smax of the quantization statistics Sstatic. This let the calculation g(Wt,q) occur erroneous approximation, and propagated to the downstream layers invoking gradient vanishing, as in figure 1b. Also, the gradient approximation error and the statistics update form a feedback loop amplifying the error. The inaccurate calculation of the gradient invokes the inaccurate statistic update, and this inaccurate statistic again induces the inaccurate gradient calculation.
We suggest that the error amplification can be prevented by assigning a proper momentum value mt, as in figure 2c. If the momentum has a proper weight update direction, the weight Wt+1 of equation 4 will ignore the inaccurate gradient g(Wt,q). In this case, we can expect the statistics Sstatic in the next time step t + 1 will become more accurate than those in t. This is also a positive feedback that reducing the gradient update error as well as accumulating the statistic well reflecting the FP value. In the previous QAT case, the use of the pre-trained weight and the statistic calibration (and freeze) help to reduce the initial gradient computation error. Still, the magnitude of the learning rate η is restricted to be small.
Then, how to impose the proper value to the momentum mt? We suggest that the momentum which have accumulated the gradient from a single epoch of FP training is enough to control the gradient approximation error that occurs in the entire training pipeline. This strategy, called StatAssist, gives another answer to control the instability in the initial stage of the training; while previous QAT focuses on a good pre-trained weight, ours focuses on a good initialization of the momentum.」
（当審仮訳）
「 g(W)を浮動小数点精度で重みWに対して計算された勾配とする。そして、各更新ステップtにおいて、重みWtは以下のように更新される：

ここで、項mtは以前の時間ステップで計算された勾配の痕跡を累積したモーメンタム統計量を表す。項ηは、モデル学習の学習率を支配する。QATの設定では、偽の量子化モジュールは、2.2節の関数A(Wt; St) によって、次のようにプロセスを近似する：

StはWtの量子化統計量を示す。Wtの量子化ステップには、量子化統計量Sstaticのsminとsmaxによる値のクリッピングが含まれる。これにより、図1bのように、計算g(Wt,q)に誤った近似を発生させ、下流の層で勾配の消滅を引き起こすように伝播する。また、勾配近似誤差と統計量の更新はフィードバックループを形成し、誤差を増幅させる。不正確な勾配計算は不正確な統計量の更新を引き起こし、この不正確な統計量は再び不正確な勾配計算を誘発する。
図2cのように、適切なモーメンタム値mtを割り当てることで、誤差の増幅を防ぐことができることを提案する。モーメンタムが適切な重み更新方向を持つ場合、式4の重みWt+1は不正確な勾配g(Wt,q)を無視する。この場合、次の時間ステップt + 1の統計量Sstaticはtの統計量よりも精度が高くなることが期待できる。これは、勾配更新誤差を減少させるとともに、FP値をよく反映した統計量を蓄積するという正のフィードバックでもある。先のQATのケースでは、事前学習された重みの使用と統計量の較正（およびフリーズ）が、初期勾配計算誤差の低減に役立っている。それでも、学習率ηの大きさは小さく制限される。
では，モーメンタム mtはどのように設定すればよいのだろうか。我々は、FP学習の1エポックから勾配を累積したモーメンタムは、学習パイプライン全体で発生する勾配近似誤差を制御するのに十分であることを提案する。StatAssistと呼ばれるこの戦略は、学習の初期段階における不安定性を制御するための別の答えを与える。従来のQATが事前学習されたウェイトの良し悪しに重点を置いていたのに対し、我々の戦略はモーメンタムの初期化の良し悪しに重点を置いている。」

（５）第６ページ第７行〜第１３行
「Training protocol Our main contribution in section 1 focuses on making the optimizer robust to gradient approximation error caused by STE during the back-propagation of QAT. To be more specific, we initialize the optimizer with StatAssist and distort a random subset of gradients on each update step via GradBoost. As an optimizer updates its momentum by itself each step, we simply apply StatAssist by running the optimizer with FP model for a single epoch. Our StatAssist also replaces the learning rate warm-up process in conventional model training schemes. For GradBoost, we modify the gradient update step of each optimizer with equations 5 through 8.」
（当審仮訳）
「学習プロトコル 第1節における我々の主な貢献は、QATの誤差逆伝播中にSTEによって引き起こされる勾配近似誤差に対してオプティマイザをロバストにすることに焦点を当てている。より具体的には、オプティマイザを StatAssist で初期化し、GradBoost により各更新ステップで勾配のランダムなサブセットを歪ませる。オプティマイザは各ステップごとにモーメンタムを更新するため、FP モデルでオプティマイザを 1 エポック実行することによって、簡単に StatAssist を適用する。StatAssistはまた、従来のモデル学習スキームにおける学習率のウォームアッププロセスを置き換える。GradBoost については、各オプティマイザの勾配更新ステップを式 5〜8 で修正する。」

（６）第７ページ第１８行〜第１９行
「We trained our models with 768×768 random-cropped train images to fit a model in a single NVIDIA P40 GPU. The evaluation was performed with full-scale 2048×1024 val images.」
（当審仮訳）
「我々は、1台のNVIDIA P40 GPUでモデルを適合させるために、768×768のランダムに切り取られた学習用画像でモデルを学習した。評価は2048×1024のフルスケールの検証用画像を用いて行った。」

２ 引用発明
（１）上記１（１）及び（２）から、引用文献１には、「ゼロから深層モデルの量子化認識トレーニング(QAT)を可能にする、学習プロセスを安定させる方法」が記載されているといえる。

（２）上記１（２）〜（５）から、引用文献１には、「フル精度(FP)モデルの各更新ステップにおいて、複数の重みWtに対して計算された勾配g(Wt)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmtから複数の重みWtを更新し、フル精度(FP)モデルの学習の1エポックから勾配を累積したモーメンタムmtを、勾配近似誤差を制御するのに十分であるとして、QATのオプティマイザのモーメンタムに設定する」ことが記載されているといえる。

（３）上記１（３）及び（４）から、引用文献１には、「QATでの各更新ステップにおいて、最初は、複数の重みWt,qに対して計算された勾配g(Wt,q)及び割り当てたモーメンタムから複数の重みWt,qを更新し、その後は、勾配g(Wt,q)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmt,qから複数の重みWt,qを更新する」ことが記載されているといえる。

（４）上記１（６）から、引用文献１には、「1台のNVIDIA P40 GPUで学習されるモデル」が記載されているといえる。

（５）したがって、引用文献１には、次の発明（以下、「引用発明」という。）が記載されていると認められる。
「1台のNVIDIA P40 GPUで学習される、ゼロから深層モデルの量子化認識トレーニング(QAT)を可能にする、学習プロセスを安定させる方法であって、
フル精度(FP)モデルの各更新ステップにおいて、複数の重みWtに対して計算された勾配g(Wt)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmtから複数の重みWtを更新し、フル精度(FP)モデルの学習の1エポックから勾配を累積したモーメンタムmtを、勾配近似誤差を制御するのに十分であるとして、QATのオプティマイザのモーメンタムに設定し、
QATでの各更新ステップにおいて、最初は、複数の重みWt,qに対して計算された勾配g(Wt,q)及び割り当てたモーメンタムから複数の重みWt,qを更新し、その後は、勾配g(Wt,q)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmt,qから複数の重みWt,qを更新する
方法。」

３ 本願発明と引用発明の対比
（１）引用発明の「1台のNVIDIA P40 GPUで学習される、ゼロから深層モデルの量子化認識トレーニング(QAT)を可能にする、学習プロセスを安定させる方法」との構成によると、引用発明は「1台のNVIDIA P40 GPU」で学習される、「深層モデル」の「量子化認識トレーニング(QAT)」という「学習プロセス」についての「方法」であるといえる。
ここで、引用発明の「1台のNVIDIA P40 GPU」は、本願発明の「少なくとも一つのプロセッサ」に相当する。また、「深層モデル」が“人工ニューラルネットワークモデル”の態様の一つであることは、本願優先日における技術常識である。そして、「学習プロセス」についての「方法」は、“学習方法”と言い得るものである。
したがって、引用発明における「1台のNVIDIA P40 GPUで学習される、ゼロから深層モデルの量子化認識トレーニング(QAT)を可能にする、学習プロセスを安定させる方法」は、本願発明における「少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法」に相当する。

（２）引用発明の「フル精度(FP)モデルの各更新ステップにおいて、複数の重みWtに対して計算された勾配g(Wt)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmtから複数の重みWtを更新し、」との構成によると、引用発明の「フル精度(FP)モデル」は、「勾配g(Wt)」及び「モーメンタムmt」から「複数の重みWt」を更新するものであるといえる。

ここで、本願発明の「モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して」の「モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法」について、本願の明細書には、次のとおり記載されている。

「【００２５】
第１モデル学習部１２０であらかじめ設定されたエポック（ｅｐｏｃｈ）（例えば、最初の１次エポック）までＦＰモデル１１０を学習して、該当エポックでのＦＰモデル１１０のパラメータ値を決定することができる。例えば、第１モデル学習部１２０がモーメンタム基盤の勾配降下法を利用してパラメータを最適化する場合に、最初のエポックでＦＰモデル１１０の各レイヤーに学習データを入力して出力値を計算する順伝播（ｆｏｒｗａｒｄ−ｐｒｏｐａｇａｔｉｏｎ）学習段階を実行し、その出力値とターゲット値の差（エラー）を加重値（ｗｅｉｇｈｔ）で偏微分した値（またはグラジエント（ｇｒａｄｉｅｎｔ）を利用して該当加重値をアップデートする逆伝播（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）学習段階を実行することができる。逆伝播学習段階は、各加重値をアップデートする方向がＦＰモデル１１０のエラーを最小化するものに設定され得るように、加重値にグラジエントとともにモーメンタムを加えることを含むことができる。ここで、モーメンタム値は以前の段階（または以前のエポック）で計算されたグラジエント値の跡（ｔｒａｃｅ）を累積したものを意味し得る。このように、最初のエポックでのＦＰモデル１１０のモーメンタム値（ｍ１）を決定することができる。」

明細書の上記摘記事項から、「モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法」とは、「グラジエントと、以前の段階で計算されたグラジエントを累積したモーメンタムを加えることにより加重値を更新する」ものであると認められる。
したがって、引用発明における「勾配g(Wt)」及び「モーメンタムmt」から「複数の重みWt」を更新する「フル精度(FP)モデル」は、本願発明における「モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によって」「学習」される「第１人工ニューラルネットワークモデル」に相当する。

（３）引用発明の「フル精度(FP)モデルの学習の1エポックから勾配を累積したモーメンタムmt」との構成から、引用発明の「フル精度(FP)モデル」は、「1エポック」の「学習」を通じて「モーメンタムmt」を「累積する」ものであるといえる。
引用発明における「1エポック」は、本願発明における「あらかじめ設定されたエポック（ｅｐｏｃｈ）」に相当する。
したがって、上記（２）の検討も踏まえると、引用発明における「フル精度(FP)モデル」が、「勾配g(Wt)」及び「モーメンタムmt」から「複数の重みWt」を更新し、「1エポック」の「学習」を通じて「モーメンタムmt」を「累積する」ことは、本願発明における「モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する」ことに相当する。

（４）引用発明の「ゼロから深層モデルの量子化認識トレーニング(QAT)を可能にする」との構成から、引用発明の「量子化認識トレーニング(QAT)」は、「深層モデル」を「ゼロから」、すなわち、当該「深層モデル」を特徴づけるパラメータが何ら設定されていない状態から学習を開始するものであるといえる。
また、引用発明の「フル精度(FP)モデルの学習の1エポックから勾配を累積したモーメンタムmtを、勾配近似誤差を制御するのに十分であるとして、QATのオプティマイザのモーメンタムに設定する」との構成から、引用発明の「フル精度(FP)モデル」の「学習の1エポックから勾配を累積したモーメンタムmt」は、「QATのオプティマイザ」の「モーメンタム」として設定されるものであるといえる。
ここで、「QAT」は「深層モデル」を「ゼロから」学習するものであるから、「QATのオプティマイザ」に設定される「モーメンタム」は、「深層モデル」に“初期値”として設定される“初期モーメンタム値”と言い得るものである。
したがって、上記（１）の検討も踏まえると、引用発明における「フル精度(FP)モデルの学習の1エポックから勾配を累積したモーメンタムmtを、勾配近似誤差を制御するのに十分であるとして、」「深層モデル」を「ゼロから」学習する「QAT」の「オプティマイザのモーメンタムに設定する」ことは、本願発明における「前記決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する」ことに相当する。

（５）引用発明の「QATでの各更新ステップにおいて、最初は、複数の重みWt,qに対して計算された勾配g(Wt,q)及び割り当てたモーメンタムから複数の重みWt,qを更新し、その後は、勾配g(Wt,q)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmt,qから複数の重みWt,qを更新する」との構成から、引用発明の「QAT」は、「勾配g(Wt,q)」及び「モーメンタム」から「複数の重みWt,q」を更新するものであり、特に、最初の更新は上記（４）で検討した「オプティマイザ」に割り当てた「モーメンタム」に基づいて「複数の重みWt,q」を更新するものであるといえる。
ここで、上記（４）で検討したとおり、引用発明の「QAT」は、「深層モデル」を学習するものである。なお、モデルの学習に際して学習データを利用することは、本願優先日における技術常識である。
したがって、引用発明における「QAT」が、最初は「勾配g(Wt,q)」及び「オプティマイザ」に割り当てた「モーメンタム」に基づいて「複数の重みWt,q」を更新し、その後は「勾配g(Wt,q)」及び「以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmt,q」から「複数の重みWt,q」を更新することは、本願発明における「前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする」ことに相当する。

（６）引用発明の「QATでの各更新ステップにおいて、最初は、複数の重みWt,qに対して計算された勾配g(Wt,q)及び割り当てたモーメンタムから複数の重みWt,qを更新し、その後は、勾配g(Wt,q)及び以前の時間ステップで計算された勾配の痕跡を累積したモーメンタムmt,qから複数の重みWt,qを更新するとの構成から、引用発明の「複数の重みWt,q」は各更新ステップで更新され、「モーメンタムmt,q」も勾配の痕跡を累積するものであるから、各更新ステップで更新されるものであるといえる。
したがって、引用発明における「複数の重みWt,q」及び「モーメンタムmt,q」は、本願発明における「複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む」「前記パラメータ値」に相当する。

（７）よって、本願発明と引用発明とは、以下の点において一致する。

少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法において、
モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階；
前記決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する段階；および
前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含み、
前記パラメータ値は複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む、人工ニューラルネットワークモデル学習方法。

４ 新規性、進歩性について
上記３より、本願発明と引用発明は一致し、相違点はないから、本願発明と引用発明は同一であり、新規性を有さない。
本願発明が引用文献１に記載された発明である以上、本願発明は進歩性を有さない。

５ 請求人の主張について
請求人は、意見書、審判請求書及び上申書において、引用文献１に対して新規性喪失の例外規定を適用することができる旨を主張しており、その内容は、概略、以下のとおりである。

（１）意見書における主張
「証明書における「公開の事実」には、２０２０年６月１７日に公開者である「ユ ヨンジュン（Young Joon YOO）、キム テフン（Tae Hoon KIM）、ヤン ジフン（Jihoon Yang）」が「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」について公開したことが記載されています。これは、拒絶理由通知書に記載された引用文献１と同じ文献を公開の事実として提供することを意図するものです。すなわち、「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」という文献をハードコピーで提出する代わりに電子的に提出しました。
審査官殿は、「引用文献１は、https://arxiv.org/abs/2006.09679v1で公開されており、特許法第30条第2項の規定の適用を受けることができる発明であることを証明する書面が提出されていない」と指摘していますが、証明書において提出した公開の事実から特定される文献は、引用文献１そのものです。
証明書の「公開の事実」から引用文献１が一意に特定できるように、証明書を提出した意図は、引用文献１を新規性の喪失の例外の適用を受けようとする文献とすることにあります。
ここで、審査基準第III部 第2章 第5節 発明の新規性喪失の例外の2.3.2において以下のように記載されています。
「審査官は、その提出された「証明する書面」によって要件1及び2を満たすことについて証明されたか否かを判断する。例えば、2.3.1に示した書式に従った「証明する書面」と同程度の内容が記載されていれば、審査官は、原則として、要件1及び2を満たすことについて証明されたと判断し、第2項の規定の適用を認める。」
この審査基準の記載から、仮に証明書に「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」という文献をハードコピーで添付していた場合には、原則として、第30条第2項の規定の適用が認められていたことになります。一方、便宜的にハードコピーと同じ内容のURLを記載したことによって、第30条第2項の規定の適用が認められないというのは不合理であると思料いたします。
…（中略）…
証明書は、インターネットという仮想的な公開場所における公開の事実を証明するものですので、証明書によって特定される引用文献１を新規性の喪失の例外の適用を受ける刊行物として考慮して下さいますようお願い申し上げます。」

（２）審判請求書における主張
「証明書における「公開の事実」には、２０２０年６月１７日に公開者である「ユ ヨンジュン（Young Joon YOO）、キム テフン（Tae Hoon KIM）、ヤン ジフン（Jihoon Yang）」が「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」について公開したことが記載されています。これは、拒絶理由通知書に記載された引用文献１と同じ文献を公開の事実として提供することを意図するものです。すなわち、「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」という文献をハードコピーで提出する代わりに電子的に提出しました。
審査官殿は、「引用文献１は、https://arxiv.org/abs/2006.09679v1で公開されており、特許法第30条第2項の規定の適用を受けることができる発明であることを証明する書面が提出されていない」と指摘していますが、証明書において提出した公開の事実から特定される文献は、引用文献１そのものです。
証明書の「公開の事実」から引用文献１が一意に特定できるように、証明書を提出した意図は、引用文献１を新規性の喪失の例外の適用を受けようとする文献とすることにあります。
発明の新規性喪失の例外規定は、刊行物への論文発表等によって自らの発明を公開した後に、その発明について特許出願をしても一切特許を受けることができないとすることは、発明者にとって酷な場合もあり、また、産業の発達への寄与という特許法の趣旨にもそぐわないという趣旨で設けられています。
そのため、発明の新規性喪失の例外規定の適用を受けるための手続きとして、以下が規定されています。
（１）出願と同時に、発明の新規性喪失の例外規定の適用を受けようとする旨を記載した書面を提出する。
（２）出願から３０日以内に、発明の新規性喪失の例外規定の適用の要件を満たすことを証明する書面を提出する。
ここで、審査基準第ＩＩＩ部 第２章 第５節 発明の新規性喪失の例外の２．３．２において以下のように記載されています。
「審査官は、その提出された「証明する書面」によって要件１及び２を満たすことについて証明されたか否かを判断する。例えば、２．３．１に示した書式に従った「証明する書面」と同程度の内容が記載されていれば、審査官は、原則として、要件１及び２を満たすことについて証明されたと判断し、第２項の規定の適用を認める。」
この審査基準の記載から、仮に証明書に「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」という文献をハードコピーで添付していた場合には、原則として、第30条第2項の規定の適用が認められていたことになります。一方、便宜的にハードコピーと同じ内容のＵＲＬを記載したことによって、第30条第2項の規定の適用が認められないというのは、発明者にとって酷であり、また、産業の発達への寄与という特許法の趣旨にもそぐわないことになります。よって、証明書によって特定される引用文献１を新規性の喪失の例外の適用を受ける刊行物として考慮して下さいますようお願い申し上げます。」

（３）上申書における主張
「 １．発明の新規性の喪失の例外の規定の適用を受けるための証明書について
…（中略）…
証明書における「公開の事実」には、2020年6月17日に公開者である「ユ ヨンジュン(Young Joon YOO)、キム テフン(Tae Hoon KIM)、ヤン ジフン(Jihoon Yang)」が「StatAssist & GradBoost: A Study on optimal INT8 Quantization-aware Training from Scratch」について公開したことが記載されています。
ここで、ホームページのアドレスとして以下のアドレス(以下、researchgateのアドレスという)が記載されています。
https://www.researchgate.net/publication/342258905_StatAssist_GradBo
ost_A_Study_on_Optimal_INT8_Quantization-aware_Training_from_Scratch

２．公開の事実としてresearchgateのアドレスを記載した経緯について
新規性の喪失の例外の規定の適用を受けようとする特許出願に関して、出願人から、提出物件の通り公開の事実が送られてきました。
出願人から提供された公開の事実に対して、2020年6月17日にarxivにアップロードされた文献を検索しました。なお、arxivにアップロードされた文献にはバージョン番号が付与されており、v1が最初の公開であることを示しています。
2023年6月29日における「StatAssist & GradBoost: A Study on Optimal INT8 Quantization-aware Training from Scratch」の検索結果は以下の通りです。

検索結果にて表示されるarxivの文献名はv3及びv4の文献名である「Towar
ds Quantization-Aware Network Architecture Search」に更新されています。その結果、v1の文献名である「StatAssist & GradBoost: A Study on O
ptimal INT8 Quantization-aware Training from Scratch」は検索結果に表示されません。証明書提出日である2021年1月21日においても既にv3及びv4がアップロードされていますので、researchgateとarxivの検索結果に限っては2023年6月29日の検索結果と同じであると推定することができます。
また、検索結果にて表示されるresearchgateの文献名は、「StatAssist &
GradBoost: A Study on Optimal INT8 Quantization-aware Training fro
m Scratch」となっており、その日付は2020年6月17日となっています。
したがって、researchgateのアドレスが最初の公開であるv1のアドレスであると認識して、researchgateのアドレスを公開の事実として提出しました。

３．researchgateとarxivの関係
researchgateのTerms of Use(https://www.researchgate.net/terms-of
-service)における3. Scope of the Serviceには、researchgateのサー
ビスについて、以下の記載があります。
synchronize content such that the Service stores or "mirrors" content stored on your or a third party’s computer system by storing such content on equipment owned or operated by ResearchGate;
すなわち、researchgateのサービスは、arxivといった他のサーバに格納された文献の内容をそのままコピーして同期させているに過ぎません。
researchgateのサービスによって、発明者によるarxivへのアップロードという1つの公開行為に対して、同じ文献に到達する経路が2つ発生することになりました。2つの経路によって示される情報は、どちらも最初の公開である2020年6月17日にarxivにアップロードされたv1の文献を示しています。このように、証明書において提出した公開の事実は、最初の公開である2020年6月17日にarxivにアップロードされた文献を示すものであり、最初の公開の事実を隠蔽することを意図するものではありません。また、researchgateのアドレスによって特定される文献には、arxivのスタンプが押されており、arxivにおいて公開された文献あるという事実も当業者に理解できる他、スタンプには文献番号（2006.09679v1）と投稿日（17 June 2020）も含まれています。

４．むすび
上記の事情から公開の事実に錯誤が生じやすい状況にあり、令和3年1月21日に提出した新規性の喪失の例外証明書におけるホームページのアドレスを以下のアドレスに読み替えて御審理下さいますようお願い申し上げます。
https://arxiv.org/abs/2006.09679v1
なお、令和4年4月5日の拒絶理由通知とともに送付されてきた非特許文献は、2020年8月16日にarxivに投稿されたv2の文献であり、このことからも錯誤が生じやすい状況にあったことが分かるものと思料します。」

（４）請求人の主張についての検討
ア 引用文献１と同じ文献を証明書で提出しているという主張
上記（１）及び（２）から、請求人は、審査基準の記載を引用した上で、証明書の「公開の事実」は、引用文献１と同じ文献を公開の事実として提供することを意図して、ハードコピーで提出する代わりに電子的に提出したものであり、仮に文献をハードコピーで添付していた場合には、第30条第2項の適用が認められていたものであるから、便宜的にハードコピーと同じ内容のＵＲＬを記載したことによって、同項の適用が認められないことは不合理である旨を主張しているものと解される。

本件出願において請求人が提出した「証明書」からは、上記第６の１に示すとおり、「証明書」に記載された上記「例外適用発明」に対して新規性喪失の例外規定が適用される。
しかしながら、引用文献１を「公開された発明」とした「証明書」は提出されていないから、同条第３項に規定する手続がなされていない引用文献１について、新規性喪失の例外規定を適用することができない。

なお、上記第４の２に示すとおり、特許法第30条第2項では、権利者の行為に起因して出願より先に公開された発明が複数存在する場合に、そのそれぞれについて同条第３項に係る「証明書」を提出しなければならないところ、複数の公開が互いに関連している場合には、出願人がそのすべてについて「証明書」を作成して提出すること、また、特許庁においても提出されたすべての「証明書」を確認する必要がある。これら双方の負担に鑑みると、関連する複数の公開については、複数の公開が権利者の行為に起因してなされたことに鑑みれば、複数の公開のうちいずれが最先のものであるかは当然に権利者（本件においては出願人）が把握しているところ、複数の公開の起点となる最初に公開された発明についてのみ「証明書」の提出を求めた上で、最初の公開以降に公開された発明について、「証明書」の提出を必ずしも求めないようにするという審査基準の運用は、出願人が「証明書」を作成する負担を軽減するとともに、特許庁においても、起点となる最初に公開された発明のみについて確認をすれば足りるため、双方にとって合理的なものであるといえる。
したがって、特許法第30条の規定ならびにその運用については、同条第３項の規定に沿って「証明書」の提出を原則とした上で、審査基準に示す条件を満たした場合についてのみ、「証明書」が提出されていなくても同条第２項の新規性喪失の例外規定を適用するものであり、請求人が主張するように「証明書」に記載されたものと同じ文献であることのみをもって、一律に「証明書」に記載された「公開された発明」と同様の発明に対して新規性喪失の例外規定が適用されるものではない。
そして、上記第６の２で既に検討したとおり、引用文献１は、「例外適用発明」の公開以降に公開された発明ではないから、「証明書」が提出されていなくても、発明の新規性喪失の例外規定を適用することができるとする審査基準に示す条件を満たすものにも該当しない。

また、当該文献をハードコピーで提出した場合であっても、新規性喪失の例外規定が適用されるのは、「証明する書面」の「公開の事実」に記載されたＵＲＬに基づく例外適用発明に限られるものであり、ハードコピーと同じ内容のＵＲＬを記載したことによって新規性喪失の例外規定の適用が認められないというのは不合理であるとする主張は失当である。

したがって、当該主張は採用することができない。

イ 公開の事実に錯誤が生じやすい状況であったという主張
上記（３）から、請求人は、請求人代理人が証明書を提出する時点において、文献名称に基づく検索を行ったものの、arXivのアドレスで公開された引用文献１が検索結果に表示されず、他方で、検索結果に表示された ResearchGate のアドレスで公開された例外適用発明を「公開の事実」に記載したこと、ResearchGate は、arXiv などの他のサーバに格納された文献をそのままコピーして同期するもので、arXiv のスタンプから、ResearchGate のアドレスで公開された文献が arXiv で公開された文献であることを当業者が理解できることを主張するとともに、「公開の事実」に錯誤が生じやすい状況であったとして、証明書に記載されたホームページのアドレスを「https://arxiv.org/abs/2006.09679v1」に読み替えて審理することを求める旨を主張している。

しかしながら、当該主張は請求人代理人の事情にすぎず、証明書に記載されたホームページのアドレスを「https://arxiv.org/abs/2006.09679v1」に読み替えてまで審理する合理的な理由があるとは認められないから、当該主張は採用することができない。

第８ むすび
以上のとおり、本願発明は、引用文献１に記載された発明であるから、特許法第29条第1項第3号に該当し、特許を受けることができない。また、本願発明は、引用文献１に記載された発明に基いて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。
 
別掲 （行政事件訴訟法第４６条に基づく教示） この審決に対する訴えは、この審決の謄本の送達があった日から３０日（附加期間がある場合は、その日数を附加します。）以内に、特許庁長官を被告として、提起することができます。

審判長 林 毅
出訴期間として在外者に対し９０日を附加する。
 
審理終結日 2024-02-08 
結審通知日 2024-02-13 
審決日 2024-02-27 
出願番号 P2021-003948
審決分類 P 1 8・ 113- WZ (G06N)
P 1 8・ 121- WZ (G06N)
最終処分 02   不成立
特許庁審判長 林 毅
特許庁審判官 稲垣 良一
吉田 美彦
発明の名称 人工ニューラルネットワークモデル学習方法およびシステム  
代理人 伊東 忠彦  
代理人 宮崎 修  
代理人 伊東 忠彦  
代理人 宮崎 修  
代理人 伊東 忠重  
代理人 伊東 忠重  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ