異議の決定｜2020-700120 - 特許審決データベース

会員機能

ランキング

請求人別審判件数

判例データベース

審決データベース

ポートフォリオ機能

ポートフォリオを新規に作成して保存		追加
既存のポートフォリオに追加保存		追加

この審決の個人情報、企業機密に関する修正依頼をする

PDF	PDFをダウンロード

審決分類	審判全部申し立て特36条6項1、2号及び3号請求の範囲の記載不備 G05D 審判全部申し立て特36条4項詳細な説明の記載不備 G05D 審判全部申し立てただし書き1号特許請求の範囲の減縮 G05D 審判全部申し立てただし書き3号明りょうでない記載の釈明 G05D 審判全部申し立て発明同一 G05D 審判全部申し立て 2項進歩性 G05D
管理番号	1393041
総通号数	13
発行国	JP
公報種別	特許決定公報
発行日	2023-01-27
種別	異議の決定
異議申立日	2020-02-27
確定日	2022-10-18
異議申立件数	1
訂正明細書	true
事件の表示	特許第６５６７２０５号発明「機械学習装置、補正パラメータ調整装置および機械学習方法」の特許異議申立事件について、次のとおり決定する。
結論	特許第６５６７２０５号の明細書、特許請求の範囲を訂正請求書に添付された訂正明細書、特許請求の範囲のとおり、訂正後の請求項〔１～１０〕、１１について訂正することを認める。特許第６５６７２０５号の請求項１～１１に係る特許を維持する。
理由	第１手続の経緯特許第６５６７２０５号の請求項１～１１に係る特許についての出願は、２０１８年（平成３０年）６月１４日を国際出願日として出願されたものであり、令和１年８月９日にその特許権の設定登録がされ、令和１年８月２８日に特許掲載公報が発行された。本件特許異議の申立ての主な経緯は、次のとおりである。令和２年２月２７日：特許異議申立人藤江桂子（以下「特許異議申立人」という。）による請求項１～１１に係る特許に対する特許異議の申立て令和２年５月１１日付け：取消理由通知令和２年６月２４日：特許権者と審判合議体との面接令和２年７月１３日：特許権者による意見書及び訂正請求書の提出令和２年８月１８日：特許異議申立人による意見書の提出令和３年２月４日付け：訂正拒絶理由通知令和３年２月２５日付け：特許権者と審判合議体との電子メール及び電話での応対の記録令和３年３月１０日：特許権者による意見書及び手続補正書の提出令和３年５月２６日付け：取消理由通知（決定の予告）令和３年７月８日付け：特許権者と審判合議体との電子メール及び電話での応対の記録令和３年７月２９日：特許権者による意見書及び訂正請求書の提出令和３年９月３日：特許異議申立人による意見書の提出令和４年３月９日付け：取消理由通知（決定の予告）令和４年４月２８日付け：特許権者と審判合議体との電子メール及び電話での応対の記録令和４年５月１２日：特許権者による意見書及び訂正請求書の提出令和４年６月２１日：特許異議申立人による意見書の提出第２訂正の適否１訂正請求書による訂正の内容令和４年５月１２日提出の訂正請求書により、特許権者は、特許請求の範囲の訂正を求めているところ、訂正事項は以下のとおりである。（下線部は、訂正により変更又は追加された箇所を示す。）なお、令和２年７月１３日に提出され、令和３年３月１０日に補正された訂正請求書による訂正の請求及び令和３年７月２９日に提出された訂正請求書による訂正の請求は、取り下げられたものとみなす。（１）訂正事項１特許請求の範囲の請求項１における「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された特徴量と、」との記載を、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、」に訂正する。（請求項１の記載を引用する請求項２～１０も同様に訂正する。）（２）訂正事項２特許請求の範囲の請求項１における「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する学習部と、」との記載を、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、」に訂正する。（請求項１の記載を引用する請求項２～１０も同様に訂正する。）（３）訂正事項３願書に添付した明細書の段落【０００７】に記載された「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、モータ駆動装置の駆動データおよび補正機能の種類に基づいて計算された特徴量と、補正パラメータとを状態変数として観測する状態観測部と、状態変数に基づいて作成される訓練データセットに従って、補正パラメータを補正機能毎に学習する学習部と、を備えることを特徴とする。」を「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、補正機能の種類に基づいて、モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、補正パラメータとを状態変数として観測する状態観測部と、状態変数に基づいて補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習する学習部と、を備えることを特徴とする。」に訂正する。（４）訂正事項４特許請求の範囲の請求項１１における「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された特徴量と、」との記載を、訂正事項１と同様に、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、」に訂正する。（５）訂正事項５特許請求の範囲の請求項１１における「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習するステップと、」との記載を、訂正事項２と同様に、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習するステップと、」に訂正する。２訂正の対象となる請求項（一群の請求項）本件訂正のうち、訂正事項１及び２に係る訂正は、請求項１についての訂正であり、訂正事項３に係る訂正は、明細書の記載について、訂正後の請求項１の記載に整合させる訂正であるところ、請求項２～１０は請求項１を引用する請求項であるから、訂正事項１～３に係る訂正は、一群の請求項〔１～１０〕に対して請求されたものである。また、本件訂正のうち、訂正事項４及び５に係る訂正は、請求項１１に対して請求されたものである。３本件訂正の目的の適否、新規事項の有無、特許請求の範囲の拡張・変更の存否（１）訂正事項１、２についてア訂正の目的訂正事項１は、特許請求の範囲の請求項１について、訂正前の「特徴量」が、「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された」ものとされていたのを、「補正機能の種類に基づいて」、「モータ駆動装置の駆動データから」、「計算により切り取られ抽出」されるものであること、すなわち、特徴量を特定するために必要な計算の内容を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第120条の5第2項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。訂正事項２は、特許請求の範囲の請求項１について、訂正前の「学習部」が、「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」ものとされていたのを、前記状態変数に基づいて「前記補正機能毎に」作成される訓練データセットに従って、「前記訓練データセットに含まれる前記状態変数を用いて」前記補正パラメータを前記補正機能毎に学習するもの、すなわち、学習に用いる訓練データセットが補正機能毎に作成されるものであること、学習が訓練データセットに含まれる状態変数を用いて行われること（訓練データセットには状態変数が含まれ、当該状態変数を用いて学習すること）を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第120条の5第2項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。イ新規事項、特許請求の範囲の拡張・変更の存否訂正事項１、２に関し、願書に添付した明細書（以下「本件特許明細書」という。）の段落【００１７】には、「アルゴリズム選択部６１は、補正機能情報から調整対象となる補正機能を示す情報を取得し、補正機能ごとに学習用駆動データＤｅから特徴量を抽出するために使用するアルゴリズムを選択する。・・・アルゴリズム記憶部６２には、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドエリミネイトフィルタなどの各種フィルタ、運動方向反転位置検出、速度ゼロ近傍検出、コーナ部検出などの運動特徴波形抽出、データ切り取り処理などを実行するための計算アルゴリズムを示す関数群が格納されている。データの切り取りは、データを切り取って切り取った部分を抽出することを指す。特徴量計算部６３は、アルゴリズム選択部６１から入力される計算アルゴリズム選択指令に基づいて、使用する計算アルゴリズムをアルゴリズム記憶部６２から取出して、取出した計算アルゴリズムを用いて、学習用駆動データＤｅから補正機能ごとに特徴量を計算する。」との記載があり、段落【００１８】には、「摩擦補正機能については、アルゴリズム選択部６１は、運動方向反転位置検出、運動方向反転時近傍のデータ切り取りを選択する。学習用駆動データＤｅに、位置指令、位置フィードバック、モータ電流、理想的な位置に対する実際の位置のデータが含まれている場合、特徴量計算部６３は、それぞれのデータに関して、選択された計算アルゴリズムを適用して特徴量を算出する。また、振動補正機能については、アルゴリズム選択部６１は、運動停止直後のデータの切り取り、バンドパスフィルタを選択する。」との記載があるところ、データ切り取り処理は計算アルゴリズムによりなされるもの、すなわち、データ切り取りは計算によるものであり、したがって、上記段落【００１７】、【００１８】の記載から、特徴量が、補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出されるものであることが理解できる。また、本件特許明細書の段落【００１９】には、「機械学習装置１００は、補正機能選択部１２から入力される補正機能情報および補正パラメータ情報と、特徴量抽出部１４から入力される特徴量Ｆｖとに基づいて、補正パラメータを特徴量Ｆｖごとに学習する。」、段落【００２０】には、「状態観測部１０１は、補正パラメータ情報および特徴量を用いて、補正パラメータと、補正機能に基づいて抽出された特徴量とを状態変数として観測する。状態観測部１０１は、状態変数に基づいて、補正機能毎に訓練データセットを作成して出力する。学習部１０２は、状態観測部１０１が状態変数に基づいて作成した訓練データセットを用いて、特徴量毎に、つまり、補正機能毎に補正パラメータの学習を行い、学習結果Ｆｒを出力する。」と記載されるところ、この記載から、訓練データセットは補正機能毎に作成されるものであり、当該訓練データセットは状態変数に基づいて作成されるものであるから状態変数が含まれること、状態変数が含まれる訓練データセットを用いて学習が行われること（状態変数を用いて学習がなされること）が理解できる。そうすると、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する」ことは本件特許明細書に記載された事項又は当該記載された事項から当業者にとって自明な事項である。よって、訂正事項１、２に係る訂正は、本件特許明細書に記載された事項の範囲内で行われるものであるから新規事項に該当しない。また、訂正事項１、２に係る訂正は、特許請求の範囲の減縮をするものであり、実質上特許請求の範囲を拡張し、又は変更するものに該当しないことは明らかであるから、特許法第120条の5第9項において準用する同法第126条第5項、第６項の規定に適合する。（２）訂正事項３についてア訂正の目的訂正事項３に係る訂正は、上記訂正事項１、２により請求項１が訂正されることに伴い、本件特許明細書の段落【０００７】の記載を請求項１の記載と整合させるために行われるものであるから、許法第120条の5第2項ただし書第３号の明瞭でない記載の釈明を目的とする。イ新規事項、特許請求の範囲の拡張・変更の存否訂正事項３に係る訂正が新規事項及び特許請求の範囲の拡張又は変更に当たらないことは上記（１）イについて記載したと同様であるから、特許法第120条の5第9項において準用する同法第126条第5項、第６項の規定に適合する。（３）訂正事項４、５についてア訂正の目的訂正事項４は、特許請求の範囲の請求項１１について、訂正前の「特徴量」が、「前記モータ駆動装置の駆動データおよび前記補正機能の種類に基づいて計算された」ものとされていたのを、「補正機能の種類に基づいて」、「モータ駆動装置の駆動データから」、「計算により切り取られ抽出」されるものであること、すなわち、訂正事項１と同様に、特徴量を特定するために必要な計算の内容を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第120条の5第2項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。訂正事項５は、特許請求の範囲の請求項１１について、訂正前の「学習部」が、「前記状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」ものとされていたのを、前記状態変数に基づいて「前記補正機能毎に」作成される訓練データセットに従って、「前記訓練データセットに含まれる前記状態変数を用いて」前記補正パラメータを前記補正機能毎に学習するもの、すなわち、訂正事項２と同様に、学習に用いる訓練データセットが補正機能毎に作成されるものであること、学習が訓練データセットに含まれる状態変数を用いて行われること（訓練データセットには状態変数が含まれ、当該状態変数を用いて学習すること）を限定することで特許請求の範囲を減縮しようとするものであるから、この訂正の目的は、特許法第120条の5第2項ただし書第１号の特許請求の範囲の減縮を目的とするものに該当する。イ新規事項、特許請求の範囲の拡張・変更の存否訂正事項４、５に係る訂正が新規事項及び特許請求の範囲の拡張又は変更に当たらないことは上記（１）イについて記載したと同様であるから、特許法第120条の5第9項において準用する同法第126条第5項、第６項の規定に適合する。４むすび訂正事項１～５に係る訂正は、特許法第120条の5第2項ただし書第１号又は第３号に掲げる事項を目的とするものであり、かつ、同条第９項で準用する同法第126条第5項及び第６項の規定に適合する。したがって、明細書及び特許請求の範囲を、訂正請求書に添付された訂正明細書及び訂正特許請求の範囲のとおり、訂正後の請求項〔１～１０〕、１１について訂正することを認める。第３本件発明上記第２のとおり、本件訂正は認められるから、本件の請求項１～１１に係る発明（以下「本件発明１」等という。また、訂正後の明細書を「本件明細書」という。）は、次の事項により特定されるものである。「【請求項１】複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、を備えることを特徴とする機械学習装置。【請求項２】前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項１に記載の機械学習装置。【請求項３】前記特徴量は、複数次元のベクトル量であり、前記補正機能毎の前記駆動データの特性を示すデータであることを特徴とする請求項１または２に記載の機械学習装置。【請求項４】前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部と、を有することを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。【請求項５】前記関数更新部は、前記補正機能毎に前記関数を更新することを特徴とする請求項４に記載の機械学習装置。【請求項６】請求項１から５のいずれか１項に記載の機械学習装置と、前記複数の種類の補正機能のうちの１つを選択する補正機能選択部と、前記駆動データを取得する駆動データ取得部と、選択された前記補正機能と、取得された前記駆動データとに基づき、前記特徴量を抽出する特徴量抽出部と、前記補正パラメータの調整要件を入力する調整要件入力部と、前記学習部の学習結果に基づいて、前記調整要件を満たす前記補正パラメータを決定する補正パラメータ決定部と、を備えることを特徴とする補正パラメータ調整装置。【請求項７】前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項６に記載の補正パラメータ調整装置。【請求項８】前記機械装置の駆動データは、前記機械装置に設置したセンサから取得した検出データであることを特徴とする請求項７に記載の補正パラメータ調整装置。【請求項９】前記補正パラメータ決定部は、前記学習結果に基づいて補正パラメータを計算し、計算した前記補正パラメータを前記モータ駆動装置に送信する補正パラメータ計算部と、計算した前記補正パラメータによる駆動結果が前記調整要件を満たすか否かを評価する補正パラメータ評価部と、前記補正パラメータ評価部の評価結果に基づいて、前記補正パラメータの調整を終了するか否かを判定する終了判定部と、を備えることを特徴とする請求項６から８のいずれか１項に記載の補正パラメータ調整装置。【請求項１０】前記補正パラメータ評価部は、実際に前記モータ駆動装置を駆動したときに取得される駆動データ、および、前記モータ駆動装置の動きをシミュレーションしたときに取得される駆動データの少なくとも１つを用いて評価を行うことを特徴とする請求項９に記載の補正パラメータ調整装置。【請求項１１】複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習方法であって、機械学習装置が、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測するステップと、前記機械学習装置が、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習するステップと、を含むことを特徴とする機械学習方法。」第４当審が令和４年３月９日付け取消理由通知（決定の予告）で通知した取消理由について１取消理由の概要令和４年３月９日付けで、当審において令和３年７月２９日付け訂正請求書により訂正された請求項１～１１に対し通知した取消理由通知（決定の予告）の理由（以下「取消理由」という。）の概要は以下のとおりである。請求項１～１１に係る発明は、本件特許出願の日前の特許出願であって、本件特許出願後に出願公開がされた甲第７号証の特許出願の願書に最初に添付した明細書、特許請求の範囲又は図面に記載された発明と同一であり、しかも、本件特許出願の発明者が甲第７号証の特許出願に係る上記の発明をした者と同一ではなく、また本件特許出願の時において、その出願人が甲第７号証の特許出願の出願人と同一でもないから、請求項１～１１に係る特許は、特許法第29条の2（拡大先願）の規定に違反してされたものである。・証拠甲第７号証：特願２０１８－７７６８６号（特開２０１９－１８５５３９号）２取消理由の判断上記第２のとおり、本件訂正は認められるところ、訂正後の請求項に係る発明を基に取消理由（上記１）について検討する。（１）甲第７号証の記載事項等甲第７号証（以下「甲７」という。）の特許出願は、本件特許の出願日（国際出願日）よりも前の平成３０年４月１３日に出願され、本件特許の出願日よりも後の令和１年１０月２４日に出願公開がされたものであり、本件特許とは発明者及び出願人が異なるところ、甲７の特許出願の願書に最初に添付した明細書には、以下の事項が記載されている（下線は当審で付与した。）。ア「【０００１】本発明は、少なくとも２軸以上を駆動するモータを制御する制御装置と制御装置に対して機械学習を行う機械学習装置とを制御する調整装置及びその調整方法に関する。」イ「【０００５】本発明は・・・予め設定される特徴的な加工要素に対応する学習要素毎に学習する機械学習部を備える機械学習装置に対して、複数の特徴的な加工要素を含むワークを加工するための１つの評価用プログラムを動作させて学習する場合に、学習動作の間に、学習要素に応じて対応する機械学習部に基づいて学習することができるように、機械学習部を切り替えて学習するように制御する調整装置及びその調整方法を提供することを目的とする。」ウ「【００２４】以下、本発明の実施形態について図面を用いて詳細に説明する。（第１の実施形態）図１は本発明の第１の実施形態の調整システムを示すブロック図である。調整システム１０は、図１に示すように、ＣＮＣ（Computerized Numerical Control)装置１００、機械学習装置２００、及び調整装置３００を備える。ここで、ＣＮＣ装置１００と機械学習装置２００とは１対１の組とされて、調整装置３００を介して通信可能に接続されている。より具体的には、調整装置３００とＣＮＣ装置１００、及び調整装置３００と機械学習装置２００とは、それぞれ接続インターフェースを介して直接に接続、又はそれぞれネットワークを介して接続されており、相互に通信を行うことが可能である。・・・」エ「【００２６】図３に示すように、位置Ｐ１で、テーブルをＸ軸方向に移動するサーボモータは、停止から回転動作に移り、テーブルはＹ軸方向の直線動作から円弧動作に移る。位置Ｐ２で、テーブルをＹ軸方向に移動するサーボモータは、回転から停止に移り、テーブルは円弧動作からＸ軸方向の直線動作に移る。【００２７】また、図３に示すように、位置Ｑ１で、テーブルをＸ軸方向に移動するサーボモータは回転方向が反転し、テーブルはＸ軸方向に直線反転するように移動する。【００２８】すなわち、図３に示す加工ワークは、Ｐ１～Ｐ２を含む加工要素（以下、「線形的に回転速度が変更される加工要素」、「第１の加工要素」ともいう）と、Ｑ１を含む加工要素（以下、「非線形的に回転速度が変更される加工要素」、「第２の加工要素」ともいう）との、種類の異なる２つの加工要素を含む。【００２９】本実施形態においては、位置Ｐ１及び位置Ｐ２を含む加工要素（第１の加工要素）により、線形的に回転速度が変更されたときの速度指令の最適な補正を行うための第１の学習を行うと共に、位置Ｑ１を含む加工要素（第２の加工要素）により、回転方向が反転する場合に惰走（いわゆる「象限突起」）が発生するときの（象限突起を抑制するための）速度指令の最適な補正を行うための第２の学習を行うものとする。このため、本実施形態においては、機械学習装置が、各々の加工要素に対応する機械学習部を備え、ＣＮＣ装置が、各々の加工要素に対する補正部を備えると共に、各補正部が、自身に対応する機械学習部の学習により生成された制御パラメータを用いて速度指令に対する補正を行う。これら学習の詳細については、後述する。・・・【００３１】＜ＣＮＣ装置１００＞図２はＣＮＣ装置の一構成例を示すブロック図である。説明の便宜上、図２において、調整装置３００及び機械学習装置２００も示している。ここで、ＣＮＣ装置１００は、サーボ制御部を含むものを例示しているが、これに限られない。サーボ制御部を別装置としてもよい。【００３２】図２に示すように、ＣＮＣ装置１００は、制御対象５００のサーボモータ６００を制御する。サーボモータ６００は、制御される軸が少なくとも２軸以上ある場合は軸の数分設けられる。本実施形態では評価用プログラムが少なくとも２軸動作させるので、サーボモータの数は少なくとも２つ設けられる。ここではモータとしてサーボモータを示しているが、スピンドルモータ等の他のモータを用いてもよい。制御対象５００は例えばサーボモータ、サーボモータを含む工作機械，ロボット，産業機械等である。ＣＮＣ装置１００は工作機械、ロボット、又は産業機械等の一部として設けられてもよい。以下、制御対象５００がサーボモータを含む工作機械である場合を例にとって説明する。【００３３】図２に示すように、ＣＮＣ装置１００は、数値制御情報処理部１０１１、記憶部１０１２、減算器１０１３、位置制御部１０１４、加算器１０１５、減算器１０１６、速度制御部１０１７、加算器１０１８、積分器１０１９、第１補正部１０３１＿１及び第２補正部１０３１＿２を備えている。数値制御情報処理部１０１１と記憶部１０１２を除くＣＮＣ装置１００の各構成部はサーボモータ毎に設けられる。第１補正部１０３１＿１は、線形的に回転速度が変更される加工要素（第１の加工要素）に対応し、第２補正部１０３１＿２は、非線形的に回転速度が変更される加工要素（第２の加工要素）に対応する。・・・【００３５】数値制御情報処理部１０１１は、後述の調整装置３００からの実行指示に基づいて、記憶部１０１２から評価用プログラムを読み出して、評価用プログラムを実行する。そうすることで、数値制御情報処理部１０１１は、当該評価用プログラム中に含まれるコードに基づいて位置指令値を作成し、減算器１０１３に出力する。数値制御情報処理部１０１１は、評価用プログラムにより指定される加工形状となるように、送り速度を設定して位置指令値を作成する。【００３６】減算器１０１３は数値制御情報処理部１０１１から位置指令値を受け、位置指令値と位置フィードバックされた検出位置との差を求め、位置偏差として位置制御部１０１４に出力すると共に後述の調整装置３００に対して送信する。」オ「【００３８】第１補正部１０３１＿１は、例えば数式１（以下に数１として示す）で示す伝達関数Ｇｆ（ｓ）で示される補正量計算処理を行い、算出した補正量（以下「第１の補正量」ともいう）を加算器１０１５に出力する。第１補正部１０３１＿１は、第１の加工要素に対応する補正部である。したがって、第１補正部１０３１＿１は、第１の加工要素に係る加工時に補正量を算出する。【数１】第１の実施形態では、伝達関数Ｇｆ（ｓ）の次元を予め設定された値とした場合に、各係数ａ１ｉ、ｂ１ｊ（０≦ｉ，ｊ≦ｎ）を最適なものとするように機械学習する。以下、係数ａ１ｉ、ｂ１ｊをＣＮＣ装置１００の制御パラメータともいう。なお、第１補正部１０３１＿１は、通常のＣＮＣ装置における位置フィードフォワード計算部に対応する。【００３９】第２補正部１０３１＿２は、例えば数式２（以下に数２として示す）で示す、係数のみ異なる同一の伝達関数Ｇｆ（ｓ）で示される補正量計算処理を行い、算出した補正量（以下「第２の補正量」ともいう）を加算器２０１７に出力する。第２補正部１０３１＿２は、第２の加工要素に対応する補正部である。したがって、第２補正部１０３１＿２は、第２の加工要素に係る加工時に補正量を算出する。【数２】【００４０】第１補正部１０３１＿１で用いる伝達関数Ｇｆ（ｓ）の係数と同様に、伝達関数Ｇｆ（ｓ）の次元を予め設定された値とした場合に、各係数ａ２ｉ、ｂ２ｊ（０≦ｉ，ｊ≦ｎ）を最適なものとするように機械学習する。以下、係数ａ２ｉ、ｂ２ｊもＣＮＣ装置１００の制御パラメータともいう。なお、第２補正部１０３１＿２は、通常のＣＮＣ装置におけるバックラッシ補正部に対応する。【００４１】加算器１０１５は、速度指令値と第１補正部１０３１＿１又は第２補正部１０３１＿２の出力値とを加算して、補正された速度指令値として減算器１０１６に出力する。減算器１０１６は加算器１０１５の出力と速度フィードバックされた速度検出値との差を求め、その差を速度偏差として速度制御部１０１７に出力する。【００４２】速度制御部１０１７は、速度偏差に積分ゲインＫ１ｖを乗じて積分した値と、速度偏差に比例ゲインＫ２ｖを乗じた値とを加算して、トルク指令値としてサーボモータ６００に出力する。【００４３】制御対象５００のサーボモータ６００の回転角度位置は、サーボモータ６００に関連付けられた、位置検出部となるロータリーエンコーダによって検出され、検出された信号は速度フィードバックされる速度検出値として利用される。速度検出値は積分器１０１９で積分され、位置フィードバックされる位置検出値として利用される。以上のように、ＣＮＣ装置１００は構成される。【００４４】＜機械学習装置２００＞次に、第１実施形態における機械学習装置２００について説明する。前述したとおり、機械学習装置２００は、２つの機械学習部２１０＿１及び２１０＿２を備え、機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｉ（０≦ｉ≦ｎ）を強化学習する。また、機械学習部２１０＿２は、［数２］で示す第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｊ、ｂ２ｊ（０≦ｊ≦ｎ）を強化学習する。すなわち、機械学習部２１０＿１は、ＣＮＣ装置１００が備える第１補正部１０３１＿１に対応し、機械学習部２１０＿２は、第２補正部１０３１＿２に対応する。【００４５】機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｉの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を状態Ｓとして、当該状態Ｓに係る制御パラメータａ１ｉ、ｂ１ｉの調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。同様に、機械学習部２１０＿２は、［数２］で示す第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｊ、ｂ２ｊの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を状態Ｓとして、当該状態Ｓに係る制御パラメータａ２ｊ、ｂ２ｊの調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。当業者にとって周知のように、Ｑ学習では、或る状態Ｓのとき、取り得る行動Ａのなかから、価値Ｑ（Ｓ，Ａ）の最も高い行動Ａを最適な行動として選択することを目的とする。【００４６】具体的には、エージェント（機械学習装置）は、或る状態Ｓの下で様々な行動Ａを選択し、その時の行動Ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（Ｓ，Ａ）を学習していく。」カ「【００５０】機械学習部２１０＿１は、［数１］で示す第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊに基づいて、予め設定された評価用プログラムを実行することで得られるＣＮＣ装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を含む状態情報Ｓを観測して、行動Ａを決定する。状態情報はフィードバック情報に対応する。機械学習部２１０＿１は、行動Ａをするたびに報酬ｒが返ってくる。ここで、報酬ｒを次のように設定する。行動情報Ａにより状態情報Ｓが状態情報Ｓ´に修正された場合、状態情報Ｓ´に係る修正後の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値よりも大きくなった場合に、報酬の値を負の値とする。【００５１】他方、行動情報Ａにより修正された状態情報Ｓ´に係る修正後の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の制御パラメータａ１ｉ、ｂ１ｊに基づいて動作したＣＮＣ装置１００の位置偏差の集合から所定の評価関数に基づいて算出される値よりも小さくなった場合に、報酬の値を正の値とする。ここで、位置偏差の値の集合とは、前述した加工形状の位置Ｐ１と位置Ｐ２を含む所定の範囲内で計測される位置偏差の集合を意味する。また、評価関数としては、例えば、位置偏差の絶対値の積算値を算出する関数、位置偏差の絶対値に時間の重み付けをして積算値を算出する関数、位置偏差の絶対値の２ｎ（ｎは自然数）乗の積算値を算出する関数、位置偏差の絶対値の最大値を算出する関数等が例示されるが、これに限られるものではない。Ｑ学習では、機械学習部２１０＿１は、例えば、将来にわたっての報酬ｒの合計が最大になる最適な行動Ａを試行錯誤的に探索する。そうすることで、機械学習部２１０＿１は、第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊに基づいて、予め設定された評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態Ｓに対して、最適な行動Ａ（すなわち、最適な制御パラメータａ１ｉ、ｂ１ｊ）を選択することが可能となる。なお、機械学習部２１０＿２については、位置偏差の値の集合を、前述した加工形状の位置Ｑ１を含む所定の範囲内で計測される位置偏差の集合として、読み替えることで説明されるので、詳細な説明は省略する。【００５２】図４は本発明の第１の実施形態の機械学習部２１０＿１又は機械学習部２１０＿２に共通の機能ブロックを示すブロック図である。機械学習部２１０＿１及び機械学習部２１０＿２は、それぞれ状態情報取得部２１１＿１、状態情報取得部２１１＿２、学習部２１２＿１、学習部２１２＿２、行動情報出力部２１３＿１、行動情報出力部２１３＿２、価値関数記憶部２１４＿１、価値関数記憶部２１４＿２、及び最適化行動情報出力部２１５＿１、最適化行動情報出力部２１５＿２、を備える。また、学習部２１２＿１、又は学習部２１２＿２は、それぞれ報酬出力部２１２１＿１、報酬出力部２１２１＿２、価値関数更新部２１２２＿１、価値関数更新部２１２２＿２及び行動情報生成部２１２３＿１、行動情報生成部２１２３＿２を備える。なお、説明の便宜上、機械学習部２１０＿１又は機械学習部２１０＿２を機械学習部２１０として説明する。同様に、状態情報取得部２１１＿１、２１１＿２、学習部２１２＿１、２１２＿２、行動情報出力部２１３＿１、２１３＿２、価値関数記憶部２１４＿１、２１４＿２、及び最適化行動情報出力部２１５＿１、２１５＿２、報酬出力部２１２１＿１、２１２１＿２、価値関数更新部２１２２＿１、２１２２＿２及び行動情報生成部２１２３＿１、２１２３＿２をそれぞれ、状態情報取得部２１１、学習部２１２、行動情報出力部２１３、価値関数記憶部２１４、最適化行動情報出力部２１５、報酬出力部２１２１、価値関数更新部２１２２、及び行動情報生成部２１２３と略する。上述した強化学習を行うために、図４に示すように、機械学習部２１０は、状態情報取得部２１１、学習部２１２、行動情報出力部２１３、価値関数記憶部２１４、及び最適化行動情報出力部２１５を備える。学習部２１２は報酬出力部２１２１、価値関数更新部２１２２、及び行動情報生成部２１２３を備える。【００５３】状態情報取得部２１１は、前述したように、ＣＮＣ装置１００における第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊに基づいて、予め設定された評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む、フィードバック情報となる状態情報Ｓを、後述の調整装置３００を介してＣＮＣ装置１００から取得する。この状態情報Ｓは、Ｑ学習における、環境状態Ｓに相当する。状態情報取得部２１１は、取得した状態情報Ｓを学習部２１２に対して出力する。なお、最初にＱ学習を開始する時点での第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊは、予めユーザの指定により後述の調整装置３００が生成する。本実施形態では、後述の調整装置３００が作成した第１補正部１０３１＿１における伝達関数に係る制御パラメータａ１ｉ、ｂ１ｊ又は第２補正部１０３１＿２における伝達関数に係る制御パラメータａ２ｉ、ｂ２ｊの初期設定値を、強化学習により最適なものに調整する。制御パラメータａ１ｉ、ｂ１ｊ又は制御パラメータａ２ｉ、ｂ２ｊは例えば、初期設定値として、ａ１，０＝ａ２，０＝１、ａ１，１＝ａ２，１＝０、ｂ１，０＝ｂ２，０＝０、ｂ１，１＝ｂ２，１＝制御対象のイナーシャ値としてもよい。また、係数ａ１ｉ、ｂ１ｊ又はａ２ｉ、ｂ２ｊの次元ｍ、ｎを予め設定してもよい。例えば、ａ１ｉ及びａ２ｉについては０≦ｉ≦ｍｂ１ｊ及びｂ２ｊについては０≦ｊ≦ｎとする。【００５４】学習部２１２は、或る環境状態Ｓの下で、ある行動Ａを選択する場合の価値Ｑ（Ｓ，Ａ）を学習する部分である。具体的には、学習部２１２は、報酬出力部２１２１、価値関数更新部２１２２及び行動情報生成部２１２３を備える。【００５５】報酬出力部２１２１は、或る状態Ｓの下で、行動Ａを選択した場合の報酬ｒを前述したとおり、算出する。【００５６】価値関数更新部２１２２は、状態Ｓと、行動Ａと、行動Ａを状態Ｓに適用した場合の状態Ｓ´と、上記のようにして算出された報酬の値ｒと、に基づいてＱ学習を行うことにより、価値関数記憶部２１４が記憶する価値関数Ｑを更新する。なお、価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。オンライン学習、バッチ学習、ミニバッチ学習のいずれかの選択は調整装置３００が行うことができる。オンライン学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移する都度、即座に価値関数Ｑの更新を行うという学習方法である。また、バッチ学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行うという学習方法である。」キ「【００６３】＜調整装置３００＞次に、第１の実施形態における調整装置３００について説明する。図５Ａ及び図５Ｂは調整装置３００の一構成例を示すブロック図である。調整装置３００は、フィードバック情報送信部３０１、パラメータ設定情報取得部３０２、パラメータ修正情報取得部３０３、起動指示出力部３０４、評価用プログラム記憶部３０５、評価用プログラム出力部３０６、評価用プログラム実行指示出力部３０７、フィードバック情報取得部３０８、パラメータ設定情報送信部３０９、パラメータ修正情報送信部３１０、パラメータ初期設定送信部３１１、及び制御部３１２を備えている。更に、制御部３１２は、学習制御部３１２１と判定部３１２２とを備える。」ク「【００７３】調整装置３００からの実行指示を受けた後、ＣＮＣ装置１００の数値制御情報処理部１０１１は、ステップＳ６３において、記憶部１０１２から評価用プログラムを読み出し、評価用プログラムに基づき位置指令値を作成する。ＣＮＣ装置１００はサーボモータ６００を制御し、ステップＳ６４において、第１補正部１０３１＿１の伝達関数の各係数ａ１ｉ、ｂ１ｊの値、第２補正部１０３１＿２の伝達関数の各係数ａ２ｉ、ｂ２ｊの値、並びに評価用プログラムを実行することで取得されるＣＮＣ装置１００の位置偏差情報を含むフィードバック情報を、該フィードバック情報が由来する評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号と共に、調整装置３００に送信する。このフィードバック情報は状態情報Ｓとなる。【００７４】調整装置３００の制御部３１２は、ステップＳ４５で、フィードバック情報をブロック番号と共にフィードバック情報取得部３０８を介して取得し、フィードバック情報送信部３０１を介して、評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号に対応する機械学習部２１０＿１又は２１０＿２に送信する。機械学習部２１０＿１又は２１０＿２はステップＳ３２でフィードバック情報を受信する。・・・【００７６】調整装置３００の制御部３１２は、評価用プログラムによる一連の加工の終了通知を受けると、評価用プログラムの終了通知を受けた回数を記録、更新する。そして、調整装置３００の制御部３１２は、ステップＳ４６において、その回数が所定の回数を超えたか、或いは所定の学習期間を過ぎたかを判断し、機械学習を終了させるか否かの判断を行う。機械学習を終了させない場合には（ステップＳ４６のＮＯ）、ステップＳ４７に移行する。機械学習を終了させる場合には（ステップＳ４６のＹＥＳ）、ステップＳ４９に移行する。調整装置３００は、ステップＳ４７において、機械学習装置２００の機械学習部２１０＿１又は２１０＿２に対して、報酬計算、価値関数更新を指示する。【００７７】機械学習装置２００の機械学習部２１０＿１又は２１０＿２は、ステップＳ３３で報酬計算、価値関数更新の指示を受信すると、ステップＳ３４において、ＣＮＣ装置１００から受信した制御パラメータ、すなわち、自身に対応する第１補正部１０３１＿１の伝達関数の各係数ａ１ｉ、ｂ１ｊの値（制御パラメータの値）又は第２補正部１０３１＿２の伝達関数の各係数ａ２ｉ、ｂ２ｊの値（制御パラメータの値）が初期設定値であるか否かを判断する。言い換えると、制御パラメータが初期設定値（状態情報）Ｓ０の集合であるか、制御パラメータが初期設定値（状態情報）Ｓ０以降の状態情報Ｓの集合であるかを判断する。・・・」ケ「【００８４】機械学習装置２００の機械学習部２１０＿１又は２１０＿２（最適化行動情報出力部２１５）は、ステップＳ３８において、価値関数記憶部２０４に記憶している価値関数Ｑを取得し、取得した価値関数Ｑに基づいて、例えば、初期状態Ｓ０に対して最適化行動情報となる制御パラメータ設定情報を生成し、生成した制御パラメータ設定情報を調整装置３００に対して出力する。【００８５】調整装置３００は、ステップＳ５０において、制御パラメータ設定情報を、送信元が機械学習部２１０＿１又は２１０＿２のいずれであるかを示す情報と共に取得すると、ＣＮＣ装置１００の、制御パラメータ設定情報の送信元に対応する第１補正部１０３１＿１又は第２補正部１０３１＿２に対して出力する。【００８６】ＣＮＣ装置１００は、ステップＳ６７において、調整装置３００から受信した制御パラメータ設定情報に基づいて、制御パラメータ設定情報の送信元に対応する第１補正部１０３１＿１における伝達関数に係る係数ａ１ｉ、ｂ１ｊ、及び第２補正部１０３１＿２における伝達関数に係る係数ａ２ｉ、ｂ２ｊを最適な値に設定する。」上記記載事項から以下の事項が理解できる。コ上記ア～エ、ケより、モータを制御する制御装置（ＣＮＣ装置）に対して機械学習を行うものであり、線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正を行うための第１の学習、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正を行うための第２の学習をそれぞれ行うものであること。サ上記オ～カから、第１の学習、第２の学習は、状態Ｓの下で得られる報酬に基づくＱ学習により、伝達関数の制御パラメータ（係数）が最適なものとなるよう、２つの機械学習部でなされるものであり、補正量は第１補正部、第２補正部で算出されること。また、状態情報は、状態情報取得部２１１で取得されるものであること。また、評価関数には位置偏差の値の集合が入力されるものであること（段落【００５１】）。シ上記エ、クから、「調整装置３００の制御部３１２は、・・・フィードバック情報をブロック番号と共にフィードバック情報取得部３０８を介して取得し、・・・評価用加工プログラムの動作中の加工位置情報又は評価用プログラムのブロック番号に対応する機械学習部２１０＿１又は２１０＿２に送信する」もの（段落【００７４】）であるから、位置偏差情報を含むフィードバック情報（状態情報）を、第１の学習、第２の学習のために、それぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出していること。また、調整装置に送信される位置偏差は、位置指令値と位置フィードバックされた検出位置との差として減算器１０１３により求められること（段落【００３６】）。ス上記カ、クから、「フィードバック情報」は、ＣＮＣ装置１００の位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むものであり、「状態情報」と等価の意味で用いられていること（段落【００５３】、【００７３】、【００７７】）。セ上記キ～クから、調整装置３００の制御部３１２は、機械学習の回数が所定の回数を超えたか、或いは所定の学習期間を過ぎたかを判断し、機械学習を終了させるか否かの判断を行うこと（段落【００７６】）。（２）甲７発明上記（１）から、甲７には以下の発明（以下「甲７発明」という。）が開示されていると認められる。線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正をそれぞれ行う、モータを制御する制御装置において、各加工要素についての速度指令の最適な補正を行うための制御パラメータの第１の学習、第２の学習を、第１の学習部、第２の学習部で行う機械学習装置であって、状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部を有し、位置偏差情報は位置指令値と位置フィードバックされた検出位置との差として求められるものであり、前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部と、を備える機械学習装置。（３）本件発明１について本件発明１と甲７発明との対比、検討をする。甲７発明における、種類の異なる２つの加工要素について、それぞれ最適な補正を行うことは、本件発明１において、複数の種類の補正機能を有することに相当するといえ、甲７発明の「モータを制御する制御装置」は、本件発明１の「モータ駆動装置」に相当する。よって、甲７発明の「線形的に回転速度が変更される位置Ｐ１及びＰ２を含む加工要素である第１加工要素と、非線形的に回転速度が変更される位置Ｑ１を含む加工要素である第２加工要素との種類の異なる２つの加工要素について、線形的に回転速度が変更されたときの速度指令の最適な補正、回転方向が反転する場合に惰走が発生するときの速度指令の最適な補正をそれぞれ行う、モータを制御する制御装置」は、本件発明１の「複数の種類の補正機能を有するモータ駆動装置」に相当する。甲７発明における「各加工要素についての速度指令の最適な補正を行うための制御パラメータの第１の学習、第２の学習を、第１の学習部、第２の学習部で行う」ことは、本件発明１の「モータを制御するための指令値の補正に用いられる補正パラメータを学習する」ことに相当し、甲７発明の「機械学習装置」は、本件発明１の「機械学習装置」に相当する。甲７発明の「状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部」に関し、位置偏差（情報）を求める際に、位置指令値と位置フィードバックされた検出位置との差を求める減算（計算）の処理を含むものであり、第１学習、第２学習それぞれに用いる情報のみを抽出するものであるから、「抽出」により得られた「状態情報」は、本件発明１の「特徴量」に相当するといえる。また、甲７発明の「制御パラメータ」が本件発明１の「補正パラメータ」に相当することは明らかであるところ、甲７発明の「状態情報」は、特徴量に相当する情報と、補正パラメータに相当する制御パラメータを含むから、本件発明１の「状態変数」に相当する。よって、甲７発明の「状態情報取得部で得た位置偏差情報を含む指令、フィードバック、制御パラメータ等のサーボ状態を含むフィードバック情報の状態情報を、第１の学習、第２の学習のためにそれぞれ加工位置情報又は評価用プログラムのブロック番号に対応付けて抽出する調整装置の制御部」は、本件発明１の「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部」と、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部」という限りにおいて相当する。甲７発明の「前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部」に関し、学習のための評価関数に入力される「位置偏差の値の集合」は、位置偏差が状態情報に基づくものであることは明らかであるから、当該「位置偏差の値の集合」は、本件発明１の「前記状態変数に基づいて」「作成される訓練データセット」に相当し、甲７発明の「機械学習部」は、本件発明１の「学習部」に相当する。よって、甲７発明の「前記状態情報に基づいて前記第１の学習、第２の学習のためにそれぞれ作成される位置偏差の値の集合を評価関数に入力することで、第１加工要素、第２加工要素のそれぞれの速度指令に対する補正をする制御パラメータを学習する２つの機械学習部」は、本件発明１の「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部」に相当する。そうすると、本件発明１と甲７発明とは以下の一致点で一致し、相違点において相違する。一致点：複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、を備える機械学習装置。相違点：本件発明１の特徴量は、モータ駆動装置のデータから計算により切り取られ抽出されたものであるのに対し、甲７発明の状態情報（特徴量）は、それに含まれる位置偏差情報を、位置指令値と位置フィードバックされた検出位置との差として求めるものであって、計算により切り取られ抽出されたものではない点。上記相違点について検討する。甲７発明では、状態情報（特徴量）は、それに含まれる位置偏差情報を、位置指令値と位置フィードバックされた検出位置との差として求めるもの（甲７の【００３６】）であるから、減算という計算の処理を含むものといえるが、状態情報（特徴量）を計算により切り取り抽出することについては、甲７の全体を見渡しても記載も示唆もない。また、甲７発明において、状態情報（特徴量）を計算により切り取り抽出を行うことが自明のことともいえない。そうすると、上記相違点は実質的な相違点であるから、本件発明１と甲７発明とは同一の発明ではなく、本件発明１に係る特許が、特許法第29条の2の規定に違反してなされたものとはいえない。（４）本件発明２～１０について上記（３）のとおり、本件発明１に係る特許が、特許法第29条の2の規定に違反してなされたものということはできないものであるところ、本件発明２～１０は、本件発明１の発明特定事項の全てを含むものであるから、上記本件発明１と甲７発明との相違点と同じ相違点を有するものである。よって、本件発明２～１０に係る特許が、特許法第29条の2の規定に違反してなされたものとはいえない。（５）本件発明１１について本件発明１１は、機械学習方法の発明であるところ、甲７には甲７発明に対応する方法の発明も開示されているといえるが、本件発明１１と当該甲７発明に対応する方法の発明を対比すると、上記本件発明１と甲７発明との相違点と同様の相違点を有するものと認められる。そして、当該相違点が実質的な相違点であることは、上記（３）に示したとおりである。よって、本件発明１１に係る特許が、特許法第29条の2の規定に違反してなされたものとはいえない。（６）小括以上のとおり、本件発明１～１１に係る特許は、当審が令和４年３月９日付け取消理由通知（決定の予告）で通知した取消理由である特許法第29条の2（拡大先願）の規定に違反してなされたものとはいえない。第５その他の特許異議申立理由について１特許異議申立理由の概要本件特許異議の申立てにおいて、特許異議申立人が主張した特許異議申立理由であり、令和４年３月９日付け取消理由通知（決定の予告）に採用しなかった理由の要旨は、次のとおりである。（１）進歩性欠如本件発明１～１１は、本件特許出願前に頒布された刊行物である甲第１号証に記載された発明及び周知技術１（甲第２号証）、周知技術２（甲第３号証～甲第５号証）、周知技術３（甲第６号証）に基づいて、当業者が容易に発明することができたものであるから、本件発明１～１１に係る特許は、特許法第29条第2項の規定に違反してされたものである。・証拠甲第１号証：野田他、機械学習の枠組みに基づく能動型探索アルゴリズムのサーボパラメータ調整問題への適用性の検討、計測自動制御学会論文集、平成２９（２０１７）年３月、第５３巻、第３号、ｐ．２１７～２２８甲第２号証：三菱電機株式会社、ＭＩＴＳＵＢＩＳＩＣＮＣＭＤＳ－Ｄ２／ＤＨ２シリーズ取扱説明書、２０１４年６月発行、ｐ．５－１～５－７０（５章サーボ調整）甲第３号証：特開２０１７－１０２６２４号公報甲第４号証：特開２０１７－６８５６３号公報甲第５号証：特開２００９－２４４９３３号公報甲第６号証：特開２００５－７８４７７号公報（２）記載要件違反本件発明１～１１は明確でないから、本件発明１～１１に係る特許は、特許法第36条第6項第2号の規定に違反してされたものである。また、本件明細書の発明の詳細な説明の記載は、当業者がその実施をすることができる程度に明確かつ十分に記載したものでないから、本件発明１、２、４、６～１１に係る特許は、特許法第36条第4項第1号に違反してされたものである。２特許異議申立理由の判断（１）進歩性欠如ア甲第１号証の記載事項等甲第１号証（以下「甲１」という。）には、以下の事項が記載されている（下線は当審で付与した。）。（ア）「１．はじめに産業現場で用いられる制御システムには調整すべきパラメータが存在する。制御パラメータの調整コストを下げるためさまざまなオートチューニング手法が実用化されてきたが、モデル化が困難な制御対象に対して制御性能が厳しく要求される場合には、いわゆる熟練作業者が制御対象の応答を見ながら現物あわせで調整しているのが現状である。このような調整作業はやってみるまで結果がわからない。作業者の熟練度などにより作業の結果と時間にムラが発生し、迅速かつ低コストなシステムインテグレーションを阻害する典型的な難題の１つと捉えられている。その困難さの本質は、未知の目的関数の最適化問題として定式化できるのである。著者らは機械学習とりわけ能動学習のスキームに基づいて、未知の目的関数を最適化する独自の能動型探索アルゴリズムの開発を進めている。同アルゴリズムの提案、パーソナルコンピュータ程度のハードウェア上でソフトウェアとして実装可能であること、ある金属加工機の加工制御パラメータ開発期間を短縮する効果があることを既報した。問題の困難さの本質の解法であるからには同種の困難さを持つ問題への水平展開が可能と考えらえる。よって今後、さまざまな現場の要求を含めた事例への適用性を調べることが課題となる。たとえば、産業メカトロニクス分野で用いられる位置決めサーボシステムのゲイン調整、すなわち制御パラメータの調整に関して、まさに冒頭で述べた課題が発生している。そこで本稿では本アルゴリズムがこの問題にも適用可能かを検討、同時に多目的最適化、誤差因子に対するロバスト化、計算時間の短縮化といった現場の要求を考慮しうるかを報告する。第２章で能動型探索アルゴリズムを説明し、第３章でサーボパラメータのオートチューニング問題の背景について述べ、第４章で同アルゴリズムの適用性を検討する。」（２１７頁左欄１行～右欄１４行）（イ）「３．サーボパラメータの自動調整についてサーボパラメータの自動調整は古くから取り組まれてきた課題であり、１９８０年代後半から定点観測的に動向調査が報告されている。それらの基本原理はさまざまであり、たとえば制御対象のモデルを同定して解析的にパラメータを決定する方法から、特定の特徴量に注目したもの、ヒューリスティックによるものまで、数多くの手法がある。市場に投入される商用の制御システム製品や制御システム設計のソフトウェアツール類についても自動調整機能は必須といえる状況であり、整定時間の短さが厳しく要求されるのに制御対象のメカの剛性が低くて移動速度で稼げないなどの特殊な場面でない限り、自動調整機能は便利に利用されている。その一方で、前述の特殊な場面に遭遇した場合には、人手による調整が実施されており、その自動化が求められている。そこでは、現場ニーズを満たすため、制御対象にダメージを与える発振現象を避けながらの安全な調整、より高ゲインの追求、自動調整に要する時間の短縮、自動調整の適用可能範囲の拡大、などを目標として、企業間の競争領域として研究開発、製品化開発が続けられている。能動型探索アルゴリズムをサーボパラメータの自動調整問題に適用することは、上に述べたような人手で調整しないといけない特殊な場面を想定していることになる。本研究ではそのような場面を、パラメータの変化に対する制御性能の変化を制約条件付きの目的関数をノンパラメットリックモデルで逐次構築しながら同時にパラメータの最適値を探索するという、未知の目的関数の最適化問題として捉えることにした。なお、解法が確立した場面から外れているからこそ特殊となる場面であるから、その類例と適切な解法との対比はにわかには困難である。適用事例を積み重ねながらまずは傾向を分析していくことが必要で、その過程の中で提案するアルゴリズムが適用可能あるいは適用不適切な場面や条件を明確化していくことが重要であると考えている。もちろん同アルゴリズムがすべての場面でサーボパラメータの自動調整に適していないという結論が導かれることは厭わない。」（２２０頁左欄３２行～右欄１８行）（ウ）「４．調整に対する要求仕様を満たす実装の検討前章で述べた能動型探索アルゴリズムが、位置決めサーボシステムの制御パラメータ調整に効を奏するかを確認するにあたり、市場で使用されている位置決めシステムの主要構成のみに抽象化した実験を行なうことにした。すなわち位置決めシステムの最小構成要素であるサーボコントローラ、モータ、ボールねじ、軸受け、リニアガイドほかの機構を組み合わせた実験装置を構築し、制御パラメータを与え、位置決め動作を実行し、動作状態を計測する系を組んだ。定性的な話になるが、実験装置のメカニカル要素の各部材は高剛性素材を使用せず、組み立て作業、据え付け作業についても微調整などに格別の注意を払わずにおいたため、ガタや動きの渋さが部分によって異なるなど、いくばくかの非線形性をはらんでいると考える。このような系に対し、制御パラメータと位置決めストロークを設定し、それらの全組み合わせで位置決め動作させ、パラメータ空間内の全探索データを取得した。なお同じ制御パラメータに対する動作の再現性は今回の実験では問題なく担保されている。」（２２０頁右欄１９行～３６行）（エ）「まず、今回の実験装置の概略構成をFig. 3に示す。これは制御パラメータの調整について、同一コントローラ、同一メカのまま、熟練作業者が行なっている作業を能動型探索アルゴリズムに切り替えて実験する構成である。つぎに位置決めサーボの制御ブロック線図をFig.4に示す。こちらはいわゆる２自由度制御系である。フィードフォワード部について、位置のＰ制御、速度のＰ制御、および機械モデル１／Ｊ・ｓで構成し、フィードバック部について、位置のＰ制御、速度のＰＩ制御で構成してある。フィードフォワード部について、位置応答ゲインをωｐｃ１、速度ゲインをωｓｃ１とし、ωｓｃ１についてはωｓｃ１＝４・Ｊ・ωｐｃ１としωｐｃ１に従属して自動的に定まることとした。またフィードバック部について、位置応答ゲインをωｐｃ２、速度ゲインをωｓｃ２、速度積分時間をＴｉとする。上述の実験装置において、適当な制御パラメータを設定し、適当な移動ストロークを経て位置決めする動作を実行するとFig.5のような波形データが観測され、与えた制御パラメータおよび移動ストロークの組み合わせに対する評価指標値を計測することができる。評価指標としては『許容整定範囲割れ』『整定時間』『オーバーシュート量』があり、これら評価指標は未知の制約条件付きの未知の目的関数を描く。評価値のそれぞれを説明する。・許容整定範囲割れ：０または１いずれかの数値。指令位置に対する偏差が別途与えられる許容範囲内に収まっていない状態のこと。以下の基準に照らすとFig. 5の観測波形は「許容整定範囲割れ」１と判定される。０：位置決め指令入力以降、位置偏差が最初に許容範囲内に入ってから、次回指令入力まで許容範囲外になることがない場合（良い）。１：位置決め指令入力以降、位置偏差が最初に許容範囲内に入ってから、次回指令入力まで許容範囲外になることがある場合（悪い）。・整定時間［ｍｓｅｃ］：位置決め指令入力以降、位置偏差が最後に許容範囲内に入るまでの時間（小さいほど良い）。・オーバーシュート量［ｐｕｌｓｅ］：指令入力以降、最初に許容範囲内に入ってからの位置偏差の行き過ぎ最大値（小さいほど良い）。『許容整定範囲割れ』『オーバーシュート量』についてはモータ軸に取り付けられた１回転あたり１３万パルス（２１７＝１３１，０７２ｐｕｌｓｅ）の分解能をもつエンコーダで計測する。今回の実験装置では、ボールねじのリードは１０ｍｍであり、その１回転でナット側は１０ｍｍ移動するので、エンコーダの１ｐｕｌｓｅはナット側が０．０７６２９μｍ移動することに相当する。このとき、許容される整定幅を５０ｐｕｌｓｅと与えれば、目標位置に対し３．８１５μｍ以内のズレ量で整定したとき『許容整定範囲割れ』は発生していないことになる。またオーバーシュート量を５０ｐｕｌｓｅと計測すれば、実際には４μｍほどオーバーシュートしていたことになる。ただし、これらの数値はモータ軸に取り付けたエンコーダの回転角度を計測しているので、モータ軸からボールねじ、ボールねじと嵌合しているナット、ナットから先の部材といった伝逹機構を経た機械端がこれらの値どおりに動くものではないが今回は問題とはならないレベルである。機械端の動きをリニアエンコーダなどで計測しフィードバックループを組んで機械端の位置決め精度を高めることはもちろん可能であるが、ここでの議論とは直交する話題である。以下、本論文では、上述の位置決め実験装置に対して、操作可能な制御パラメータのうち、フィードバック系の応答と安定にかかるゲインωｐｃ２とωｓｃ２は事前に参考文献３０）に示した方法で適正に調整されているという前提で、『オーバーシュート量』と『整定時間』の特性を決めるゲインωｐｃ１とＴｉを、提案アルゴリズムにより探索的に自動調整し、指定された目標仕様を満たす最適化について考察することにする。」（２２０頁右欄３７行～２２２頁左欄１５行）（オ）「４．１調整に対する要求仕様について現場の制御パラメータ調整では上述の評価値に対する位置決め目標仕様が指定される。これを位置決め前の移動ストローク、位置決め場所（５章にて後述）などの誤差因子に対してロバスト化する必要がある。」（２２２頁左欄１６行～２０行）（カ）「４．２今回の実験方法について本稿では前述のとおり、位置決め実験装置を用いて制御パラメータの定義域内と位置決めストローク組み合わせ空間の全探索を実施しデータを取得した。」（２２２頁左欄３３行～３６行）（キ）「４．３多目的最適化の実装について能動型探索アルゴリズムを今回の問題における多目的最適化に適用するための実装の考え方について述べる。具体的には、最適化目標が「許容整定範囲割れ」、「整定時間」、「オーバーシュート量」の３つあり、動作ストロークも４種類あるため、アルゴリズムを計算するなかで、これらの事項をどのように取り扱うかである。制御パラメータは自分で操作できる制御因子であるが、移動ストローク１ｍｍ、５ｍｍ、２０ｍｍ、５０ｍｍは受け入れるしかない（自分で操作できない）誤差因子と考えることにする。移動ストロークは４つあるので、各制御パラメータ組み合わせごとに４つの実測値が得られるが、それらの最悪値を採用することで移動ストロークの変動に対してロバストな評価値とする。一方、各評価値に対する実行不能判定は、優先順位をもって実施する。具体的には「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」とする。そして最も厳しく判定したい「許容整定範囲割れ」の０，１を用いて、未知の制約条件の識別境界の推定モデルｆ（Ｓｎ，ｘ）＝０を更新し、最良の試行結果を選ぶ際の優劣の判定に上述の優先順位を用いる。たとえば『整定時間』が改良されれば『オーバーシュート量』が悪くなっていても良い解が見つかったと判断することになる。」（２２２頁右欄５行～２６行）（ク）「４．４適用結果まず、前節の手順に従い、実測値から求めた２つのデータセットをFig.6に示す。これが全探索のデータとなる。」（２２２頁右欄４２～４４行）（ケ）「７．おわりに産業メカトロニクス分野で用いられる位置決めサーボシステムの制御パラメータ調整、すなわち制御パラメータの調整において発生している未知の目的関数の最適化問題に対して、著者らの開発した機械学習の枠組みに基づく能動型探索アルゴリズムの適用可能性を検討した。」（２２６頁右欄２０～２５行）上記記載事項（ア）～（ケ）から、以下の事項が理解できる。（コ）上記（ア）、（エ）、（キ）から、甲１には、位置決めサーボシステムの許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について、多目的最適化をすることが開示されていると理解できる。（サ）上記（ア）、（ウ）～（ケ）から、甲１には、制御パラメータ（サーボパラメータ）を機械学習、特に能動型探索アルゴリズムにより自動調整する装置が開示されているといえる。イ甲１発明上記アから、甲１には以下の発明（以下「甲１発明」という。）が開示されていると認められる。位置決めサーボシステムの許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について、多目的最適化をするため、操作可能な制御パラメータのうち、オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉを、機械学習、特に能動型探索アルゴリズムにより探索的に自動調整するものであって、「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」の優先順位で最良の試行結果を選ぶ、制御パラメータ（サーボパラメータ）を機械学習により自動調整する装置。ウ本件発明１について本件発明１と甲１発明とを対比すると、甲１発明の「位置決めサーボシステム」は、本件発明１の「モータ駆動装置」に相当し、同様に「制御パラメータ（サーボパラメータ）を機械学習により自動調整する装置」は、「機械学習装置」に相当する。また、甲１発明の「位置決めサーボシステムの・・・操作可能な制御パラメータ」は、本件発明１の「モータ駆動装置においてモータを制御するための指令値」と、「モータ駆動装置においてモータを制御するための制御パラメータ」である点で一致し、甲１発明の「制御パラメータのうち、オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉ」は、本件発明1の「指令値の補正に用いられる補正パラメータ」と、「制御パラメータの補正に用いられる補正パラメータ」という点で一致する。そうすると、甲１発明の「オーバーシュート量と整定時間の特性を決める位置応答ゲインωｐｃ１と速度積分時間Ｔｉを、機械学習、特に能動型探索アルゴリズムにより探索的に自動調整するもの」は、本件発明１の「補正パラメータを学習する機械学習装置」に相当する。そして、甲１発明において「「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」の優先順位で最良の試行結果を選ぶ」ことは、能動型探索アルゴリズムにより、探索的な自動調整によってなされるものであるから、本件発明１において「前記補正パラメータを前記補正機能毎に学習する」ことと、「前記補正パラメータを学習する」点で一致する。そうすると、本件発明１と甲１発明とは以下の一致点、相違点を有する。一致点：モータ駆動装置においてモータを制御するための制御パラメータの補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正パラメータを学習する機械学習装置。相違点：本件発明１は、「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、を備える」もの、すなわち、モータ駆動装置が複数の種類の補正機能を有するものであり、特徴量は、補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出されるものであり、学習部は、補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習するものであるのに対し、甲１発明は、許容整定範囲割れ、整定時間、オーバーシュート量の評価指標について多目的最適化するものの、複数の種類の補正機能を有するものではなく、したがって、特徴量の抽出及び学習部についても補正機能毎になされるものではない点。上記相違点について検討すると、甲１には補正機能毎に機械学習を行うことについては開示もないし示唆もない。すなわち、本件発明１は、補正機能毎に補正パラメータの学習が行われるから、補正機能の間には優先順位などはなく、補正機能の数に応じた分だけ、最適な補正パラメータが選定されるように学習する。これに対して、甲１における多目的最適化は、「許容整定範囲割れ」＞「整定時間」＞「オーバーシュート量」という優先順位を前提に、最良の試行結果、すなわち「位置応答ゲインωｐｃ１」と「速度積分時間Ｔｉ」の値を１つに選定することであるから、その結果として、「整定時間」が改良されれば、「オーバーシュート量」が悪くなっていても良い解が見つかったと判断されることになる（上記ア（キ））が、このような判断は、補正機能毎に最適な補正パラメータを選定しようとする本件発明１の技術的思想とは異なるものであって、甲１には補正機能毎に機械学習を行うことについては開示も示唆もないというほかない。また、甲第２号証～甲第６号証を見ても、甲１発明のような機械学習装置について、補正機能毎に機械学習を行うこと、そのために、特徴量をモータ駆動装置の駆動データから計算により切り取られ抽出されたものとすること、このような特徴量と補正パラメータとを状態変数として観測する状態観測部や、状態変数に基づいて補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習する学習部を備えることを開示するものはない。そうすると、当業者であっても、甲１発明に、相違点に係る本件発明１の構成を採用することは容易に想到し得たものではない。エ本件発明２～１１について上記ウのとおり、本件発明１が、甲１発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではないところ、本件発明２～１０は、本件発明１の発明特定事項の全てを含むものであるから、上記本件発明１と甲１発明との相違点と同じ相違点を有するものであり、甲１発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではない。また、本件発明１１は、機械学習方法の発明であるところ、甲１には甲１発明に対応する方法の発明も開示されているといえるが、本件発明１１と、当該甲１発明に対応する方法の発明を対比すると、上記本件発明１と甲１発明との相違点と同様の相違点を有するものと認められ、本件発明１１は甲１発明に対応する方法の発明及び甲第２号証～甲第６号証に記載の技術的事項から容易に想到し得たものではない。オ小括以上のとおり、本件発明１～１１に係る特許は、特許法第29条第2項の規定に違反してなされたものとはいえない。（２）記載要件違反ア具体的な特許異議申立理由本件訂正前の特許請求の範囲及び明細書の発明の詳細な説明の記載に対する記載要件違反について、特許異議申立の具体的理由は以下のとおりである。（ア）請求項１、２についてａ請求項１の「補正機能の種類に基づいて計算された特徴量」について、複数の補正機能の種類毎の「特徴量」が、それぞれ如何なる量であるのか不明確であるとともに、「特徴量」を計算するための入力データが何かが不明確であり、「モータ駆動装置の駆動データ」との関係の有無も不明確である。上記請求項１を引用する訂正前の請求項２についても同様である（以下のｂ～ｃについても同じ。）。ｂ同じく「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する学習部」について、「訓練データセット」がどのようなデータを含むデータセットを意味するものか不明確である。また、「補正機能毎に学習する」ことを可能にする「訓練データセット」とはどのようなものか不明確である。ｃ上記ｂの「学習部」について、「訓練データセットに従って」どのようにして、「補正パラメータを補正機能毎に学習する」ものか、その学習内容が不明確である。ｄ本件明細書は、「訓練データセット」について、段落【００２０】の記載があるのみであるから、その作成を当業者が実施できる程度に明確かつ十分な記載となっていない。同じく、「学習部」について、段落【００２０】の記載があるのみで、「訓練データセットに従って」どのようにして、「補正パラメータを補正機能毎に学習する」のか記載がないから、当業者が実施できる程度に明確かつ十分な記載となっていない。また、「学習部」については、段落【００５８】に、ニューラルネットワーク等を用いても良い旨の記載があるところ、このような方法による場合には、どのように学習すれば良いのか、当業者が実施できる程度に明確かつ十分な記載となっていない。（イ）請求項３について上記（ア）ａ～ｃと同じ点で不明確である。（ウ）請求項４についてａ請求項４の「状態変数に基づいて報酬を計算する報酬計算部」、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」が、上記請求項４が引用する上記請求項１の「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」こととどのような関係にあるのか不明確である。ｂ本件明細書には、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」について、段落【００５３】の記載があるのみであり、報酬は閾値との関係で定まるに過ぎず、補正パラメータ間の優劣を決めるものではないところ、補正パラメータをどのように決定するかが不明であるから、当業者が実施できる程度に明確かつ十分な記載となっていない。（エ）請求項５についてａ訂正前の請求項５には、「関数更新部は、前記補正機能毎に前記関数を更新する」ことが記載されているが、これを考慮しても、上記請求項５が間接的に引用する上記請求項１の「状態変数に基づいて作成される訓練データセットに従って、前記補正パラメータを前記補正機能毎に学習する」こととどのような関係にあるのか不明確である。（オ）請求項６～１０についてａ請求項６は、上記請求項１ないし５を選択的に引用し、訂正前の請求項７－１０は上記請求項６を引用するものであるところ、上記（ア）ａ～ｃ、（ウ）ａ、（エ）と同じ点で不明確である。請求項６を引用する請求項７～１０についても同様に不明確である。ｂ請求項６は、「前記複数の種類の補正機能のうちの１つを選択する補正機能選択部」により選択された補正機能についての補正パラメータを決定するものであるところ、本願明細書の段落【０００５】、【０００６】の解決しようとする課題（従来技術では、単一の補正機能の補正パラメータしか調整することができなかったこと）及び目的（複数の補正パラメータに対応できるようにすること）の記載に鑑みて、発明が解決しようとする課題を解決できないものであるから、本件明細書は、当業者が実施できる程度に明確かつ十分な記載となっていない。請求項６を引用する請求項７～１０についても同様である。（カ）請求項９についてａ請求項９には、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することが記載されているが、その計算内容が不明確である。ｂ本件明細書は、「補正パラメータ計算部」について、段落【００２２】の記載があるのみであるから、その計算を当業者が実施できる程度に明確かつ十分な記載となっていない。（キ）請求項１１について請求項１１は、上記請求項１が機械学習装置についての発明であるのに対し、機械学習方法の発明である点でカテゴリーが相違する他は、上記請求項１と同様の特定がされているものであるところ、上記（ア）ａ～ｃの上記請求項１、２についての理由と同様に、上記請求項１１の記載は不明確である。イ記載要件の判断（ア）請求項１、２についてａ請求項１の「補正機能の種類に基づいて計算された特徴量」について、本件訂正により、「前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量」となった結果、「特徴量」が、モータ駆動装置の駆動データから計算により切り取られ抽出されたものであることが明確となった。また、本件明細書の段落【００１７】、【００１８】には、「特徴量抽出部１４は、アルゴリズム選択部６１と、アルゴリズム記憶部６２と、特徴量計算部６３とを有する。・・・特徴量計算部６３は、アルゴリズム選択部６１から入力される計算アルゴリズム選択指令に基づいて、使用する計算アルゴリズムをアルゴリズム記憶部６２から取出して、取出した計算アルゴリズムを用いて、学習用駆動データＤｅから補正機能ごとに特徴量を計算する。・・・摩擦補正機能については、アルゴリズム選択部６１は、運動方向反転位置検出、運動方向反転時近傍のデータ切り取りを選択する。学習用駆動データＤｅに、位置指令、位置フィードバック、モータ電流、理想的な位置に対する実際の位置のデータが含まれている場合、特徴量計算部６３は、それぞれのデータに関して、選択された計算アルゴリズムを適用して特徴量を算出する。」との記載があるところ、「特徴量」が、補正機能に応じて、学習用駆動データＤｅに含まれる位置指令、位置フィードバック等のデータから計算アルゴリズムを適用して計算（例えば、摩擦補正機能であれば、運動方向反転時の近傍のデータを切り取るような計算）される量であることは、当該記載からも明らかである。ｂ請求項１の「訓練データセット」に関し、本件訂正により、「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、」との特定事項を有するものとなった結果、「訓練データセット」が状態変数（特徴量及び補正パラメータ）を含むものであること、状態変数に基づいて前記補正機能毎に作成されるものであることが明確となった。ｃ請求項１の「学習部」について、上記ｂのとおりの発明特定事項を備えるものとなった結果、その学習内容が明確となった。よって、上記ア（ア）ａ～ｃについて、本件発明１、２は明確である。ｄ本件訂正により、本件発明１の訓練データが補正機能毎に作成されるものであることが明確になり、学習部についても、上記ｃのとおり明確となった。また、実施可能要件について、本件明細書の段落【００２０】には、「状態観測部１０１は、補正パラメータ情報および特徴量を用いて、補正パラメータと、補正機能に基づいて抽出された特徴量とを状態変数として観測する。状態観測部１０１は、状態変数に基づいて、補正機能毎に訓練データセットを作成して出力する。学習部１０２は、状態観測部１０１が状態変数に基づいて作成した訓練データセットを用いて、特徴量毎に、つまり、補正機能毎に補正パラメータの学習を行い、学習結果Ｆｒを出力する。学習部１０２が用いる学習アルゴリズムは、ニューラルネットワークのような教師あり学習、教師なし学習、強化学習などである。」と記載されており、本件発明１の発明特定事項とも整合するところ、上記発明の詳細な説明の記載及び機械学習についての技術常識を踏まえれば、当業者が過度の試行錯誤を要することなく本件発明１を実施し得る程度ものといえる。よって、上記ア（ア）ｄについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。（イ）請求項３について上記（ア）のとおりである。また、請求項３は、特徴量について特定をするものであって、請求項１を引用するものであるところ、特徴量が「補正機能毎の前記駆動データの特性を示すデータ」であることに関し、請求項１には、「前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量」との発明特定事項があるから、駆動データの特性を示すデータが駆動データから計算により切り取られ抽出されるものであることが理解できるし、本件明細書の段落【００１６】～【００１８】の特徴量の抽出に関する記載からも理解できる。よって、上記ア（イ）について、本件発明３は明確である。（ウ）請求項４についてａ請求項４の「状態変数に基づいて報酬を計算する報酬計算部」、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」について、本件訂正により、請求項４が引用する請求項１が「前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する」と特定するものとなったことから、訓練データセットに状態変数が含まれることが明確となり、「報酬計算部」が訓練データセットに含まれる状態変数に基づいて報酬を計算するものであること、「関数更新部」が当該報酬に基づいて関数を更新するものであることが明確となった。よって、上記ア（ウ）ａについて、本件発明４は明確である。ｂ請求項４は本件発明１を引用する請求項であるところ、本件訂正により、本件発明１の訓練データセットに状態変数が含まれることが明確となった結果、本件発明４における「前記状態変数に基づいて報酬を計算する報酬計算部」と、「前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部」が、訓練データセットに含まれる状態変数に基づいて報酬を計算し、当該計算された報酬に基づいて補正パラメータを決定するための関数を更新する処理を行うことが明確となった。これを踏まえ、本件明細書の段落【００５３】の「報酬計算部１０２ａは、状態観測部１０１により観測された状態変数に基づいて報酬を計算する。報酬計算部１０２ａは、補正機能ごとに、報酬を計算する。」、段落【００５４】の「関数更新部１０２ｂは、報酬計算部１０２ａによって計算される報酬に従って、補正パラメータを決定するための関数を更新する。」との記載及び機械学習についての技術常識を踏まえれば、当業者が過度の試行錯誤を要することなく本件発明４を実施し得る程度のものといえる。よって、上記ア（ウ）ｂについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。（エ）請求項５についてａ上記（ウ）ａのとおり、関数更新部と請求項１の特定事項との関係が明確になったことから、請求項５の「関数更新部は、前記補正機能毎に前記関数を更新する」ことと請求項１の発明特定事項との関係についても明確となった。よって、上記ア（エ）ａについて、本件発明５は明確である。（オ）請求項６～１０についてａ上記（ア）～（エ）のとおりであるから、上記ア（オ）ａについて、本件発明６～１０は明確である。ｂ請求項６は、本件発明１を引用する請求項であるところ、本件発明１は、「複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置」との発明特定事項を有するから、本件発明６は、複数の種類の補正機能を有することを前提とするものである。一方、本件明細書の段落【０００５】、【０００６】には、「しかしながら、上記特許文献１に記載の技術では、単一の補正機能の補正パラメータしか調整するアルゴリズムしかないため、単一の補正機能の補正パラメータしか調整することができない。・・・本発明は、上記に鑑みてなされたものであって、複数の種類の補正機能を有するモータ駆動装置であっても、モータ駆動装置の指令値の補正条件を決定するための補正パラメータを容易に調整することが可能な機械学習装置および補正パラメータ調整装置を得ることを目的とする。」と記載されるとおり、従来は単一の補正機能のみを有するものであったところ、本件発明は、複数の種類の補正機能を有するモータ駆動装置に対応できるようにしたものである。そうすると、上記ア（オ）ｂについて、本件発明６及び本件発明６を引用する本件発明７～１０は、発明が解決しようとする課題を解決できないものではないし、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。（カ）請求項９についてａ請求項９には、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することを特定しており、その記載自体は明確であるから、上記ア（カ）ａについて、本件発明９は明確である。ｂ本件明細書の段落【００２２】の「補正パラメータ計算部５１は、機械学習装置１００から入力される学習結果Ｆｒと、補正パラメータ情報とに基づいて、補正機能毎に、学習結果Ｆｒに基づいて補正パラメータを算出する。・・・終了判定部５３は、補正パラメータ評価部５２の評価結果と、調整要件入力部１１から入力される調整要件とに基づいて、調整処理を終了するか否かを判断すると共に、補正パラメータ計算部５１が計算した補正パラメータをモータ駆動装置９９に設定する。」との記載、【００４７】～【００４８】の「機械学習装置１００は、発生する誤差を抑制することが可能な補正パラメータを学習する・・・エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。」との記載から、「補正パラメータ計算部」が、「学習結果に基づいて補正パラメータを計算」することは、例えば、学習結果Ｆｒから、報酬が最も多く得られるような補正パラメータを計算することでなされることが理解できる。よって、上記ア（カ）ｂについて、本件明細書の発明の詳細な説明の記載は、実施可能要件を充足する。（キ）請求項１１について上記（ア）ａ～ｃの請求項１、２についてと同様に、上記ア（キ）について、本件発明１１は明確である。ウ小括以上のとおり、本件特許請求の範囲及び本件明細書の発明の詳細な説明の記載は、特許法第36条第4項第1号、同条第６項第２号の規定に違反していないから、本件発明１～１１に係る特許は、当該規定に違反してなされたものとはいえない。第７まとめ以上のとおり、本件発明１～１１に係る特許は、令和４年３月９日付け取消理由通知（決定予告）に記載した取消理由、特許異議申立書に記載された特許異議申立理由によっては、取り消すことはできない。さらに、他に本件発明１～１１に係る特許を取り消すべき理由を発見しない。よって、結論のとおり決定する。
発明の名称	（５４）【発明の名称】機械学習装置、補正パラメータ調整装置および機械学習方法【技術分野】【０００１】本発明は、複数の種類の補正機能を有するモータ駆動装置の補正機能で用いられる補正パラメータを学習する機械学習装置、補正パラメータ調整装置および機械学習方法に関する。【背景技術】【０００２】モータによって駆動されるモータ駆動装置は、例えば、工作機械、産業用機械、ロボット、搬送機である。モータ駆動装置では、工具、加工対象物、ハンドといった制御対象が、与えられた指令値に追従するように制御される。しかしながら、モータ駆動装置を構成する機械構造および機械要素には、さまざまな誤差要因および外乱要因が内在するため、指令値への追従精度が低下することがある。誤差要因は、摺動面の摩擦、構造部材の剛性不足、組み立て誤差、制御の遅れ、モータの発熱などである。このため、誤差を考慮して指令値を補正して用いることが考えられる。指令値の補正量、補正タイミングといった補正条件は、モータ駆動装置の構造の違い、個体差、設置される環境の違いなどによって、最適な値が異なる。【０００３】作業者が補正条件をモータ駆動装置毎に調整するためには、手間がかかると共に、適した補正条件を調整することができるようになるまでには、習熟期間を要する。このため、補正条件を自動で調整する装置が検討されている。特許文献１には、摩擦の影響によって発生する運動誤差の補正条件を決定するための補正パラメータを用いて、補正条件を自動的に決定する技術が開示されている。この技術では、摩擦の影響によって発生する運動誤差の補正条件を決定するための補正パラメータを変更して、円弧運動中に発生する応答誤差が閾値以下となるまでトルク指令の補正および補正トルクの更新を繰り返し、摩擦補正に関する補正パラメータを自動で決定する。【先行技術文献】【特許文献】【０００４】【特許文献１】特開平１１－２４７５４号公報【発明の概要】【発明が解決しようとする課題】【０００５】しかしながら、上記特許文献１に記載の技術では、単一の補正機能の補正パラメータしか調整するアルゴリズムしかないため、単一の補正機能の補正パラメータしか調整することができない。補正機能の補正パラメータを調整するアルゴリズムの作成は、非常に時間と手間がかかる作業であり、モータ駆動装置が複数の種類の補正機能を有する場合には、各補正機能に合わせて補正パラメータを調整するアルゴリズムを個々に作成する必要があり、アルゴリズムの作成に要す時間と手間が膨大となるという問題があった。【０００６】本発明は、上記に鑑みてなされたものであって、複数の種類の補正機能を有するモータ駆動装置であっても、モータ駆動装置の指令値の補正条件を決定するための補正パラメータを容易に調整することが可能な機械学習装置および補正パラメータ調整装置を得ることを目的とする。【課題を解決するための手段】【０００７】上述した課題を解決し、目的を達成するために、本発明は、複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、補正機能の種類に基づいて、モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、補正パラメータとを状態変数として観測する状態観測部と、状態変数に基づいて補正機能毎に作成される訓練データセットに従って、訓練データセットに含まれる状態変数を用いて補正パラメータを補正機能毎に学習する学習部と、を備えることを特徴とする。【発明の効果】【０００８】本発明にかかる機械学習装置は、複数の種類の補正機能を有するモータ駆動装置であっても、モータ駆動装置の指令値の補正条件を決定するための補正パラメータを容易に調整することが可能であるという効果を奏する。【図面の簡単な説明】【０００９】【図１】本発明の実施の形態１にかかる補正パラメータ調整装置の機能構成を示す図【図２】図１に示す特徴量抽出部の構成を示す図【図３】図１に示す機械学習装置の構成を示す図【図４】図１に示す補正パラメータ決定部の構成を示す図【図５】図１に示すモータ駆動装置の構成を示す図【図６】図５に示す機械装置の構成を示す図【図７】図５に示すサーボ制御部の構成を示す図【図８】図１に示す補正パラメータ調整装置のハードウェア構成例を示す図【図９】図１に示す補正パラメータ調整装置の動作を示すフローチャート【図１０】機械学習装置が強化学習を用いる場合の図３に示す学習部の構成を示す図【図１１】図３に示す機械学習装置が強化学習を使用する場合の学習部の動作を示す図【図１２】本発明の実施の形態２にかかる補正パラメータ調整装置の構成を示す図【図１３】本発明の実施の形態３にかかる補正パラメータ調整装置の構成を示す図【図１４】図１３に示す補正パラメータ決定部の構成を示す図【発明を実施するための形態】【００１０】以下に、本発明の実施の形態にかかる機械学習装置、補正パラメータ調整装置および機械学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。【００１１】実施の形態１．図１は、本発明の実施の形態１にかかる補正パラメータ調整装置１の機能構成を示す図である。補正パラメータ調整装置１は、機械学習を用いて、モータ駆動装置９９の指令値の補正条件を決定するための補正パラメータを調整する。補正パラメータ調整装置１は、調整要件入力部１１と、補正機能選択部１２と、駆動データ取得部１３と、特徴量抽出部１４と、補正パラメータ決定部１５と、機械学習装置１００とを備える。【００１２】調整要件入力部１１は、補正パラメータの調整を終了するか否かを判断するための調整要件の入力を受け付ける。調整要件は、目標とする精度、目標とするタクトタイム、許容しうる最大誤差、調整時間などである。調整要件入力部１１は、複数の調整要件の組み合わせを受け付けることもできる。調整要件入力部１１は、受け付けた調整要件を補正パラメータ決定部１５に入力する。【００１３】補正機能選択部１２は、モータ駆動装置９９の有する補正機能の種類と、補正機能の内容を示す情報と、補正機能を実行する際に使用される補正パラメータを示す補正パラメータ情報とが記憶された補正機能情報記憶部１６から、モータ駆動装置９９の有する補正機能の種類と、補正パラメータ情報とを取得し、調整に使用する補正機能を選択する。補正機能とは、ある目的の効果を実現するための動作の単位であり、摩擦の影響によって発生する運動誤差を補正する機能、振動抑制機能、軸間干渉補正機能などである。補正機能の内容を示す情報は、補正対象の誤差要因、補正量を計算するために必要な状態量、補正量を印加する制御量、補正量の演算式、補正量演算に必要な補正パラメータ数などである。補正パラメータ情報は、補正パラメータが依存する状態量などである。【００１４】補正機能選択部１２は、予め定められた補正機能の組み合わせを順番に選択してもよいし、操作者から補正機能を選択する入力を受け付けてもよい。補正機能選択部１２は、選択した補正機能の補正パラメータ情報を機械学習装置１００に入力し、補正機能情報を特徴量抽出部１４に入力する。補正機能情報は、選択した補正機能を識別するための情報と、補正機能の内容を示す情報とを含む。【００１５】駆動データ取得部１３は、モータ駆動装置９９から学習用駆動データＤｅと、検証用駆動データＤｖとを取得する。学習用駆動データＤｅおよび検証用駆動データＤｖは、モータ駆動装置９９の駆動に関する情報であり、モータの位置指令、速度指令、電流指令といった、モータ駆動装置９９を駆動するモータへの指令情報、位置フィードバック、速度フィードバック、電流フィードバックといったモータ駆動装置９９を駆動するモータからのフィードバックデータ、誤差が存在しない場合の理想的なモータ位置、モータ速度、モータ電流といったモータの状態情報、モータの制御対象である機械装置の駆動データのうち少なくとも１つを含む。また、学習用駆動データＤｅおよび検証用駆動データＤｖは、理想的なモータ位置と実際のモータ位置との差、理想的なモータ速度と実際のモータ速度の差を含んでもよい。学習用駆動データＤｅと検証用駆動データＤｖとは同じ種類のデータであってもよいし、異なる種類のデータであってもよい。駆動データ取得部１３は、取得した学習用駆動データＤｅを特徴量抽出部１４に入力し、取得した検証用駆動データＤｖを補正パラメータ決定部１５に入力する。【００１６】特徴量抽出部１４は、駆動データ取得部１３から入力される学習用駆動データＤｅから、補正機能選択部１２より入力される補正機能情報に基づいて、補正機能ごとに特徴量Ｆｖを抽出する。特徴量抽出部１４は、調整対象として選択された補正機能の数と同じ数の特徴量Ｆｖを抽出する。１つの特徴量Ｆｖは、補正機能ごとの駆動データの特性を示すデータであり、一次元のスカラ量ではなく複数次元のベクトル量である。特徴量抽出部１４は、抽出した特徴量Ｆｖを機械学習装置１００に入力する。【００１７】図２は、図１に示す特徴量抽出部１４の構成を示す図である。特徴量抽出部１４は、アルゴリズム選択部６１と、アルゴリズム記憶部６２と、特徴量計算部６３とを有する。アルゴリズム選択部６１は、補正機能情報から調整対象となる補正機能を示す情報を取得し、補正機能ごとに学習用駆動データＤｅから特徴量を抽出するために使用するアルゴリズムを選択する。アルゴリズム選択部６１は、補正機能ごとに選択したアルゴリズムを示す計算アルゴリズム選択指令を特徴量計算部６３に入力する。アルゴリズム記憶部６２には、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドエリミネイトフィルタなどの各種フィルタ、運動方向反転位置検出、速度ゼロ近傍検出、コーナ部検出などの運動特徴波形抽出、データ切り取り処理などを実行するための計算アルゴリズムを示す関数群が格納されている。データの切り取りは、データを切り取って切り取った部分を抽出することを指す。特徴量計算部６３は、アルゴリズム選択部６１から入力される計算アルゴリズム選択指令に基づいて、使用する計算アルゴリズムをアルゴリズム記憶部６２から取出して、取出した計算アルゴリズムを用いて、学習用駆動データＤｅから補正機能ごとに特徴量を計算する。【００１８】摩擦補正機能については、アルゴリズム選択部６１は、運動方向反転位置検出、運動方向反転時近傍のデータ切り取りを選択する。学習用駆動データＤｅに、位置指令、位置フィードバック、モータ電流、理想的な位置に対する実際の位置のデータが含まれている場合、特徴量計算部６３は、それぞれのデータに関して、選択された計算アルゴリズムを適用して特徴量を算出する。また、振動補正機能については、アルゴリズム選択部６１は、運動停止直後のデータの切り取り、バンドパスフィルタを選択する。【００１９】図１の説明に戻る。機械学習装置１００は、補正機能選択部１２から入力される補正機能情報および補正パラメータ情報と、特徴量抽出部１４から入力される特徴量Ｆｖとに基づいて、補正パラメータを特徴量Ｆｖごとに学習する。機械学習装置１００は、モータ駆動装置９９の駆動データに含まれる誤差を抑制するような補正条件を設定可能な補正パラメータを学習する。機械学習装置１００は、学習結果Ｆｒと、補正パラメータ情報とを補正パラメータ決定部１５に入力する。【００２０】図３は、図１に示す機械学習装置１００の構成を示す図である。機械学習装置１００は、状態観測部１０１と、学習部１０２とを有する。状態観測部１０１は、補正パラメータ情報および特徴量を用いて、補正パラメータと、補正機能に基づいて抽出された特徴量とを状態変数として観測する。状態観測部１０１は、状態変数に基づいて、補正機能毎に訓練データセットを作成して出力する。学習部１０２は、状態観測部１０１が状態変数に基づいて作成した訓練データセットを用いて、特徴量毎に、つまり、補正機能毎に補正パラメータの学習を行い、学習結果Ｆｒを出力する。学習部１０２が用いる学習アルゴリズムは、ニューラルネットワークのような教師あり学習、教師なし学習、強化学習などである。【００２１】図１の説明に戻る。補正パラメータ決定部１５は、機械学習装置１００から入力される学習結果Ｆｒおよび補正パラメータ情報に基づいて、補正パラメータを決定し、決定した補正パラメータをモータ駆動装置９９に設定すると共に、調整要件入力部１１から入力される調整要件と、駆動データ取得部１３から入力される検証用駆動データＤｖとに基づいて、補正パラメータの調整処理を終了するか否かを判定する。【００２２】図４は、図１に示す補正パラメータ決定部１５の構成を示す図である。補正パラメータ決定部１５は、補正パラメータ計算部５１と、補正パラメータ評価部５２と、終了判定部５３とを有する。補正パラメータ計算部５１は、機械学習装置１００から入力される学習結果Ｆｒと、補正パラメータ情報とに基づいて、補正機能毎に、学習結果Ｆｒに基づいて補正パラメータを算出する。補正パラメータ評価部５２は、検証用駆動データＤｖに基づいて、現在設定されている補正パラメータの妥当性を評価する。終了判定部５３は、補正パラメータ評価部５２の評価結果と、調整要件入力部１１から入力される調整要件とに基づいて、調整処理を終了するか否かを判断すると共に、補正パラメータ計算部５１が計算した補正パラメータをモータ駆動装置９９に設定する。【００２３】ここで、モータ駆動装置９９の構成例について説明する。図５は、図１に示すモータ駆動装置９９の構成を示す図である。モータ駆動装置９９は、モータ２と、機械装置３と、モータ位置検出器４と、指令値生成部５と、サーボ制御部６と、補正量演算部７とを有する。ここでは１つのモータ２しか図示していないが、モータ駆動装置９９は、１つのモータ２を有していてもよいし、２つ以上のモータ２を有していてもよい。【００２４】モータ２は、アクチュエータであり、具体的には、回転モータである。モータ２には、機械装置３と、モータ２の位置を検出するモータ位置検出器４とが接続されている。モータ２は、供給されるモータ電流Ｉｍに従って回転し、回転トルクＴｍにより機械装置３を駆動する。【００２５】図６は、図５に示す機械装置３の構成を示す図である。機械装置３は、水平に配置されたベッド８９と、ベッド８９に固定される案内機構８６ａ，８６ｂと、案内機構８６ａ，８６ｂによって支持され、可動方向が制限されたテーブル８４とを備える。また、機械装置３は、テーブル８４の一面に設けられた図示しないナットと、テーブル８４とから構成される可動部が組みつけられたボールねじ８２と、ボールねじ８２を保持するボールフロントベアリング８７ａと、リアベアリング８７ｂとを備える。モータ２の回転軸には、リジッドカプリング８８を介してボールねじ８２が連結されている。ここでは、軸受の方式として、ボールフロントベアリング８７ａはアンギュラコンタクト玉軸受で固定され、リアベアリング８７ｂは深溝玉軸受で支持されるシングルアンカ方式が用いられる。【００２６】テーブル８４は、案内機構８６ａ，８６ｂによって支持されているため、可動方向以外の運動は制約されている。ここでは、案内機構８６ａ，８６ｂは、剛球を転動体としグリスで潤滑される直動転がり案内機構であるとする。機械装置３は、テーブル８４の位置を検出するテーブル位置検出器８５をさらに備える。テーブル位置検出器８５の具体例としては、リニアエンコーダが挙げられる。テーブル位置検出器８５は、検出したテーブルの位置をフィードバック位置Ｘｆｂとしてサーボ制御部６に入力することができる。【００２７】以上説明した機械装置３の構成は一例であり、機械装置３の構成はかかる例に限定されない。後述するように、本実施の形態の補正パラメータ調整装置１は、複数の機械装置３を制御対象とすることが可能である。【００２８】図５の説明に戻る。モータ位置検出器４は、モータ２に取り付けられており、モータ２の回転方向の位置を検出する。モータ位置検出器４の具体例としては、ロータリエンコーダが挙げられる。モータ位置検出器４は、検出したモータ２の位置をフィードバック位置Ｘｆｂとしてサーボ制御部６に入力することができる。フィードバック位置Ｘｆｂは、テーブル位置検出器８５が検出したテーブル位置およびモータ位置検出器４が検出したモータ２の位置のうち少なくとも１つである。【００２９】なお、テーブル位置検出器８５は、テーブル８４の移動距離を測定することができるのに対して、モータ位置検出器４において直接検出される位置は、モータ２の回転角度である。しかしながら、検出された回転角度にモータ２の１回転あたりのテーブル移動距離であるボールねじリードを乗じて、モータ１回転の角度２π（ｒａｄ）で除することによって、サーボ制御部６は、モータ２の回転角度をテーブル８４の移動方向の長さに換算することができる。このため、モータ位置検出器４またはテーブル位置検出器８５を省略することも可能である。図５では、モータ駆動装置９９がモータ位置検出器４を備え、モータ位置をフィードバック位置Ｘｆｂとしてサーボ制御部６に入力する例を示している。一方、図６では、機械装置３がテーブル位置検出器８５を備える例を示している。【００３０】フィードバック位置Ｘｆｂとして、モータ位置検出器４により検出された結果を用いるフィードバック制御をセミクローズドループ制御と呼ぶ。フィードバック位置Ｘｆｂとして、モータ位置検出器４により検出された結果とテーブル位置検出器８５により検出された結果との両方、または、テーブル位置検出器８５により検出された結果のみを使用するフィードバック制御を、フルクローズドループ制御と呼ぶ。【００３１】指令値生成部５は、運転プログラムＸｃに基づいてモータ２の位置指令Ｘｒを生成し、生成した位置指令Ｘｒをサーボ制御部６に入力する。ここでは、運転プログラムＸｃは、機械装置３の制御対象の指令位置と指令速度とがＧコードで記述された数値制御用のＮＣ（ＮｕｍｅｒｉｃａｌＣｏｎｔｒｏｌ）プログラムである。サーボ制御部６への位置指令Ｘｒは、運転プログラムＸｃに加減速処理およびフィルタリング処理を行って生成した時系列の位置指令とする。ここでＧコードとは、数値制御で用いられる命令コードの１つであり、制御対象物の位置決め、直線補間、円弧補間、平面指定などを行う際に記述される指令コードである。【００３２】サーボ制御部６は、指令値生成部５から入力される位置指令Ｘｒと、制御対象の位置を示す情報であるフィードバック位置Ｘｆｂと、補正量演算部７から入力される補正量Ｄｃｍｐとに基づいて、フィードバック制御を行ってモータ２を駆動するためのモータ電流Ｉｍを生成し、生成したモータ電流Ｉｍをモータ２へ入力する。【００３３】補正量演算部７は、補正機能毎に、駆動データＤｃおよび補正パラメータＰｃに基づいて、位置補正量、速度補正量、電流補正量の３つの状態量から構成される補正量Ｄｃｍｐをサーボ制御部６に出力する。個々で、補正パラメータＰｃおよび駆動データＤｃは、複数の状態量からなるベクトルまたは行列である。例えば、摩擦補正機能であれば、補正量演算部７は、運動方向反転位置からの変位量、速度の状態量、位置補正パラメータ、および速度補正パラメータを用いて、電流補正量を算出する。【００３４】図７は、図５に示すサーボ制御部６の構成を示す図である。サーボ制御部６は、微分演算器３１と、位置制御器３２と、速度制御器３３と、電流制御器３４と、駆動データ送信部３５とを有する。【００３５】微分演算器３１は、フィードバック位置Ｘｆｂの微分演算を行って、フィードバック速度を算出する。微分演算器３１は、算出したフィードバック速度を速度制御器３３に入力する。【００３６】位置制御器３２は、モータ位置検出器４から入力されるフィードバック位置Ｘｆｂと、指令値生成部５から入力される位置指令Ｘｒと、補正量演算部７から入力される補正量Ｄｃｍｐに含まれる位置補正量とに基づいて、速度指令を生成する。具体的には、位置制御器３２は、位置指令とフィードバック位置Ｘｆｂとの差である位置偏差を小さくするように、比例制御などの位置制御処理を実行し、位置補正量に基づいて補正処理を行って速度指令を生成する。位置制御器３２は、生成した速度指令を速度制御器３３に入力する。【００３７】速度制御器３３は、微分演算器３１から入力されるフィードバック速度と、位置制御器３２から入力される速度指令と、補正量演算部７から入力される補正量Ｄｃｍｐに含まれる速度補正量とに基づいて、電流指令Ｉｒを生成する。具体的には、速度制御器３３は、速度偏差を小さくするように、比例積分制御などの速度制御処理を実行し、速度補正量に基づいて補正処理を行って電流指令Ｉｒを生成する。速度制御器３３は、生成した電流指令Ｉｒを電流制御器３４に入力する。【００３８】電流制御器３４は、速度制御器３３から入力される電流指令Ｉｒと、補正量演算部７から入力される補正量Ｄｃｍｐに含まれる電流補正量とに基づき、モータ電流Ｉｍを生成する。具体的には、電流制御器３４は、出力するモータ電流Ｉｍが入力された電流指令Ｉｒに一致するように、比例積分制御などの電流制御を行う。電流制御器３４は、生成したモータ電流Ｉｍをモータ２に入力する。【００３９】駆動データ送信部３５は、サーボ制御部６における各指令値、フィードバック値、補正量などを収集し、駆動データとして出力する。駆動データ送信部３５が出力した駆動データは、補正量演算部７および補正パラメータ調整装置１の駆動データ取得部１３に入力される。【００４０】なお、図７では、セミクローズドループ制御を行う例について説明したが、フルクローズドループ制御を行う場合には、フィードバック位置Ｘｆｂのうちモータ位置検出器４の検出値は微分演算器３１に入力され、フィードバック位置Ｘｆｂのうちテーブル位置検出器８５の検出値は、位置制御器３２に入力される。【００４１】続いて、本実施の形態のハードウェア構成について説明する。図８は、図１に示す補正パラメータ調整装置１のハードウェア構成例を示す図である。補正パラメータ調整装置１は、演算装置４１と、メモリ４２と、記憶装置４３と、通信装置４４と、入力装置４５と、表示装置４６とを有する。【００４２】演算装置４１は、演算処理を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）をはじめとしたプロセッサである。メモリ４２は、演算装置４１が演算処理の途中で使用するデータを格納するワークエリアとして機能する。記憶装置４３は、コンピュータプログラム、情報などを記憶する。通信装置４４は、補正パラメータ調整装置１の外部との通信機能を有する。入力装置４５は、操作者からの入力を受け付ける。入力装置４５は、キーボード、マウスなどである。表示装置４６は、表示画面を出力する。表示装置４６は、モニタ、ディスプレイなどである。なお、入力装置４５と表示装置４６とが一体化されたタッチパネルが用いられてもよい。【００４３】図１に示す調整要件入力部１１、補正機能選択部１２、駆動データ取得部１３、特徴量抽出部１４、補正パラメータ決定部１５および機械学習装置１００の機能は、演算装置４１が記憶装置４３に格納されたコンピュータプログラムを読み出して実行することにより実現される。また、演算装置４１によって調整要件入力部１１および補正機能選択部１２が実現される際には、入力装置４５および表示装置４６が用いられる。また、演算装置４１によって補正機能選択部１２および補正パラメータ決定部１５が実現される際には、通信装置４４が用いられてもよい。【００４４】また、補正機能情報記憶部１６は、図１では補正パラメータ調整装置１の外部に設けられている。この場合、補正機能情報記憶部１６は、補正パラメータ調整装置１とネットワークを介して接続されたサーバ、またはクラウド上のサーバなどによって実現される。また、補正機能情報記憶部１６は、補正パラメータ調整装置１の内部に設けられてもよい。この場合、補正機能情報記憶部１６は、記憶装置４３によって実現される。補正パラメータ調整装置１および機械学習装置１００は、その機能の全てまたは一部が隔離された場所に設けられていてもよい。その場合、機械学習装置１００は、ネットワークを介してモータ駆動装置９９に接続される。【００４５】図９は、図１に示す補正パラメータ調整装置１の動作を示すフローチャートである。まず、調整要件入力部１１は、操作者が入力装置４５を用いて行う調整要件の入力を受け付ける（ステップＳ１０１）。例えば、調整要件は、目標精度、目標タクトタイムなどである。補正機能選択部１２は、調整要件入力部１１が受け付けた調整要件に従って、調整対象の補正機能を選択する（ステップＳ１０２）。【００４６】続いて、補正パラメータ決定部１５は、設定された補正パラメータを使用して、モータ駆動装置９９にモータ２を駆動させる（ステップＳ１０３）。ここで、ステップＳ１０３の動作を１回目に行う際には、設定される補正パラメータは、予め定められた初期設定値、例えばゼロ、前回の調整処理において決定された補正パラメータの値などである。また、２回目以降は、後述するステップＳ１０７において設定された補正パラメータが使用される。駆動データ取得部１３は、モータ２を駆動中の駆動データをモータ駆動装置９９から取得する（ステップＳ１０４）。特徴量抽出部１４は、補正機能ごとに特徴量を抽出する（ステップＳ１０５）。【００４７】機械学習装置１００は、発生する誤差を抑制することが可能な補正パラメータを学習する（ステップＳ１０６）。補正パラメータ決定部１５は、機械学習装置１００の学習結果Ｆｒに基づいて、補正パラメータを決定し、決定した補正パラメータをモータ駆動装置９９に設定する（ステップＳ１０７）。補正パラメータ決定部１５は、検証用駆動データＤｖを用いて補正パラメータを評価し、調整要件を満たすか否かを判断する（ステップＳ１０８）。調整要件を満たす場合（ステップＳ１０８：Ｙｅｓ）、補正パラメータ調整装置１は、補正パラメータの調整処理を終了する。調整要件を満たさない場合（ステップＳ１０８：Ｎｏ）、補正パラメータ調整装置１は、ステップＳ１０３から補正パラメータの調整処理を繰り返す。【００４８】ここで、機械学習装置１００が強化学習を用いる場合の構成について説明する。強化学習は、ある環境内における行動主体であるエージェントが、現在の状態を観測し、取るべき行動を決定する学習方法である。エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習、ＴＤ学習などが知られている。Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式である行動価値テーブルは、以下の数式（１）で表される。【００４９】【数１】【００５０】数式（１）において、ｓｔは時刻ｔにおける環境を表し、ａｔは時刻ｔにおける行動を表す。行動ａｔにより、環境はｓｔ＋１に変わる。ｒｔ＋１は、その環境の変化によってもらえる報酬を表す。γは、割引率を表す。αは、学習係数を表す。Ｑ学習を適用した場合、環境ｓｔが状態変数となり、行動ａｔが補正パラメータとなる。【００５１】数式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値が、時刻ｔにおいて実行された行動ａの行動価値関数Ｑよりも大きければ、行動価値関数Ｑを大きくし、逆の場合には、行動価値関数Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値関数Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。これにより、ある環境における最良の行動価値が、それ以前の環境における行動価値に順次伝搬していくようになる。【００５２】図１０は、機械学習装置１００が強化学習を用いる場合の図３に示す学習部１０２の構成を示す図である。学習部１０２は、報酬計算部１０２ａと、関数更新部１０２ｂとを有する。【００５３】報酬計算部１０２ａは、状態観測部１０１により観測された状態変数に基づいて報酬を計算する。報酬計算部１０２ａは、補正機能ごとに、報酬を計算する。報酬計算部１０２ａは、補正機能ごとに、補正機能が対象とする誤差を示す特徴量を用いて、報酬増大基準を満たす場合には、報酬ｒを増大させて、例えば「１」の報酬を与える。報酬計算部１０２ａは、報酬減少基準を満たす場合には、報酬ｒを低減して、例えば「－１」の報酬を与える。報酬増大基準は、例えば誤差が閾値よりも小さいことであり、報酬減少基準は、例えば誤差が閾値よりも大きいことである。誤差は、例えば位置の誤差であり、位置の誤差は、位置指令または誤差が存在しない場合の理想的なモータ位置と位置フィードバックとの差分により計算することができる。また、誤差は、速度または電流の誤差であってもよい。【００５４】関数更新部１０２ｂは、報酬計算部１０２ａによって計算される報酬に従って、補正パラメータを決定するための関数を更新する。Ｑ学習の場合、数式（１）で表される行動価値関数Ｑ（ｓｔ，ａｔ）を補正パラメータを変更するための関数として用いる。【００５５】図１１は、図３に示す機械学習装置１００が強化学習を使用する場合の学習部１０２の動作を示す図である。なお、図１１に示す動作は、図９に示すステップＳ１０５に相当する。【００５６】報酬計算部１０２ａは、特徴量に基づいて、報酬増大基準を満たすか否かを判断する（ステップＳ２０１）。報酬増大基準を満たす場合（ステップＳ２０１：Ｙｅｓ）、報酬計算部１０２ａは、報酬を増大させる（ステップＳ２０２）。報酬増大基準を満たさない場合（ステップＳ２０１：Ｎｏ）、報酬計算部１０２ａは、報酬を減少させる（ステップＳ２０３）。【００５７】報酬計算部１０２ａが報酬を計算すると、関数更新部１０２ｂは、計算された報酬に基づいて、行動価値関数を更新する（ステップＳ２０４）。ステップＳ２０１からステップＳ２０４に示す動作は、図９のステップＳ１０７において、調整要件が満たされるまで、繰り返して実行される。ステップＳ２０１～ステップＳ２０４の動作によって、行動価値関数が更新されると、図９のステップＳ１０６では、このときの行動価値関数に基づいて補正パラメータが設定される。調整要件が満たされると、以降はそのときの行動価値関数に基づいて設定された補正パラメータが使用されることになる。【００５８】以上、強化学習を使用して機械学習を行う例について説明したが、他の公知の方法、例えば、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を行ってもよい。【００５９】以上説明したように、本発明の実施の形態１にかかる補正パラメータ調整装置１によれば、複数の補正機能毎に補正対象の現象を反映した駆動データを特徴量として抽出し、特徴量毎に補正パラメータを学習する。このように特徴量毎、つまり補正機能毎に補正パラメータを学習する構成により、複数の種類の補正機能を有するモータ駆動装置であっても、モータ駆動装置の指令値の補正条件を決定するための補正パラメータを容易に調整することが可能になる。また、補正パラメータを学習することで、指令値自体または補正量自体を学習する場合と比較して、少ないメモリで効果的な補正を実現することが可能となる。【００６０】実施の形態２．図１２は、本発明の実施の形態２にかかる補正パラメータ調整装置１ａの構成を示す図である。補正パラメータ調整装置１ａは、調整要件入力部１１と、補正機能選択部１２と、駆動データ取得部１３ａと、特徴量抽出部１４と、補正パラメータ決定部１５と、機械学習装置１００とを有する。【００６１】実施の形態２にかかる補正パラメータ調整装置１ａは、実施の形態１にかかる補正パラメータ調整装置１の駆動データ取得部１３の代わりに駆動データ取得部１３ａを有する点以外は補正パラメータ調整装置１と同様であるため、以下、実施の形態１と異なる点について主に説明する。補正パラメータ調整装置１ａの調整対象であるモータ駆動装置９９には、センサ２１が設けられる。駆動データ取得部１３ａは、モータ駆動装置９９の制御信号である駆動データに加えて、センサ２１の検出信号を駆動データとして取得する。【００６２】センサ２１は、加速度センサ、温度センサ、変位センサなどである。モータ駆動装置９９には、１種類のセンサ２１が取り付けられてもよいし、複数の種類のセンサ２１が取り付けられてもよい。【００６３】例えば、センサ２１として加速度センサを用いる場合、機械装置３のテーブル８４に取り付けると、モータ駆動装置９９の制御信号では取得することができない機械装置３のテーブル８４の振動に関する特徴量を抽出して、状態変数として用いることが可能になる。加速度センサの信号を積分すると、テーブル８４の運動軌跡を推定することができ、テーブル８４の運動軌跡を特徴量として抽出して、状態変数として用いることが可能になる。加速度センサをテーブル８４に取り付けることで、例えば、機械先端における摩擦補正機能の効果を高めることができる補正パラメータを調整することが可能になる。さらに、加工中の加速度と非加工中の加速度とをそれぞれ抽出することで、加工外乱を抑制する補正機能の補正パラメータを調整することが可能になる。【００６４】さらに、センサ２１として、加速度センサ、温度センサおよび変位センサを用いる場合には、熱変位に関する補正機能の補正パラメータを高精度に調整するとが可能になる。以上説明したように、センサ２１の検出信号を用いることで、モータ駆動装置９９の制御信号である駆動データだけでは取得することができない情報を得ることができ、補正パラメータの調整精度を向上させることが可能になる。【００６５】実施の形態３．図１３は、本発明の実施の形態３にかかる補正パラメータ調整装置１ｂの構成を示す図である。補正パラメータ調整装置１ｂは、調整要件入力部１１と、補正機能選択部１２と、駆動データ取得部１３ｂと、特徴量抽出部１４と、補正パラメータ決定部１５ｂとを有する。【００６６】補正パラメータ調整装置１ｂは、補正パラメータ調整装置１ａの駆動データ取得部１３ａの代わりに駆動データ取得部１３ｂを有し、補正パラメータ決定部１５の代わりに補正パラメータ決定部１５ｂを有する。以下、補正パラメータ調整装置１ａと異なる部分について主に説明する。【００６７】駆動データ取得部１３ｂは、駆動データ取得部１３ａと同様に、モータ駆動装置９９の制御信号だけでなく、センサ２１の検出信号を駆動データとして取得する。また、駆動データ取得部１３ｂは、学習用駆動データＤｅを特徴量抽出部１４に入力し、検証用駆動データＤｖを補正パラメータ決定部１５ｂに入力しない。【００６８】補正パラメータ決定部１５ｂは、調整要件入力部１１から入力される調整要件と、機械学習装置１００から入力される学習結果Ｆｒおよび補正パラメータ情報とに基づいて、補正パラメータを決定すると共に、補正パラメータの調整処理を終了するか否かを判断する。【００６９】図１４は、図１３に示す補正パラメータ決定部１５ｂの構成を示す図である。補正パラメータ決定部１５ｂは、補正パラメータ計算部５１ｂと、シミュレーション部５４と、補正パラメータ評価部５２ｂと、終了判定部５３ｂとを有する。【００７０】補正パラメータ計算部５１ｂは、機械学習装置１００から入力される学習結果Ｆｒと、補正パラメータ情報とに基づいて、補正機能毎に、学習結果Ｆｒを近似する補正パラメータを計算する。補正パラメータ計算部５１ｂは、計算した補正パラメータをシミュレーション部５４と、終了判定部５３ｂとに入力する。【００７１】シミュレーション部５４は、補正パラメータ計算部５１ｂから入力される補正パラメータを用いて、駆動シミュレーションを実行する。シミュレーション部５４は、シミュレーション結果を補正パラメータ評価部５２ｂに入力する。【００７２】補正パラメータ評価部５２ｂは、シミュレーション部５４から入力されるシミュレーション結果に含まれる駆動データを評価し、評価結果を終了判定部５３ｂに入力する。終了判定部５３ｂは、調整要件と評価結果とを比較して、補正パラメータの調整処理を終了するか否かを判断する。【００７３】以上説明したように、本発明の実施の形態３にかかる補正パラメータ調整装置１ｂは、補正パラメータ決定部１５ｂが、補正パラメータを用いて駆動シミュレーションを実行するシミュレーション部５４を有するため、実際にモータ駆動装置９９を駆動せずに補正パラメータの検証を行うことが可能になる。このため、補正パラメータの調整に要する時間を短縮することが可能になる。【００７４】以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。【符号の説明】【００７５】１，１ａ，１ｂ補正パラメータ調整装置、２モータ、３機械装置、４モータ位置検出器、５指令値生成部、６サーボ制御部、７補正量演算部、１１調整要件入力部、１２補正機能選択部、１３，１３ａ，１３ｂ駆動データ取得部、１４特徴量抽出部、１５，１５ｂ補正パラメータ決定部、１６補正機能情報記憶部、２１センサ、３１微分演算器、３２位置制御器、３３速度制御器、３４電流制御器、３５駆動データ送信部、４１演算装置、４２メモリ、４３記憶装置、４４通信装置、４５入力装置、４６表示装置、５１，５１ｂ補正パラメータ計算部、５２，５２ｂ補正パラメータ評価部、５３，５３ｂ終了判定部、５４シミュレーション部、６１アルゴリズム選択部、６２アルゴリズム記憶部、６３特徴量計算部、８２ボールねじ、８４テーブル、８５テーブル位置検出器、８６ａ，８６ｂ案内機構、８７ａボールフロントベアリング、８７ｂリアベアリング、８８リジッドカプリング、８９ベッド、９９モータ駆動装置、１００機械学習装置、１０１状態観測部、１０２学習部、１０２ａ報酬計算部、１０２ｂ関数更新部。（５７）【特許請求の範囲】【請求項１】複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習装置であって、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測する状態観測部と、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習する学習部と、を備えることを特徴とする機械学習装置。【請求項２】前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項１に記載の機械学習装置。【請求項３】前記特徴量は、複数次元のベクトル量であり、前記補正機能毎の前記駆動データの特性を示すデータであることを特徴とする請求項１または２に記載の機械学習装置。【請求項４】前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記補正パラメータを決定するための関数を更新する関数更新部と、を有することを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。【請求項５】前記関数更新部は、前記補正機能毎に前記関数を更新することを特徴とする請求項４に記載の機械学習装置。【請求項６】請求項１から５のいずれか１項に記載の機械学習装置と、前記複数の種類の補正機能のうちの１つを選択する補正機能選択部と、前記駆動データを取得する駆動データ取得部と、選択された前記補正機能と、取得された前記駆動データとに基づき、前記特徴量を抽出する特徴量抽出部と、前記補正パラメータの調整要件を入力する調整要件入力部と、前記学習部の学習結果に基づいて、前記調整要件を満たす前記補正パラメータを決定する補正パラメータ決定部と、を備えることを特徴とする補正パラメータ調整装置。【請求項７】前記駆動データは、前記モータ駆動装置を駆動するモータからのフィードバックデータ、および、前記モータの制御対象である機械装置の駆動データのうち少なくとも１つを含むことを特徴とする請求項６に記載の補正パラメータ調整装置。【請求項８】前記機械装置の駆動データは、前記機械装置に設置したセンサから取得した検出データであることを特徴とする請求項７に記載の補正パラメータ調整装置。【請求項９】前記補正パラメータ決定部は、前記学習結果に基づいて補正パラメータを計算し、計算した前記補正パラメータを前記モータ駆動装置に送信する補正パラメータ計算部と、計算した前記補正パラメータによる駆動結果が前記調整要件を満たすか否かを評価する補正パラメータ評価部と、前記補正パラメータ評価部の評価結果に基づいて、前記補正パラメータの調整を終了するか否かを判定する終了判定部と、を備えることを特徴とする請求項６から８のいずれか１項に記載の補正パラメータ調整装置。【請求項１０】前記補正パラメータ評価部は、実際に前記モータ駆動装置を駆動したときに取得される駆動データ、および、前記モータ駆動装置の動きをシミュレーションしたときに取得される駆動データの少なくとも１つを用いて評価を行うことを特徴とする請求項９に記載の補正パラメータ調整装置。【請求項１１】複数の種類の補正機能を有するモータ駆動装置においてモータを制御するための指令値の補正に用いられる補正パラメータを学習する機械学習方法であって、機械学習装置が、前記補正機能の種類に基づいて、前記モータ駆動装置の駆動データから計算により切り取られ抽出された特徴量と、前記補正パラメータとを状態変数として観測するステップと、前記機械学習装置が、前記状態変数に基づいて前記補正機能毎に作成される訓練データセットに従って、前記訓練データセットに含まれる前記状態変数を用いて前記補正パラメータを前記補正機能毎に学習するステップと、を含むことを特徴とする機械学習方法。
訂正の要旨	審決（決定）の【理由】欄参照。
異議決定日	2022-10-06
出願番号	P2018-564994
審決分類	P 1 651・ 121- YAA (G05D) P 1 651・ 537- YAA (G05D) P 1 651・ 851- YAA (G05D) P 1 651・ 161- YAA (G05D) P 1 651・ 536- YAA (G05D) P 1 651・ 853- YAA (G05D)
最終処分	07 維持
特許庁審判長	刈間宏信
特許庁審判官	大山健見目省二
登録日	2019-08-09
登録番号	6567205
権利者	三菱電機株式会社
発明の名称	機械学習装置、補正パラメータ調整装置および機械学習方法
代理人	高村順
代理人	高村順

プライバシーポリシーセキュリティーポリシー運営会社概要サービスに関しての問い合わせ