• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない。 G06F
管理番号 1400184
総通号数 20 
発行国 JP 
公報種別 特許審決公報 
発行日 2023-08-25 
種別 拒絶査定不服の審決 
審判請求日 2022-08-04 
確定日 2023-07-10 
事件の表示 特願2018−235994「コンテキスト系列同士の同義又は異義を判定するプログラム、装置及び方法」拒絶査定不服審判事件〔令和 2年 6月25日出願公開、特開2020− 98443〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、平成30年12月18日の出願であって、その手続の経緯は以下のとおりである。
令和 3年10月29日付け:拒絶理由通知書
令和 3年12月27日 :意見書、手続補正書の提出
令和 4年 5月18日付け:拒絶査定
令和 4年 8月 4日 :審判請求書、手続補正書の提出
令和 4年 9月14日 :前置報告
令和 4年10月19日 :上申書

第2 令和4年8月4日にされた手続補正についての補正の却下の決定
[補正の却下の決定の結論]
令和4年8月4日にされた手続補正(以下「本件補正」という。)を却下する。

[理由]
1 本件補正について(補正の内容)
(1)本件補正後の特許請求の範囲の記載
本件補正により、特許請求の範囲の請求項1の記載は、次のとおり補正された。(下線部は、補正箇所である。)
「 【請求項1】
コンテキスト系列の同義又は異義を判定する装置に搭載されたコンピュータを機能させる同義判定プログラムであって、
同義となる異なる種類の第1の教師コンテキスト系列と第2の教師コンテキスト系列とが対応付けられており、
第1の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第1のエンコーダと、
共通コンテキストベクトルを入力し、第2の教師コンテキスト系列を出力するように学習モデルを構築した第2のデコーダと、
運用段階として、同一種類の第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に、第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する同義判定手段と
してコンピュータを機能させることを特徴とする同義判定プログラム。」

(2)本件補正前の特許請求の範囲
本件補正前の、令和3年12月27日にされた手続補正により補正された特許請求の範囲の請求項1の記載は次のとおりである。
「 【請求項1】
コンテキスト系列の同義又は異義を判定する装置に搭載されたコンピュータを機能させる同義判定プログラムであって、
第1の教師コンテキスト系列と、第2の教師コンテキスト系列とが対応付けられており、
第1の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第1のエンコーダと、
共通コンテキストベクトルを入力し、第2の教師コンテキスト系列を出力するように学習モデルを構築した第2のデコーダと、
運用段階として、第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に、第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する同義判定手段と
してコンピュータを機能させることを特徴とする同義判定プログラム。」

2 補正の適否
本件補正は、本件補正前の請求項1に記載された発明を特定するために必要な事項である「第1の教師コンテキスト系列」及び「第2の教師コンテキスト系列」について、「同義となる異なる種類の」ものであることを限定し、また、「第1の入力コンテキスト系列」及び「第2の入力コンテキスト系列」について、「同一種類の」ものであることを限定するものであって、補正前の請求項1に記載された発明と補正後の請求項1に記載される発明の産業上の利用分野及び解決しようとする課題が同一であるから、特許法第17条の2第5項第2号の特許請求の範囲の減縮を目的とするものに該当する。
そこで、本件補正後の請求項1に記載される発明(以下「本件補正発明」という。)が同条第6項において準用する同法第126条第7項の規定に適合するか(特許出願の際独立して特許を受けることができるものであるか)について、以下、検討する。

(1)本件補正発明
本件補正発明は、上記1(1)に記載したとおりのものであるところ、以下に再掲する。なお、A〜Eの符号は、説明のために当審で付したものである。

「 【請求項1】
A コンテキスト系列の同義又は異義を判定する装置に搭載されたコンピュータを機能させる同義判定プログラムであって、
B 同義となる異なる種類の第1の教師コンテキスト系列と第2の教師コンテキスト系列とが対応付けられており、
C 第1の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第1のエンコーダと、
D 共通コンテキストベクトルを入力し、第2の教師コンテキスト系列を出力するように学習モデルを構築した第2のデコーダと、
E 運用段階として、同一種類の第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に、第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する同義判定手段と
してコンピュータを機能させることを特徴とする同義判定プログラム。」

(2)引用文献の記載事項
ア 引用文献1
(ア)原査定の拒絶の理由で引用された本願の出願前に頒布された又は電気通信回線を通じて公衆に利用可能となった引用文献である、「Cristina Espana-Bonet 他3名,An Empirical Analysis of NMT-Derived Interlingual Embeddings and their Use in Parallel Sentence Identification,arXiv,2017年11月15日,https://arxiv.org/abs/1704.05415」(以下「引用文献1」という。)には、図面とともに、次の記載がある。(下線は当審で付したものである。)

A 「Abstract−End-to-end neural machine translation has overtaken statistical machine translation in terms of translation quality for some language pairs, specially those with large amounts of parallel data. Besides this palpable improvement, neural networks provide several new properties. A single system can be trained to translate between many languages at almost no additional cost other than training time. Furthermore, internal representations learned by the network serve as a new semantic representation of words −or sentences− which, unlike standard word embeddings, are learned in an essentially bilingual or even multilingual context. In view of these properties, the contribution of the present work is two-fold. First, we systematically study the NMT context vectors, i.e. output of the encoder, and their power as an interlingua representation of a sentence. We assess their quality and effectiveness by measuring similarities across translations, as well as semantically related and semantically unrelated sentence pairs. Second, as extrinsic evaluation of the first point, we identify parallel sentences in comparable corpora, obtaining an F1 = 98.2% on data from a shared task when using only NMT context vectors. Using context vectors jointly with similarity measures F1 reaches 98.9%.」(1340頁)
(当審訳:概要−エンドツーエンドのニューラル機械翻訳は、一部の言語ペア、特に大量の並列データを使用する言語ペアの翻訳品質に関して、統計的機械翻訳を追い越した。この明白な改善に加えて、ニューラルネットワークはいくつかの新しい特性を提供する。単一のシステムをトレーニングして、トレーニング時間以外の追加コストをほとんどかけずに、多くの言語間で翻訳することができる。さらに、ネットワークによって学習された内部表現は、標準的な単語の埋め込みとは異なり、本質的にバイリンガルまたはマルチリンガルのコンテキストで学習される単語(または文)の新しい意味表現として機能する。これらの特性を考慮すると、本研究の貢献は2つある。まず、NMTコンテキストベクトル、つまりエンコーダの出力、および文のインターリングア表現としてのそれらの能力を体系的に調べる。意味的に関連する文と意味的に関連しない文のペアだけでなく、翻訳全体の類似性を測定することにより、それらの品質と有効性を評価する。次に、最初のポイントの外因性評価として、NMTコンテキストベクトルのみを使用した場合に、共有タスクからのデータでF1 = 98.2%を取得して、比較可能なコーパスで並列文を識別する。コンテキストベクトルを類似性尺度と組み合わせて使用すると、F1は98.9%に達する。)

B 「1 Introduction
End-to-end neural machine translation systems (NMT) emerged in 2013 [1] as a promising alternative to statistical and rule-based systems. Nowadays, they are the state of the art for language pairs with large amounts of parallel data [2], [3] and have nice properties that other paradigms lack. We highlight three: being a deep learning architecture, NMT does not require manually predefined features; it allows for the simultaneous training of systems across multiple languages; and it can provide zero-shot translations, i.e. translations for language pairs not directly seen in the training data [4], [5].
Multilingual neural machine translation systems (ML-NMT) have interesting features. To perform multilingual translation, the network must project all the languages into the same common embedding space. In principle this space is multilingual, but the network does more than simply locating words according to their language and meaning independently. Previous studies suggest that the network locates words according to their semantics, irrespective of their language [4], [5], [6]. That is somehow reinforced by the fact that zero-shot translation is possible (though at low quality). If that is confirmed, ML-NMT systems are learning a representation akin to an interligua for a source text and such interlingual embeddings could be used to assess cross-language similarity, among other applications.
In the past, the analysis of internal embeddings in NMT systems has been limited to visualisations; e.g., showing the proximity between semantically-similar representations. In the first part of this paper, we go beyond graphical analyses and search for empirical evidence of interlinguality. We address four specific research questions. RQ1: Whether the embedding learned by the network for a source text also depends on the target language. RQ2: How distinguishable representations of semantically-similar and semantically distant sentence pairs are. RQ3: How close representations of sentence pairs within and across languages are. RQ4: How representations evolve throughout the training. These questions are addressed by means of statistics on cosine similarities between pairs of sentences both in a monolingual and a cross-language setting. In order to do that, we perform a large number of experiments using parallel and comparable data in Arabic, English, French, German, and Spanish (ar, en, fr, de, and es onwards).」(1340頁左欄1行〜同頁右欄20行)
(当審訳:1 イントロダクション
エンド・ツー・エンドのニューラル機械翻訳システム(NMT)は、2013年[1]に、統計およびルールベースのシステムに代わる有望なシステムとして登場した。現在、これらは大量の並列データ[2]、[3]を含む言語ペアの最先端であり、他のパラダイムにはない優れた特性を備えている。以下の3つを強調する。NMTはディープラーニングアーキテクチャであるため、手動で定義済みの機能を必要としない。複数の言語にまたがるシステムの同時トレーニングが可能になる。また、トレーニングデータで直接見られない言語ペアの翻訳など、ゼロ・ショット翻訳を提供することもできる[4]、[5]。
多言語ニューラル機械翻訳システム(ML-NMT)には興味深い機能がある。多言語翻訳を実行するには、ネットワークはすべての言語を同じ共通の埋め込み空間に射影する必要がある。原則として、このスペースは多言語であるが、ネットワークは、言語と意味に応じて単語を個別に見つけるだけではない。以前の研究では、ネットワークは言語に関係なく、意味論に従って単語を見つけることが示唆されている[4]、[5]、[6]。これは、ゼロ・ショット変換が可能である(低品質ではあるが)という事実によって補強される。それが確認された場合、ML-NMTシステムはソーステキストのインターリガに似た表現を学習しており、そのようなインターリンガルの埋め込みは、他のアプリケーションの中でも言語間の類似性を評価するために使用できる。
これまで、NMTシステムの内部埋め込みの分析は、例えば、意味的に類似した表現間の近接性を示すなど、視覚化に限定されていた。この論文の最初の部分では、グラフィカルな分析を超えて、言語間の経験的証拠を探す。4つの具体的な研究課題に取り組む。RQ1:ソーステキストのネットワークによって学習された埋め込みもターゲット言語に依存するかどうか。RQ2:意味的に類似した文と意味的に離れた文のペアの表現がどの程度区別可能か。RQ3:言語内および言語間で文対の表現がどの程度近いか。RQ4:トレーニングを通じて表現がどのように進化するか。これらの質問は、単一言語環境と言語間環境の両方で、文のペア間のコサイン類似度に関する統計によって対処される。そのために、アラビア語、英語、フランス語、ドイツ語、スペイン語 (以降、ar、en、fr、de、およびesと表記する。)の並列で比較可能なデータを使用して、多数の実験を行う。)

C 「4 NMT Systems Description
We carried out experiments with two multilingual many-to-many NMT engines trained with Nematus [9]. As in [5] and similarly to [4], we trained our systems on parallel corpora for several language pairs Li−Lj simultaneously, adding a tag in the source sentence to account for the target language “<2Lj>” (e.g., <2ar> if the target language is Arabic). Table 1 shows the key parameters of the engines. Since our aim is to study the capability of NMT representations to characterise similar sentences within and across languages, we selected languages for which text similarity and/or translation test sets are available.
First, we build a ML-NMT engine for ar, en, and es. We trained the multilingual system for the 6 language pair directions on 56 M parallel sentences; see Table 1a. We used 1024 hidden units, which correspond to 2048-dimensional context vectors. We train system S1-w after cleaning and tokenising the texts. A second system called S1-l is trained on lemmatised sentences. We used MADAMIRA [32] for tokenisation and lemmatisation in ar. For en and es we used Moses for tokenisation and IXA pipeline [33] for lemmatisation. In both cases we employ a vocabulary of 60 K tokens plus 2 K for subword units, segmented using Byte Pair Encoding (BPE) [34].
Second, we build a ML-NMT engine for de, fr, en, and es. We train the system with data on 4 language pairs: de−en, fr−en, es−en and es−fr. Although some corpora exist for the remaining two (es−de and fr−de), we exclude them to study these pairs as instances of zero-shot translation.」(1342頁左欄39行〜同頁右欄8行)
(当審訳:4 NMTシステムの説明
Nematus[9]でトレーニングされた2つの多言語多対多NMTエンジンで実験を行った。[5]および[4]と同様に、ターゲット言語“<2Lj>”(例: < 2ar>ターゲット言語がアラビア語の場合)を説明するためにソース文にタグを追加して、同時に複数の言語ペアLi−Ljの並列コーパスでシステムをトレーニングした。表1に、エンジンの主要なパラメーターを示す。私たちの目的は、言語内および言語間で類似した文を特徴付けるNMT表現の能力を研究することであるため、テキストの類似性および/または翻訳テストセットが利用可能な言語を選択した。
まず、ar、en、およびes用のML-NMTエンジンを構築する。56Mの並列文で6つの言語ペア方向の多言語システムをトレーニングした。表1aを参照されたい。2048 次元のコンテキストベクトルに対応する1024個の隠れユニットを使用した。テキストをクリーニングしてトークン化した後、システムS1-wをトレーニングする。S1-lと呼ばれる2番目のシステムは、見出し語化された文でトレーニングされる。arのトークン化と見出し語化には、MADAMIRA[32]を使用した。enとesについては、トークン化にMosesを使用し、見出し語化にIXAパイプライン[33]を使用した。どちらの場合も、バイト ペア エンコーディング (BPE)[34]を使用してセグメント化された、60 Kトークンとサブワード ユニット用の 2 K のボキャブラリを使用する。
次に、de、fr、en、およびesのML-NMTエンジンを構築する。de−en、fr−en、es−en、es−frの4つの言語ペアのデータを使用してシステムをトレーニングする。残りの2つ(es-deとfr-de)にはいくつかのコーパスが存在するが、ゼロ・ショット翻訳のインスタンスとしてこれらのペアを研究するためにそれらを除外する。)

D 「5 Context Vectors in Multilingual NMT Systems
The NMT architecture used for the experiments is the encoder−decodermodel with recurrent neural networks and attention mechanism described in Section 3, as implemented in Nematus. We use the sum of the context vector associated to every word (Eq. 1) at a specific point of the training as the representation of a source sentence s:

This representation depends on the length of the sentence. However, we stick to this definition rather than using a mean over words because the length of the sentences is a feature one might take into account, since sentences with similar meaning tend to have similar lengths. Given sentence s1 represented by Cs1 and sentence s2 represented by Cs2 , we can estimate their similarity by means of the cosine measure:

By using this similarity measure we cancel the effect of the length of the sentence on the similarity between pairs but not on the representation of the sentence itself.」(1343頁左欄29行〜同欄末行)
(当審訳:5 多言語NMTシステムにおけるコンテキストベクトル
実験に用いたNMTアーキテクチャは、セクション3で説明した再帰型ニューラルネットワークと注意メカニズムを備えたエンコーダ・デコーダモデルであり、Nematusに実装されている。ソース文sの表現として、学習の特定の時点における各単語に関連付けられたコンテキストベクトルの総和(式1)を用いる。

この表現は、文の長さに依存する。しかし、類似した意味を持つ文は類似した長さになる傾向があり、文の長さは考慮すべき特徴であるため、単語の平均値を使うのではなく、この定義にこだわった。Cs1で表される文s1とCs2で表される文s2が与えられた場合、コサイン尺度を使用してそれらの類似性を推定できる。

この類似性尺度を使うことで、文の長さがペア間の類似性に与える影響をキャンセルし、文の表現そのものには影響を与えないようにしている。)

E 「Table 3:Cosine similarities between the obtained representations of the sentences in the subSTS2017 test set with S1-w and S1-l. The results are shown for both monolingual and cross-language language pairs and the three sets with translations (trad), semantically similar sentences (semrel) and unrelated sentences (unrel). Notice that a trad set cannot be built in the monolingual case. Δtr−ur is the difference between the mean similarity seen in translations and in unrelated sentences. 1σ uncertainties are shown in parentheses and affect the last significant digits.

」(第1345頁)
(当審訳:表3:S1-wとS1-lを使用したsubSTS2017テストセットで得られた文の表現間のコサイン類似度。結果は、単一言語の言語ペアと異言語の言語ペアの両方と、翻訳(trad)、意味的に類似した文(semrel)、無関係の文(unrel)を含む3つのセットについて示されている。単一言語の場合、tradのセットを構築できないことに注意されたい。Δtr−urは、翻訳と無関係な文で見られる平均類似度の差である。1σの不確実性は括弧内に示され、最後の有効数字に影響する。)

F 「5.3 Representations throughout Training
During training, the network learns the most appropriate representation of words/sentences in order to be translated, so the embeddings themselves evolve over time. As seen in the graphical analysis (Section 5.1), it is interesting to follow this evolution and examine how sentences are grouped together depending on their language and semantics. Hence, we analyse in parallel an engine trained on lemmatised sentences (S1-l) and one trained on tokenised sentences (S1-w). The rationale is that the vocabulary in the lemmatised system is smaller and therefore can be better covered by the 60 K NMT fixed vocabulary during training. Still, the ambiguity becomes higher, which could damage the quality of the representations.
Table 3 shows the results. At the beginning of the training process, after having seen 4・106 sentences only, the results are still very much dependent on the language.
Translations in ar−es have a similarity of 0.81 ± 0.04, whereas translations in ar−en have a similarity of 0.44 ± 0.07 (first row for system S1-lemmas). Perhaps for this reason monolingual pairs show higher similarity values than cross-language pairs, even for unrelated sentences (sim = 0.70 ± 0.09 for ar and sim = 0.73 ± 0.09 for en). Nevertheless, within a language pair the system is already aware of the meaning of the sentences: cosine similarities are the highest for translations (trad), slightly lower for semantically related sentences (semrel) and significantly lower for unrelated sentences (unrel). The difference between the mean similarities obtained for translations and unrelated sentences,

shows that, already at this point, parallel sentences can be identified and located in the multilingual space, even though the similarity for translations is in general far from 1 and the similarity for unrelated sentences is far from 0.」(1345頁左欄17行〜同頁右欄22行)
(当審訳:5.3 トレーニング中の表現
トレーニング中、ネットワークは翻訳するために単語/文の最も適切な表現を学習するため、埋め込み自体は時間の経過とともに進化する。グラフィック分析(セクション5.1)で見られるように、この進化をたどり、言語と意味論に応じて文がどのようにグループ化されるかを調べることは興味深い。したがって、見出し語化された文でトレーニングされたエンジン(S1-l)と、トークン化された文でトレーニングされたエンジン(S1-w)を並行して分析する。理論的根拠は、見出し語化されたシステムの語彙が小さいため、トレーニング中に60K NMT固定語彙でより適切にカバーできるためである。それでも、あいまいさが高くなり、表現の品質が損なわれる可能性がある。
表3に結果を示す。トレーニングプロセスの開始時に、4・106センテンスのみを見た後でも、結果は依然として言語に大きく依存している。ar−esの翻訳の類似度は0.81±0.04であるが、ar−enの翻訳の類似度は0.44±0.07である(システムS1-lemmasの最初の行)。おそらくこの理由で、単一言語のペアは、無関係の文であっても、クロス言語のペアよりも高い類似値を示す(arの場合はsim = 0.70 ± 0.09、enの場合はsim = 0.73 ± 0.09)。それにもかかわらず、言語ペア内では、システムは文の意味をすでに認識している。コサイン類似度は、翻訳(trad)で最も高く、意味的に関連する文 (semrel) ではわずかに低く、無関係な文 (unrel) では大幅に低くなる。 翻訳文と無関係な文で得られた平均類似度の差

は、翻訳文の類似度が一般に1から遠く、非関連文の類似度が0から遠くても、この時点ですでに並列文を識別し、多言語空間内に位置づけることができることを示している。)

G 「As we argued in the previous section, translations and nontranslations are clearly differentiated by a cosine similarity of the context vectors for these languages pairs, ・・・」(1348頁左欄17〜19行)
(当審訳:前のセクションで論じたように、翻訳と非翻訳は、これらの言語ペアのコンテキストベクトルのコサイン類似度によって明確に区別される。・・・)

H 「RQ3: The language dependence is not completely lost in the representations. In the latter experiment, correlations in the cross-language tasks are lower than in the monolingual ones, but in both cases related and unrelated sentence pairs are clearly distinguishable within the variance.」(1348頁右欄29〜33行)
(当審訳:RQ3:表現の言語依存性が完全に失われているわけではない。後者の実験では、異言語間タスクでの相関は、単言語間タスクよりも低くなるが、どちらの場合も、関連する文のペアと関連しない文のペアは、分散内で明確に区別できる。)

(イ)引用文献1の記載について検討する。

a 上記(ア)Bの「RQ2:意味的に類似した文と意味的に離れた文のペアの表現がどの程度区別可能か。RQ3:言語内および言語間で文対の表現がどの程度近いか。RQ4:トレーニングを通じて表現がどのように進化するか。これらの質問は、単一言語環境と言語間環境の両方で、文のペア間のコサイン類似度に関する統計によって対処される。そのために、アラビア語、英語、フランス語、ドイツ語、スペイン語 (以降、ar、en、fr、de、およびesと表記する。)の並列で比較可能なデータを使用して、多数の実験を行う。」との記載から、引用文献1には、「意味的に類似した文と意味的に離れた文のペアの表現がどの程度区別可能か、また、言語内および言語間で文対の表現がどの程度近いか、という質問に対処するための実験」を行うことが記載されている。

b 上記(ア)Cの「Nematus[9]でトレーニングされた2つの多言語多対多NMTエンジンで実験を行った。[5]および[4]と同様に、ターゲット言語“<2Lj>”(例: < 2ar>ターゲット言語がアラビア語の場合)を説明するためにソース文にタグを追加して、同時に複数の言語ペアLi−Ljの並列コーパスでシステムをトレーニングした。」との記載から、引用文献1には、「実験に使用される多言語多対多NMTエンジン」は、「複数の言語ペアの並列コーパスでトレーニングされたものであ」ることが記載されている。

c 上記(ア)Dの「実験に用いたNMTアーキテクチャは、セクション3で説明した再帰型ニューラルネットワークと注意メカニズムを備えたエンコーダ・デコーダモデルであり、Nematusに実装されている。ソース文sの表現として、学習の特定の時点における各単語に関連付けられたコンテキストベクトルの総和(式1)を用いる。

この表現は、文の長さに依存する。しかし、類似した意味を持つ文は類似した長さになる傾向があり、文の長さは考慮すべき特徴であるため、単語の平均値を使うのではなく、この定義にこだわった。Cs1で表される文s1とCs2で表される文s2が与えられた場合、コサイン尺度を使用してそれらの類似性を推定できる。

」との記載と、上記(ア)Gの「前のセクションで論じたように、翻訳と非翻訳は、これらの言語ペアのコンテキストベクトルのコサイン類似度によって明確に区別される。」との記載から、引用文献1には、「実験に使用されたNMTアーキテクチャは、エンコーダ/デコーダモデルであり、Cs1で表される文s1とCs2で表される文s2が与えられた場合、コンテキストベクトルのコサイン類似度を使用してそれらの類似性を推定でき」ることが記載されている。

d 上記(ア)Eの表3の記載から、例えばS1-wでは、ar−ar(単一言語の言語ペア)の2.0EPOCHSのコサイン類似度は、意味的に類似した文(semrel)では0.80であるのに対して、無関係の文(unrel)では0.37であることが読み取れ、en−en(単一言語の言語ペア)の2.0EPOCHSのコサイン類似度は、意味的に類似した文(semrel)では0.83であるのに対して、無関係の文(unrel)では0.34であることが読み取れる。
上記のことと、上記(ア)Fの「それにもかかわらず、言語ペア内では、システムは文の意味をすでに認識している。コサイン類似度は、翻訳(trad)で最も高く、意味的に関連する文 (semrel)ではわずかに低く、無関係な文 (unrel)では大幅に低くなる。翻訳文と無関係な文で得られた平均類似度の差

は、翻訳の類似度が一般に1にはほど遠いにもかかわらず、既にこの時点で、並列文を識別して多言語空間に配置できることを示している。」との記載、上記(ア)Gの「前のセクションで論じたように、翻訳と非翻訳は、これらの言語ペアのコンテキストベクトルのコサイン類似度によって明確に区別される。」との記載、及び上記Hの「異言語間タスクでの相関は、単言語間タスクよりも低くなるが、どちらの場合も、関連する文のペアと関連しない文のペアは、分散内で明確に区別できる。」との記載から、引用文献1には、「単一言語の言語ペア間において、意味的に類似した文(semrel)のコサイン類似度は0.80以上であるのに対して、無関係の文(unrel)のコサイン類似度は0.4以下であり、単一言語において、意味的に類似した文(semrel)と無関係な文 (unrel)は、コンテキストベクトルのコサイン類似度によって明確に区別できる」ことが記載されているといえる。
また、上記の検討から、引用文献1には、「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段」が記載されているといえる。
ここで、上記(あ)Aの「NMTコンテキストベクトル、つまりエンコーダの出力」との記載によれば、コンテキストベクトルは、エンコーダから出力されるものである。
したがって、上記a、bの検討も踏まえると、引用文献1には、「意味的に類似した文と意味的に離れた文のペアの表現がどの程度区別可能か、また、言語内および言語間で文対の表現がどの程度近いか、という質問に対処するための実験に使用される多言語多対多NMTエンジンと、当該多言語多対多NMTエンジンのエンコーダから出力される単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段」が記載されているといえる。

(ウ)引用発明
上記(ア)、(イ)の検討によれば、引用文献1には、次の発明(以下「引用発明」という。)が記載されていると認められる。

「意味的に類似した文と意味的に離れた文のペアの表現がどの程度区別可能か、また、言語内および言語間で文対の表現がどの程度近いか、という質問に対処するための実験に使用される多言語多対多NMTエンジンと、当該多言語多対多NMTエンジンのエンコーダから出力される単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段であって、
前記多言語多対多NMTエンジンは、複数の言語ペアの並列コーパスでトレーニングされたものであり、
実験に使用されたNMTアーキテクチャは、エンコーダ/デコーダモデルであり、
Cs1で表される文s1とCs2で表される文s2が与えられた場合、コンテキストベクトルのコサイン類似度を使用してそれらの類似性を推定でき、
単一言語の言語ペア間において、意味的に類似した文(semrel)のコサイン類似度は0.80以上であるのに対して、無関係の文(unrel)のコサイン類似度は0.4以下であり、単一言語において、意味的に類似した文(semrel)と無関係な文 (unrel)は、コンテキストベクトルのコサイン類似度によって明確に区別できる
多言語多対多NMTエンジンとコサイン類似度算出手段。」

(3)引用発明との対比
ア 本件補正発明と引用発明とを対比する。

(ア)構成Aについて
引用発明の「文」は多言語多対多NMTエンジンによって機械翻訳される対象であるから、本件補正発明の「コンテキスト系列」に相当するものであり、引用発明の「コサイン類似度」は、単一言語における意味的に類似した文(semrel)と無関係な文 (unrel)を識別可能な指標であるから、“コンテキスト系列の同義又は異義を判定することが可能な指標”であるといえる。
そして、引用発明の「多言語多対多NMTエンジンとコサイン類似度算出手段」は、“コンテキスト系列の同義又は異義を判定することが可能な指標”であるコサイン類似度を算出する処理、すなわち、“コンテキスト系列の同義又は異義を判定することに関連する処理”を実行しているといえるから、引用発明の「多言語多対多NMTエンジン」及び「コサイン類似度算出手段」と、本件補正発明の「コンテキスト系列の同義又は異義を判定する装置」とは、“コンテキスト系列の同義又は異義を判定することに関連する処理を実行する装置”である点で共通する。

(イ)構成Bについて
引用発明の「多言語多対多NMTエンジン」は、「複数の言語ペアの並列コーパスでトレーニングされたもの」であるところ、トレーニングに使用される「複数の言語ペアの並列コーパス」は、異なる言語、例えば「第1の言語」と「第2の言語」の同義文同士が対応付けられたものであることは技術常識であり、引用発明の「複数の言語ペアの並列コーパス」に対応付けられた同義文のうち、「第1の言語の文」は、本件補正発明の「第1の教師コンテキスト系列」に相当し、「第2の言語の文」は、本件補正発明の「第2の教師コンテキスト系列」に相当する。
そして、引用発明の「並列コーパス」における“異なる言語の文”は、本件補正発明の「異なる種類」の「コンテキスト系列」に相当する。
そうすると、引用発明の「複数の言語ペアの並列コーパス」は、「同義となる異なる種類の第1の教師コンテキスト系列と第2の教師コンテキスト系列とが対応付けられ」たものであるといえる。
したがって、引用発明と本件補正発明とは、構成Bの点で一致する。

(ウ)構成C及び構成Dについて
引用発明の「エンコーダ」、「デコーダ」及び「コンテキストベクトル」は、それぞれ、本件補正発明の「第1のエンコーダ」、「第2のデコーダ」及び「共通コンテキストベクトル」に相当する。
引用発明の「実験に使用されたNMTアーキテクチャ」は、「エンコーダ/デコーダモデル」であり、当該エンコーダ/デコーダモデルをトレーニングする際に、「複数の言語ペアの並列コーパス」に対応付けられた同義文のうち、「第1の言語の文」がエンコーダに入力されると、これに対応した同義文である「第2の言語の文」がデコーダから出力されるように、モデルを学習させることは技術常識である。
また、「エンコーダ/デコーダモデル」を用いた機械翻訳では、エンコーダに「第1の言語の文」が入力されると、エンコーダからコンテキストベクトルが出力され、当該コンテキストベクトルがデコーダに入力されて、デコーダから、「第1の言語の文」に対応した同義文(翻訳文)である「第2の言語の文」が出力されるものである。
そうすると、引用発明の「複数の言語ペアの並列コーパスでトレーニングされた」「エンコーダ」は、“第1の言語の文(第1の教師コンテキスト系列)を入力し、コンテキストベクトル(共通コンテキストベクトル)を出力するように学習モデルを構築したエンコーダ(第1のエンコーダ)”であるといえるから、本件補正発明の「第1の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第1のエンコーダ」に相当する。
また、引用発明の「複数の言語ペアの並列コーパスでトレーニングされた」「デコーダ」は、“コンテキストベクトル(共通コンテキストベクトル)を入力し、第2の言語の文(第2の教師コンテキスト系列)を出力するように学習モデルを構築したデコーダ(第2のデコーダ)”であるといえるから、本件補正発明の「共通コンテキストベクトルを入力し、第2の教師コンテキスト系列を出力するように学習モデルを構築した第2のデコーダ」に相当する。
したがって、引用発明と本件補正発明とは、構成C及び構成Dの点で一致する。

(エ)引用発明は、「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段」を有するところ、上記「単一言語の2つの文のコンテキストベクトルのコサイン類似度」は、2つのコンテキストベクトルの類似の程度を表すものであって、2つのコンテキストベクトルを比較するためのものであるといえるから、引用発明の「コンテキストベクトルのコサイン類似度を算出する」ことは、本件補正発明の「第1の共通コンテキストベクトル」と、「第2の共通コンテキストベクトルとを比較する」ことに相当する。
そして、コンテキストベクトルはエンコーダから出力されるものである。
なお、本件補正発明は、「同一種類の第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に、第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する」ものであるから、共通コンテキストベクトル同士が比較される「第1の入力コンテキスト系列」と「第2の入力コンテキスト系列」は、「同一種類」のコンテキスト系列であると認められる。
そうすると、引用発明において、「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出する」ことは、本件補正発明の「第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、(前記第1の入力コンテキスト系列と同一種類の)第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する」ことに相当する。
したがって、引用発明の「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段」と本件補正発明の構成Eとは、後記する点で相違するものの、「第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、(前記第1の入力コンテキスト系列と同一種類の)第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する手段」である点で共通する。

イ 以上のことから、本件補正発明と引用発明との一致点及び相違点は、次のとおりである。

[一致点]
「コンテキスト系列の同義又は異義を判定することに関連する処理を実行する装置であって、
同義となる異なる種類の第1の教師コンテキスト系列と第2の教師コンテキスト系列とが対応付けられており、
第1の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第1のエンコーダと、
共通コンテキストベクトルを入力し、第2の教師コンテキスト系列を出力するように学習モデルを構築した第2のデコーダと、
第1の入力コンテキスト系列から第1のエンコーダによって出力された第1の共通コンテキストベクトルと、(前記第1の入力コンテキスト系列と同一種類の)第2の入力コンテキスト系列から第1のエンコーダによって出力された第2の共通コンテキストベクトルとを比較する手段と
を備えた装置。

[相違点1]
本件補正発明の「同義判定手段」は、「運用段階として、同一種類の第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に」、2つの共通コンテキストベクトルを比較するのに対して、引用発明の「多言語多対多NMTエンジンとコサイン類似度算出手段」は、「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出する」ものであって、当該類似度を用いれば、「Cs1で表される文s1とCs2で表される文s2が与えられた場合、コンテキストベクトルのコサイン類似度を使用してそれらの類似性を推定でき」ることは特定されるものの、当該コサイン類似度を用いて、運用として積極的に、同一言語のコンテキスト系列の同義又は異義を判定することまでは特定されていない点。

[相違点2]
本件補正発明は、「装置に搭載されたコンピュータを機能させるプログラム」であるのに対して、引用発明は、プログラムであることは特定されていない点。

(4)判断
上記相違点について検討する。

ア 相違点1について
引用発明は、「単一言語の言語ペア間において、意味的に類似した文(semrel)のコサイン類似度は0.80以上であるのに対して、無関係の文(unrel)のコサイン類似度は0.4以下であり、単一言語において、意味的に類似した文(semrel)と無関係な文 (unrel)は、コンテキストベクトルのコサイン類似度によって明確に区別できる」ものであり、また、「Cs1で表される文s1とCs2で表される文s2が与えられた場合、コンテキストベクトルのコサイン類似度を使用してそれらの類似性を推定でき」るものであるから、「2つのコンテキストベクトル同士の類似度が、所定閾値以上であれば、2つの入力文は「意味的に類似した文」、すなわち、「同義文」と判定することができ、そうでなければ「無関係な文」、すなわち、「異義文」と判定することができることが示唆されているといえる。
そうすると、上記示唆に基づき、引用発明の「コサイン類似度」の判定機能を、運用として積極的に使用し、運用段階として、同一種類の第1の入力コンテキスト系列と第2の入力コンテキスト系列との間の同義又は異義を判定する際に、当該第1の入力コンテキスト系列と第2の入力コンテキスト系列のコンテキストベクトルを比較する、「コンテキスト系列の同義又は異義を判定する装置」を構成することは当業者が容易に想到し得たことである。

イ 相違点2について
引用発明の「多言語多対多NMTエンジン」がコンピュータで構成されることは明らかであり、また、引用発明の「単一言語の2つの文のコンテキストベクトルのコサイン類似度を算出するコサイン類似度算出手段」をコンピュータで構成することは当業者が必要に応じて適宜なし得る設計的事項である。
そうすると、引用発明の「多言語多対多NMTエンジン」と「コサイン類似度算出手段」をコンピュータによって構成し、当該コンピュータを機能させるために、当該「コンピュータを機能させるプログラム」を構成することは、当業者が容易に想到し得たことである。

ウ そして、これらの相違点を総合的に勘案しても、本件補正発明の奏する作用効果は、引用発明の奏する作用効果から予測される範囲内のものにすぎず、格別顕著なものということはできない。

エ したがって、本件補正発明は、引用発明に基づいて、当業者が容易に発明をすることができたものであり、特許法第29条第2項の規定により、特許出願の際独立して特許を受けることができないものである。

3 本件補正についてのむすび
よって、本件補正は、特許法第17条の2第6項において準用する同法第126条第7項の規定に違反するので、同法第159条第1項の規定において読み替えて準用する同法第53条第1項の規定により却下すべきものである。
よって、上記補正の却下の決定の結論のとおり決定する。

第3 本願発明について
1 本願発明
令和4年8月4日にされた手続補正は、上記のとおり却下されたので、本願の請求項に係る発明は、令和3年12月27日にされた手続補正により補正された特許請求の範囲の請求項1ないし11に記載された事項により特定されるものであるところ、その請求項1に係る発明(以下「本願発明」という。)は、その請求項1に記載された事項により特定される、前記第2[理由]1(2)に記載のとおりのものである。

2 原査定の拒絶の理由
原査定の拒絶の理由は、この出願の請求項1に係る発明は、本願の出願前に頒布された又は電気通信回線を通じて公衆に利用可能となった下記の引用文献1に記載された発明に基づいて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない、というものである。

引用文献1:Cristina Espana-Bonet 他3名,An Empirical Analysis of NMT-Derived Interlingual Embeddings and their Use in Parallel Sentence Identification,arXiv,2017年11月15日,https://arxiv.org/abs/1704.05415

3 引用文献
原査定の拒絶の理由で引用された引用文献1の記載事項は、前記第2の[理由]2(2)に記載したとおりである。

4 対比・判断
本願発明は、前記第2の[理由]2で検討した本件補正発明から、「第1の教師コンテキスト系列」及び「第2の教師コンテキスト系列」に係る限定事項、及び「第1の入力コンテキスト系列」及び「第2の入力コンテキスト系列」に係る限定事項を削除したものである。
そうすると、本願発明の発明特定事項を全て含み、さらに他の事項を付加したものに相当する本件補正発明が、前記第2の[理由]2(3)、(4)に記載したとおり、引用発明に基づいて、当業者が容易に発明をすることができたものであるから、本願発明も、引用発明に基づいて、当業者が容易に発明をすることができたものである。

第4 むすび
以上のとおり、本願発明は、特許法第29条第2項の規定により特許を受けることができないから、他の請求項に係る発明について検討するまでもなく、本願は拒絶されるべきものである。
よって、結論のとおり審決する。

 
別掲 (行政事件訴訟法第46条に基づく教示) この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。
 
審理終結日 2023-05-09 
結審通知日 2023-05-10 
審決日 2023-05-23 
出願番号 P2018-235994
審決分類 P 1 8・ 121- Z (G06F)
最終処分 02   不成立
特許庁審判長 吉田 美彦
特許庁審判官 須田 勝巳
中村 信也
発明の名称 コンテキスト系列同士の同義又は異義を判定するプログラム、装置及び方法  
代理人 早原 茂樹  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ