• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 判示事項別分類コード:857  G06T
審判 全部申し立て 特36条6項1、2号及び3号 請求の範囲の記載不備  G06T
審判 全部申し立て ただし書き1号特許請求の範囲の減縮  G06T
審判 全部申し立て ただし書き3号明りょうでない記載の釈明  G06T
審判 全部申し立て 2項進歩性  G06T
審判 全部申し立て 1項3号刊行物記載  G06T
審判 全部申し立て 特36条4項詳細な説明の記載不備  G06T
管理番号 1361480
異議申立番号 異議2018-700656  
総通号数 245 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 2020-05-29 
種別 異議の決定 
異議申立日 2018-08-06 
確定日 2020-03-02 
異議申立件数
訂正明細書 有 
事件の表示 特許第6276901号発明「画像処理装置、画像処理方法、および画像処理プログラム」の特許異議申立事件について、次のとおり決定する。 
結論 特許第6276901号の特許請求の範囲を訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔1?4、7、8〕、5、6について訂正することを認める。 特許第6276901号の請求項3、4、5、7、8に係る特許を維持する。 特許第6276901号の請求項1、2、6に係る特許についての特許異議の申立てを却下する。  
理由 第1 手続の経緯
特許第6276901号(以下、「本件特許」という。)の請求項1?6に係る特許についての出願は、2017年5月26日を国際出願日とする出願であって、平成30年1月19日付けでその特許権の設定登録(特許公報発行日 平成30年2月7日)がされた。
これに対して、平成30年8月6日に特許異議申立人丸山美穂より請求項1?6に対して特許異議の申立てがされたものであり、その後の手続の経緯は以下のとおりである。

平成30年11月26日 取消理由通知
平成31年 1月24日 意見書提出及び訂正請求(特許権者)
平成31年 3月19日 意見書提出(特許異議申立人)
令和 1年 6月14日 取消理由通知(決定の予告)
令和 1年 8月 7日 意見書提出及び訂正請求(特許権者)
令和 1年 9月26日 意見書提出(特許異議申立人)
令和 1年11月29日 審尋(特許権者に対して)
令和 1年12月20日 回答書(特許権者)

第2 訂正の適否
1 訂正請求の趣旨
令和1年8月7日の訂正請求(以下、「本件訂正請求」という。)により、特許権者が請求する訂正の趣旨は、特許第6276901号の特許請求の範囲を、本訂正請求書に添付した訂正特許請求の範囲のとおり、訂正後の請求項1?8について訂正することを求めるものである。

2 訂正事項
本件訂正請求による訂正の内容は、以下のとおりである。
また、下線は訂正箇所である。

(1)請求項1?4に係る訂正
ア 訂正事項1
特許請求の範囲の請求項1を削除する。

イ 訂正事項2
特許請求の範囲の請求項2を削除する。

ウ 訂正事項3
特許請求の範囲の請求項3に
「前記プロセッサが前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行する、
請求項2に記載の画像処理装置。」
とあるのを、
「プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。」
に訂正する。

エ 訂正事項4
特許請求の範囲の請求項4に
「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する、
請求項1?3のいずれか一項に記載の画像処理装置。」
とあるうち、請求項1を引用するものについて、
「プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、
前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、
前記出力特徴に基づいて画像残差を生成するステップとを実行し、
前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。」
に訂正する。

オ 訂正事項5
特許請求の範囲の請求項4に
「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する、
請求項1?3のいずれか一項に記載の画像処理装置。」
とあるうち、請求項2を引用するものについて、
「プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて前記画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用される(S35)ことで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。」
に訂正し、新たに請求項7とする。

カ 訂正事項6
特許請求の範囲の請求項4に
「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する、
請求項1?3のいずれか一項に記載の画像処理装置。」
とあるうち、請求項3を引用するものについて、
「プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。」
に訂正し、新たに請求項8とする。

(2)請求項5に係る訂正
ア 訂正事項7
特許請求の範囲の請求項5に
「プロセッサを備える画像処理装置により実行される画像処理方法であって、
入力画像を取得するステップと、
前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、
前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、
前記出力特徴に基づいて画像残差を生成するステップと
を含み、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理方法。」
とあるのを、
「プロセッサを備える画像処理装置により実行される画像処理方法であって、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を含み、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記画像残差を生成するステップでは、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理方法。」
に訂正する。

(3)請求項6に係る訂正
ア 訂正事項8
特許請求の範囲の請求項6を削除する。

3 訂正の適否の判断
(1)請求項1?4に係る訂正
ア 一群の請求項について
訂正事項1?6に係る訂正前の請求項1?4について、請求項2?4は、請求項1を直接的又は間接的に引用しているものであって、訂正事項1によって記載が訂正される請求項1に連動して訂正されるものである。
したがって、訂正前の請求項1?4に対応する訂正後の請求項1?4、7、8は、特許法第120条の5第4項に規定する一群の請求項である。

イ 訂正の目的
(ア)訂正事項1
訂正事項1は、請求項1を削除するものであるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。

(イ)訂正事項2
訂正事項2は、請求項2を削除するものであるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。

(ウ)訂正事項3
訂正事項3は、訂正前の請求項3が請求項2を引用する記載であったものを、請求項間の引用関係を解消し、独立形式請求項へ改めるための訂正であるから、特許法第120条の5第2項ただし書第4号に規定する請求項間の引用関係の解消を目的とするものである。
また、訂正前の請求項の記載において、訂正前の請求項1の各ステップが、訂正前の請求項2の第2の処理ブロックに関する各ステップに対応するところ、独立形式請求項へ改めるための訂正を行ったことに伴い、記載を整理することにより、記載を明瞭にした訂正であるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。
さらに、訂正前の請求項3の「前記出力特徴に基づいて画像残差を生成するステップとを実行し、・・・前記プロセッサが、第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて前記画像残差を生成し、・・・前記プロセッサが前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行する」ことを、「第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、・・・画像残差を生成するステップとを実行し、・・・前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成」することに限定するための訂正であるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。

(エ)訂正事項4
訂正事項4は、訂正前の請求項4が請求項1ないし3のいずれかを引用する記載であったものを、請求項2または3を引用しないものとした上で、請求項1を引用するものについて請求項間の引用関係を解消し、独立形式請求項へ改めるための訂正であるから、特許法第120条の5第2項ただし書第4号に規定する請求項間の引用関係の解消を目的とするものである。
また、「前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し」との記載により、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを明瞭にするものであるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。

(オ)訂正事項5
訂正事項5は、訂正前の請求項4が請求項1ないし3のいずれかを引用する記載であったものを、請求項1または3を引用しないものとした上で、請求項2を引用するものについて請求項間の引用関係を解消し、独立形式請求項へ改めるための訂正であるから、特許法第120条の5第2項ただし書第4号に規定する請求項間の引用関係の解消を目的とするものである。
また、訂正前の請求項の記載において、訂正前の請求項1の各ステップが、訂正前の請求項2の第2の処理ブロックに関する各ステップに対応するところ、独立形式請求項へ改めるための訂正を行ったことに伴い、記載を整理することにより、記載を明瞭にした訂正であるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。
さらに、「前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し」との記載により、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを明瞭にするものであるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。

(カ)訂正事項6
訂正事項6は、訂正前の請求項4が請求項1ないし3のいずれかを引用する記載であったものを、請求項1または2を引用しないものとした上で、請求項3を引用するものについて請求項間の引用関係を解消し、独立形式請求項へ改めるための訂正であるから、特許法第120条の5第2項ただし書第4号に規定する請求項間の引用関係の解消を目的とするものである。
また、訂正前の請求項の記載において、訂正前の請求項1の各ステップが、訂正前の請求項2の第2の処理ブロックに関する各ステップに対応するところ、独立形式請求項へ改めるための訂正を行ったことに伴い、記載を整理することにより、記載を明瞭にした訂正であるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。
さらに、訂正前の請求項3を引用する請求項4の「前記出力特徴に基づいて画像残差を生成するステップとを実行し、・・・前記プロセッサが、第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて前記画像残差を生成し、・・・前記プロセッサが前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行し、前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」を、「第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、・・・画像残差を生成するステップとを実行し、・・・前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し」に限定するための訂正であるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。
加えて、「前記プロセッサが、・・・該第2の出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し」との記載により、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを明瞭にするものであるから、特許法第120条の5第2項ただし書第3号に規定する明瞭でない記載の釈明を目的とするものである。

ウ 願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であること
(ア)訂正事項1
訂正事項1は、請求項1を削除するというものであるから、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

(イ)訂正事項2
訂正事項2は、請求項2を削除するというものであるから、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

(ウ)訂正事項3
明細書の段落0047の「図6は、残差算出部14が第1の処理ブロックおよび第2の処理ブロックを交互に実行する例を示す。この例では、1,3,5番目の処理ブロックが第1の処理ブロックであり、2,4番目の処理ブロックが第2の処理ブロックである。しかし、処理ブロックの実行順序はこれに限定されない。例えば、1,3,5番目の処理ブロックが第2の処理ブロックであり、2,4番目の処理ブロックが第1の処理ブロックであってもよい。いずれにしても、2種類の処理ブロックを交互に実行することで、計算時間を抑えつつ高精度な超解像を実現することができる。」、
段落0068の「第1および第2の処理ブロックの実行順序については下記の7パターンを設定した。「0」は第1の処理ブロックを示し、「1」は第2の処理ブロックを示し、数字の並びは処理の流れを示す。(中略)また、パターン5,6はいずれも、第1の処理ブロックと第2処理ブロックとが交互に実行されることを示す。
(中略)
・パターン5:01010
・パターン6:10101」
の記載から、訂正事項3は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

(エ)訂正事項4
明細書の段落0050の「いずれにしても、残差算出部14は少なくとも一つの第2の処理ブロックを含む一以上の処理ブロックを実行することで出力特徴を得る。続いて、残差算出部14はその出力特徴に対して畳み込みを実行することで、特徴マップの次元を入力画像に合わせるように修正する(ステップS33)。例えば、残差算出部14は、サイズが3×3である単一のフィルタを用いた畳み込みを実行する。」、
段落0051の「この特徴スケーリングは、入力画像の全画素に対応する特徴マップの全要素に共通の係数λを乗ずる処理である。」の記載から、訂正事項4は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

(オ)訂正事項5
上記(エ)と同様に、明細書の段落0050、0051の記載から、訂正事項5は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

(カ)訂正事項6
上記(ウ)及び(エ)と同様に、明細書の段落0047、0050、0051、0068の記載から、訂正事項6は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

エ 実質上特許請求の範囲を拡張し、又は変更する訂正ではないこと
(ア)訂正事項1
訂正事項1は、請求項1を削除するというものであるから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

(イ)訂正事項2
訂正事項2は、請求項2を削除するというものであるから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

(ウ)訂正事項3
訂正事項3は、独立形式請求項へ改めるための訂正を行い、また、記載を整理することにより、記載を明瞭にし、さらに、「前記出力特徴に基づいて画像残差を生成するステップとを実行し、・・・前記プロセッサが、第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて前記画像残差を生成し、・・・前記プロセッサが前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行する」ことを減縮する訂正であり、発明のカテゴリーや発明の対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

(エ)訂正事項4
訂正事項4は、独立形式請求項へ改めるための訂正を行い、また、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを明瞭にするものであり、発明のカテゴリーや発明の対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

(オ)訂正事項5
訂正事項5は、独立形式請求項へ改めるための訂正を行い、また、記載を整理することにより、記載を明瞭にし、さらに、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを明瞭にするものであり、発明のカテゴリーや発明の対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

(カ)訂正事項6
訂正事項6は、独立形式請求項へ改めるための訂正を行い、また、記載を整理することにより、記載を明瞭にし、さらに、訂正前の請求項3を引用する請求項4の「前記出力特徴に基づいて画像残差を生成するステップとを実行し、・・・前記プロセッサが、第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて前記画像残差を生成し、・・・前記プロセッサが前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行し、前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを減縮し、加えて、訂正前の請求項4の「前記プロセッサが、前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」を明瞭にするものであり、発明のカテゴリーや発明の対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

オ 独立特許要件について
訂正前の請求項1?4は、本件特許異議申立事件において特許異議の申立てがされている請求項であるから、訂正事項1?6については、特許法第120条の5第9項で準用する特許法第126条第7項の規定に基づき、独立特許要件は課されない。

(2)請求項5に係る訂正
ア 訂正の目的
訂正事項7は、訂正前の請求項5の「前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、前記出力特徴に基づいて画像残差を生成するステップとを含み、」を「第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップとを含み、前記第1の処理ブロックが、前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、前記第2の処理ブロックが、前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、前記画像残差を生成するステップでは、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し」に限定するための訂正であるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。

イ 願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であること
明細書の段落0034?0036の「図4および図5を参照しながら、学習部11および超解像部12で用いられるニューラルネットワーク(すなわち、ResNetに基づくニューラルネットワーク)の基本ユニットである2種類の処理ブロックについて説明する。これらの処理ブロックは「残差ブロック」ともいわれる。双方の処理ブロックはいずれも畳み込み層CLおよびバイパス接続(bypass connection)BCを含む。「畳み込み層」とは、入力に対して畳み込みを実行することで残差を求める処理である。「バイパス接続」とは、入力をそのまま流す処理であり、「ショートカット接続(shortcut connection)」とも呼ばれる。図4は第1の処理ブロックを示すフローチャートであり、図5は第2の処理ブロックを示すフローチャートである。
第1の処理ブロックでは、残差算出部14が入力特徴(第1の入力特徴)ht(x)を受け付ける(ステップS11)。「入力特徴」とは、入力画像の何らかの特徴を示し、畳み込み層に入力されるデータである。(中略)
続いて、残差算出部14は入力特徴ht(x)を畳み込み層(第1の畳み込み層)CLにより処理することで特徴残差(第1の特徴残差)f(ht(x))を算出する(ステップS12)。」、
段落0039の「続いて、残差算出部14は入力特徴ht(x)に特徴残差f(ht(x))を適用することで出力特徴(第1の出力特徴)yを生成する。」、
段落0041、0042の「第2の処理ブロックでは、残差算出部14が入力特徴(第2の入力特徴)ht(x)を受け付ける(ステップS21)。上述したように、概念的には入力特徴は入力画像と同視できるから、ht(x)は入力画像を示すということができ、第2の処理ブロックは入力画像を受け付けるということができる。残差算出部14はその入力特徴ht(x)を畳み込み層(第2の畳み込み層)CLにより処理することで特徴残差(第2の特徴残差)f(ht(x))を算出する(ステップS22)。(中略)
また、残差算出部14は、バイパス接続BCを通る入力特徴ht(x)に対して一つの畳み込みを実行することで、入力特徴ht(x)から、畳み込まれた入力特徴(wk*ht(x))を得る(ステップS23)。そして、残差算出部14は畳み込まれた入力特徴(wk*ht(x))に特徴残差f(ht(x))を適用することで出力特徴(第2の出力特徴)yを生成する。」、
段落0047の「図6は、残差算出部14が第1の処理ブロックおよび第2の処理ブロックを交互に実行する例を示す。この例では、1,3,5番目の処理ブロックが第1の処理ブロックであり、2,4番目の処理ブロックが第2の処理ブロックである。しかし、処理ブロックの実行順序はこれに限定されない。例えば、1,3,5番目の処理ブロックが第2の処理ブロックであり、2,4番目の処理ブロックが第1の処理ブロックであってもよい。いずれにしても、2種類の処理ブロックを交互に実行することで、計算時間を抑えつつ高精度な超解像を実現することができる。」、
段落0068の「第1および第2の処理ブロックの実行順序については下記の7パターンを設定した。「0」は第1の処理ブロックを示し、「1」は第2の処理ブロックを示し、数字の並びは処理の流れを示す。(中略)また、パターン5,6はいずれも、第1の処理ブロックと第2処理ブロックとが交互に実行されることを示す。
(中略)
・パターン5:01010
・パターン6:10101」
の記載から、訂正事項7は、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、特許法第120条の5第9項で準用する特許法第126条第5項の規定に適合するものである。

ウ 実質上特許請求の範囲を拡張し、又は変更する訂正ではないこと
訂正事項7は、「前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、前記出力特徴に基づいて画像残差を生成するステップとを含み、」を減縮するものであり、発明のカテゴリーや発明の対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第6項の規定に適合するものである。

エ 独立特許要件について
訂正前の請求項5は、本件特許異議申立事件において特許異議の申立てがされている請求項であるから、訂正事項7については、特許法第120条の5第9項で準用する特許法第126条第7項の規定に基づき、独立特許要件は課されない。

(3)請求項6に係る訂正
訂正事項8は、請求項6を削除するものであるから、特許法第120条の5第2項ただし書第1号に規定する特許請求の範囲の減縮を目的とするものである。
訂正事項8は、請求項6を削除するというものであるから、願書に添付した明細書、特許請求の範囲又は図面に記載した事項の範囲内の訂正であり、実質上特許請求の範囲を拡張し、又は変更する訂正でなく、特許法第120条の5第9項で準用する特許法第126条第5項、第6項の規定に適合するものである。
訂正前の請求項6は、本件特許異議申立事件において特許異議の申立てがされている請求項であるから、訂正事項8については、特許法第120条の5第9項で準用する特許法第126条第7項の規定に基づき、独立特許要件は課されない。

4 むすび
以上のとおり、本件訂正請求は、特許法第120条の5第2項ただし書第1号、第3号、第4号に掲げる事項を目的としており、かつ、同条第4項、及び第9項で準用する同法第126条第5項及び第6項の規定に適合している。

したがって、訂正後の請求項〔1?4、7、8〕、5、6についての訂正を認める。

第3 本件訂正発明
令和1年8月7日の本件訂正請求により訂正された本件特許請求の範囲の請求項1?8に係る発明(以下、項番にしたがい「本件訂正発明1」?「本件訂正発明8」といい、これらを総称して「本件訂正発明」という。)は、訂正請求書に添付された訂正特許請求の範囲に記載された以下のとおりのものである。
なお、説明のために、本件訂正発明3、4、7、8については、A?J-3の記号を当審において付与した。以下、「構成A」?「構成J-3」と称する。

【請求項1】(本件訂正発明1)
(削除)

【請求項2】(本件訂正発明2)
(削除)

【請求項3】(本件訂正発明3)
(A)プロセッサを備える画像処理装置であって、
(B)前記プロセッサが、
(B-1)入力画像を取得するステップと、
(B-2)第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(E)前記プロセッサが、
(E-1)前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
(E-2)該第2の出力特徴に基づいて前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

【請求項4】(本件訂正発明4)
(A)プロセッサを備える画像処理装置であって、
(G)前記プロセッサが、
(G-1)入力画像を取得するステップと
(G-2)前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、
(G-3)前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、
(G-4)前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、
(G-5)前記出力特徴に基づいて画像残差を生成するステップとを実行し、
(H)前記プロセッサが、
(H-1)前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(H-2)該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

【請求項5】(本件訂正発明5)
プロセッサを備える画像処理方法であって、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を含み、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記画像残差を生成するステップでは、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理方法。

【請求項6】(本件訂正発明6)
(削除)

【請求項7】(本件訂正発明7)
(A)プロセッサを備える画像処理装置であって、
(I)前記プロセッサが、
(I-1)入力画像を取得するステップと、
(I-2)第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(H)前記プロセッサが、
(H-1)前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(H-2)該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

【請求項8】(本件訂正発明8)
(A)プロセッサを備える画像処理装置であって、
(B)前記プロセッサが、
(B-1)入力画像を取得するステップと、
(B-2)第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(J)前記プロセッサが、
(J-1)前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
(J-2)該第2の出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(J-3)該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

第4 取消理由通知(決定の予告)に記載した取消理由について
1 取消理由の要旨
平成31年1月24日付けの訂正請求(以下、「第1訂正」という。)により訂正された特許請求の範囲の請求項1?8に係る発明(以下、それぞれの発明を「本件第1訂正発明1」、「本件第1訂正発明2」などという。)に対して、当審が令和1年6月14日付けで特許権者に通知した取消理由の要旨は、次のとおりである。

(1)本件第1訂正発明3?5、7、8は、以下ア?オの点で、特許法第36条第4項第1号並びに同条第6項第1号及び第2号に規定する要件を満たしていない特許出願に対してされたものである。
ア 本件第1訂正発明3について
(ア)本件第1訂正発明3は、第2の処理ブロックを実行して生成された出力特徴に基づいて画像残差を生成する構成(以下、「構成α」という。)と、第1の処理ブロックと第2の処理ブロックとを交互にのみ実行して画像残差を生成する構成(以下、「構成β」という。)が記載されていることから、構成αと構成βの両方を実行する構成も含むものである。
しかし、明細書には、構成αと構成βの両方を実行する構成についての記載はない。
よって、本件第1訂正発明3は、発明の詳細な説明に記載されたものでなく、特許法第36条第6項第1号に規定する要件を満たしていない。また、発明の詳細な説明の記載は、当業者が本件第1訂正発明3の実施をすることができる程度に明確かつ十分に記載したものでなく、特許法第36条第4項第1号に規定する要件を満たしていない。
さらに、構成αと構成βの両方を実行する構成は、どのような構成であるか明確でなく、特許法第36条第6項第2号に規定する要件を満たしていない。

イ 本件第1訂正発明4について
(ア)本件第1訂正発明4は、出力特徴それ自体に対して共通の係数を乗ずる処理を含むものである。
しかし、明細書には、出力特徴それ自体に対して共通の係数を乗ずる処理は記載されていない。
よって、本件第1訂正発明4は、発明の詳細な説明に記載されたものでなく、特許法第36条第6項第1号に規定する要件を満たしていない。

(イ)共通の係数が、具体的にどのようにして画像残差の分布に合うように設定されるか不明であり、発明の詳細な説明の記載は、当業者が本件第1訂正発明4の実施をすることができる程度に明確かつ十分に記載したものでなく、特許法第36条第4項第1号に規定する要件を満たしていない。

ウ 本件第1訂正発明5について
(ア)本件第1訂正発明5は、本件第1訂正発明3とカテゴリーが異なる発明であり、上記ア(ア)と同様の取消理由が存在する。

エ 本件第1訂正発明7について
(ア)本件第1訂正発明7は、第2の処理ブロックを実行して生成された出力特徴に基づいて画像残差を生成する構成(以下、「構成α」という。)と、第1の処理ブロックと第2の処理ブロックとをランダムな順序(交互も含む)で実行して画像残差を生成する構成(以下、「構成γ」という。)が記載されていることから、構成αと構成γの両方を実行する構成も含むものである。
しかし、明細書には、構成αと構成γの両方を実行する構成についての記載はない。
よって、本件第1訂正発明7は、発明の詳細な説明に記載されたものでなく、特許法第36条第6項第1号に規定する要件を満たしていない。また、発明の詳細な説明の記載は、当業者が本件第1訂正発明7の実施をすることができる程度に明確かつ十分に記載したものでなく、特許法第36条第4項第1号に規定する要件を満たしていない。
さらに、構成αと構成γの両方を実行する構成は、どのような構成であるか明確でなく、特許法第36条第6項第2号に規定する要件を満たしていない。

(イ)本件第1訂正発明7は、上記イ(ア)及び(イ)と同様の取消理由が存在する。

オ 本件第1訂正発明8について
(ア)本件第1訂正発明8は、上記ア(ア)と同様の取消理由が存在する。

(イ)本件第1訂正発明8は、上記イ(ア)及び(イ)と同様の取消理由が存在する。

(2)本件第1訂正発明3?5、7、8は、甲第1号証に記載された発明に基いて、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。
甲第1号証:"Single Image Super-Resolution with a Parameter Economic Residual-Like Convolutional Neural Network", MMM 2017, Part 1, LNCS 10132, pp.353-364. 2017年

2 当審の判断
(1)上記1(1)ア?オについて
ア 本件訂正発明3について
(ア)上記1(1)アについて
本件訂正により、本件訂正発明3の記載は、構成B-2及び構成E-1のように、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」構成、「前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行する」構成へと訂正され、構成αと構成βの両方を実行する構成を含まないものとなった。
そうすると、本件訂正発明3は、発明の詳細な説明に記載されたものであり、明確である。また、発明の詳細な説明の記載は、当業者が本件訂正発明3の実施をすることができる程度に明確かつ十分に記載したものである。

イ 本件訂正発明4について
(ア)上記1(1)イ(ア)について
本件訂正により、本件訂正発明4の記載は、構成H-1及びH-2のように、「前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成へと訂正され、発明の詳細な説明に記載されたものとなった。

(イ)上記1(1)イ(イ)について
本件訂正発明4の画像処理装置に関して、明細書には以下の記載がある。
なお、下線は、説明のために当審で付したものである。

【0020】
図3は画像処理装置10の機能構成を示す。画像処理装置10は機能的構成要素として学習部11および超解像部12を備える。

【0030】
学習部11は、個々の入力画像を処理しながらニューラルネットワークのパラメータを更新しながら(すなわち、学習を繰り返しながら)ニューラルネットワークのパラメータ(例えば重み)を学習することで、最適なニューラルネットワークを生成する。本実施形態では、超解像部12がその最適なニューラルネットワークを用いる。
【0031】
超解像部12は、学習部11により生成されたニューラルネットワークを用いて、正解が未知である入力画像を処理することで、該入力画像よりも解像度が高い高解像度画像を生成する機能要素である。超解像部12は取得部13、残差算出部14、および画像生成部15を備える。取得部13、残差算出部14、および画像生成部15の機能は学習部11および超解像部12の間で共通する。

【0051】
続いて、残差算出部14は次元が修正された特徴マップに対して特徴スケーリング(feature scaling)を実行することで、入力画像に対する画像残差を生成する(ステップS34)。この特徴スケーリングは、入力画像の全画素に対応する特徴マップの全要素に共通の係数λを乗ずる処理である。画像残差の分布に合うようにその係数λを設定することで、機械学習が効率良く収束するので、計算時間を短縮することができる。
【0052】
続いて、画像生成部15が、入力画像に画像残差を加算することで(より具体的には、入力画像と画像残差とを要素ごとに合算することで)高解像度画像を生成する(ステップS35)。
【0053】
図7は、学習部11による処理を示すフローチャートである。まず、取得部13がデータセットを取得する(ステップS41)。データセットの取得方法は限定されない。例えば、取得部13はデータセットを記憶する画像データベースにアクセスしてデータセットを読み出してもよい。なお、画像データベースは画像処理装置10とは別の装置であってもよいし、画像処理装置10の一部であってもよい。あるいは、取得部13は画像処理装置10のユーザにより入力または指定されたデータセットを取得してもよい。あるいは、取得部13は他のコンピュータからデータセットを受信してもよい。続いて、取得部13は入力画像および正解画像の一つの組合せを処理対象としてデータセットから選択する(ステップS42)。
【0054】
続いて、残差算出部14および画像生成部15が、図6に示す処理(ニューラルネットワーク)により、選択された入力画像から高解像度画像を生成する(ステップS43)。ステップS43は、図6に示すステップS31?S35に相当する。続いて、パラメータ更新部16が生成された高解像度画像と選択された正解画像との差分を求め、その差分に基づいてニューラルネットワークのパラメータを更新する(ステップS44)。学習部11はデータセット内のすべての組合せを処理するまで、入力画像および正解画像の組合せを変えながらステップS42?S44の処理を繰り返す(ステップS45参照)。最後に、学習部11は最適なニューラルネットワークのパラメータ(例えば重み)を出力する(ステップS46)。本実施形態では、超解像部12が、そのパラメータに基づくニューラルネットワークを用いる。

【0069】
機械学習に関する他の設定は以下の通りである。
(中略)
・特徴スケーリングでの係数の初期値=0.1

段落0020、0030の記載から、本件訂正発明4の画像処理装置は、最適なニューラルネットワークを生成する学習部11およびその最適なニューラルネットワークを用いる超解像部12を備える。
段落0031の記載から、取得部13、残差算出部14、画像生成部15の機能は、学習部11および超解像部12の間で共通するものである。
段落0053、0054の記載から、学習部11は、入力画像および正解画像の一つの組合せをデータセットから選択し(S42)、図6に示すステップS31?S35に相当する処理により、選択された入力画像から高解像度画像を生成し(S43)、生成された高解像度画像と選択された正解画像との差分を求め、その差分に基づいてニューラルネットワークのパラメータを更新する(S44)。そして、データセット内のすべての組合せを処理するまで(S45)、入力画像および正解画像の組合せを変えながらS42?S44の処理を繰り返し、学習部11は最適なニューラルネットワークのパラメータを出力する(S46)構成である。そして、超解像部12が、そのパラメータに基づくニューラルネットワークを用いるものである。
段落0051の記載から、残差算出部14は次元が修正された特徴マップに対して特徴スケーリングを実行するものであり、特徴スケーリングとは、入力画像の全画素に対応する特徴マップの全要素に共通の係数を乗ずる処理である。
段落0069の記載から、機械学習における特徴スケーリングでの係数の初期値は0.1とする。

そうすると、本件訂正発明4の画像処理装置は、学習部11において、データセット内のすべての組合せを処理するまで、入力画像および正解画像の組合せを変えながらステップS42?S44の処理を繰り返すことによって、ニューラルネットワークに用いられるパラメータを初期値から最適なパラメータに更新し、超解像部12が、最適なパラメータに基づくニューラルネットワークを用いるものである。
そして、特徴スケーリングの係数λについても、残差算出部14において用いられるニューラルネットワークのパラメータであるから、学習部11において、初期値0.1から、入力画像および正解画像の組合せを変えながら、最適なパラメータへと更新され、出力されるものといえる。

したがって、明細書の記載から、学習部11にて、特徴スケーリングの係数である共通の係数が、初期値0.1から、画像残差の分布に合うように更新され、更新された係数を超解像部12において利用することが理解できる。

よって、発明の詳細な説明の記載は、当業者が本件訂正発明4の実施をすることができる程度に明確かつ十分に記載したものである。

ウ 本件訂正発明5について
(ア)上記1(1)ウ(ア)について
本件訂正発明5は、本件訂正発明3とカテゴリーが異なる発明であり、上記ア(ア)と同様である。

エ 本件訂正発明7について
(ア)上記1(1)エ(ア)について
本件訂正により、本件訂正発明7の記載は、構成αと構成γの両方を実行する構成を含まないものとなった。
そうすると、本件訂正発明7は、発明の詳細な説明に記載されたものであり、明確である。また、発明の詳細な説明の記載は、当業者が本件訂正発明7の実施をすることができる程度に明確かつ十分に記載したものである。

(イ)上記1(1)エ(イ)について
上記イ(ア)及び(イ)と同様である。

オ 本件訂正発明8について
(ア)上記1(1)オ(ア)について
上記ア(ア)と同様である。

(イ)上記1(1)オ(イ)について
上記イ(ア)及び(イ)と同様である。

カ (1)のまとめ
したがって、本件訂正発明3?5、7、8は、特許法第36条第4項第1号並びに同条第6項第1号及び第2号に規定する要件を満たすものである。

(2)上記1(2)について
ア 各甲号証について
ア-1 甲第1号証
(ア)甲第1号証に記載された事項
甲第1号証には、図面とともに以下の事項が記載されている。
なお、説明のために、下線を当審において付与した。また、訳については、異議申立書を参考にして当審で作成したものである。

a「As a result, different from VDSR, this paper has designed a novel very deep residual-like convolutional neural network whose architecture is shown in Fig. 1. As LR image and target HR image is highly correlated, predicting high frequency of the image only is a kind of residual learning which largely lower the price for training. Thus, a totally residual-like deep CNN will fully take advantage of the correlations between LR and HR images. Moreover, skip connections or identity mapping shortcuts in residual like deep CNN would alleviate gradient vanishing/exploding problem when the network becomes increasingly deeper.
While very deep CNN model would increase the model capacity, on the other hand, it would introduce a huge amount of parameters which is sometimes unacceptable for limited hardware. Thus, a computational economic architecture is essential for real word(worldの誤記であることは明らかである。) applications. In this paper, the ‘shape’ of deep CNN has been explored to largely reduce the amount of parameters. The ‘shape’ of deep CNN refers to all the filter size and numbers of each layer which decides featuremap size and numbers of each layer to form a global shapes. With a residual-like architecture and economic shape design, the proposed model can not only achieve state-of-the-art PSNR and SSIM results for single image super resolution but also produce visually pleasant results.」(354頁27行?355頁13行)
(結果として、VDSRとは異なり、この論文は、構造が図1に示されている、新規でとても深い残差的畳み込みニューラルネットワークを設計した。LR画像と目標HR画像が高度に相関しているため、画像の高周波成分のみを予測することは、一種の残差学習であり、これはトレーニングの比率を大幅に引き下げる。したがって、完全に残差的ディープCNNは、LRとHR画像との間の相関関係を十分に利用する。また、残差的ディープCNNにおけるスキップコネクション又は恒等写像ショートカットは、ネットワークがより深くなった際の勾配消失/爆発の問題を軽減するだろう。
とても深いCNNモデルは、そのモデルの容量を増加させるが、他方では、それは時には限られたハードウェアでは受け入れられない程の膨大な量のパラメータを導入する。したがって、計算上合理的である構造が現実のアプリケーションには不可欠である。この論文では、パラメータの量を大幅に削減するために深いCNNの「形」が調査された。深いCNNの「形」とは、各層のフィルタサイズ及び数全てを指す。それは、大域的な形を形成する各層の特徴マップのサイズと数を決定するものである。残差的な構造及び合理的な形状設計をもって、提案されたモデルは、単一画像超解像に対して最新のPSNRおよびSSIMの結果を達成するだけでなく、視覚的に心地よい結果をもたらすことができる。)

b「After largely easing the difficulties of training much deeper CNN with residual functions by shortcuts or skip connections, the huge amount of parameters is still a big problem for computational resources and storage. He et al. [5,6] attempts to alleviate the problem by bottleneck architectures. The bottleneck architectures first utilized 1×1 convolutions to reduce the dimensions, then after some operations, 1×1 convolutions are applied again to increase the dimensions. With such a residual unit design, the amount of parameters was largely reduced. Thus, the shape of CNN could be potentially explored to reduce the parameters while maintain the performances. In the meanwhile, contextual information is very important for image super-resolution, such residual unit design may give a negative effort to the SR results.
With a carefully design and exploration of the shape of the network,a novel residual-like deep model is proposed for image super-resolution task.」(356頁3行?15行)
(はるかに深いCNNをトレーニングする困難性を、ショートカット又はスキップコネクションによる残差関数で大幅に容易化した後でもなお、大量のパラメータはコンピュータによるリソース及びストレージに対する大きな問題である。[5,6]においてHeらは、その問題をボトルネック構造によって緩和させようと試みている。ボトルネック構造は、まず1×1畳み込みを利用して次元を下げ、幾つかの操作の後、1×1畳み込みが再び適用され次元を増加させる。そのような残差ユニットの設計をもって、パラメータ量は大幅に削減された。したがって、CNNの形は、そのパフォーマンスを維持しながらパラメータを削減するために潜在的に調査され得る。一方で、コンテキスト情報は画像超解像にとって非常に重要である。このような残差ユニットの設計はSRの結果にネガティブな成果を与えるかも知れない。
ネットワークの形の慎重な設計と研究をもって、画像超解像処理に対して新規な残差的なディープモデルが提案される。)

c「3 A Parameter Economic Residual-like Deep Model for Image Super-resolution
Following the example based methods, HR examples I^(h) and LR examples I^(l) are extracted from HR images I^(H) and LR images I^(L) respectively.」(356頁16行?19行)
(3 画像超解像に対するパラメータの合理的な残差的ディープモデル
Example based法では、HR画像例I^(h)とLR画像例I^(l)はそれぞれHR画像I^(H)とLR画像I^(L)から抽出される。)

d「3.1 Residual-like Deep Model
Our residual-like deep CNN for image super-resolution is an end-to-end mapping model which tries to predict HR versions from LR input ones. There are three sub-networks in our deep CNN to perform three steps: feature representation, nonlinear mapping, reconstruction.
The feature representation sub-network extracts discriminative features from the LR input images, while nonlinear mapping part maps the LR feature representations into HR feature representations. Reconstruction part restores the HR images from HR feature representation. Feature representation apply plain network stacking convolutional and ReLU layers as shown in Fig. 1 and reconstruction use convolutional layers. The main body of our model, nonlinear mapping part consists of residual-like units which eases the difficulties of training.
Typical units of our residual-like deep CNN are shown in Fig. 2. As residual unit with 2 layers and 3 layers worked well for image super-resolution problem, those two kinds of units are applied in the experiments. When featuremap dimensions change, the identity shortcut becomes a projection to change feature dimensions. The second right and rightmost are one unit of residual net for image classification problems proposed by He et al. in [5,6] respectively. The architectures of our residual functions are composed of convolutional, ReLU layers and shortcuts, which is very different. (中略) Shortcuts or skip connections which are identity mappings are realized by element-wise additions.
(中略)
As predicting high frequency can boost the performances and convergence speeds of deep CNN [9], a simple Euclidean loss function is adopted to approximate the high frequencies of examples
(中略)
where n is the number of patch pairs (I^(l), I^(h)), F(Θ, I^(l)) denotes the predictions of our residual-like deep CNN with parameter Θ. Our residual-like deep CNN is composed of several Containers which have certain number of residual units. For succinctness, the filter numbers keep the same in each single container. The architectures of our residual-like deep CNN will be described as a sequence of the filter numbers (N1_(k1,)N2_(k), ・ ・ ・) in containers. If subscript k exists for N_(k), it means there are k residual units with each having a filter number of N.」(356頁24行?357頁下から5行)
(3.1 残差的なディープモデル
画像超解像に対する我々の残差的ディープCNNは、LRバージョンからHRバージョンの予測を試みるエンドツーエンドの写像モデルである。我々のディープCNNには、特徴表現、非線形写像、再構成の3つのステップを行う3つの副ネットワークがある。
特徴表現副ネットワークは、識別的な特徴をLR入力画像から抽出する。一方、非線形写像部はLR特徴表現をHR特徴表現に変換する。再構成部分はHR特徴表現からHR画像を復元する。特徴表現には、図1に示されているように、畳み込みとReLUからなる層を積み重ねるプレーンなネットワークを適用し、再構成は畳み込み層を使う。我々のモデルの本体である非線形写像部は複数の残差的ユニットからなる。これは、トレーニングの困難性を軽減する。
我々の残差的ディープCNNの典型的なユニットは図2に示されている。2層及び3層の残差ユニットが画像超解像問題に対して良好に機能したので、これら2種のユニットが実験で用いられる。特徴マップの次元が変化するときには、恒等ショートカットは特徴次元を変化させる射影となる。右から2番目と最も右のものは、それぞれ[5,6]においてHeらによって提案された画像分類問題に対する残差ネットの一つのユニットである。我々の残差関数の構造は畳み込みとReLUからなる層及びショートカットで構成され、これらは非常に異なる。(中略)恒等写像であるショートカットあるいはスキップコネクションは要素ごとの和によって実現される。(中略)高周波成分を予測することはパフォーマンスとディープCNN[9]の収束スピードを高めることが可能であるため、画像例の高周波成分を近似するために単純なユークリッド損失関数が採用される。
(中略)
ここで、nはパッチペア(I^(l),I^(h))の数であり、F(Θ,I^(l))はパラメータΘでの我々の残差的ディープCNNの推定を示す。我々の残差的ディープCNNは幾つかのコンテナからなり、各コンテナはある個数の残差ユニットを有する。簡単のため、各コンテナに含まれるフィルタ数は同じであるとする。我々の残差的ディープCNNの構造は、コンテナ内のフィルタ数の列(N1_(k1),N2_(k),・・・)として記述される。N_(k)の添え字kは、k個の残差ユニットがあり、それぞれのユニットがN個のフィルタをもつことを意味する。)

e「Although R-deep has more parameters, our R-deep model is still acceptable which can be efficiently trained with single GPU.」(360頁25行?26行)
(R-deepモデルはより多くのパラメータを持つが、我々のR-deepモデルは、単一のGPUで効率よく訓練可能であり、まだ許容される。)

f「4.4 Economic Design
The performances of different architectures which have different shapes have been investigated for our residual-like net and VDSR counterpart. To be specific, there are 28 layers as 6 residual containers stack and each container contains 2 residual units (2 layers). It can be calculated as 28 = 2 + 6 × 2 × 2 + 2, where feature representation sub-network and reconstruction sub-network each have 2 layers. For VDSR, 12 layers VDSR have been explored. For residual-like architecture, different architectures have achieved comparable results(Tables 4 and 5). Analysis about the reasons and more detailed experiments will be investigated in the future.」(362頁下から5行?363頁5行)
(4.4 エコノミックなデザイン
我々の残差的ネットとVDSR対照物に対して、異なる形を持つ異なる構造のパフォーマンスが調査された。具体的には、6つの残差コンテナが積み重なり、各コンテナは、2つの残差ユニット(2層)を含み、28層である。特徴表現副ネットワーク及び再構成副ネットワークはそれぞれ2層であり、28=2+6×2×2+2と計算され得る。VDSRとしては、12層のVDSRが調査された。残差的構造について、異なる構造は同等の結果を達成した(Table4と5)。この理由についての分析と更なる詳細な実験は今後調査される。)

g「5 conclusion
In this paper, a novel residual-like deep CNN which takes advantage of skip connections or identity mapping shortcuts in avoiding gradient exploding/vanishing problem was proposed for single image super-resolution. In particular, the shape of CNN has been carefully designed such that a very deep convolutional neural network with much fewer parameters can produce even better performance. Experimental results have demonstrated that the proposed method can not only achieve state-of-the-art PSNR and SSIM results for single image super-resolution but also produce visually pleasant results.」(363頁6行?14行)
(5 結論
本論文において、勾配爆発/消失問題を回避するために、スキップコネクションや恒等写像ショートカットのアドバンテージを持つ新規な残差的ディープCNNが、単一画像超解像に対して提案された。特に、より少ないパラメータでとても深い畳み込みニューラルネットワークがより良いパフォーマンスを生み出せるように、CNNの形は慎重に設計された。実験結果は、提案された手法が、単一画像超解像に対して最新のPSNRおよびSSIMの結果を達成するだけでなく、視覚的に心地よい結果をもたらすことを実証している。)

h


i


j


(イ)甲第1号証に記載された発明
上記甲第1号証の記載事項及び関連する図面並びにこの分野における技術常識を考慮して甲第1号証に記載された発明を認定する。

a Table 4について
Table 4のR(16_(2),32_(2),64_(2),64_(2),32_(2),16_(2))について考えると、上記(ア)d、fより、非線形写像は、6つの残差コンテナからなり、各残差コンテナは、2つの残差ユニット(2層)を含むものである。また、各残差コンテナのフィルタ数は、16,32,64,64,32,16個である。そうすると、第1残差コンテナと第2残差コンテナ、第2残差コンテナと第3残差コンテナ、第4残差コンテナと第5残差コンテナ、第5残差コンテナと第6残差コンテナでフィルタ数が異なるので、特徴マップの次元が異なることとなり、第1残差コンテナ、第2残差コンテナ、第3残差コンテナ、第5残差コンテナ、第6残差コンテナの1つめの残差ユニットは、次元を変化させるFig.2の左下の「Our Residual unit with changing dimensions」(以下、「次元を変化させる残差ユニット」という。)を用い、2つめの残差ユニットは、Fig.2の左上の「Our Residual unit with 2 layers」(以下、「2層の残差ユニット」という。)を用いることとなる。また、第3残差コンテナと第4残差コンテナでは、フィルタ数は変わらないので、第4残差コンテナの2つの残差ユニットはいずれもFig.2の左上の「2層の残差ユニット」を用いることとなる。
そうすると、Table 4のR(16_(2),32_(2),64_(2),64_(2),32_(2) ,16_(2))は、異議申立書26頁に記載されているような構成となる。(以下、「参考図A」という。)

(参考図A)

同様に、Table 4のR(64_(2),32_(2),16_(2),16_(2),32_(2),64_(2))は、異議申立書27頁に記載されているような構成となる。(以下、「参考図B」という。)

(参考図B)


b 上記(ア)bより、甲第1号証には、画像超解像処理を行うモデルが記載されており、上記(ア)eより、当該モデルは、GPUを備えるものである。
すなわち、甲第1号証には、GPUを備える画像超解像処理を行うモデルが記載されている。

c 上記(ア)dより、図2には、残差的ディープCNNの典型的なユニットが示されていること、右から2番目と最も右のものは、Heらによって提案された残差ネットのユニットであることが記載されていることから、上記(ア)iにおける2層の残差的ディープCNNの典型的なユニットは、Fig.2の左上の「2層の残差ユニット」と、左下の「次元を変化させる残差ユニット」の2種類である。
そして、上記aより、参考図A、Bの第1残差コンテナの1つめの残差ユニットから第3残差コンテナの2つめの残差ユニットまでと、第4残差コンテナの2つめの残差ユニットから第6残差コンテナの2つめの残差ユニットまでは、2層の残差ユニットと次元を変化させる残差ユニットを交互に実行する構成がみてとれる。

上記(ア)dより、残差的ディープCNNは、特徴表現、非線形写像、再構成の3つのステップを行うこと、特徴表現副ネットワークは、識別的な特徴をLR入力画像から抽出し、非線形写像部は、LR特徴表現をHR特徴表現に変換することが記載されている。
すなわち、特徴表現副ネットワークは、LR画像を入力し、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部は、LR特徴表現からHR特徴表現を生成することが記載されているといえる。

上記(ア)hより、Fig.1において、Reconstructionからの出力と、Inputを演算し、Outputを得ることが見てとれる。ここで、Inputは、LR画像である。
また、上記(ア)dより、畳み込み層を使った再構成部分にて、HR特徴表現を処理し、HR画像を復元するものであるから、Fig.1のOutputは、HR画像である。

すなわち、甲第1号証のモデルは、HR特徴表現を、再構成部分で処理し、再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである。

以上より、甲第1号証のモデルは、2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する残差的ディープCNNを用いて、特徴表現、非線形写像、再構成の3つのステップを行うものであり、LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成し、HR特徴表現を、再構成部分で処理するものである。
また、再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである。

d 上記(ア)h、i、上記aより、Fig.2の左上の「2層の残差ユニット」は、Fig.1の非線形写像における3つのユニットのうちの真ん中及び右側の残差ユニット、参考図A、Bの第1残差コンテナ、第2残差コンテナ、第3残差コンテナ、第5残差コンテナ、第6残差コンテナの2つめの残差ユニット、第4コンテナの残差ユニットのように用いられることから、LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算して、別の特徴表現に変換することが見てとれる。

e 上記(ア)h、i、上記aより、Fig.2の左下の「次元を変化させる残差ユニット」は、Fig.1の非線形写像における3つのユニットのうちの左側の残差ユニット、参考図A、Bの第1残差コンテナ、第2残差コンテナ、第3残差コンテナ、第5残差コンテナ、第6残差コンテナの1つめの残差ユニットのように用いられることから、LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理し、LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、1×1×n_(1)×n_(2)により処理し、1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算し、別の特徴表現にするものである。

f 上記(ア)h、上記aの参考図A、Bより、再構成部分に入力されるHR特徴表現は、2層の残差ユニットの出力であることが見てとれる。

g 上記(ア)dより、畳み込み層を使う再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである。

以上a?gより、甲第1号証には、以下の発明(以下、「甲1発明1」?「甲1発明3」という。)が記載されている。
なお、説明のために(a)?(g)の記号を当審において付与した。以下、構成a?構成gと称することにする。

(a)甲1発明1
「(a)GPUを備える画像超解像処理を行うモデルにおいて、
(b)2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する残差的ディープCNNを用いて、特徴表現、非線形写像、再構成の3つのステップを行うものであり、LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成し、HR特徴表現を、再構成部分で処理するものであり、
(c)2層の残差ユニットは、
(c-1)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、
(c-2)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算して、別の特徴表現にすることを含み、
(d)次元を変化させる残差ユニットは、
(d-1)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、
(d-2)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、1×1×n_(1)×n_(2)により処理し、
(d-3)1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算し、別の特徴表現にするものであり、
(e)再構成部分に入力されるHR特徴表現は、2層の残差ユニットの出力であり、
(f)畳み込み層を使う再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである、
(a)モデル。」

(b)甲1発明2
「(a)GPUを備える画像超解像処理を行うモデルにおいて、
(g)特徴表現、非線形写像、再構成の3つのステップを行うものであり、LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成し、HR特徴表現を、再構成部分で処理するものであり、
(d)次元を変化させる残差ユニットは、
(d-1)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、
(d-2)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、1×1×n_(1)×n_(2)により処理し、
(d-3)1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算し、別の特徴表現にするものであり、
(f)畳み込み層を使う再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである、
(a)モデル。」

(c)甲1発明3
「(a)GPUを備える画像超解像処理を行うモデルにおいて、
(b)2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する残差的ディープCNNを用いて、特徴表現、非線形写像、再構成の3つのステップを行うものであり、LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成し、HR特徴表現を、再構成部分で処理するものであり、
(c)2層の残差ユニットは、
(c-1)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、
(c-2)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算して、別の特徴表現にすることを含み、
(d)次元を変化させる残差ユニットは、
(d-1)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、畳み込みとReLUからなる層で処理して、
(d-2)LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現を、1×1×n_(1)×n_(2)により処理し、
(d-3)1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現とを演算し、別の特徴表現にするものであり、
(f)畳み込み層を使う再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算することによりHR画像を復元するものである、
(a)モデル。」

ア-2 甲第2号証
(ア)甲第2号証に記載された事項
甲第2号証("Learning a Deep Convolutional Network for Image Super-Resolution", ECCV 2014. LNCS, vol.8692, pp.184-199.2014年)には、図面とともに以下の事項が記載されている。

「Non-linear Mapping. The first layer extracts an n_(1)-dimensional feature for each patch.In the second operation, we map each of these n_(1)-dimensional vectors into an n_(2)-dimensional one. This is equivalent to applying n_(2) filters which have a trivial spatial support 1×1. The operation of the second layer is:
F_(2)(Y)=max(0,W_(2)*F_(1)(Y)+B_(2)). (2)
Here W_(2) is of a size n_(1)×1×1×n_(2), and B_(2) is n_(2)-dimensional. Each of the output n_(2)-dimensional vectors is conceptually a representation of a high-resolution patch that will be used for reconstruction.
It is possible to add more convolutional layers(whose spatial supports are 1×1) to increase the non-lineariry.」(188頁8行?17行)
(非線形写像:最初の層は、各パッチについてn_(1)次元の特徴を抽出する。次の操作では、これらのn_(1)次元ベクトルのそれぞれをn_(2)次元のベクトルに変換する。これは、小さな空間的サポート1×1のn_(2)個のフィルタを適用することと等価である。2つ目の層の動作は、以下の式で書ける。
F_(2)(Y)=max(0,W_(2)*F_(1)(Y)+B_(2)). (2)
ここで、W_(2)のサイズはn_(1)×1×1×n_(2)であり、B_(2)はn_(2)次元である。出力されたn_(2)次元ベクトルのそれぞれは、疑念的に、再構成に使用される高解像度パッチの表現である。
非線形性を高めるために、より多くの畳み込みレイヤー(その空間的サポートは1×1)を追加することが可能である。)

(イ)甲第2号証に記載された技術
上記の記載事項によれば、甲第2号証には次の技術(以下、「甲2技術」という。)が記載されている。

(甲2技術)
「非線形写像において、n_(1)次元のベクトルをn_(2)次元のベクトルに変換する際に、空間的サポート1×1である畳み込みレイヤーを追加したサイズがn_(1)×1×1×n_(2)のフィルタを適用する技術。」

イ 本件訂正発明3?5、7、8と甲第1号証に記載された発明(甲1発明1?甲1発明3)との対比・判断

イ-1 本件訂正発明3と甲1発明1について
(ア)構成Aと構成aについて
構成aの「GPU」は、画像処理を行うプロセッサであり、「画像超解像処理を行うモデル」は、画像処理を行う装置といえるので、構成aは構成Aに相当する。

(イ)構成B?構成B-2と構成bについて
(イ-1)構成B-1と構成bについて
構成bは、「LR画像を入力」するものであるから、LR画像を取得している構成を有しており、LR画像は入力画像といえる。
したがって、構成bは、構成B-1の「入力画像を取得する」ことに相当する構成を有しているものである。

(イ-2)構成B-2と構成bについて
構成bの「2層の残差ユニット」及び「次元を変化させる残差ユニット」は、下記(ウ-3)及び(エ-4)で検討するように、構成B-2の「第1の処理ブロック」及び「第2の処理ブロック」に相当する。
また、構成bの「残差的ディープCNN」は、構成B-2の「ニューラルネットワーク」に相当する。
したがって、構成bの「2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する残差的ディープCNNを用い」ることは、構成B-2の「第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用い」ることに相当する。

構成bは、「LR画像を入力し、」「HR特徴表現を生成し、HR特徴表現を、再構成部分で処理する」ものである。
ここで、構成bの「LR画像」は、構成B-2の「入力画像」に相当する。
また、構成bの「HR特徴表現を生成」することは、特徴に関するものを出力して生成するものといえるから、構成bの「HR特徴表現」は、構成B-2の「出力特徴」に相当する。
したがって、構成bの「LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成」することは、構成B-2の「前記入力画像に基づいて出力特徴を生成」することに相当する。

構成bの「HR特徴表現を、再構成部分で処理する」ことにより得られるものは、構成fのように、「入力されたLR画像とを演算することによりHR画像を復元する」ために利用されるものであり、構成Fでは、これを「画像残差」と称している。
したがって、構成bの「HR特徴表現を、再構成部分で処理する」ことは、構成B-2の「該出力特徴に基づいて画像残差を生成する」ことに相当する構成を有しているものである。

(イ-3)構成Bと構成bについて
以上より、構成bは、構成B-1及び構成B-2に相当する構成を有しているものであり、構成bの処理は、画像処理を行うプロセッサであるGPUで処理するものといえるから、甲1発明1は、構成Bの「前記プロセッサが」構成B-1及び構成B-2のステップを「実行」することに相当する構成を有しているものである。

よって、構成bは、構成B?構成B-2に相当する構成を有しているものである。

(ウ)構成C?構成C-2と構成c?構成c-2について
(ウ-1)構成C-1と構成c-1について
構成c-1の「LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現」は、いずれも構成bの特徴表現部において「入力されたLR画像から識別的な特徴を抽出」した特徴表現であるから、入力されたLR画像に基づくものである。
したがって、構成c-1の「LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成C-1の「前記入力画像に基づく第1の入力特徴」に相当する。
また、構成c-1の「畳み込みとReLUからなる層」は、構成C-1の「第1の畳み込み層」に相当する。
そうすると、構成c-1の「LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現を、畳み込みとReLUからなる層で処理」することは、構成C-1の「前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理すること」に相当する。
そして、構成c-1は、構成C-1のように、畳み込み層によって処理された結果を算出しているといえ、構成C-1では、畳み込み層によって処理された結果を「第1の特徴残差」と称している。

よって、構成c-1は構成C-1に相当する。

(ウ-2)構成C-2と構成c-2について
上記(ウ-1)の検討より、構成c-2の「LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」、「畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、それぞれ、構成C-2の「前記第1の入力特徴」、「前記第1の特徴残差」に相当する。
また、構成c-2の「別の特徴表現に変換すること」は、特徴に関するものを出力して生成するものといえるから、構成C-2の「第1の出力特徴を生成する」ことに相当する。

したがって、構成c-2は構成C-2に相当する。

(ウ-3)構成Cと構成cについて
構成cの「2層の残差ユニット」は、構成c-1と構成c-2を含むものであり、構成c-1と構成c-2の処理を行うブロックといえるから、構成C-1と構成C-2を含む構成Cの「第1の処理ブロック」に相当する。

(エ)構成D?構成D-3と構成d?構成d-3について
(エ-1)構成D-1と構成d-1について
構成d-1の「LR特徴表現もしくはLR特徴表現をいくつかの残差ユニットで処理した特徴表現」はいずれも「入力されたLR画像から特徴表現副ネットワークにて識別的な特徴を抽出し」た特徴表現であるから、入力されたLR画像に基づくものである。
したがって、構成d-1の「LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成D-1の「前記入力画像に基づく第2の入力特徴」に相当する。
また、構成d-1の「畳み込みとReLUからなる層」は、構成D-1の「第2の畳み込み層」に相当する。
そうすると、構成d-1の「入力されたLR画像から特徴表現副ネットワークにて識別的な特徴を抽出しLR特徴表現とし、LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現を、畳み込みとReLUからなる層で処理」することは、構成D-1の「前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理すること」に相当する。
そして、構成d-1は、構成D-1のように、畳み込み層によって処理された結果を算出しているといえ、構成D-1では、畳み込み層によって処理された結果を「第2の特徴残差」と称していることから、構成d-1は構成D-1に相当する。

(エ-2)構成D-2と構成d-2について
上記(エ-1)の検討より、構成d-2の「LR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成D-2の「前記第2の入力特徴」に相当する。

ここで、甲第1号証には、上記(2)ア-1(ア)bに摘記したように、ボトルネック構造についての説明ではあるが、「1×1畳み込みを利用して次元を下げ、幾つかの操作の後、1×1畳み込みが再び適用され次元を増加させる」ことが記載されており、甲2技術のとおり(表記にあたっての順番が異なるものの)「非線形写像において、n_(1)次元のベクトルをn_(2)次元のベクトルに変換する際に、空間的サポート1×1である畳み込みレイヤーを追加したサイズがn_(1)×1×1×n_(2)のフィルタを適用する技術」は、当業者の技術常識である。
よって、甲第1号証の上記記載と、当該技術常識によれば、構成d-2の、「1×1×n_(1)×n_(2)により処理」することとは、畳み込みレイヤーを有するフィルタを適用していることは明らかであるから、構成d-2は「少なくとも一つの畳み込みを実行する」ステップを有しているといえる。

したがって、構成d-2は、構成D-2に相当する。

(エ-3)構成D-3と構成d-3について
構成d-3の「1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成d-2によって処理された結果のものであるから、上記(エ-2)の検討より、構成d-3の「1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成D-3の「前記畳み込まれた第2の入力特徴」に相当する。
また、構成d-3の「畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、上記(エ-1)の検討より、構成D-3の「前記第2の特徴残差」に相当する。

そうすると、構成d-3の「1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現とを演算」することは、構成D-3の「前記畳み込まれた入力画像に前記特徴残差を適用すること」に相当する。
また、構成d-3の「別の特徴表現にする」ことは、特徴に関するものを出力して生成するものといえるから、構成D-3の「第2の出力特徴を生成する」ことに相当する。

したがって、構成d-3は構成D-3に相当する。

(エ-4)構成Dと構成dについて
構成dの「次元を変化させる残差ユニット」は、構成d-1?構成d-3を含むものであり、構成d-1?構成d-3の処理を行うブロックといえるから、構成D-1?構成D-3を含む構成Dの「第2の処理ブロック」に相当する。

(オ)構成E?構成E-2について
(オ-1)構成E-1について
上記(イ)で検討したように、甲1発明1は、構成B-2の「第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成」する構成を有するものである。
また、上記(エ-3)で検討したように、甲1発明1は、構成D-3の「第2の出力特徴を生成する」構成を有するものである。

そうすると、甲1発明1は、構成E-1の「前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成」する構成に相当する構成を有するものである。

(オ-2)構成E-2と構成eについて
構成eは、2層の残差ユニットの出力であるHR特徴表現を再構成部分に入力するものであり、その結果、再構成部分で2層の残差ユニットの出力であるHR特徴表現を処理するものといえる。
そして、上記(イ)で検討したように、構成bの「HR特徴表現を、再構成部分で処理する」ことは、構成B-2の「該出力特徴に基づいて画像残差を生成する」ことに相当する構成を有しているものであるから、構成eと構成E-2は、「前記画像残差を生成」することに相当する構成を有している点で共通するものである。
また、構成eの「2層の残差ユニットの出力であるHR特徴表現」と構成E-2の「該第2の出力特徴」は、「出力特徴」である点で共通する。
そうすると、構成eと構成E-2は、「該出力特徴に基づいて前記画像残差を生成」する点で共通するものである。

しかし、構成eの「2層の残差ユニットの出力」は、構成cの「2層の残差ユニット」の出力である構成c-2の「別の特徴表現」に対応するものであるから、本件訂正発明3の「第1の出力特徴」に対応するものであり、「第2の出力特徴」に対応するものではない。
そうすると、該出力特徴に基づいて画像残差を生成することにおける「該出力特徴」に関して、構成eは、本件訂正発明3の「第1の出力特徴」に対応する「2層の残差ユニットの出力」であるのに対し、構成E-2は、「第2の出力特徴」である点で相違する。

(オ-3)構成Eについて
以上より、甲1発明1は、構成E-1に相当する構成及び構成E-2のうちの「該出力特徴に基づいて前記画像残差を生成」する構成に相当する構成を有しているものであり、画像処理を行うプロセッサであるGPUで処理するものといえるから、甲1発明1は、構成Eの「前記プロセッサが」構成E-1に相当する構成及び構成E-2のうちの「該出力特徴に基づいて前記画像残差を生成」することに相当する構成を有しているものである。

(オ-4)構成E?構成E-2についての小括
以上より、構成E?構成E-2と甲1発明1は、
「前記プロセッサが、
前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
該出力特徴に基づいて前記画像残差を生成」する点で共通する。

しかし、構成eの「2層の残差ユニットの出力」は、構成cの「2層の残差ユニット」の出力である構成c-2の「別の特徴表現」に対応するものであるから、本件訂正発明3の「第1の出力特徴」に対応するものであり、「第2の出力特徴」に対応するものではない。
そうすると、該出力特徴に基づいて画像残差を生成することにおける「該出力特徴」に関して、構成eは、本件訂正発明3の「第1の出力特徴」に対応する「2層の残差ユニットの出力」であるのに対し、構成E-2は、「第2の出力特徴」である点で相違する。

(カ)構成Fと構成fについて
構成fの「再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算すること」は、構成Fの「前記画像残差が前記入力画像に適用されること」に相当する。
また、甲1発明1は、LR画像から画像超解像処理によってHR画像を復元するものであり、LR画像よりHR画像が解像度が高いことは自明であり、構成fの「HR画像」は、構成Fの「前記入力画像よりも解像度が高い高解像度画像」に相当する。
したがって、構成fは、構成Fに相当する。

(キ)一致点・相違点
上記(ア)?(カ)より、本件訂正発明3と甲1発明1の一致点・相違点は、以下のとおりである。

(一致点)
(A)プロセッサを備える画像処理装置であって、
(B)前記プロセッサが、
(B-1)入力画像を取得するステップと、
(B-2)第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(E)前記プロセッサが、
(E-1)前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
(E-2)’該出力特徴に基づいて前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

(相違点)
該出力特徴に基づいて前記画像残差を生成することにおける「該出力特徴」に関して、本件訂正発明3は、「第2の出力特徴」であるのに対し、甲1発明1は、本件訂正発明3の「第1の出力特徴」に対応する「2層の残差ユニットの出力」である点。

(ク)相違点についての検討
上記ア-1(イ)aで検討したように、甲第1号証の各残差コンテナ間でフィルタ数が異なる場合には、特徴マップの次元が異なることとなるので、1つめの残差ユニットにおいて次元を変化させる残差ユニットを用いることにより、次元を変化させ、残りの残差ユニットにおいて2層の残差ユニットを用いるものである。
また、各残差コンテナ間でフィルタ数が変わらない場合には、次元を変化させる必要が無いので、次元を変化させる残差ユニットを用いずに、2層の残差ユニットのみを用いるものである。
そうすると、甲1発明1においては、再構成部分に入力されるHR特徴表現は、構成eのように、必ず2層の残差ユニットの出力となる。
したがって、甲1発明1の構成を本件訂正発明3のように、「第2の出力特徴(甲1発明1の「次元を変化させる残差ユニットの出力」)に基づいて前記画像残差を生成」する構成に置き換えることは、当業者であっても容易に想到することはできないものである。

(ケ)小括
したがって、本件訂正発明3は、甲1発明1に基づいて当業者が容易に発明をすることができたとすることはできない。

イ-2 本件訂正発明4と甲1発明2について
(ア)構成Aと構成aについて
上記イ-1(ア)の検討と同様に、構成aは構成Aに相当する。

(イ)構成G?構成G-5と構成g、構成d?構成d-3について
(イ-1)構成Gについて
構成g、構成d?構成d-3の処理は、画像処理を行うプロセッサであるGPUで処理するものであるから、甲1発明2は、構成G、構成G-5の「前記プロセッサが」「実行」することに相当する構成を有しているものである。

(イ-2)構成G-1と構成gについて
構成gは、「LR画像を入力」するものであるから、LR画像を取得している構成を有しており、LR画像は入力画像といえる。
したがって、構成gは、構成G-1の「入力画像を取得する」ことに相当する構成を有しているものである。

(イ-3)構成G-2と構成g及び構成d-1について
構成gにおいて、入力されたLR画像はLR特徴表現となり、構成d-1により、LR特徴表現は畳み込みとReLUからなる層で処理されるものである。
そうすると、構成g及び構成d-1は、構成G-2のように、LR画像を畳み込み層によって処理された結果を算出しているといえ、構成G-2では、畳み込み層によって処理された結果を「特徴残差」と称していることから、構成g及び構成d-1は構成G-2に相当する構成を有するものである。

(イ-4)構成G-3と構成d-2について
上記イ-1(エ-2)の検討より、構成d-2の、「1×1×n_(1)×n_(2)により処理」することとは、畳み込みレイヤーを有するフィルタを適用していることは明らかであるから、構成d-2は「少なくとも一つの畳み込みを実行する」ステップを有しているといえる。
そうすると、構成g及び構成d-2より、甲1発明2は、構成G-3に相当する構成を有するものである。

(イ-5)構成G-4と構成d-3について
上記(イ-4)の検討より、構成d-3の「1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成G-4の「前記畳み込まれた入力画像」に相当する。

また、上記(イ-3)の検討より、構成d-3の「畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現」は、構成G-4の「前記特徴残差」に相当する。

そうすると、構成d-3の「1×1×n_(1)×n_(2)により処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現と、畳み込みとReLUからなる層で処理されたLR特徴表現もしくはLR特徴表現をいくつかの残差コンテナで処理した特徴表現とを演算」することは、構成G-4の「前記畳み込まれた入力画像に前記特徴残差を適用すること」に相当する。
また、構成d-3の「別の特徴表現にする」ことは、特徴に関するものを出力して生成するものといえるから、構成G-4の「出力特徴を生成する」ことに相当する。

したがって、構成d-3は構成G-4に相当する。

(イ-6)構成G-5と構成gについて
上記イ-1(イ-2)の検討と同様に、構成gの「HR特徴表現を、再構成部分で処理する」ことは、構成G-5の「前記出力特徴に基づいて画像残差を生成する」ことに相当する構成を有しているものである。

(ウ)構成H?構成H-2と構成fについて
(ウ-1)構成H-1、構成H-2について
構成fの再構成部分は、HR特徴表現に対して畳み込み層を使って処理するものであるから、構成fは、構成H-1の「前記出力特徴に対して畳み込みを実行する」ことに相当する構成を有しているものである。
また、構成fでは、「再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算する」ものであるから、次元を「入力されたLR画像」に合わせる必要があり、構成fの「畳み込み層」は、構成H-1の「前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正」するための構成であるといえる。
したがって、構成fは、構成H-1に相当する構成を有しているものである。

上記(イ-6)の検討と同様に、構成gの「HR特徴表現を、再構成部分で処理する」ことは、構成H-2の「前記画像残差を生成」することに相当する構成を有しているものである。
そうすると、構成fにおける「畳み込み層を使う再構成部分で処理されたHR特徴表現」についても、再構成部分で処理され生成されたものは、構成H-2の「画像残差」であるから、構成fと構成H-2は「前記画像残差を生成」する点で共通する。

よって、構成fと構成H-1、構成H-2は、「前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」する点で共通する。

しかし、「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、構成H-1、構成H-2は、「該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を更に有するのに対し、構成fは、そのような構成を有するものでない点で相違する。

(ウ-2)構成Hについて
上記(ウ-1)で検討したように、構成fは、構成H-1に相当する構成及び構成H-2のうちの「画像残差」を生成する構成を有しているものであり、構成fの処理は、画像処理を行うプロセッサであるGPUで行うものであるから、甲1発明2は、構成Hの「前記プロセッサが構成H-1に相当する構成及び構成H-2のうちの「前記画像残差を生成」することに相当する構成を有しているものである。

(ウ-3)構成H?構成H-2と構成fについての小括
以上より、構成H?構成H-2と構成fは、
「前記プロセッサが、
前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
前記画像残差を生成」する点で共通する。

しかし、「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、構成H?構成H-2は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、構成fは、そのような構成を有するものでない点で相違する。

(エ)構成Fと構成fについて
上記イ-1(カ)の検討と同様に、構成fは、構成Fに相当する。

(オ)一致点・相違点
上記(ア)?(エ)より、本件訂正発明4と甲1発明2の一致点・相違点は、以下のとおりである。

(一致点)
(A)プロセッサを備える画像処理装置であって、
(G)前記プロセッサが、
(G-1)入力画像を取得するステップと
(G-2)前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、
(G-3)前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、
(G-4)前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、
(G-5)前記出力特徴に基づいて画像残差を生成するステップとを実行し、
(H)前記プロセッサが、
(H-1)前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(H-2)’前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

(相違点)
「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、本件訂正発明4は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、甲1発明2は、そのような構成を有するものでない点。

(カ)相違点についての検討
「特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」との構成は、甲第2号証及び甲第3号証("Single Image Super Resolution - When Model Adaptation Matters”, arXiv:1703.10889.2017年3月)のいずれにも記載も示唆もされていないので、当該構成は、甲1発明2から容易に想定できたものとすることはできない。

(キ)小括
したがって、本件訂正発明4は、甲1発明2に基づいて当業者が容易に発明をすることができたとすることはできない。

イ-3 本件訂正発明5と甲1発明1について
本件訂正発明5は、本件訂正発明3の装置発明について、カテゴリーが異なる方法発明としたものであり、甲1発明1を方法発明としたものと対比すると、上記イ-1の検討と同様であり、本件訂正発明5は、本件訂正発明3は、甲1発明1に基づいて当業者が容易に発明をすることができたとすることはできない。

イ-4 本件訂正発明7と甲1発明3について
(ア)構成Aと構成aについて
上記イ-1(ア)の検討と同様に、構成aは構成Aに相当する。

(イ)構成I?構成I-2と構成bについて
(イ-1)構成I-1と構成bについて
上記イ-1(イ-1)の検討と同様に、構成bは、構成I-1の「入力画像を取得する」ことに相当する構成を有しているものである。

(イ-2)構成I-2と構成bについて
上記イ-1(イ-2)の検討と同様に、構成bの「2層の残差ユニット」、「次元を変化させる残差ユニット」、「残差的ディープCNN」は、それぞれ、構成I-2の「第1の処理ブロック」、「第2の処理ブロック」、「ニューラルネットワーク」に相当する。
そして、構成bの「2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する」とは、「2層の残差ユニット」と、「次元を変化させる残差ユニット」を含むものといえる。
したがって、構成bの「2層の残差ユニットと、次元を変化させる残差ユニットを交互に実行する残差的ディープCNNを用い」ることは、構成I-2の「第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用い」ることに相当する。

上記イ-1(イ-2)の検討と同様に、構成bの「LR画像を入力し、特徴表現部により、入力されたLR画像から識別的な特徴を抽出しLR特徴表現とし、非線形写像部により、LR特徴表現からHR特徴表現を生成」することは、構成I-2の「前記入力画像に基づいて出力特徴を生成」することに相当する。

上記イ-1(イ-2)の検討と同様に、構成bの「HR特徴表現を、再構成部分で処理する」ことは、構成I-2の「該出力特徴に基づいて画像残差を生成する」ことに相当する構成を有しているものである。

(イ-3)構成Iと構成bについて
上記イ-1(イ-3)の検討と同様に、甲1発明1は、構成Iの「前記プロセッサが」構成I-1及び構成I-2のステップを「実行」することに相当する構成を有しているものである。

よって、構成bは、構成I?構成I-2に相当する構成を有しているものである。

(ウ)構成C?構成C-2と構成c?構成c-2について
上記イ-1(ウ)の検討と同様に、構成c?構成c-2は、構成C?構成C-2に相当する。

(エ)構成D?構成D-3と構成d?構成d-3について
上記イ-1(エ)の検討と同様に、構成d?構成d-3は、構成D?構成D-3に相当する。

(オ)構成H?構成H-2と構成と構成fについて
上記イ-2(ウ)の検討と同様に、構成H?構成H-2と構成fは、
「前記プロセッサが、
前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
前記画像残差を生成」する点で共通する。

しかし、「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、構成H?構成H-2は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、構成fは、そのような構成を有するものでない点で相違する。

(カ)構成Fと構成fについて
上記イ-1(エ)の検討と同様に、構成fは、構成Fに相当する。

(キ)一致点・相違点
上記(ア)?(カ)より、本件訂正発明7と甲1発明3の一致点・相違点は、以下のとおりである。

(一致点)
(A)プロセッサを備える画像処理装置であって、
(I)前記プロセッサが、
(I-1)入力画像を取得するステップと、
(I-2)第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(H)前記プロセッサが、
(H-1)前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(H-2)’前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

(相違点)
「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、本件訂正発明7は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、甲1発明3は、そのような構成を有するものでない点。

(カ)相違点についての検討
「特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」との構成は、甲第2号証及び甲第3号証のいずれにも記載も示唆もされていないので、当該構成は、甲1発明2から容易に想定できたものとすることはできない。

(キ)小括
したがって、本件訂正発明7は、甲1発明3に基づいて当業者が容易に発明をすることができたとすることはできない。

イ-5 本件訂正発明8と甲1発明1について
(ア)構成A?構成D-3、構成Fと構成a?d-3、構成fについて
上記イ-1(ア)?(エ)、(カ)の検討と同様に、構成a?d-3、構成fは、構成A?D-3、構成Fに相当する。

(イ)構成J?構成J-3について
(イ-1)構成J-1について
上記イ-1(オ-1)の検討と同様に、甲1発明1は、構成J-1の「前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成」する構成に相当する構成を有するものである。

(イ-2)構成J-2、J-3について
構成fの再構成部分は、HR特徴表現に対して畳み込み層を使って処理するものであるから、構成fと構成J-2は「前記出力特徴に対して畳み込みを実行する」という点で共通する構成を有しているものである。
また、構成fでは、「再構成部分で処理されたHR特徴表現と入力されたLR画像とを演算する」ものであるから、次元を「入力されたLR画像」に合わせる必要があり、構成fの「畳み込み層」は、構成J-2の「前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正」するための構成であるといえる。

上記イ-1(イ-2)の検討と同様に、構成bの「HR特徴表現を、再構成部分で処理する」ことは、構成J-3の「前記画像残差を生成」することに相当する構成を有しているものである。
そうすると、構成fにおける「畳み込み層を使う再構成部分で処理されたHR特徴表現」についても、再構成部分で処理された生成されたものは、画像残差であるから、構成fと構成J-3は「前記画像残差を生成」する点で共通する。

よって、構成fと構成J-2、構成J-3は、「該出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」する点で共通する。

しかし、上記イ-1(オ-2)の検討と同様に、「該出力特徴」に関して、構成fは、本件訂正発明8の「第1の出力特徴」に対応する「2層の残差ユニットの出力」であるのに対し、構成J-2は、「第2の出力特徴」である点で相違する。
また、上記イ-2(ウ-1)の検討と同様に「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、構成J-3は、「該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を更に有するのに対し、構成fは、そのような構成を有するものでない点で相違する。

(イ-3)構成Jについて
上記(イ-1)、(イ-2)で検討したように、構成fは、構成J-1に相当する構成及び構成J-2、構成J-3のうちの「前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正」する構成、「画像残差」を生成する構成を有しているものであり、構成fの処理は、画像処理を行うプロセッサであるGPUで行うものであるから、甲1発明1は、構成Jの「前記プロセッサ」が構成J-1に相当する構成、構成J-2、J-3のうちの「前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、」「前記画像残差を生成」することに相当する構成を有しているものである。

(イ-4)構成J?構成J-3と構成fについての小括
以上より、構成J?構成J-3と構成fは、
「前記プロセッサが、
前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
該出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
前記画像残差を生成」する点で共通する。

しかし、「該出力特徴」に関して、構成fは、本件訂正発明8の「第1の出力特徴」に対応する「2層の残差ユニットの出力」であるのに対し、構成J-2は、「第2の出力特徴」である点で相違する。

また、「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、構成J?構成J-3は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、構成fは、そのような構成を有するものでない点で相違する。

(ウ)一致点・相違点
上記(ア)、(イ)より、本件訂正発明8と甲1発明1の一致点・相違点は、以下のとおりである。

(一致点)
(A)プロセッサを備える画像処理装置であって、
(B)前記プロセッサが、
(B-1)入力画像を取得するステップと、
(B-2)第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(C)前記第1の処理ブロックが、
(C-1)前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
(C-2)前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(J)前記プロセッサが、
(J-1)前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
(J-2)’該出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、
(J-3)’前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

(相違点1)
該出力特徴に対して畳み込みを実行することにおける「該出力特徴」に関して、本件訂正発明8は、「第2の出力特徴」であるのに対し、甲1発明1は、本件訂正発明8の「第1の出力特徴」に対応する「2層の残差ユニットの出力」である点。
(相違点2)
「特徴マップの次元を前記入力画像に合わせるように修正し、前記画像残差を生成」することに関して、本件訂正発明8は、「該次元が修正された特徴マップに対して、」更に「該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」構成を有するのに対し、甲1発明1は、そのような構成を有するものでない点。

(エ)相違点についての検討
上記イ-1(ク)、上記イ-2(カ)で検討したように、相違点1、2に係る構成については、いずれも甲1発明1から容易に想定できたものとすることはできない。

(オ)小括
したがって、本件訂正発明8は、甲1発明1に基づいて当業者が容易に発明をすることができたとすることはできない。

ウ (2)のまとめ
したがって、本件訂正発明3?5、7、8は、甲1発明1?甲1発明3のいずれかに基づいて当業者が容易に発明をすることができたとすることはできない。

(3)まとめ
上記(1)、(2)より、取消理由通知書(決定の予告)に記載した取消理由により、請求項3?5、7、8に係る特許を取り消すことはできない。

(4)本件訂正発明に対する特許異議申立人の主張について
ア 本件訂正発明3について
本件訂正発明3について、特許異議申立人は、令和1年9月26日付け意見書にて、以下のような主張をしている。
「第2に、本件訂正発明3’の構成E-2では、第2の出力特徴に基づいて画像残差を生成するとしか規定されていない。すなわち、構成E-2では第2の出力特徴から画像残差を生成するにあたっての処理内容が何ら規定されていないため、第2の出力特徴から始まって画像残差が生成されてさえいれば構成E-2の構成は満足される(なお、「基づく」の通常の意味は「基として起こる。基礎にする。よりどころにする。」(広辞苑第4版)であることを付記する)。
甲第1号証に記載の発明のうち、例えばTable4に記載の「R(64_(2),32_(2),16_(2),16_(2),32_(2),64_(2))」では、以下の参考図1に示す通り、第2の処理ブロックに相当するブロックの出力(第2の出力特徴に相当)を基として、第1の処理ブロックに相当する箇所と再構成部を経て、入力画像を高解像度化する画像成分(画像残差に相当)が演算されている。」(2頁31行?3頁3行)
しかし、「前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、」との記載からみて、第2の出力特徴の生成後に、更に第1の処理ブロックを経るのであれば、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することにより生成されるものは、第1の出力特徴である。そして、このような場合には、「前記第1の出力特徴を生成し、該第1の出力特徴に基づいて前記画像残差を生成し、」と記載するものであると考えるのが自然であるから、特許異議申立人の主張を認めることはできない。

イ 本件訂正発明4について
本件訂正発明4について、特許異議申立人は、令和1年9月26日付け意見書にて、以下のような主張をしている。
「第2に、構成H-2では特徴マップの全要素に共通の係数を乗ずる処理が行われることしか規定されていない。すなわち構成H-2では、係数が機械学習によって再計算および更新されることで設定されることは限定されていない。したがって、構成Hは、単に各画素に対して共通の値(機械学習の結果により設定されたわけではない値)を乗算する処理を依然として含む。そして、単に各画素に対して共通の値を乗算することは、二度目の取消理由通知書の「第4.当審の判断 3 (2) イ (エ)」に指摘されているように、適宜設計し得るものに他ならない。」(6頁33行?7頁2行)
しかし、特許異議申立人が主張する処理が含まれるとしても、上記(2)イ-2(カ)で検討したように、「特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行する」との構成は、甲第2号証及び甲第3号証のいずれにも記載も示唆もされておらず、当該構成は、甲1発明2から容易に想定できたものとすることはできないので、特許異議申立人の主張を認めることはできない。

ウ 本件訂正発明5、7、8について
本件訂正発明5、7、8について、特許異議申立人は、令和1年9月26日付け意見書にて、本件訂正発明3、4と同様の主張をしており、上記ア、イと同様の理由により、特許異議申立人の主張を認めることはできない。

第5 取消理由通知(決定の予告)において採用しなかった特許異議申立理由について
1 特許異議申立書における特許異議申立理由
特許異議申立書における、請求項1?6に係る特許に対しての特許異議申立理由は、以下のとおりである。(特許異議申立書の「3.申立ての理由(5)むすび」)
(1)理由1:特許法第29条第1項第3号(同法第113条第2号)
ア 本件特許発明1?3、5、6は、甲第1号証に記載された発明である。
イ 本件特許発明1、5、6は、甲第3号証に記載された発明である。

(2)理由2:特許法第29条第2項(同法第113条第2号)
ア 本件特許発明1?3、5、6は、甲第1号証に記載された甲1発明および甲第2号証に基づいて、当業者が容易に発明をすることができたものである。
イ 本件特許発明2、3は、甲第3号証に記載された甲3発明および甲第1号証に基づいて、当業者が容易に発明をすることができたものである。

(3)理由3:特許法第36条第6項第2号(同法第113条第4号)
本件特許発明4は、以下のように、本件特許明細書および本件特許図面の記載並びに出願時の技術常識を考慮しても、意味内容を理解できない不明確なものであるから、特許法第36条第6項第2号に規定する要件を満たしていない。

なお、理由3に関して、特許異議申立人は、特許異議申立書において以下の主張をしている。
「本件特許発明4の構成Oは「前記出力特徴に対して特徴スケーリングを実行することで前記画像残差を生成する」ことを特定したものである。
“特徴スケーリング”との語を含む文言で限定される本件特許発明4は、本件特許の出願時の技術常識を考慮してもそれ自体で明確ではない。
(中略)
このため、本件特許発明4の“特徴スケーリングを実行する”処理は、少なくとも「特徴マップの全要素に共通の係数λを乗ずる処理」を包含すると処理であると推察される。しかしながら、本件特許明細書および本件特許図面には、“特徴スケーリングを実行する”処理の外延について何ら規定されていない。また、本件特許明細書の段落0051に記載された特徴スケーリングの一具体例の説明を出願時の技術常識をもって考慮しても、如何なる処理であれば特徴スケーリングに該当し、如何なる処理であれば特徴スケーリングに該当しないのかを把握することができない。」(特許異議申立書38頁9行?39頁3行)

2 当審の判断
(1)上記1(1)、(2)について
ア 上記1(1)、(2)の本件特許発明に対応する本件訂正発明について
訂正により、請求項1、2、6は削除され、請求項4のうち請求項2を引用するものについて新たに請求項7とし、請求項4のうち請求項3を引用するものについて新たに請求項8とした。
よって、理由1、2に対応する本件訂正発明は、本件訂正発明3、5である。以下では、本件訂正発明3、5について検討する。

イ 上記1(1)アについて
上記第4の2(2)イ-1(キ)で検討したように、本件訂正発明3と甲1発明1を対比すると、両者は上記相違点を有するものであるから、本件訂正発明3は、甲1発明1と同一ではない。

ウ 上記1(1)イについて
(ア)甲第3号証
(ア-1)甲第3号証に記載された事項
甲第3号証には、図面とともに以下の事項が記載されている。
なお、説明のために、下線を当審において付与した。また、訳については、異議申立書を参考にして当審で作成したものである。

a 「Single image super-resolution aims at reconstructing a high resolution (HR) image for a given low resolution (LR) input.」(1頁左欄26?27行)
(この単一画像超解像は、ある低解像度(LR)入力に対する高解像度(HR)画像を再構成することを目的とする。)

b 「We tackle these problems by proposing our novel Deep Projection convolutional neural Network (DPN) depicted in Fig.2. DPN has three parts: feature extraction/representation, inference, and reconstruction. The feature extraction part are plain stacking convolutional and ReLU layers as usual, the inference part consists of projection units and the reconstruction only applies convolutional layers to restore HR images.」(2頁右欄29?36行)
(我々は、図2に示された我々の新しいディーププロジェクション畳み込みニューラルネットワーク(DPN)を提案することによってこれらの問題に取り組む。DPNは、特徴抽出/表現、推定及び再構成を含む3つの部分を有する。特徴抽出部は、従来通りに、畳み込みとReLUの層がプレーンに積み重なっており、推定部は複数のプロジェクションユニットにより構成され、再構成部は、畳み込み層のみを用いてHR画像を復元する。)

c 「Our Deep Projection convolutional neural Network (DPN) is composed of several Cells which have certain number of projection units a s shown in Fig.2. Each unit consists of a summation between the output of 2 stacked conv+ReLU and the output of a conv layer as in Fig.3.」(3頁左欄34行?右欄1行)
(我々のディーププロジェクション畳み込みニューラルネットワーク(DPN)は、図2に示すようにある数のプロジェクションユニットを有するいくつかのセルにより構成されている。それぞれのユニットは、図3に示すように、2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算することからなる。)

d 「All the experiments use the deep learning toolboxmatconvnet and a single NVIDIA K40/K80 GPU card.」
(全ての実験は、ディープラーニングツールボックスmatconvnet[23]と単一のNVIDIAK40/K80 GPUカードを使用する。)

e


f


g

(ア-2)甲第3号証に記載された発明
上記甲第3号証の記載事項及び関連する図面並びにこの分野における技術常識を考慮して甲第3号証に記載された発明を認定する。

a 上記(ア-1)e及びfのFig.2及びFig.3について
Fig.2のInferenceにおける各プロジェクションユニット、Fig.3(a)のプロジェクションユニットへの入力は、特徴抽出部からの出力(Fig.2のFeature representationからの出力)もしくは特徴抽出部からの出力を処理した出力(例えば、Fig.2の中央のユニットへの入力は、特徴抽出部からの出力を左側のユニットで処理した出力)である。
Fig.2より、推定部の出力を、再構成部の畳み込み層に入力しているものである。
Fig.2より、再構成部の畳み込み層から出力されたものとLR入力を加算してHR画像を復元するものである。

b 上記a及び、上記(ア-1)a?dに摘記した甲第3号証の記載事項から、甲第3号証には、以下の発明(以下、「甲3発明」という。)が記載されている。
なお、説明のために(a3)?(h3)の記号を当審において付与した。以下、構成a3?構成h3と称することにする。

(甲3発明)
(a3)GPUカードを使用するものであり、LR入力に対するHR画像を再構成する装置において、
(b3)LR入力を行い、
(c3)ディーププロジェクション畳み込みニューラルネットワークは、プロジェクションユニットを有するいくつかのセルにより構成され、
(d3)入力されたLRを、畳み込み層とReLU層がプレーンに積み重なっている特徴抽出部に入力し、
(e3)特徴抽出部からの出力を、複数のプロジェクションユニットにより構成される推定部に入力し、
(f3)プロジェクションユニットは、
(f3-1)特徴抽出部からの出力もしくは特徴抽出部からの出力を処理した出力を、2つの畳み込み層+ReLU層の積み重ねに入力し、
(f3-2)特徴抽出部からの出力もしくは特徴抽出部からの出力を処理した出力を、畳み込み層に入力し、
(f3-3)2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算するものであり、
(g3)推定部の出力を、再構成部の畳み込み層に入力し、
(h3)再構成部の畳み込み層から出力されたものとLR入力を加算してHR画像を復元するものである
(a3)LR入力に対するHR画像を再構成する装置。」

(イ)本件訂正発明3と甲3発明について
a 構成Aと構成a3について
構成a3の「GPUカード」は、画像処理を行うプロセッサであり、「LR入力に対するHR画像を再構成する装置」は、画像処理を行う装置といえるので、構成a3は構成Aに相当する。

b 構成B?構成B-2について
b-1 構成B-1と構成b3について
構成b3は、「LR入力」を行うものであり、構成B-1の「入力画像を取得する」ことに相当する構成を有しているものである。

b-2 構成B-2について
甲3発明は、構成b3、構成c3-3、構成f3-3、構成h3より、プロジェクションユニットを実行するディーププロジェクション畳み込みニューラルネットワークを用いて、LRに基づいて、2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算したものを生成し、当該2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算したものに基づいて、再構成部の畳み込み層から出力されたものを生成する構成であるといえる。
ここで、「プロジェクションユニット」、「ディーププロジェクション畳み込みニューラルネットワーク」、「LR」、「2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算したもの」、「再構成部の畳み込み層から出力されたもの」は、構成B-2の「第2の処理ブロック」、「ニューラルネットワーク」、「入力画像」、「出力特徴」、「画像残差」に相当する。
したがって、甲3発明と構成B-2は、「第2の処理ブロックを実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成する」という点で共通する。
しかし、下記cで検討するように、甲3発明は、構成B-2のような「第1の処理ブロック」を有するものでなく、そのことに起因して、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」構成でない点で相違する。

b-3 構成Bについて
甲3発明の処理は、画像処理を行うプロセッサであるGPUカードで処理させるものといえるから、甲3発明は、構成Bの「前記プロセッサが」構成B-1及び構成B-2のうちの共通するステップを「実行」することに相当する構成を有しているものである。

b-4 構成B?構成B-2についてのまとめ
以上より、甲3発明と構成B?構成B-2は、「前記プロセッサが、入力画像を取得するステップと、第2の処理ブロックを実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップとを実行」する点で共通する。
しかし、甲3発明は、「第1の処理ブロック」を有するものでなく、そのことに起因して、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」構成でない点で相違する。

c 構成C?構成C-2について
甲3発明の推定部は、プロジェクションユニットのみにより構成されており、構成C?構成C-2の「第1の処理ブロック」に相当する構成を有するものではない。

d 構成D?構成D-3と構成f3?構成f3-3について
構成f3の「プロジェクションユニット」は、構成Dの「第2の処理ブロック」に相当する。
構成f3-1の「特徴抽出部からの出力もしくは特徴抽出部からの出力を処理した出力」は、いずれも、構成b3のLR入力に基づいたものであるから、構成D-1の「前記入力画像に基づく第2の入力特徴」に相当する。
構成f3-1の「2つの畳み込み層+ReLU層の積み重ね」は、構成D-1の「第2の畳み込み層」に相当する。
そして、構成f3-1における「2つの畳み込み層+ReLU層の積み重ね」の出力は、構成D-1の「第2の特徴残差」に相当する。
構成f3-2の「特徴抽出部からの出力もしくは特徴抽出部からの出力を処理した出力」、「畳み込み層」は、構成D-2の「前記第2の入力特徴」、「少なくとも一つの畳み込み」に相当する。
構成f3-3の「2つの積み重ねられた畳み込み+ReLUの出力と畳み込み層の出力とを加算する」ことは、構成D-3の「前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用すること」に相当する。
そして、構成f3-3により生成されたものは、構成D-3の「第2の出力特徴」に相当する。

以上より、構成f3?構成f3-3は、構成D?構成D-3に相当する。

e 構成E?構成E-2について
e-1 構成E-1について
上記b-2で検討したように、甲3発明は、構成B-2の「ニューラルネットワーク」を用いる構成を有するものである。
また、上記dで検討したように、甲3発明は、構成D?構成D-3に相当する構成を有するものであるから、甲3発明と構成E-1は「前記第2の処理ブロックを実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成」する構成を有するものである。
しかし、上記b-2、cで検討したように、甲3発明は、「第1の処理ブロック」を有するものでなく、そのことに起因して、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」構成でない点で相違する。

e-2 構成E-2について
甲3発明では、構成f3-3により生成されたものを、構成g3により、再構成部の畳み込み層に入力し、再構成部の畳み込み層から出力されたものを生成するものである。
ここで、「構成f3-3により生成されたもの」、「再構成部の畳み込み層から出力されたもの」は、それぞれ、本件訂正発明3の「第2の出力特徴」、「画像残差」に相当するので、甲3発明は、構成E-2に相当する構成を有するものである。

e-3 構成Eについて
以上より、甲3発明は、構成E-1のうちの「前記第2の処理ブロックを実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成」する構成に相当する構成及び構成E-2に相当する構成を有しているものであり、当該構成の処理は、画像処理を行うプロセッサであるGPUで処理させるものといえるから、甲3発明は、構成Eの「前記プロセッサが」構成E-1のうちの「前記第2の処理ブロックを実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成」する構成及び構成E-2に相当する構成を有しているものである。

e-4 構成E?構成E-2についての小括
以上より、構成E?構成E-2と甲3発明は、
「前記プロセッサが、
前記第2の処理ブロックを実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
該第2の出力特徴に基づいて前記画像残差を生成」する点で共通する。

しかし、甲3発明は、「第1の処理ブロック」を有するものでなく、そのことに起因して、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」構成でない点で相違する。

f 構成Fと構成h3について
構成h3の「再構成部の畳み込み層から出力されたもの」、「LR入力」、「HR画像」は、それぞれ、構成Fの「画像残差」、「入力画像」、「入力画像よりも解像度が高い高解像度画像」に相当する。
したがって、構成h3は、構成Fに相当する。

g 一致点・相違点
上記a?fより、本件訂正発明3と甲3発明の一致点・相違点は、以下のとおりである。

(一致点)
(A)プロセッサを備える画像処理装置であって、
(B)前記プロセッサが、
(B-1)入力画像を取得するステップと、
(B-2)’第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
(D)前記第2の処理ブロックが、
(D-1)前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
(D-2)前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
(D-3)前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
(E)前記プロセッサが、
(E-1)前記第2の処理ブロックを実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、
(E-2)該第2の出力特徴に基づいて前記画像残差を生成し、
(F)前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
(A)画像処理装置。

(相違点)
本件訂正発明3は、「第1の処理ブロック」を有するのに対し、甲3発明は、そのようなブロックを有するものでなく、そのことに起因して、本件訂正発明3は、前記第1の処理ブロックが、前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを」含むのに対し、甲3発明は、そのようなステップを有するものでなく、さらに、本件訂正発明3は、「第1の処理ブロックおよび第2の処理ブロックを交互に実行する」のに対し、甲3発明は、「第2の処理ブロックを実行する」ものである点。

h 小括
両者は上記相違点を有するものであるから、本件訂正発明3は、甲3発明と同一ではない。
また、本件訂正発明5は、本件訂正発明3の装置発明について、カテゴリーが異なる方法発明としたものであり、甲3発明を方法発明としたものと対比すると、上記a?gの検討と同様であり、本件訂正発明5は、甲3発明と同一ではない。

エ 上記1(2)アについて
本件訂正発明3と甲1発明1との対比については、上記第4の2(2)イ-1で検討したとおりであり、本件訂正発明3は、甲1発明1に基づいて当業者が容易に発明をすることができたとすることはできない。
そして、甲2技術は、上記第4の2(2)ア-2、第4の2(2)イ-1(エ-2)で検討したように、「非線形写像において、n_(1)次元のベクトルをn_(2)次元のベクトルに変換する際に、空間的サポート1×1である畳み込みレイヤーを追加したサイズがn_(1)×1×1×n_(2)のフィルタを適用する技術。」が記載されているだけであり、本件訂正発明3は、甲第1号証に記載された甲1発明および甲第2号証に基づいて、当業者が容易に発明をすることができたとすることはできない。
また、本件訂正発明5は、本件訂正発明3の装置発明について、カテゴリーが異なる方法発明としたものであるから、同様に、甲第1号証に記載された甲1発明および甲第2号証に基づいて、当業者が容易に発明をすることができたとすることはできない。

オ 上記1(2)イについて
上記ウ(イ)gの相違点について検討する。
甲第1号証の「2層の残差ユニット」のように、本件訂正発明3の「第1の処理ブロック」に相当する構成は、出願時において、知られている構成である。
また、上記ウ(アー1)fのように、甲第3号証のFig.3には、(d)として、本件訂正発明3の「第1の処理ブロック」に相当する構成が開示されている。
しかし、甲第3号証の5頁「C.Importance of preserving negative information」の項の記載や、上記ウ(ア-1)gのTABLE II(conv+after actとidentity+after act)の記載からみて、Fig.3(d)の構成は、本件訂正発明3の「第2の処理ブロック」に対応するFig.3(a)の構成と比較してPSNRが低いものであり、甲第3号証に接した当業者が甲第1号証の記載を参酌しても、甲3発明において、本件訂正発明3の「第1の処理ブロック」に相当する構成を採用することは考えられないものであり、ましてや、第1の処理ブロックおよび第2の処理ブロックを交互に実行する構成を想定することはできないものといえる。
したがって、本件訂正発明3は、甲第3号証に記載された甲3発明および甲第1号証に基づいて、当業者が容易に発明をすることができたとすることはできない。
また、本件訂正発明5は、本件訂正発明3の装置発明について、カテゴリーが異なる方法発明としたものであるから、同様に、甲第3号証に記載された甲3発明および甲第1号証に基づいて、当業者が容易に発明をすることができたとすることはできない。

(2)上記1(3)について
訂正により、本件訂正発明4の「特徴スケーリング」は、「該特徴マップの全要素に共通の係数を乗ずる処理である」ことに限定された。
したがって、本件訂正発明4は、明確である。

(3)まとめ
上記(1)、(2)より、特許異議申立理由を採用することはできない。

第6 むすび
以上のとおりであるから、取消理由通知(決定の予告)に記載した取消理由及び特許異議申立書に記載した特許異議申立理由によっては、本件請求項3、4、5、7、8に係る特許を取り消すことはできない。

また、他に本件請求項3、4、5、7、8に係る特許を取り消すべき理由を発見しない。

さらに、本件請求項1、2、6に係る特許は、訂正により、削除されたため、本件特許の請求項1、2、6に対して、特許異議申立人丸山美穂がした特許異議の申立てについては、対象となる請求項が存在しない。

よって、結論のとおり決定する。
 
発明の名称 (57)【特許請求の範囲】
【請求項1】
(削除)
【請求項2】
(削除)
【請求項3】
プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。
【請求項4】
プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
前記入力画像を畳み込み層により処理することで特徴残差を算出するステップと、
前記入力画像に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた入力画像に前記特徴残差を適用することで出力特徴を生成するステップと、
前記出力特徴に基づいて画像残差を生成するステップとを実行し、
前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。
【請求項5】
プロセッサを備える画像処理装置により実行される画像処理方法であって、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を含み、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記画像残差を生成するステップでは、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に基づいて前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理方法。
【請求項6】
(削除)
【請求項7】
プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを含むニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。
【請求項8】
プロセッサを備える画像処理装置であって、
前記プロセッサが、
入力画像を取得するステップと、
第1の処理ブロックおよび第2の処理ブロックを交互に実行するニューラルネットワークを用いて、前記入力画像に基づいて出力特徴を生成し、該出力特徴に基づいて画像残差を生成するステップと
を実行し、
前記第1の処理ブロックが、
前記入力画像に基づく第1の入力特徴を第1の畳み込み層により処理することで第1の特徴残差を算出するステップと、
前記第1の入力特徴に前記第1の特徴残差を適用することで第1の出力特徴を生成するステップとを含み、
前記第2の処理ブロックが、
前記入力画像に基づく第2の入力特徴を第2の畳み込み層により処理することで第2の特徴残差を算出するステップと、
前記第2の入力特徴に対して少なくとも一つの畳み込みを実行するステップと、
前記畳み込まれた第2の入力特徴に前記第2の特徴残差を適用することで第2の出力特徴を生成するステップとを含み、
前記プロセッサが、前記第1の処理ブロックおよび前記第2の処理ブロックを交互に実行することで、前記ニューラルネットワークを用いて前記入力画像に基づいて前記第2の出力特徴を生成し、該第2の出力特徴に対して畳み込みを実行することで、前記入力画像の全画素に対応する特徴マップの次元を前記入力画像に合わせるように修正し、該次元が修正された特徴マップに対して、該特徴マップの全要素に共通の係数を乗ずる処理である特徴スケーリングを実行することで、前記画像残差を生成し、
前記画像残差が前記入力画像に適用されることで、前記入力画像よりも解像度が高い高解像度画像が生成される、
画像処理装置。
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2020-02-20 
出願番号 特願2017-549838(P2017-549838)
審決分類 P 1 651・ 851- YAA (G06T)
P 1 651・ 536- YAA (G06T)
P 1 651・ 113- YAA (G06T)
P 1 651・ 853- YAA (G06T)
P 1 651・ 857- YAA (G06T)
P 1 651・ 121- YAA (G06T)
P 1 651・ 537- YAA (G06T)
最終処分 維持  
前審関与審査官 松浦 功  
特許庁審判長 鳥居 稔
特許庁審判官 樫本 剛
渡辺 努
登録日 2018-01-19 
登録番号 特許第6276901号(P6276901)
権利者 楽天株式会社
発明の名称 画像処理装置、画像処理方法、および画像処理プログラム  
代理人 長谷川 芳樹  
代理人 長谷川 芳樹  
代理人 黒木 義樹  
代理人 保坂 一之  
代理人 黒木 義樹  
代理人 保坂 一之  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ