• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 4号2号請求項の限定的減縮 特許、登録しない。 G01N
審判 査定不服 特17条の2、3項新規事項追加の補正 特許、登録しない。 G01N
審判 査定不服 2項進歩性 特許、登録しない。 G01N
管理番号 1359512
審判番号 不服2019-2935  
総通号数 243 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-03-27 
種別 拒絶査定不服の審決 
審判請求日 2019-03-04 
確定日 2020-02-05 
事件の表示 特願2018- 91019「検査システム」拒絶査定不服審判事件〔令和 1年11月14日出願公開、特開2019-196980〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、平成30年5月9日の出願であって、同年7月18日付けで拒絶理由が通知され、同年9月10日付けで意見書及び手続補正書が提出され、同年11月29日付けで拒絶査定されたところ、平成31年3月4日に拒絶査定不服審判の請求がなされ、同時に手続補正がなされたものである。

第2 平成31年3月4日付け手続補正についての補正の却下の決定

[補正の却下の決定の結論]
平成31年3月4日付け手続補正(以下「本件補正」という。)を却下する。

[理由]
1 本件補正について(補正の内容)
本件補正は、特許請求の範囲を補正するものであり、そのうち請求項1について、本件補正前(平成30年9月10日付けの手続補正書)に

「検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部と、
前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
前記画像に前記異常位置をマークして出力するレポート作成部と、
を備えることを特徴とする検査システム。」

とあったものを、

「検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した第1の種類の画像および前記第1の種類とは異なる第2の種類の画像、前記飛行体の撮影高度、ならびに前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部と、
前記第1および第2の種類の画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記第1および第2の種類の画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力するレポート作成部と、
を備えることを特徴とする検査システム。」

と補正することを含むものである。(なお、下線は、補正箇所を示すために、請求人が付したものである。)

2 新規事項
本件補正後の請求項1における「前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力するレポート作成部」の構成(以下、「構成α」という。)が、本願の願書に最初に添付した明細書、特許請求の範囲又は図面(以下、「当初明細書等」という。)のすべての記載を総合することにより導かれる技術的事項との関係において、新たな技術的事項であるといえるか、検討する。

(1)当初明細書等の記載事項
当初明細書等には、「レポート作成部」に関連して、以下の事項が記載されている。(なお、下線は当審で付与したものである。)

(本a)
「【0011】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
【0012】
[項目1]
検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
を備えることを特徴とする検査システム。
【0013】
[項目2]
項目1に記載の検査システムであって、
前記異常を示す情報および前記異常位置を対応付けて記憶する異常情報記憶部と、
前記異常情報記憶部に記憶されている前記異常位置の各組について、前記異常位置間の距離が閾値以下である場合に同一の前記異常であると判定し、同一の前記異常についての
重複を削除するように前記異常位置を前記異常情報記憶部から削除する重複削除部と、
を備えることを特徴とする検査システム。
【0014】
[項目3]
項目1または2に記載の検査システムであって、
前記異常位置算出部は、前記カメラの画角および前記撮影行動に基づいて前記画像上における1画素あたりの前記地図上での距離を計算し、前記画像の中心から前記検出位置までの画素単位の距離から前記地図上での距離を計算し、計算した前記地図上での距離と前記撮影位置とに基づいて前記異常位置を算出すること、
を特徴とする検査システム。
【0015】
==概要・全体構成==
図1は、本発明の一実施形態に係る検査システムの全体構成を示す図である。本実施形態の検査システムは、検査対象物を撮影した画像を解析して異常を検出するものである。本実施形態では、検査対象物の一例として太陽電池モジュール1(太陽光パネル)を想定する。なお、検査対象物としては太陽電池モジュール1に限らず、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、災害時の被災地域であってもよい。
【0016】
本実施形態の検査システムは、検査対象物である太陽電池モジュール1を撮影する飛行装置10と、飛行装置10が撮影した画像を解析する検査サーバ30とを含んで構成される。飛行装置10と検査サーバ30とは通信ネットワーク50を介して相互に通信可能に接続されている。本実施形態では通信ネットワーク50はインターネットを想定し、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット(登録商標)などにより構築される。
【0017】
飛行装置10はカメラ12を備え、飛行しながらカメラ12の画角121に応じて、撮影領域122に入る太陽電池モジュール1の一部または全部を撮影する。本実施形態では、説明を簡単にするためカメラ12の画角121は一定であるものとするが、カメラ12の焦点距離を変動させて画角121を変化させるようにすることもできる。」

(本b)
「【0033】
図7は、検査サーバ30のソフトウェア構成例を示す図である。検査サーバ30は、飛行制御部311、撮影情報受信部312、異常検出部313、異常位置算出部314、重複削除部315、レポート作成部316、撮影情報記憶部351および異常情報記憶部352を備える。
【0034】
なお、飛行制御部311、撮影情報受信部312、異常検出部313、異常位置算出部314、重複削除部315およびレポート作成部316は、検査サーバ30が備えるCPU301が記憶装置303に記憶されているプログラムをメモリ302に読み出して実行することにより実現され、撮影情報記憶部351および異常情報記憶部352は、検査サーバ30の備えるメモリ302および記憶装置303が提供する記憶領域の一部として実現される。」

(本c)
「【0037】
異常検出部313は、飛行装置10が撮影した画像を解析して、検査対象となる太陽電池モジュール1の異常を検出する。異常検出部313は、RGB画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する。異常検出部313は、例えば、過去に異常が発生した太陽電池モジュール1を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、RGB画像またはサーマル画像を入力信号として異常を判定することができる。また、異常検出部313は、正常時の画像をメモリ302に予め記憶しておき、正常時の画像と、RGB画像またはサーマル画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部313は、公知の技術を用いて画像から異常部分を検出するようにすることができる。異常検出部313は、検出した異常に関する情報(以下、異常情報という。)を異常情報記憶部352に登録する。
【0038】
図8は、異常情報記憶部352に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、撮影情報を特定するための情報(図8の例では、「画像」で示され、例えばJPEGファイル名とすることができる。)、撮影位置、撮影高度、画像上における異常が検出された位置(以下、画像異常位置という。)、地図上における異常の位置(以下、単に異常位置という。)、当該異常に対するコメントが含まれる。撮影位置および撮影高度は、撮影情報から取得される。画像異常位置は、異常検出部313により特定された画像上の位置である。図8では、画像異常位置に矩形を示す2つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば1つの座標のみが含まれる
ようにしてもよいし、多角形を構成する3つ異常の座標が含まれるようにしてもよいし、楕円形を表す中心座標と2つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。異常位置は、画像異常位置を緯度経度に変換したものである。緯度経度への変換は異常位置算出部314により行われる。
【0039】
異常位置算出部314は、異常検出部313が検出した異常の地図上における位置(以下、単に異常位置という。)を算出する。異常位置算出部314は、カメラ12の画角と撮影高度と撮影位置とに基づいて、画像異常位置を異常位置に変換する。異常位置算出部314による異常位置の算出処理の詳細については後述する。異常位置算出部314は、算出した異常位置により、異常情報記憶部352に登録されている異常情報を更新する。
【0040】
重複削除部315は、重複する異常情報を削除する。重複削除部315は、異常位置が近い(所定距離内にある)か否かにより2つの異常情報が重複していると判定し、重複した異常情報の一方を削除する。なお、重複削除部315による重複削除処理の詳細については後述する。
【0041】
レポート作成部316は、太陽電池モジュール1の検査結果を示す情報(以下、レポートという。)を出力する。レポート作成部316は、撮影情報に含まれるRGB画像又はサーマル画像をそれぞれ合成して太陽電池モジュール1の全体図(可視画像および赤外画像)を作成するとともに、異常情報に含まれる異常位置をマークし、コメントを出力する。レポート作成部316は、レポートの作成として、例えば、HTML(HyperText Markup Language)により記述されたWebページを作成するようにしてもよいし、PDF(Portable Document Format)ファイルを作成するようにしてもよいし、プリンタ等の出力装置から印刷するようにしてもよい。」

(本d)
「【0047】
図10は検査サーバ30により実行される検査処理の流れを示す図である。
異常検出部313は、撮影情報記憶部351に記憶されている撮影情報のそれぞれについて、撮影情報に含まれる画像データを画像解析して、太陽電池モジュール1の異常を検出する(S211)。異常が検出された場合(S212:YES)、異常検出部313は、異常を検出した撮影情報を特定する情報に対応付けて、当該撮影情報に含まれている撮影位置および撮影高度と、異常を検出した画像上の位置(画像異常位置)とを含む異常情報を作成して異常情報記憶部352に登録する(S213)。
【0048】
異常位置算出部314は異常情報に係る異常位置を算出する(S214)。図11は、異常位置の算出処理の流れを示す図である。
【0049】
異常位置算出部314は、異常情報記憶部352に記憶されている異常情報のそれぞれについて、以下の処理を行う。異常位置算出部314は、カメラ12の画角および解像度と、撮影高度とに基づいて、画像における1画素あたりの地図上での実距離(m)を算出して画素距離とする(S2141)。なお、本実施形態では、カメラ12の画角および解像度は予め設定されているものとする。
【0050】
異常位置算出部314は、画像異常位置に含まれる各座標についてのX座標値と画像データの中心のX座標値との差に画素距離を乗じて、経度方向の距離を算出する(S2142)。異常位置算出部314は、撮影位置の経度に経度方向の距離を加算して、異常位置の経度を求める(S2143)。
【0051】
同様に異常位置算出部314は、画像異常位置に含まれる各座標についてのY座標値と画像データの中心のY座標値との差に画素距離を乗じて緯度方向の距離を算出する(S2144)。異常位置算出部314は、撮影位置の緯度に緯度方向の距離を加算して、異常位置の緯度を求める(S2145)。」

(本e)
「【0056】
図10に戻り、レポート作成部316は太陽電池モジュール1の検査に関するレポートを作成する(S216)。図14は、検査に関するレポートの作成処理の流れを示す図である。また、図15はレポート作成部316はにより作成されるレポート61の一例を示す図である。
【0057】
レポート作成部316は、検査サーバ30のオペレータや検査サーバ30にアクセスしているユーザ端末のユーザなどから、各異常情報についてのコメントの入力を受け付ける(S2161)。なお、レポート作成部316は、受け付けたコメントにより異常情報を更新し、更新した異常情報を異常情報記憶部352に登録するようにする。レポート作成部316は、撮影情報記憶部351に記憶されている各撮影情報に含まれる画像データを合成して、太陽電池モジュール1の全体を含む1枚の画像を作成する(S2162)。なお、本実施の形態による画像の合成処理については、オルソ画像を利用して行うこととしているが、異常位置算出部314が図11に示した異常位置の算出処理と同一の処理によって画像の左上および右下の各座標についての緯度経度を算出し、算出した緯度経度に対応する位置に画像を配置して合成を行うことができる。
【0058】
レポート作成部316は、異常情報記憶部352に登録されている各異常情報について、異常情報に含まれている異常位置の中心を求め、当該中心が示す合成画像上の位置に所定の図形を描画する(S2163)。レポート作成部316は、上記のようにして異常位置をプロットした合成画像をレポート61に出力する(S2164)。図15の例では、レポート61の上段に合成画像62が出力されている。また、合成画像62上には、異常位置の中心621に円形の図形が出力されている。
【0059】
レポート作成部316は、各異常情報について、対応する撮影情報に含まれる画像データに対して、異常情報に含まれる異常位置を示す図形を描画する(S2165)。本実施形態では、異常位置は矩形で描画されることになる。レポート作成部316は、図形を描画した画像をレポート61に出力するとともに(S2166)、異常情報に含まれるコメントを出力する(S2167)。図15の例では、レポート61の下段に、異常位置を示す矩形631が描画された1つのRGB画像63が出力され、その下部にコメント64が出力されている。
【0060】
なお、図15では1つの異常情報についてのRGB画像63およびコメント64が出力されているが、全ての異常情報についてのRGB画像63およびコメント64ならびにサーマル画像(不図示)およびコメント64を出力するようにしてもよい。また、レポート作成部316は、異常が検出されなかったRGB画像およびサーマル画像についても、レポート61に出力するようにしてもよい。」

(本f)
本願の図8には、次の図面が記載されている。


(本g)
本願の図15には、次の図面が記載されている。


(2)検討及び判断
上記摘記事項から、本願明細書等には、「レポート作成部」について、「撮影情報に含まれるRGB画像又はサーマル画像をそれぞれ合成して太陽電池モジュール1の全体図(可視画像および赤外画像)を作成するとともに、RGB画像、サーマル画像や、太陽電池モジュール1の全体図(赤外画像、可視画像)に対して、異常情報に含まれる異常位置をマークし、出力するものである」(以下、「技術事項A」という。)ことは明記されているといえるが、構成αについては明記されていない。
ここで、技術事項Aの「RGB画像、サーマル画像や、太陽電池モジュール1の全体図(赤外画像、可視画像)」に「マークされる」「異常位置」は、当該画像から検出された異常部分に対応する「位置」であるのか、他の画像から検出された異常部分に対応する「位置」も含むものであるかを検討するに、本願明細書の【0038】-【0039】の記載から、「異常位置」は、「異常検出部313が検出した異常の地図上における位置」であり、「画像異常位置を緯度経度に変換したもの」であること、「画像異常位置」は、画像上における異常が検出された位置であることを読み取ることができる。そして、「画像異常位置」は、異常部分が検出された画像に紐づくものであるから、技術事項Aの「RGB画像、サーマル画像や、太陽電池モジュール1の全体図(赤外画像、可視画像)」に「マークされる」「異常位置」は、当該画像から検出された異常部分に対応する「位置」であると理解することは可能である。したがって、技術事項Aにより、「前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力する」ことが記載されているのと同然であるということはできない。
一方、本願明細書には、「カメラ12は、・・・RGB画像と、・・・サーマル画像との2種類の画像を撮影することができる」(【0012】)、「異常検出部313は、RGB画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する。」(【0037】)、「なお、異常検出部313は、公知の技術を用いて画像から異常部分を検出するようにすることができる。異常検出部313は、検出した異常に関する情報(以下、異常情報という。)を異常情報記憶部352に登録する。」(【0037】)、「異常位置算出部314は、カメラ12の画角と撮影高度と撮影位置とに基づいて、画像異常位置を異常位置に変換する。」(【0039】)、「異常位置算出部314は、算出した異常位置により、異常情報記憶部352に登録されている異常情報を更新する。」(【0039】)と記載されている。これらの記載から、撮影されたRGB画像とサーマル画像の両方に基づいて異常を検出すること、検出された異常から算出された異常位置が異常情報記憶部に登録されているということはできるが、「異常情報記憶部に登録されている」「異常位置」のうちいずれを「マーク」するかについては記載されていないから、登録された「異常位置」のうち、その画像から検出された異常部分に対応する「異常位置」のみマークすると理解することも可能である。よって、前述の記載事項から、「前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力する」ことは、記載されているのと同然であるということはできない。
また、その他の摘記事項や本願明細書等のその他の記載にも、RGB画像及びサーマル画像のいずれか一方のみに基づいて異常を検出した場合に、他方への異常位置のマークをどのようにするかについては、具体的な記載は無く、構成αが記載されているのと同然であるとはいえない。
よって、構成αは、当初明細書等のすべての記載を総合することにより導かれる技術的事項との関係において新たな技術的事項であるから、本件補正は、当初明細書等のすべての記載を総合することにより導かれる技術的事項との関係において新たな技術的事項を導入するものである。

(3)請求人の主張について
請求人は、審判請求書において、本件補正の根拠について次のように主張している。
「(2)補正の根拠の明示
本願明細書の段落0019には、「カメラ12は、・・・RGB画像と、・・・サーマル画像との2種類の画像を撮影することができる」旨が開示されており、段落0037には、「RGB画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する」ことが開示されている。そして、異常情報は異常情報記憶部352に登録され、この異常情報を利用して、段落0041には、「レポート作成部316は、・・・太陽電池モジュール1の全体図(可視画像および赤外画像)を作成するとともに、異常情報に含まれる異常位置をマーク」することが開示されている。したがって、可視画像およびサーマル画像(赤外画像)に基づいて検出された異常位置は、合成された可視画像および赤外画像のいずれにもマークされることになる。すなわち、可視画像に基づく異常位置が可視画像にマークされることと赤外画像にマークされること、また、赤外画像に基づく異常位置は、赤外画像にマークされることと可視画像にマークされることが開示されていることは当業者にとって明白である。・・・ 」
しかしながら、(2)にて前述したとおり、本願明細書等には、「異常情報記憶部に登録されている」「異常位置」のうちいずれを「マーク」するかについては記載されていないから、登録された「異常位置」のうち、その画像から検出された異常部分に対応する「異常位置」のみマークすると理解することも可能である。よって、請求人が主張するように、「RGB画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する」との記載及び「レポート作成部316は、・・・太陽電池モジュール1の全体図(可視画像および赤外画像)を作成するとともに、異常情報に含まれる異常位置をマーク」することの記載から、「可視画像に基づく異常位置が可視画像にマークされることと赤外画像にマークされること、また、赤外画像に基づく異常位置は、赤外画像にマークされることと可視画像にマークされることが開示されている」とまでいうことはできない。

(4)小括
よって、本件補正後の請求項1における「前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力するレポート作成部」は、当初明細書等のすべての記載を総合することにより導かれる技術的事項との関係において新たな技術的事項である。したがって、本件補正は、当初明細書等のすべての記載を総合することにより導かれる技術的事項との関係において、新たな技術的事項を導入するものであり、特許法第17条の2第3項の規定に違反するものである。

3 本件補正の目的について
仮に本件補正が当初明細書の記載の範囲内においてしたものであるとしても、以下のとおり、本件補正は、特許法第17条の2第5項各号に掲げるいずれかの事項を目的とするものではない。
本件補正前の請求項1で特定される発明の「レポート作成部」は、「前記画像に前記異常位置をマークして出力する」ものであるのに対し、本件補正後の請求項1で特定される発明の「レポート作成部」は、「前記第1および第2の画像の一方に前記異常が検出された場合に、前記第1および第2の画像の他方に前記異常位置をマークして出力する」ものである。そして、本件補正後の請求項1の「レポート作成部」は、「前記第1および第2の画像の一方」について何ら限定されていないから、本件補正後の請求項1で特定される発明には、「前記第1および第2の画像の一方に前記異常が検出された場合に」「前記第1および第2の画像の一方に前記異常位置をマークしないで」「前記第1および第2の画像の他方に前記異常位置をマークして出力する」「レポート作成部」を備える検査システムが含まれる。しかしながら、補正前の請求項1には、「レポート作成部」が「画像」に「異常位置をマークしない」「で出力する」ことについては特定されておらず、本件補正は、実質的に請求項1の特定事項を限定するものでない。また、本件補正により、「前記第1および第2の画像の一方に前記異常が検出された場合に」「前記第1および第2の画像の一方に前記異常位置をマークしない」という、補正前の請求項1に記載されていない発明特定事項を付加するものであり、特許請求の範囲を拡張する補正であるといえる。
したがって、本件補正は、限定的減縮であるとはいえず、特許法第17条の2第5項第2号に掲げる事項を目的とするものであるとはいえない。
また、本件補正は、特許法第17条の2第5項項第1号(請求項の削除)、第3号(誤記の訂正)、第4号(明瞭でない記載の釈明)に掲げる事項を目的とするものでもない。
以上より、本件補正は特許法第17条の2第5項の規定に違反するものである。

4 令和元年9月5日付け上申書について
なお、請求人は、令和元年9月5日付け上申書にて、請求項1を次のように補正することを希望している。

「検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した第1の種類の画像および前記第1の種類とは異なる第2の種類の画像、前記飛行体の撮影高度、ならびに前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部と、
前記第1および第2の種類の画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記第1および第2の種類の画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
前記第1および第2の種類の画像の一方に前記異常が検出された場合に、前記第1および第2の種類の画像の他方に前記異常位置をマークして出力するレポート作成部と、
を備えることを特徴とする検査システム。」
(なお、下線は、補正箇所を示すために、請求人が付したものである。)

しかしながら、補正案に記載される発明は、本件補正後の請求項1に係る発明と実質的に同一の発明であり、請求人の希望する補正がされたとしても、当該補正は特許法第17条の2第3項の規定に違反するものであり、また、同法第17条の2第5項の規定に違反するものである。

5 補正却下についての結び
よって、本件補正は、特許法第17条の2第3項の規定に違反し、また、同法第17条の2第5項の規定に違反するものであるから、同法第159条第1項において読み替えて準用する同法第53条第1項の規定により却下されるべきものである。

第3 特許請求の範囲の記載
本件補正は上記のとおり却下されたので、本願の特許請求の範囲は、平成30年9月10日付け手続補正書の特許請求の範囲に記載されたとおりのものであり、そのうち請求項1に係る発明(以下、「本願発明」という。)は次のとおりである。

「検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部と、
前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
前記画像に前記異常位置をマークして出力するレポート作成部と、
を備えることを特徴とする検査システム。」

第4 原査定の拒絶理由
原査定の拒絶の理由の概要は、以下のとおりである。

(進歩性)この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

記

・請求項 1
・引用文献等 1,4-5

・請求項 2-3
・引用文献等 1-5

＜引用文献等一覧＞
1.再公表特許第2015/163107号
2.特開2007-3243号公報(周知技術を示す文献)
3.特開平10-253547号公報(周知技術を示す文献)
4.特開2017-163398号公報(周知技術を示す文献)
5.特開2015-152520号公報(周知技術を示す文献)

第5 当審の判断
1 引用文献、引用発明
(1)引用文献1
原査定で引用された引用文献1には、次の事項が記載されている。(なお、下線は当審で付した。以下同様。)

(引1a)
「【0018】
そこで本件開示者らは、上記事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術について検討した。そして本件開示者らは、以下で説明するように、撮像装置を備えた飛行体(以下の説明では、撮像装置を備えた飛行体のことを「ホバリングカメラ」とも称する)を用いて、安全で、交通に影響を与えず、かつ低コストで可能な点検作業が可能な技術を考案するに至った。
【0019】
図1は、本開示の一実施形態の概要について説明する説明図である。図1には、例えばコンクリートで構築された橋梁1が模式的に示されている。コンクリートで構築された橋梁1を点検する場合、上述したように、従来は作業員がヒビ割れや腐食等の損傷が生じていないかの目視点検を行なうために、橋脚2や橋桁3の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。
【0020】
本開示の一実施形態では、橋梁1を点検する場合に、ホバリングカメラ100を用いる。ホバリングカメラ100は、予め設定された飛行情報(本実施形態では、飛行経路及び静止画像の撮像位置の情報を含むものをいう)に従って自動飛行するよう構成された、撮像装置を備える飛行体である。なお静止画像の撮像位置の情報には、例えば撮像処理を実行する位置、撮像する方向、次の撮像処理を実行する位置までの移動時間等が含まれ得る。
【0021】
例えば橋桁3の裏側(底面)を点検する場合、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側を撮像させる。ホバリングカメラ100に橋桁3の裏側を撮像させることで、橋桁3の点検のために橋脚2や橋桁3の裏面部に足場を組む必要が無くなったり、車線を通行止めにする頻度が軽減され、または通行止めが不要になったりする。また例えば橋桁3の横側(側面)を点検する場合、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の横側を撮像させる。従ってホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側や横側を撮像させることで、作業員の安全を確保し、交通に影響を与えずに、かつ低コストで橋梁1の点検が可能となる。
【0022】
ホバリングカメラ100を自動飛行させて橋桁3の裏側を撮像させるためには、ホバリングカメラ100の飛行経路の設定と、橋桁3の裏側の位置における静止画像の撮像位置の情報の設定が必要になる。本開示の一実施形態では、ホバリングカメラ100に設定する飛行情報を、橋梁1の概況に関する情報を用いて効率的に作成することで、橋梁1の効率的な点検を可能にすることを目的とする。
【0023】
以上、本開示の一実施形態の概要について説明した。続いて、本開示の一実施形態にかかる点検システムの構成例について説明する。
【0024】
[1.2.システム構成例]
図2は、本開示の一実施形態にかかる点検システム10のシステム構成例を示す説明図である。図2に示した本開示の一実施形態にかかる点検システム10は、構築物、例えば橋梁1の点検を効率的に行なうことを目的としたシステムである。以下、図2を用いて本開示の一実施形態にかかる点検システム10のシステム構成例について説明する。
【0025】
図2に示したように、本開示の一実施形態にかかる点検システム10は、ホバリングカメラ100と、制御端末200と、情報処理装置300と、無線中継ノード400と、位置推定ノード500と、ベースステーション600と、充電ステーション700と、サーバ装置800と、を含んで構成される。
【0026】
ホバリングカメラ100は、本開示の撮像装置の一例であり、上述したように撮像装置を備える飛行体である。ホバリングカメラ100は、指定された飛行経路に基づいて自動飛行し、指定された撮像位置において撮像装置で静止画像を撮像することが出来るよう構成された飛行体である。ホバリングカメラ100は、例えば4つのロータにより飛行することが可能であり、各ロータの回転を制御することで、上昇、下降、水平移動しつつ飛行することが出来る。もちろんロータの数は係る例に限定されるものではない。
【0027】
ホバリングカメラ100に設定される飛行開始位置から飛行終了位置までの飛行経路や撮像位置は、例えばGPS(Glｏbal Pｏｓiｔiｏning Sｙｓｔem;全地球測位システム)の位置情報として設定される。従ってホバリングカメラ100は、GPS衛星からの電波を受信して現在位置を算出するGPS受信機が組み込まれ得る。ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよく、緯度、経度のみがGPSの位置情報として設定され、高度については例えば後述のベースステーション600からの相対的な高さとして設定されていてもよい。
【0028】
制御端末200は、本開示の制御装置の一例であり、ホバリングカメラ100の飛行に関する制御を実行する端末である。制御端末200は、ホバリングカメラ100の飛行に関する制御として、例えばホバリングカメラ100に送る飛行情報の生成、ホバリングカメラ100への離陸指示や、後述のベースステーション600への帰還指示、ホバリングカメラ100が何らかの理由で自動で飛行出来なくなった場合のホバリングカメラ100の操縦等がある。制御端末200によるホバリングカメラ100の飛行情報の生成処理については、後に詳述するが、ここで簡単に一例を説明する。
【0029】
ホバリングカメラ100の飛行情報を生成する際には、制御端末200は、点検を行う橋梁1の概況に関する情報、例えば点検を行う橋梁1の概況図を読み込み、画面に表示させる。この橋梁1の概況図上の点には、予め詳細なGPS情報が入った地図データ上の点を対応付けておく。この対応付けは最低2組の点で行なわれていることが望ましい。橋梁1の概況図に、予め、詳細なGPS情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ100の飛行経路がGPSの値として定義される。そして制御端末200は、この橋梁1の概況図に基づいてホバリングカメラ100の飛行経路を生成する。ホバリングカメラ100の飛行経路は、ユーザ(構築物点検の作業員)が分かりやすいよう、概況図上に重ねて表示させる。
【0030】
制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、橋梁1の構造や、寸法、ホバリングカメラ100に撮像させる橋梁1の部分を考慮してもよい。制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分についてはホバリングカメラ100に詳細に撮像させるような飛行情報を生成してもよい。
【0031】
上述したように、ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよいが、橋梁1の概況図に高度データが存在しない場合が考えられる。橋梁1の概況図に高度データが存在しない場合は、ホバリングカメラ100に設定される飛行経路は、緯度、経度のみがGPSの位置情報として設定され、高度については例えばベースステーション600からの相対的な高さとして設定されていてもよい。
【0032】
制御端末200は、ホバリングカメラ100へ設定する飛行情報を設定する際に、ホバリングカメラ100が橋梁1を撮像する際の、撮像対象面との距離が一定になるような飛行情報を生成することが望ましい。ホバリングカメラ100が橋梁1を撮像する際に、撮像対象面との距離が一定となるような飛行情報を生成することで、制御端末200は、同縮尺の画像をホバリングカメラ100に生成させることが出来る。
【0033】
制御端末200は、例えばノート型コンピュータやタブレット型の端末等の持ち運び可能な装置であり、ホバリングカメラ100との間で無線により情報の送受信を行なう。制御端末200は、ホバリングカメラ100との間の無線通信を、ホバリングカメラ100との間で直接行っても良いが、構築物、特に橋梁1の点検においては制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得るので、点検時に設置される無線中継ノード400を介して行なっても良い。
【0034】
制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像した画像を取得し、必要に応じて表示する。制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示してもよい。ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示することで、制御端末200は、ホバリングカメラ100がどのような位置を飛行しているのかをユーザに提示することが出来る。
【0035】
情報処理装置300は、様々な情報を処理する装置であり、例えばパーソナルコンピュータ(PC)やゲーム機等の情報を処理する機能を有する装置であり得る。本実施形態では、情報処理装置300は、特にホバリングカメラ100が撮像した画像を表示して、橋梁1の状態をユーザに確認させる機能を有する装置である。また情報処理装置300は、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能を有する。情報処理装置300は、生成した損傷データを、サーバ装置800へ送信する機能を有していても良い。なお、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能は、制御端末200が有していても良い。
【0036】
情報処理装置300は、ホバリングカメラ100が撮像した画像を、例えば制御端末200から取得する。ホバリングカメラ100が撮像した画像を情報処理装置300が取得するのは特定のタイミングに限定されないが、例えば、情報処理装置300は、ホバリングカメラ100の一度の飛行が終了したタイミングでホバリングカメラ100が撮像した画像を制御端末200から取得してもよい。
【0037】
無線中継ノード400は、ホバリングカメラ100と制御端末200との間の無線通信を中継する装置である。上述したように、構築物、特に橋梁1の点検においては、制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得る。従って、構築物の点検時に設置される無線中継ノード400を介して、ホバリングカメラ100と制御端末200との間の無線通信が行われ得る。無線中継ノード400の数は1つだけとは限らず、橋梁1の点検範囲によっては複数設置され得る。従って、ホバリングカメラ100と制御端末200との間の無線通信は、複数の無線中継ノード400を介して行われ得る。ホバリングカメラ100は電波の状況に応じて、通信先を制御端末200と無線中継ノード400との間で切り替え得る。
【0038】
無線中継ノード400は、橋梁1の点検時に、橋面上(歩道上が望ましい)の適切な場所に設置され得る。また無線中継ノード400は、橋桁3の欄干部から吊り下げられるようにして設置されても良い。そして橋梁1の点検前には、所定の方法によって無線中継ノード400が正常に動作することを、例えば制御端末200を用いて確認することが望ましい。
【0039】
位置推定ノード500は、ホバリングカメラ100に現在位置を推定させるための装置である。上述したように、ホバリングカメラ100の飛行経路は、例えばGPSの位置情報として設定される。この際に、GPS衛星からの電波を遮るものが無い場合は、ホバリングカメラ100は現在位置を極めて高い精度で知ることが出来る。しかし、ホバリングカメラ100は橋桁3の下に潜り込んでしまうことが避けられず、橋桁3によってGPS衛星からの電波が遮られたり、橋梁1による電波の反射等に起因するマルチパスが発生したりしてしまうと、ホバリングカメラ100は現在位置を高い精度で知ることが出来なくなるおそれがある。
【0040】
そこで本実施形態では、橋桁3の下においてホバリングカメラ100に現在位置を正確に取得させるために位置推定ノード500を設ける。位置推定ノード500としては、例えばAR(Aｕgmenｔed Realiｔｙ;拡張現実)マーカーを用いてもよく、GPS信号の発信機を用いてもよい。
【0041】
位置推定ノード500としてARマーカーを用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の両端から位置推定ノード500をぶら下げて、ホバリングカメラ100に位置推定ノード500を撮像させる。そして位置推定ノード500を撮像したホバリングカメラ100に、指定した位置推定ノード500の間を飛行させる。ホバリングカメラ100は、位置推定ノード500間の位置を、例えばホバリングカメラ100に備えたセンサ(例えばIMU(Ineｒｔial Meaｓｕｒemenｔ Uniｔ)センサ)の積算値と、撮像した画像から算出した移動先の位置推定ノード500までの距離とで把握することが可能になる。従ってホバリングカメラ100は位置推定ノード500を撮像することで、橋桁3の下においても現在位置を正確に取得することが出来る。
【0042】
また位置推定ノード500としてGPS信号の発信機を用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の対角や四隅に位置推定ノード500を設置する。ホバリングカメラ100は位置推定ノード500から発したGPS信号を受信することで、橋桁3の下においても現在位置を正確に取得することが出来る。
【0043】
ベースステーション600は、ホバリングカメラ100の離着陸のために設けられる装置である。ベースステーション600は、GPS受信機を備え、GPS衛星からの電波の受信によって現在位置を算出する。ベースステーション600が算出した現在位置は制御端末200に送られる。ベースステーション600が算出した現在位置が制御端末200に送られることで、制御端末200は、橋梁1の概況図上にベースステーション600の位置を表示することが可能になる。
【0044】
ベースステーション600は、ホバリングカメラ100の動作確認を行なう機能を有していても良い。ベースステーション600が実行するホバリングカメラ100の動作確認には、例えば通信機能の確認、撮像機能の確認、飛行機能の確認、各種センサのキャリブレーションなどが含まれ得る。なおホバリングカメラ100のセンサのキャリブレーション方法としては、ベースステーション600を用いた方法に限られないことは言うまでもなく、ホバリングカメラ100のセンサのキャリブレーション方法として、例えばキャリブレーション専用の治具にホバリングカメラ100を固定させて、ピッチ方向やロール方向にホバリングカメラ100を回転させてセンサを較正する方法もあり得る。
【0045】
充電ステーション700は、ホバリングカメラ100に備えられる二次電池への充電を行なう。ホバリングカメラ100はバッテリを動力源としており、飛行や撮像に伴ってバッテリに蓄えられた電力を消費する。充電ステーション700は、ホバリングカメラ100に備えられるバッテリが二次電池であれば、そのバッテリへの充電を行なうことで、ホバリングカメラ100が消費した電力を回復させることができる。充電ステーション700は、ケーブル等をホバリングカメラ100に接続してホバリングカメラ100へ給電することでホバリングカメラ100を充電してもよく、非接触電力伝送方式によってホバリングカメラ100へ給電することでホバリングカメラ100を充電しても良い。
【0046】
サーバ装置800は、各種データを格納する装置である。本実施形態では、サーバ装置800は、情報処理装置300が生成した損傷データを格納しても良い。
【0047】
本開示の一実施形態にかかる点検システム10は、図2に示したような構成を有することで、ホバリングカメラ100に橋梁1を撮像させて、橋梁1の画像を取得することが出来る。ホバリングカメラ100に橋梁1を撮像させることで、本開示の一実施形態にかかる点検システム10は、橋脚や橋桁に足場を組む必要が無くなったり、作業員の安全を確保するために一部又は全部の車線を通行止めにする頻度が軽減され、または通行止めが不要になったりすることで、橋梁1の低コストでかつ効率的な点検が可能となる。
【0048】
本開示の一実施形態にかかる点検システム10のシステム構成例について説明した。続いて、本開示の一実施形態にかかる点検システム10を構成するホバリングカメラ100及び制御端末200の機能構成例について説明する。
【0049】
[1.3.機能構成例]
まず、本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。図3は、本開示の一実施形態にかかるホバリングカメラ100の機能構成例を示す説明図である。以下、図3を用いて本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。
【0050】
図3に示したように、本開示の一実施形態に係るホバリングカメラ100は、撮像装置101と、ロータ104a?104dと、モータ108a?108dと、制御部110と、通信部120と、センサ部130と、位置情報取得部132と、記憶部140と、バッテリ150と、を含んで構成される。
【0051】
制御部110は、ホバリングカメラ100の動作を制御する。例えば制御部110は、モータ108a?108dの回転速度の調整によるロータ104a?104dの回転速度の調整、撮像装置101による撮像処理、通信部120を介した他の装置(例えば制御端末200)との間の情報の送受信処理、記憶部140に対する情報の記憶や読出しを制御し得る。
【0052】
本実施形態では、制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a?108dの回転速度を調整しての飛行および撮像装置101に対する静止画像の撮像処理の実行を制御する。制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a?108dや撮像装置101を制御することで、制御端末200の要求に基づいた画像を制御端末200に提供することが可能になる。
【0053】
撮像装置101は、レンズやCCDイメージセンサ、CMOSイメージセンサ等の撮像素子、フラッシュ等で構成されている。ホバリングカメラ100に備えられる撮像装置101は、制御端末200からの制御により静止画像または動画像の撮像を実行する。撮像装置101が撮像する画像は、通信部120から制御端末200へ送信される。また本実施形態では、撮像装置101は、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行する。撮像装置101の撮像処理によって得られた画像は、記憶部140に記憶されたり、通信部120から制御端末200へ送信されたりし得る。ホバリングカメラ100で橋梁1の底面側を撮像する場合は、太陽光が橋梁1に遮られて明るさが足りないことが考えられるので、ホバリングカメラ100は、橋梁1の底面側の撮像時にフラッシュを発光させるとよい。
【0054】
撮像装置101は、撮像する方向を、例えば制御部110からの制御によって任意の方向に変更することが出来る。例えばホバリングカメラの水平方向を0度とした時に、上下方向に±90度の範囲で表される撮像方向を撮像可能とすることができる。撮像装置101が、撮像する方向を変更できることで、ホバリングカメラ100は所定の方向の画像を撮像し、制御端末200に撮像画像を提供することが出来る。そして制御部110は、撮像装置101が静止画像を撮像した時点のホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る。位置推定ノード500を用いた測位については後述する)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報を、その静止画像のメタデータとして関連付ける。関連付けたメタデータの格納方法としては、メタデータを静止画像データの付加情報領域(例えばEｘifフォーマットの特定の領域)に付加してもよいし、メタデータを画像ファイルと別ファイルに記録するなど別体のデータとしてもよい。
【0055】
ロータ104a?104dは、回転により揚力を生じさせることでホバリングカメラ100を飛行させる。ロータ104a?104dの回転はモータ108a?108dの回転によりなされる。モータ108a?108dは、ロータ104a?104dを回転させる。モータ108a?108dの回転は制御部110によって制御され得る。
【0056】
通信部120は、制御端末200との間で無線通信による情報の送受信処理を行う。ホバリングカメラ100は、撮像装置101で撮像されている画像を通信部120から制御端末200へ送信する。またホバリングカメラ100は、飛行に関する指示を制御端末200から通信部120で受信する。
【0057】
センサ部130は、ホバリングカメラ100の状態を取得する装置群であり、例えば加速度センサ、ジャイロセンサ、超音波センサ、気圧センサ、オプティカルフローセンサ、レーザーレンジファインダー等で構成され得る。センサ部130は、取得したホバリングカメラ100の状態を所定の信号に変換して、必要に応じて制御部110に提供し得る。位置情報取得部132は、例えばGPSやビジョンセンサ等を用いてホバリングカメラ100の現在位置の情報を取得する。位置情報取得部132は、取得したホバリングカメラ100の現在位置の情報を、必要に応じて制御部110に提供し得る。制御部110は、位置情報取得部132が取得したホバリングカメラ100の現在位置の情報を用いて、制御端末200から受信した飛行情報に基づいたホバリングカメラ100の飛行制御を実行する。
【0058】
またセンサ部130は、飛行時に飛行を妨げる可能性のある障害物を検知する。センサ部130が障害物を検知することで、ホバリングカメラ100はその検知した障害物に関する情報を制御端末200に提供することが出来る。
【0059】
記憶部140は、様々な情報を記憶する。記憶部140が記憶する情報としては、例えば制御端末200から送信されたホバリングカメラ100の飛行情報、撮像装置101で撮像した画像等があり得る。
【0060】
バッテリ150は、ホバリングカメラ100を動作させるための電力を蓄える。バッテリ150は、放電のみが可能な一次電池であってもよく、充電も可能な二次電池であってもよいが、バッテリ150が二次電池である場合は、バッテリ150は、例えば図2に示した充電ステーション700から電力の供給を受け得る。
【0061】
本開示の一実施形態に係るホバリングカメラ100は、図3に示したような構成を有することで、制御端末200から送信された飛行情報に含まれる飛行経路に基づいて自動飛行して、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行することが出来る。」

(引1b)
「【0110】
[1.5.損傷データの生成例]
ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで、例えば橋桁3の底面のような作業員が容易に近づけない場所の様子が把握可能となる。ホバリングカメラ100が撮像した静止画像には、例えば、その静止画像を撮像したホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報が紐付けられる。またホバリングカメラ100が全ての撮像地点で撮像対象面との間の距離を一定に保って撮像することで、画像中の損傷が発生している場所の相対的な位置が分かる。従って、ホバリングカメラ100が撮像した静止画像に、橋桁3の損傷部分が含まれていれば、その損傷部分の絶対的な場所の把握が可能になる。例えば、静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ100の位置情報にその相対値を算出することで、損傷部分の位置情報が求められる。なお、損傷部分の位置情報として例えば下記のようなデータを記録することができる。
(1)その静止画像の撮像位置の情報を損傷部分の位置として記録する(相対値(オフセット)を記録しない)。
(2)その静止画像の撮像位置の情報及び損傷部分に対応する相対値(オフセット)を損傷部分の位置として記録する。
(3)基準となる絶対値(例えば後述するように、位置情報の精度が高いと考えられる四隅の静止画像の撮像位置や、位置推定ノード500の座標)及び相対値(オフセット)を損傷部分の位置として記録する。
(4)算出された絶対値(例えば緯度、経度、高度)を損傷部分の位置として記録する。
【0111】
レンズの焦点距離、イメージセンサのサイズ、撮像対象までの距離等の数値を用いることによって撮像範囲の物理サイズを求める技術が知られている。従って損傷部分の把握の際に、ホバリングカメラ100から撮像対象(例えば橋桁3の裏面や側面)までの距離情報や、撮像装置101の画角情報を用いて、ホバリングカメラ100の撮像範囲の物理サイズが推定されてもよい。撮像画像の中心位置(ホバリングカメラ100が撮像を行った位置)を原点として、その原点からの損傷部分までの物理的な相対位置が推定され、この相対位置に撮像画像の原点の位置座標が足し合わされることで、損傷部分の物理的な位置情報が決定される。なお、これらの距離情報や画角情報は、撮像の際にホバリングカメラ100が有するセンサを介して取得し、画像と関連付けて記録しておいたものを利用してもよいし、予めホバリングカメラ100または撮像装置101に設定された値を用いても良い。また撮像位置情報、距離情報や画角情報以外にも撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報を用いて損傷部分の位置情報を算出してもよい。
【0112】
ホバリングカメラ100が撮像した静止画像からの損傷部分の検出は、ユーザ自身が目で見て行なっても良いが、画像処理によって例えば情報処理装置300が自動的に行なっても良い。損傷部分の検出を自動化する際には、例えばパターンマッチング処理等の画像処理技術が用いられ得る。
【0113】
損傷データのデータ構成は、例えば以下のフォーマットで定義される。
(画像ID、損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
損傷種類IDは、例えばヒビ、剥離、漏水、遊離石灰等の損傷の種類にそれぞれ付与されたIDのことをいう。また損傷程度のフィールドには、損傷の最大幅や、画像中の損傷部分の長さ等が記録され得る。ホバリングカメラ100が撮像した静止画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。そして、本実施形態にかかる点検システム10が生成した損傷データは、橋梁1に生じた損傷を修復するための工事業者に対する発注処理に用いられ得る。
【0114】
しかし、ホバリングカメラ100は一度の点検飛行で数多くの静止画像を撮像する。従って、ホバリングカメラ100が点検飛行の際に撮像した静止画像を1枚ずつ確認するのはユーザの負担が大きい。
【0115】
そこで、ホバリングカメラ100が撮像した静止画像を繋ぎあわせて(スティッチングして)1枚の画像を得る。ホバリングカメラ100が撮像した静止画像をスティッチングすることで、例えば橋桁3の1径間分の底面の様子が1枚の画像として得られることになる。そして、ホバリングカメラ100が撮像した静止画像をスティッチングして得られた橋桁3の1径間分の底面の画像を確認することで、ユーザは橋桁3の底面に損傷があるかどうかを確認することが出来る。なお、静止画像のスティッチング処理は、制御端末200で行われてもよく、情報処理装置300で行われても良い。
【0116】
図13は、ホバリングカメラ100が撮像した静止画像に基づいて橋桁3の底面を点検する場合の概要を示す説明図である。橋桁3の底面のある一部分(例えば橋桁3の1径間長分)をホバリングカメラ100に撮像させ、ホバリングカメラ100が撮像した静止画像をスティッチングすることで、橋桁3の底面を撮像した1枚の画像20が得られる。なお符号21に示したのは、ホバリングカメラ100の一度の撮像処理で撮像される画像を示している。
【0117】
ホバリングカメラ100が撮像した静止画像をスティッチングして得られた画像から損傷部分の絶対的な場所を求める際には、スティッチングした画像のうち撮像時の位置情報の精度が相対的に高い位置情報を基準点として選択することができる。基準点としてスティッチングした画像の基になる四隅の静止画像の撮像時の、ホバリングカメラ100の位置情報を用いても良い。スティッチングした画像の基になる四隅の静止画像は一番歪みが少なく、またGPS測位エリアの方が位置情報の誤差が少なくなり、GPS測位エリアとなる、またGPS測位エリアに近い四隅の撮像時の位置情報を基準点として使うのが好ましいと考えられるので、四隅の静止画像に対応するホバリングカメラ100の位置情報から、損傷部分の絶対的な場所を求めることで、その損傷部分の位置を精度よく求めることが可能となる。なお、各位置情報の精度として、例えばGPS位置測位データ中の測位ステータス情報(2D測位中、3D測位中又は測位不能の状態を表す情報や受信衛星数等の
データ)を用いてもよい。
【0118】
図14は、ホバリングカメラ100が撮像した静止画像をスティッチングして得られた画像20の例を示す説明図である。画像20の基となる四隅の静止画像C1?C4の中心G1?G4が、それぞれの静止画像を撮像した際のホバリングカメラ100の位置に対応する。本実施形態では、この四隅の静止画像C1?C4に対応するホバリングカメラ100の位置情報を用いて、画像20におけるそれぞれの損傷部分の絶対位置を算出する。
【0119】
スティッチングした画像から損傷データを生成する際には、損傷データのデータ構成は、例えば以下のフォーマットで定義される。すなわち、上述した損傷データから画像IDが削除される。
(損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
なお、スティッチングした画像の画像IDを生成し、スティッチングした画像の画像IDを損傷データに含めても良い。スティッチングした画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。
【0120】
[1.5.1.機能構成例]
図15は、本開示の一実施形態に係る情報処理装置300の機能構成例を示す説明図である。図15に示したのは、ホバリングカメラ100が撮像した静止画像から橋桁3の絶対的な損傷位置を求めて損傷データを生成する機能を有する、本開示の一実施形態に係る情報処理装置300の機能構成例である。以下、図15を用いて本開示の一実施形態に係る情報処理装置300の機能構成例について説明する。
【0121】
図15に示したように、本開示の一実施形態にかかる情報処理装置300は、表示部310と、通信部320と、制御部330と、記憶部340と、を含んで構成される。
【0122】
表示部310は、例えば液晶表示装置、有機EL表示装置等の平板表示装置からなる。表示部310は、例えば、ホバリングカメラ100の撮像装置101が撮像した画像や、その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報等を表示し得る。
【0123】
通信部320は、例えば制御端末200との間で無線通信による情報の送受信を行う。情報処理装置300は、ホバリングカメラ100が撮像した画像を、その画像の絶対的な撮像位置の情報と共に、制御端末200から通信部320で受信する。
【0124】
制御部330は、情報処理装置300の動作を制御する。例えば制御部330は、表示部310への文字、図形、画像その他の情報の表示処理、通信部320を介した他の装置(例えば制御端末200)との間の情報の送受信処理を制御し得る。また制御部330は、撮像位置情報取得部332と、損傷位置算出部334と、画像合成部336と、損傷データ生成部338と、を含んで構成される。
【0125】
撮像位置情報取得部332は、ホバリングカメラ100が橋梁1を撮像した際にホバリングカメラ100で取得された、その撮像時の撮像位置の情報を取得する。損傷位置算出部334は、ホバリングカメラ100が撮像した画像から橋梁1の損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出し、その損傷部分の絶対的な位置を、撮像位置情報取得部332が取得した撮像位置の情報を用いて算出する。
【0126】
画像合成部336は、ホバリングカメラ100が撮像した静止画像を繋ぎあわせて1つの画像を生成するスティッチングする画像処理を実行する。画像合成部336は、ホバリングカメラ100が撮像した静止画像をスティッチングする際に、各静止画像の撮像時の撮像位置の情報を用いても良い。
【0127】
損傷位置算出部334は、損傷位置の算出の際に、画像合成部336でスティッチングした画像の基になる撮像画像における隅の撮像画像(例えば四隅のそれぞれ)の撮像位置の情報を用いてもよい。上述したように、スティッチングした画像の基になる撮像画像における四隅の静止画像は一番歪みが少ないと考えられるので、損傷位置算出部334は、スティッチングした画像の基になる撮像画像における隅の撮像画像の撮像位置の情報を用いることで、より正確な損傷位置を求めることが出来る。
【0128】
損傷データ生成部338は、損傷位置算出部334が算出した、橋梁1の損傷部分の絶対的な位置を用いて、上述したような損傷データを生成する。損傷データ生成部338は、1枚の静止画像単位で損傷データを生成してもよく、画像合成部336がスティッチングした画像に対して1つの損傷データを生成してもよい。
【0129】
記憶部340は、各種情報を記憶する。記憶部340に格納される情報には、例えば、ホバリングカメラ100の撮像装置101が撮像した静止画像及びその静止画像を撮像した際のホバリングカメラ100の絶対的な撮像位置の情報、損傷データ生成部338が生成した損傷データの情報が含まれ得る。
【0130】
本開示の一実施形態に係る情報処理装置300は、図15に示したような構成を有することで、ホバリングカメラ100が撮像した静止画像から損傷データを生成することが可能となり、従って本開示の一実施形態に係る情報処理装置300は、点検対象の構築物である橋梁1の点検結果を効率的に生成することが可能となる。なお上述したように、損傷データは情報処理装置300ではなく、制御端末200が生成してもよい。従って、図15に示した動作は情報処理装置300の制御部330の構成は、制御端末200が有してもよい。また、点検対象の構築物である橋梁1の点検結果は、公の、また私的なデータベースに蓄積し、活用することができる。なお上述したように、損傷データは情報処理装置300ではなく、制御端末200が生成してもよい。従って、図15に示した動作は情報処理装置300の制御部330の構成は、制御端末200が有してもよい。」

(引1c)
「【0141】
＜2.まとめ＞
以上説明したように本開示の一実施形態によれば、設定された飛行情報に基づいて自動飛行し、点検対象の構築物を撮像するホバリングカメラ100、及びホバリングカメラ100に撮像させた静止画像に基づいて構築物の損傷状態を確認可能な点検システム10が提供される。
【0142】
本開示の一実施形態に係る点検システム10は、ホバリングカメラ100に送信する飛行情報を制御端末200で生成する際に、点検対象の構築物に関する情報を用いる。点検対象の構築物に関する情報を用いることで、制御端末200は、ホバリングカメラ100を飛行させて点検対象の構築物を効率よく点検するための飛行情報を生成することが出来る。」

上記摘記事項より、引用文献1には、次の発明(以下「引用発明」という。)が記載されている。(なお、参考のため、認定の根拠となった段落番号を括弧書きした。)
「(A)設定された飛行情報に基づいて自動飛行し、点検対象の構築物を撮像するホバリングカメラ100、及びホバリングカメラ100に撮像させた静止画像に基づいて構築物の損傷状態を確認可能な点検システム10であって、(【0141】)
(B)点検システム10は、ホバリングカメラ100と、制御端末200と、情報処理装置300と、無線中継ノード400と、位置推定ノード500と、ベースステーション600と、充電ステーション700と、サーバ装置800と、を含んで構成され、(【0025】)
(C)ホバリングカメラ100が撮像した静止画像には、その静止画像を撮像したホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報)、撮像時の機体情報、撮像方向の情報が紐付けられ、(【0110】)
(D)GPSの位置情報は、緯度、経度、高度の全てであり、(【0027】)
(E)情報処理装置300は、表示部310と、通信部320と、制御部330と、記憶部340と、を含んで構成され、(【0121】)
(F)表示部310は、ホバリングカメラ100の撮像装置101が撮像した画像や、その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報等を表示し、(【0122】)
(G)制御部330は、表示部310への文字、図形、画像その他の情報の表示処理、通信部320を介した他の装置(例えば制御端末200)との間の情報の送受信処理を制御し、制御部330は、撮像位置情報取得部332と、損傷位置算出部334と、画像合成部336と、損傷データ生成部338と、を含んで構成され、(【0124】)
(H) 撮像位置情報取得部332は、ホバリングカメラ100が橋梁1を撮像した際にホバリングカメラ100で取得された、その撮像時の撮像位置の情報を取得し、損傷位置算出部334は、ホバリングカメラ100が撮像した画像から橋梁1の損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出し、(【0125】)
(I)静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ100の位置情報にその相対値を算出することで、損傷部分の位置情報が求められ、損傷部分の位置情報として算出された絶対値(例えば緯度、経度、高度)を記録し、(【0125】、【0110】)
(J)損傷データ生成部338は、損傷位置算出部334が算出した、橋梁1の損傷部分の絶対的な位置を用いて損傷データを生成し、損傷データ生成部338は、1枚の静止画像単位で損傷データを生成してもよく、画像合成部336がスティッチングした画像に対して1つの損傷データを生成してもよく、(【0128】)
(K)損傷データのデータ構成は、例えば (画像ID、損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)のフォーマットで定義され、(【0113】)
(L)記憶部340は、各種情報を記憶し、記憶部340に格納される情報には、例えば、ホバリングカメラ100の撮像装置101が撮像した静止画像及びその静止画像を撮像した際のホバリングカメラ100の絶対的な撮像位置の情報、損傷データ生成部338が生成した損傷データの情報が含まれる、(【0129】)
点検システム。」

(2)引用文献4
原査定で引用された引用文献4には、パイプ内等の異常個所の検査を行う技術において、撮像画像上に、算出した異常箇所32を示す領域32Aを示すマーク38を重畳表示することにより、撮像画像を目視することにより異常箇所32の状態を確認する場合の支援を行う技術が開示されている(同文献の【0011】、【0031】、【0043】、【0057】及び【0068】を参照)。

(3)引用文献5
原査定で引用された引用文献5には、混練室の内壁を検査する検査装置において、内壁画像上の傷等の周囲の位置にマークを付すことにより、作業員が傷の位置を速やかに特定できるようにする技術が開示されている(同文献の【0025】、【0130】-【0133】を参照)。

2 本願発明と引用発明との対比
本願発明と引用発明とを対比すると、次のとおりである。

(1)引用発明の「点検対象の構造物」は本願発明の「検査対象物」に相当し、引用発明の「構築物の損傷状態を確認可能な点検システム10」は本願発明の「検査対象物を検査する検査システム」に相当する。

(2)引用発明の「ホバリングカメラ100」は、本願発明の「カメラを備える飛行体」に相当する。また、引用発明では、「ホバリングカメラ100」は「点検対象の構築物を撮像する」ので、引用発明の「ホバリングカメラ100の撮像装置101が撮像した静止画像」は、本願発明の「カメラを備える飛行体が前記検査対象物を撮影した画像」に相当する。そして、引用発明の「その静止画像を撮像した際のホバリングカメラ100の絶対的な撮像位置の情報」は、「その静止画像を撮影した際のホバリングカメラ100の位置情報(GPSによる測位」「による位置情報)」と同じであるから、本願発明の「前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置」に相当する。
よって、引用発明の「ホバリングカメラ100の撮像装置101が撮像した静止画像及びその静止画像を撮像した際のホバリングカメラ100の絶対的な撮像位置の情報」「を記憶」する「記憶部340」は、本願発明の「カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部」に相当する。

(3)引用発明の「パターンマッチング処理等の画像処理技術を用いて」「ホバリングカメラ100が撮像した画像から橋梁1の損傷部分を」「検出」する「損傷位置算出部334」は、本願発明の「前記画像を解析して前記検査対象物の異常を検出する異常検出部」に相当する。

(4)引用発明の「静止画像の中心を原点として損傷している場所の相対値」は本願発明の「前記異常が検出された前記画像上の検出位置」に相当する。次に、引用発明の「その画像を撮像した際のホバリングカメラ100の位置情報」は、「GPSによる測位による位置情報」であり、「緯度、経度、高度の全て」を含むから、本願発明の「前記撮影高度、及び前記撮影位置」に相当する。また、引用発明の「損傷部分の位置情報として算出された絶対値」には「緯度、経度、高度」が含まれるから、引用発明の「損傷部分の位置情報」を「求め」る「損傷位置算出部」は本願発明の「前記地図上における前記検査対象物の異常位置を算出する異常位置算出部」に相当する。したがって、引用発明の「静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ100の位置情報にその相対値を算出することで、損傷部分の位置情報」を「求め」る「損傷位置算出部334」は、本願発明の「前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部」に相当する。

(5)引用発明の「損傷位置算出部334が算出した、橋梁1の損傷部分の絶対的な位置」は、本願発明の「前記異常位置」に相当する。また、引用発明の「情報等を表示」する「表示部310への文字、図形、画像その他の情報の表示処理」をする「制御部330」は、本願発明の「レポート作成部」に相当する。そして、引用発明の「表示部310」が「表示」する「ホバリングカメラ100の撮像装置101が撮像した画像」は本願発明の「前記(カメラを備える飛行体が前記検査対象物を撮影した)画像」に相当し、「表示部310」が「表示」する「撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報」には、「損傷位置算出部334が算出した、橋梁1の損傷部分の絶対的な位置」が含まれるといえるから、引用発明の「ホバリングカメラ100の撮像装置101が撮像した画像や、その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報等を表示」する「表示部310への文字、図形、画像その他の情報の表示処理」をする「制御部330」と、本願発明の「前記画像に前記異常位置をマークして出力するレポート作成部」とは、「前記画像及び前記異常位置の情報等を出力するレポート作成部」である点で共通する。

(6)以上より、本願発明と引用発明は、次の点で一致する。

「検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を記憶する撮影情報記憶部と、
前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
前記画像及び前記異常位置の情報を出力するレポート作成部と、
を備える検査システム。」

また、次の点で相違する。

(相違点)
「前記異常位置の情報」が、本願発明では「前記画像に前記異常位置をマーク」することであるのに対して、引用発明では「その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報等」である点。

3 本願発明の進歩性の判断
前記相違点について検討する。
引用文献4及び引用文献5の開示に例示されるように、画像を用いて対象物の異常の検査を行う技術分野(以下、「本件技術分野」という。)において、目視による異常箇所の確認を支援するため、「画像に異常位置をマークする」ことは、周知技術である。
したがって、引用発明において、ユーザーの目視による異常箇所の確認を支援するために、上記周知技術を採用し、「ホバリングカメラ100の撮像装置101が撮像した画像」及び「その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報」に加えて、「画像に異常位置をマーク」して表示することは、当業者であれば容易に想到し得たことである。
また、本願発明の奏する作用効果は、引用文献1、4、5の記載から当業者が予測可能な範囲のものである。
よって、本願発明は、引用発明及び引用文献4、5に開示される周知技術に基づいて、当業者が容易に想到し得る発明である。

第6 結び
以上のとおり、本願発明は、特許法第29条第2項の規定により特許を受けることができないから、他の請求項について検討するまでもなく、本願は拒絶されるべきものである。
よって、結論のとおり審決する。
 
審理終結日 2019-11-28 
結審通知日 2019-11-29 
審決日 2019-12-10 
出願番号 特願2018-91019(P2018-91019)
審決分類 P 1 8・ 572- Z (G01N)
P 1 8・ 121- Z (G01N)
P 1 8・ 561- Z (G01N)
最終処分 不成立  
前審関与審査官 小野寺 麻美子  
特許庁審判長 森 竜介
特許庁審判官 東松 修太郎
▲高▼見 重雄
発明の名称 検査システム  
代理人 中畑 稔  

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ