• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 全部申し立て 2項進歩性  H04N
審判 全部申し立て 1項3号刊行物記載  H04N
審判 全部申し立て 特36条6項1、2号及び3号 請求の範囲の記載不備  H04N
管理番号 1341068
異議申立番号 異議2016-701162  
総通号数 223 
発行国 日本国特許庁(JP) 
公報種別 特許決定公報 
発行日 2018-07-27 
種別 異議の決定 
異議申立日 2016-12-21 
確定日 2018-04-09 
異議申立件数
訂正明細書 有 
事件の表示 特許第5939341号発明「モニタリングシステム及びモニタリング方法」の特許異議申立事件について、次のとおり決定する。 
結論 特許第5939341号の明細書、特許請求の範囲を、訂正請求書に添付された訂正明細書、訂正特許請求の範囲のとおり、訂正後の請求項〔1-5〕,6について訂正することを認める。 特許第5939341号の請求項1、2、4-6に係る特許を維持する。 特許第5939341号の請求項3に係る特許についての特許異議の申立てを却下する。 
理由 1.手続の経緯
特許第5939341号の請求項1-6に係る特許についての出願は、平成27年7月14日に出願されたものであって、平成28年5月27日にその特許権の設定登録がされ、その後、その特許について、平成28年12月21日に特許異議申立人辰巳功により請求項1-6に対して特許異議の申立てがされ、平成29年3月15日付けで取消理由通知がされ、平成29年5月19日に意見書の提出及び訂正請求がされ、平成29年7月12日付けで特許異議申立人辰巳功から意見書が提出され、平成29年8月23日付けで訂正拒絶理由が通知され、平成29年11月28日付けで取消理由通知(決定の予告)がされ、平成30年1月30日に意見書の提出及び訂正請求がされたものである。

2.訂正の適否
(1)訂正の内容
平成30年1月30日付け訂正請求(以下、「本件訂正請求」という。)による訂正の内容は以下のとおりである(下線は特許権者による。)。

ア 訂正事項1
特許請求の範囲の請求項1を以下の事項により特定されるとおりの請求項1として訂正する。
【請求項1】
撮像エリアを撮像するカメラと、
前記撮像エリアの音声を収音するマイクアレイと、
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
前記センサにより前記イベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、
前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
モニタリングシステム。

イ 訂正事項2
特許請求の範囲の請求項3を削除する。

ウ 訂正事項3
特許請求の範囲の請求項4の「請求項1?3のうちいずれか一項に記載のモニタリングシステム」と記載されているのを「請求項1に記載のモニタリングシステム」に訂正する。

エ 訂正事項4
特許請求の範囲の請求項5の「請求項1?4のうちいずれか一項に記載のモニタリングシステム」と記載されているのを「請求項1に記載のモニタリングシステム」に訂正する。

オ 訂正事項5
明細書の段落【0007】の「前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、」を「前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、前記センサにより前記イベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、」に訂正する。

カ 訂正事項6
特許請求の範囲の請求項6を以下の事項により特定されるとおりの請求項6として訂正する。
【請求項6】
カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、
前記カメラにおいて撮像エリアを撮像し、
前記マイクアレイにおいて前記撮像エリアの音声を収音し、
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、
導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
モニタリング方法。

キ 訂正事項7
明細書の段落【0008】の「また、本発明は、カメラとマイクアレイと含むモニタリングシステムにおけるモニタリング方法であって、前記カメラにおいて撮像エリアを撮像し、前記マイクアレイにおいて前記撮像エリアの音声を収音し、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、」を「また、本発明は、カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、前記カメラにおいて撮像エリアを撮像し、前記マイクアレイにおいて前記撮像エリアの音声を収音し、前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、」に訂正する。

(2)訂正の目的の適否、新規事項の有無、一群の請求項及び特許請求の範囲の拡張・変更の存否
上記ア、イ及びオの訂正は、実質的に、訂正前の請求項3を訂正後の請求項1とするとともに、訂正前の請求項2を引用する請求項3を訂正後の請求項2とするものであるから、これらの訂正は、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。
また、上記ウの訂正は、訂正前の請求項4が、訂正前の請求項1?3のうちいずれか一項を引用するものであったのを、実質的に、訂正前の請求項3のみを引用するものとする訂正であり、上記エの訂正は、訂正前の請求項5が、訂正前の請求項1?4のうちいずれか一項を引用するものであったのを、実質的に、訂正前の請求項3のみを引用するものとする訂正であるから、これらの訂正は、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。
そして、上記ア?オの訂正は、一群の請求項に対して請求されたものである。
上記カ、キの訂正は、明細書の発明の詳細な説明の段落【0018】、【0046】の記載に基づいて、訂正前の請求項6に対して、「センサ」に係る構成を付加したものであるから、特許請求の範囲の減縮を目的とするものであって、新規事項の追加に該当せず、また、実質上特許請求の範囲を拡張し、又は変更するものではない。

(3)小括
したがって、本件訂正請求による訂正は、特許法第120条の5第2項ただし書第1号に掲げる事項を目的とするものであり、かつ、同条第4項、及び、同条第9項で準用する同法第126条第4項から第6項までの規定に適合するので、訂正後の請求項〔1-5〕,6について訂正を認める。

3.特許異議の申立てについて
(1)本件発明
本件訂正請求により訂正された訂正請求項1-6に係る発明(以下、それぞれ「本件発明1」?「本件発明6」という。)は、その特許請求の範囲の請求項1-6に記載された次の事項により特定されるとおりのものである(符号A?Hは当審において付与した。以下、それぞれ「構成要件A」?「構成要件H」という。)

〔本件発明1〕
【請求項1】
(A)撮像エリアを撮像するカメラと、
(B)前記撮像エリアの音声を収音するマイクアレイと、
(G)前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
(C)前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
(H)前記センサにより前記イベントが検出されると、
(D)前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、
(E)前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
(F)モニタリングシステム。

〔本件発明2〕
【請求項2】
請求項1に記載のモニタリングシステムであって、
前記音パラメータは、音圧である、
モニタリングシステム。

〔本件発明3〕
【請求項3】
(削除)

〔本件発明4〕
【請求項4】
請求項1に記載のモニタリングシステムであって、
前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記撮像エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
モニタリングシステム。

〔本件発明5〕
【請求項5】
請求項1に記載のモニタリングシステムであって、
前記カメラと前記マイクアレイとが同軸に配置された、
モニタリングシステム。

〔本件発明6〕
【請求項6】
カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、
前記カメラにおいて撮像エリアを撮像し、
前記マイクアレイにおいて前記撮像エリアの音声を収音し、
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、
導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
モニタリング方法。

(2)取消理由(決定の予告)の概要
訂正前の請求項1、2、5、6に係る特許に対して平成29年11月28日付けで特許権者に通知した取消理由の要旨は、次のとおりである。
本件特許の請求項1、2、5、6に係る発明は、その出願前に日本国内又は外国において頒布された下記の刊行物に記載された発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

甲2号証:特開2013-15468号公報

(3)甲号証の記載
(3-1)甲2号証の記載事項
取消理由(決定の予告)で引用した甲2号証(特開2013-15468号公報)には、「異音診断装置および異音診断方法」(発明の名称)として、図面とともに以下の記載がなされている(下線は強調のため当審で付与した。)。

【0001】
本発明は、診断対象物から発生する異音の発生箇所を診断する異音診断装置および異音診断方法に関する。

【0010】
図1は、本発明の実施形態に係る異音診断装置の全体構成の例、および、その異音診断装置を診断対象物の異音診断に適用する場合に設定される仮想スクリーンの例を示した図である。図1では、紙面の左の奥側に、異音診断装置100が描かれ、また、紙面の右の前側に、異音診断の対象となる診断対象物70が描かれ、さらに、診断対象物70の位置には、診断対象物70を上下方向に切断し、区分するような仮想スクリーン80が4つ描かれている。
【0011】
異音診断装置100は、診断対象物70およびその周囲から発せられる音響信号を集音する集音装置10、診断対象物70の外観画像を撮像する撮像装置20、集音装置10で集音された音響信号を増幅する増幅回路装置30、増幅回路装置30で増幅された音響信号をディジタル信号に変換するA/D(アナログ/ディジタル)変換装置40、ディジタル化された音響信号に基づき、異音診断処理を実行する情報処理装置50、などを含んで構成される。
【0012】
集音装置10は、三脚13の上部に円環状のフレーム12が設けられ、さらに、音響センサとして複数のマイクロホン11が、その円環状のフレーム12上の互いに等間隔となる位置に取り付けられて構成される。ここで、複数のマイクロホン11は、いずれも同じ音響特性を有し、無指向性であるものとする。なお、図1の例では、フレーム12には、16個のマイクロホン11が取り付けられているが、その数は、16個に限定されない。また、この例のように、複数ないし多数のマイクロホン11が配列された構成は、マイクロホンアレイと呼ばれている。
【0013】
撮像装置20は、診断対象物70の外観を撮像するカメラであり、図1の例では、複数のマイクロホン11が取り付けられたフレーム12の中心の位置、すなわち、複数のマイクロホン11が取り付けられた円環を含む平面(以下、マイクロホンアレイ面という)上で、その円環の中心の位置に設けられる。このとき、撮像装置20の視線の中心軸(以下、光軸という)は、当該マイクロホンアレイ面に略垂直であるとし、その光軸は、診断対象物70の中心部を向いているものとする。

【0017】図2に示すように、情報処理装置50は、音圧信号取得部51、仮想スクリーン設定部52、音圧レベル計算部53、音圧マップ生成部54、音圧異常領域抽出部55、音圧マップ表示部56、撮像画像取得部57などの処理機能ブロックを備える。情報処理装置50は、また、音圧信号記憶部61、仮想スクリーンデータ記憶部62、マイクロホン配置データ記憶部63、音圧レベル記憶部64、基準音圧レベル記憶部65、音圧マップ記憶部66、撮像画像記憶部67などの記憶機能ブロックを備える。なお、処理機能ブロックとは、図示しないCPUが、予め、記憶装置に記憶されたプログラムを実行することによって実現される機能ブロックをいう。以下、各処理機能ブロックの機能について説明する。
【0018】
音圧信号取得部51は、集音装置10に設けられた各マイクロホン11で集音され、増幅回路装置30で増幅され、A/D変換装置40でディジタル信号化された音響信号(以下、音圧信号という)を取得し、その取得した音圧信号を、集音したマイクロホン11に対応させて音圧信号記憶部61に格納する。また、撮像画像取得部57は、撮像装置20によって撮像された診断対象物70の外観画像を、撮像装置20から取得して、撮像画像記憶部67に格納する。
【0019】
仮想スクリーン設定部52は、図1を用いて説明したように、撮像装置20から診断対象物70の後面側に到るまでの空間のいずれかの位置に、撮像装置20の光軸に略垂直な仮想スクリーン80を仮想的に複数個設定する。このとき、仮想スクリーン80の数、仮想スクリーン80を設定する位置(例えば、撮像装置20からの距離)、撮像装置20の水平画角81、垂直画角82などのデータは、予め、仮想スクリーンデータ記憶部62に記憶されているものとする。なお、仮想スクリーンデータ記憶部62に記憶されているこれらのデータは、オペレータがキーボードなどを用いて、適宜、変更できるものとする。
【0020】
音圧レベル計算部53は、仮想スクリーン設定部52によって設定されたそれぞれの仮想スクリーン80について、そのスクリーン面を格子状に分割し、各格子点の座標を計算する。さらに、音圧レベル計算部53は、それぞれの仮想スクリーン80面上の各格子点について、その格子点における音圧レベルを計算し、得られた音圧レベルを各仮想スクリーン80上の各格子点に対応付けて音圧レベル記憶部64に格納する。
【0021】
ここで、各仮想スクリーン80上の各格子点の座標は、例えば、撮像装置20の位置を原点とし、撮像装置20の光軸をz軸とし、前記原点を通り、マイクロホンアレイ面に含まれる水平方向の直線をx軸とし、前記原点を通り、x軸およびz軸に垂直な直線をy軸とする座標系に基づき計算される。

【0024】
音圧マップ生成部54は、音圧レベル記憶部64から各仮想スクリーン80上の各格子点の音圧レベルを読み出し、各仮想スクリーン80上に、例えば、5デシベルごとの等音圧レベル線を生成し、等音圧レベル線による音圧マップを生成する。そして、その生成した音圧マップを各仮想スクリーン80に対応付けて、音圧マップ記憶部66に格納する。

【0029】
音圧マップ表示部56は、情報処理装置50に付属する液晶ディスプレイなどの表示装置59に、撮像装置20によって撮像され、撮像画像記憶部67に格納されている診断対象物70の外観画像を表示するとともに、その診断対象物70の外観画像の上に重ね合わせて、音圧マップ記憶部66に格納されている音圧マップを表示する。この表示は、各仮想スクリーン80別に行われる。

【0032】
音圧マップは、図3(a)?(d)に示すように、診断対象物70の外観画像の上に、例えば、10デシベルごとの等音圧レベル線で描かれる。このとき、等音圧レベル線で囲まれた領域は、適宜、網掛け表示または着色表示される。その場合、網掛け表示や着色表示着色を半透明に行い、下地の診断対象物70の外観画像が透けて見えるようにしてもよい。

(3-2)甲2号証に記載された発明
(3-2-1)【0001】には、診断対象物から発生する異音の発生箇所を診断する「異音診断装置」が記載され、【0011】には、異音診断装置が、診断対象物およびその周囲から発せられる音響信号を集音する「集音装置」、診断対象物の外観画像を撮像する「撮像装置」、異音診断処理を実行する「情報処理装置」などからなることが記載されている。

(3-2-2)【0012】には、「集音装置」が、複数のマイクロホンからなる「マイクロホンアレイ」により構成されることが記載され、【0013】には、「撮像装置」が「カメラ」であり、マイクロホンアレイの中心位置に設けられることが記載されている。

(3-2-3)【0017】?【0020】には、「情報処理装置」の音圧レベル計算部が、各マイクロホンで集音した音響信号から、仮想スクリーン面を格子状に分割した各格子点毎の音圧レベルを計算することが記載され、【0024】には、音圧マップ生成部が、音圧レベルに基づいて、仮想スクリーン上に、所定デシベルごとの等音圧レベル線を生成し、等音圧レベル線による音圧マップを生成することが記載されている。
ここで、音圧マップは、【0032】及び図3に記載のように、等音圧レベル線で描かれ、等音圧レベル線で囲まれた領域は、適宜、網掛け表示または着色表示されるものである。

(3-2-4)【0029】には、「情報処理装置」に「表示装置」が付属すること、また、「情報処理装置」の音圧マップ表示部が、「表示装置」に、撮像された診断対象物の外観を表示するとともに、音圧マップを重ね合わせて表示することが記載されている。

してみれば、甲2号証には、次の発明(以下、「甲2発明」という。)が記載されていると認められる(符号2a?2eは、当審において付与した。以下、それぞれ「構成2a」?「構成2e」という。)。

(甲2発明)
(2a)診断対象物の外観画像を撮像するカメラと、
(2b)診断対象物およびその周囲から発せられる音響信号を集音するマイクロホンアレイと、
(2c)撮像された診断対象物の外観画像を表示する表示装置と、
(2d)仮想スクリーン面を格子状に分割した各格子点について計算した音圧レベルに基づいて、所定のデシベルごとの等音圧レベル線に囲まれた領域が着色された音圧マップを生成し、撮像装置によって撮像された外観画像の上に、音圧マップを重ね合わせて表示装置に表示させる情報処理装置と、を備えた、
(2e)異音診断装置。

(4)判断
ア 取消理由通知に記載した取消理由について
(ア)特許法29条2項について
(ア-1)本件発明1について
本件発明1と甲2発明とを対比する。

(ア-1-1)本件発明1の構成要件A?Cと、甲2発明の構成2a?2cとの対比
甲2発明の構成2aの「カメラ」は、診断対象物を含む、一定の撮像範囲を撮像することは明らかであるから、本件発明1の構成要件Aの「カメラ」に相当する。
また、甲2発明の構成2bの「マイクロホンアレイ」が収音する、診断対象物及びその周囲から発せられる音響信号は、カメラの撮像範囲の音声であるといえるから、甲2発明の構成2bの「マイクロホンアレイ」は、本件発明1の構成要件Bの「マイクアレイ」に相当する。
そして、甲2発明の構成2cの「表示装置」は、カメラによって撮像された画像を表示するから、本件発明1の構成要件Cの「表示部」に相当する。
よって、甲2発明の構成2a?2cと本件発明1の構成要件A?Cは一致する。

(ア-1-2)本件発明1の構成要件D、Eと、甲2発明の構成2dとの対比
甲2発明の「音圧レベル」は、本件発明1の「音の大きさを特定する音パラメータ」に相当するから、甲2発明における「所定のデシベルごとの等音圧レベル線に囲まれた領域が着色された音圧マップ」は、図3の記載からも明らかなように、音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚情報に段階的に変換した音源画像情報であるといえる。
そうすると、甲2発明の構成2dの「情報処理装置」と本件発明1の構成要件D、Eの「信号処理部」とは、「前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを導出」し、「導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データに重畳して前記表示部に表示させる」点で共通し、本件発明1が、「音パラメータ」を「画像データを構成する画素の所定単位毎」に導出し、「音源画像情報」を「画像データを構成する画素の所定単位毎」に重畳して表示するのに対し、甲2発明は、音圧レベルを、仮想スクリーン面を格子状に分割した各格子点について計算し、等音圧線を示す音圧マップを重畳表示するものであり、音圧レベルを「画像データを構成する画素の所定単位毎に」導出し、音圧マップを「画像データを構成する画素の所定単位毎に」重畳して表示すると特定されていない点で相違する。

(ア-1-3)本件発明1の構成要件G、Hについて
甲2発明は、本件発明1の構成要件G、Hに相当する構成を具備していない。

(ア-1-4)本件発明1の構成要件Fと、甲2発明の構成2eとの対比
甲2発明の「異音診断装置」は、カメラとマイクロホンアレイと表示装置と情報処理装置とからなる「システム」を構成しているといえ、その表示装置には、診断対象物の外観と、診断対象物が発する音とを表示するものであるから、診断対象物の状況をモニタリングする機能を備えているといえる。
よって、甲2発明の構成2eは、本件発明1の構成要件Fと相違しない。

(ア-1-5)一致点、相違点
したがって、本件発明1と甲2発明とは、以下の点で一致ないし相違している。

(一致点)
撮像エリアを撮像するカメラと、
前記撮像エリアの音声を収音するマイクアレイと、
前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを導出する信号処理部と、を備え、
前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データに重畳して前記表示部に表示させる、
モニタリングシステム。

(相違点2-1)
本件発明1は、「音パラメータ」を、「画像データを構成する画素の所定単位毎」に導出し、「音源画像情報」を「画像データを構成する画素の所定単位毎に重畳」して表示するのに対し、甲2発明は、音圧レベルを、仮想スクリーン面を格子状に分割した各格子点について計算し、等音圧線を示す音圧マップを重畳表示するものであり、音圧レベルを「画像データを構成する画素の所定単位毎に」導出し、音圧マップを「画像データを構成する画素の所定単位毎に」重畳して表示すると特定されていない点。

(相違点2-2)
本件発明1は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を備え、「信号処理部」が、「前記センサにより前記イベントが検出されると、前記音パラメータを導出する」のに対し、甲2発明は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を具備しておらず、情報処理装置が「前記センサにより前記イベントが検出される」ことに応じて処理を行うと特定されていない点。

(ア-1-5)判断
事案に鑑み、相違点2-2について検討する。
上記相違点2-2に係る、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」によりイベントを検出し、処理を開始させる構成は、当業者にとって周知技術であるとはいえず、また、自明のものであるともいえない。
したがって、甲2発明において、上記した相違点2-2に係る構成を得ることは、当業者であっても、容易に想到し得ることとはいえない。
なお、異議申立人が提示する甲1号証(特開2014-137323号公報)には、段落【0021】及び【0027】において、異常診断装置が起動され、指示が入力されたら処理を開始することは記載されているものの、上記相違点2-2に対応する構成は開示されておらず、また、平成29年5月19日付け意見書に添付した甲3号証(特開2009-118318号公報)にも、上記相違点2-2に対応する構成は記載されていないから、これらの記載を考慮しても、当審の上記判断は変わらない。
したがって、本件発明1は、甲2発明及び周知技術に基づいて、当業者が容易に発明をすることができたものとはいえない。

(ア-2)本件発明2、4、5及び6について
本件特許の請求項2、4、5は、請求項1を引用しており、上記した相違点2-2に係る構成を備えている。また、請求項1とは発明のカテゴリーが異なる請求項6も、上記相違点2-2に対応する構成を備えている。
ここで、相違点2-2についての判断は、上記のとおりであるから、本件発明2、4、5及び6も、甲2発明及び周知技術に基づいて、当業者が容易に発明することができたとすることはできない。

イ 取消理由通知において採用しなかった特許異議理由について
(ア)理由1(特許法36条6項2号)
異議申立人辰巳功は、請求項1、6における「画素の所定単位毎」との記載が不明確であり、請求項1-6に係る特許は、発明が明確でないとして、特許法36条6項2号の規定に違反してされたものであるから特許を取り消すべきものである旨主張しているので、以下、検討する。
(ア-1)判断
異議申立人の指摘に係る「画素の所定単位毎」との記載は、請求項1において、「撮像エリアの画像データを構成する画素」と、信号処理部が導出する「音パラメータ」との対応関係(以下、前者という。)を特定するとともに、「撮像エリアの画像データを構成する画素」と、画像データに重畳して表示する「音源画像情報」との対応関係(以下、後者という。)を特定する記載である。
そして、「画素の所定単位毎」との記載は、前者については、信号処理部が、画像データにおける所定数の画素、例えば、一つ一つの画素、あるいは、4個の画素単位に対応して、音パラメータを導出することを明確に特定し、後者については、画像データにおける所定数の画素に対応して、音源画像情報が重畳表示されることを明確に特定しているものであり、何ら不明確なものではない。
また、請求項6においても同様である。
よって、「画素の所定単位毎」との記載により、請求項1-6に係る発明が不明確であるとはいえない。

(イ)理由2(特許法29条1項3号または2項)
異議申立人辰巳功は、甲1号証及び甲2号証を提出して、請求項1-6に係る特許は、甲1号証に記載された発明と同一である、または、甲1号証に記載された発明及び甲2号証の記載事項ならびに技術常識に基づいて当業者が容易に発明することができたものであるとして、特許法29条1項3号または同条2項の規定に違反してされたものであるから特許を取り消すべきものである旨主張しているので、以下、検討する。

(イ-1)甲1号証の記載事項
異議申立人辰巳功が提出した甲1号証(特開2014-137323号公報)には、「異常診断装置およびこれを用いた異常診断方法」(発明の名称)として、図面とともに以下の記載がなされている(下線は強調のため当審で付与した。)。

【0001】
本発明は、音によって異常を診断する異常診断装置およびこれを用いた異常診断方法に関する。

【0015】
図1は、第1の実施形態に於ける異常診断装置1の構成を示す図である。
診断対象物7は、動作時に所定量の音を発生する機器であり、例えば、モータ、コンプレッサ、発電機などである。
カメラ2は、診断対象物7を撮像して、カメラ画像を動画として出力するものである。カメラ2は、異常診断装置1に接続されている。なお、カメラ2は、診断対象物7が外観上の可動部分を有していないならば、これを1フレームだけ撮像して、カメラ画像を静止画像として出力するものであってもよい。
マイクロホンアレイ3は、複数のマイクで構成され、診断対象物7の音圧信号を測定するものである。このマイクロホンアレイ3は、異常診断装置1に接続されて、集音した音圧信号を出力する。
【0016】
異常診断装置1は、A/D変換器11と、音響信号処理部12と、記憶部13と、モニタ14と、ネットワーク処理部15と、ネットワークインタフェース16と、アラーム処理部17と、スピーカ18と、を備える。異常診断装置1には、カメラ2とマイクロホンアレイ3とが接続され、必要に応じて診断対象物7が接続されている。
異常診断装置1は、マイクロホンアレイ3が集音した音圧信号に基づいて、診断対象物7の異常性を診断し、カメラ2が撮像したカメラ画像と重畳してモニタ14に表示するものである。異常診断装置1は、診断対象物7が複数の動作モードを有しているとき、いずれの動作モードに於いて動作しているかを判断することにより、この動作モードに於ける異常を特定する。異常診断装置1は更に、診断対象物7の動作モードを指令することにより、所定の動作モードで動作させて異常を特定することができる。
【0017】
A/D変換器11は、アナログ信号をデジタル信号に変換するものである。A/D変換器11は、マイクロホンアレイ3の複数のマイクに接続されていると共に、音響信号処理部12に接続されている。A/D変換器11は、マイクロホンアレイ3の各マイクが集音したアナログの音圧信号を、デジタルの音圧信号に変換して出力する。
音響信号処理部12は、音圧マップ作成部121(音圧マップ作成手段)と、異常領域判定部122(異常領域判定手段)と、異常項目診断部123(異常項目診断手段)と、音圧マップ表示部124(音圧マップ表示手段)と、を有する。音響信号処理部12は、A/D変換器11が出力した音圧信号を処理して異常を判定し、カメラ画像と重畳して表示するものである。音響信号処理部12は、図示しないCPU(Central Processing Unit)がファームウェアプログラムを実行することによって具現化される。
【0018】
音圧マップ作成部121は、音圧信号を信号処理して、カメラ画像に対応する音圧マップを計算するものである。音圧マップは、カメラ画像に対応する2次元の各計算点に於ける音圧レベルの情報、または、パワースペクトルの情報を含み、これらの情報をカメラ画像内の位置情報と対応させたものである。音圧レベルは、音圧信号の強さである。パワースペクトルは、周波数ごとに分割した音圧信号のレベルである。パワースペクトルは、例えば、FFT(Fast Fourier Transform)によって算出することができる。
異常領域判定部122は、音圧マップに基づいて、各計算点に於ける異常の有無を判定するものである。
【0019】
異常項目診断部123は、音圧マップに基づいて、各計算点に於ける異常項目(異常原因項目)を診断するものである。異常項目(異常原因項目)とは、異常性を有する評価項目であり、例えば、カメラ画像内の所定の位置情報と対応する音圧レベルの情報、所定周波数に於ける音圧信号のレベルの情報(パワースペクトル)、または、カメラ画像内の所定の位置情報と対応する音圧信号の所定周波数に於ける音圧レベルの情報(パワースペクトル)などである。なお、所定の位置情報または所定の周波数は、それぞれ単数であっても複数であってもよい。
音圧マップ表示部124は、音圧マップなどをカメラ画像に重ねた診断結果の画面を、モニタ14に表示すると共に、ネットワーク処理部15などにより、端末8に送信するものである。

【0021】
図2は、第1の実施形態に於ける正常データ学習処理のフローチャートである。
異常診断装置1が起動され、正常データ学習指示が入力されたならば、音響信号処理部12は、正常データ学習処理を開始する。この正常データ学習処理は、参考文献1(田村希志臣、「よくわかるMTシステム-品質工学によるパターン認識の新技術」、日本規格協会、2009年8月)の42?45頁に於いて、詳細に記載されている。
ステップS10?S16に於いて、音圧マップ作成部121は、既定数の音圧マップを記録する処理を繰り返す。ここで既定数は、この正常データ学習処理を行う上で予め定められた回数である。しかし、これに限られずに、既定の時間だけ正常データ学習処理を繰り返してもよい。

【0027】
図4は、第1の実施形態に於ける異常診断処理のフローチャートである。
異常診断装置1が起動されて異常診断の指示が入力されたならば、異常診断装置1は、異常診断処理を開始する。このとき、診断対象物7は、正常品と同一の位置に設置されている。これにより、マイクロホンアレイ3は、正常品に係る音圧マップと診断対象物7に係る音圧マップとを比較することができる。
ステップS30?S32の処理は、音圧マップ作成部121によって行われる。
ステップS30に於いて、音圧マップ作成部121は、マイクロホンアレイ3によって、診断対象物7の音を測定し、測定したアナログの音圧信号をA/D変換器11によりデジタルの音圧信号に変換する。

(イ-2)甲1号証に記載された発明
(イ-2-1)【0015】、【0016】には、「異常診断装置」に関し、診断対象物を撮像する「カメラ」と診断対象物の音圧信号を測定する「マイクロホンアレイ」とが接続されること、及び、診断対象物の異常性を診断し、カメラが撮像した画像と重畳して表示する「モニタ」を備えることが記載されている。

(イ-2-2)【0017】には、「異常診断装置」が、音圧マップ作成部、異常領域判定部、音圧マップ表示部等を有する「音響信号処理部」を備えることが記載され、【0018】には、音圧マップ作成部がカメラ画像に対応する音圧マップを計算すること、及び、異常領域判定部が音圧マップに基づいて、異常の有無を判定することが記載されている。また、【0019】には、音圧マップ表示部が、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示することが記載されている。

(イ-2-3)【0021】、【0027】には、異常診断装置が起動され、指示が入力されたら処理を開始することが記載されている。

してみれば、甲1号証には、次の発明(以下、「甲1発明」という。)が記載されていると認められる(符号1a?1fは、当審において付与した。以下、それぞれ「構成1a」?「構成1f」という。)。

(甲1発明)
(1a)診断対象物を撮像するカメラと、
(1b)診断対象物の音圧信号を測定するマイクロホンアレイと、
(1c)撮像された診断対象物の画像を表示するモニタと、
(1d)カメラ画像に対応する音圧マップを計算し、音圧マップに基づいて、異常の有無を判定し、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示させる音響信号処理部と、を備え、
(1e)指示が入力されたら処理を開始する、
(1f)異常診断装置

(イ-3)対比
本件発明1と甲1発明とを対比すると、以下の2点で相違する。

(相違点1-1)
本件発明1の「信号処理部」は、「前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する」とともに、「導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる」のに対し、甲1発明の「音響信号処理部」は、カメラ画像に対応する音圧マップを計算し、音圧マップに基づいて、異常の有無を判定し、音圧マップなどをカメラ画像に重ねた診断結果の画面をモニタに表示させるものである点。

(相違点1-2)
本件発明1は、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を備え、「信号処理部」が、「前記センサにより前記イベントが検出されると、前記音パラメータを導出する」のに対し、甲1発明における音響信号処理部は、指示入力により処理を開始するものの、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」を具備しておらず、「前記センサにより前記イベントが検出される」と、音響信号処理部が処理を行うと特定されていない点。

(イ-4)判断
本件発明1と甲1発明とは、上記のとおりの相違点を有するから、両者は同一であるとはいえない。
また、事案に鑑み、上記相違点1-2について検討すると、当該相違点に係る、「撮像エリアにおける音源の表示を指示するイベントを検出するセンサ」によりイベントを検出し、処理を開始させる構成は、甲2号証には記載されておらず、また、当業者の技術常識を考慮しても、自明のものとはいえない。
なお、当該構成は、甲3号証にも記載されていない。
したがって、本件発明1は、甲1発明及び甲2号証の記載事項ならびに技術常識に基づいて、当業者が容易に発明をすることができたものとはいえない。

(イ-5)本件発明2、4、5及び6について
本件特許の請求項2、4、5は、請求項1を引用しており、上記した相違点1-2に係る構成を備えている。また、請求項1とは発明のカテゴリーが異なる請求項6も、上記相違点1-2に対応する構成を備えている。
ここで、相違点1-2についての判断は、上記のとおりであるから、本件発明2、4、5及び6も、甲1発明及び甲2号証の記載事項ならびに技術常識に基づいて、当業者が容易に発明をすることができたものとはいえない。

(ウ)まとめ
以上のとおりであるから、異議申立人の主張はいずれも理由がない。

4.むすび
以上のとおりであるから、取消理由通知に記載した取消理由及び特許異議申立書に記載した特許異議申立理由によっては、請求項1、2及び4-6に係る特許を取り消すことはできない。
また、他に請求項1、2及び4-6に係る特許を取り消すべき理由を発見しない。
さらに、請求項3に係る特許は、訂正により、削除されたため、請求項3に係る特許に対して、特許異議申立人辰巳功がした特許異議の申立てについては、対象となる請求項が存在しない。
よって、結論のとおり決定する。
 
発明の名称 (54)【発明の名称】
モニタリングシステム及びモニタリング方法
【技術分野】
【0001】
本発明は、音源を示す画像を表示するモニタリングシステム及びモニタリング方法に関する。
【背景技術】
【0002】
近年、モニタリングシステムの一例としての監視システムでは、監視カメラで撮像された映像データの他に、マイクで収音された音声データを用いて、既定の監視対象のエリアの状況を監視することが行われている。この監視システムでは、監視カメラで撮像された映像データが表示されるモニタ装置とは別の場所に、監視用のマイク及び監視カメラが設置されている。映像データ以外に音声データを用いて監視することで、何かしらの事件やトラブルがあった場合に、映像データに現れる音源(つまり、事件やトラブルの発生元)付近の音声データにより、事件やトラブルに関してどのような経緯があったかが判明する。
【0003】
また、マイクを搭載し、かつ頭部に装着されるヘッドマウントディスプレイとして、視覚的な映像データにマイクで収音された音情報を重ねて表示するヘッドマウントディスプレイが知られている(例えば特許文献1参照)。このヘッドマウントディスプレイは、視覚的な映像データに音源位置を表示するとともに、音源から出る音のレベルを円の大きさで示し、また音源から出る音の周波数を円の色で示す。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012-133250号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、特許文献1の構成を上記した監視システムに適用することは想定されていなかった。言い換えると、監視システムにおいて、監視カメラで撮像された映像データが表示されたモニタ装置に、監視用のマイクで収音された音声データの音情報を表示することはなかった。このため、従来の監視システムでは、ユーザがモニタ装置に表示された映像を見ても、例えば異常音を発している音源を容易に視認することはできなかった。
【0006】
本発明は、上述した従来の状況に鑑みてなされたものであり、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、前記センサにより前記イベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、モニタリングシステムを提供する。
【0008】
また、本発明は、カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、前記カメラにおいて撮像エリアを撮像し、前記マイクアレイにおいて前記撮像エリアの音声を収音し、前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、モニタリング方法を提供する。
【発明の効果】
【0009】
本発明によれば、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示することができ、ユーザのモニタリング業務効率を向上することができる。従って、ユーザは、表示されたエリアの映像に現れる音源を視覚的に認識することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態の音源表示システムのシステム構成の一例を示すブロック図
【図2】マイクアレイの内部構成の一例を詳細に示すブロック図
【図3】全方位カメラの内部構成の一例を詳細に示すブロック図
【図4】指向性制御装置の内部構成の一例を詳細に示すブロック図
【図5】本実施形態の音源表示システムにおける音源の表示動作手順の一例を詳細に説明するシーケンス図
【図6】本実施形態の指向性制御装置における音圧マップの生成手順の一例を詳細に説明するフローチャート
【図7】それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図
【図8】全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第1例を示す図
【図9】全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第2例を示す図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した実施形態(以下、本実施形態という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下、モニタリングシステムの一例として、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示する音源表示システムを説明するが、本発明に係るモニタリングシステム及びモニタリング方法は、人物等の対象物の状態を監視するための用途に限定されず、所定のエリアにおける状態を把握するために観測や測定を行うことや、製品又はサービスについての感想や評価を調べることの各用途に適用されてもよい。
【0012】
図1は、本実施形態の音源表示システム10のシステム構成の一例を示すブロック図である。図1に示す音源表示システム10は、全方位カメラCAと、マイクアレイMAと、指向性制御装置30と、監視モニタ36と、センサ60とを含む構成である。全方位カメラCA、マイクアレイMA、指向性制御装置30及びセンサ60は、ネットワークNWを介してデータ通信可能に相互接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でもよいし、無線ネットワーク(例えば無線LAN(Local Area Network))でもよい。
【0013】
全方位カメラCAは、モニタリング対象のエリアの状況を全方位画像(つまり、360度の方位を有する画像)として撮像可能な魚眼レンズを搭載したカメラである。言い換えると、全方位カメラCAは、自装置が設置されたモニタリング対象のエリア(つまり、撮像エリア)の状況を撮像可能な監視カメラとして機能する。全方位カメラCAは、撮像により得られた全方位画像のデータ(以下、単に全方位画像データという)を、ネットワークNWを介して指向性制御装置30に送信する。
【0014】
マイクアレイMAは、自装置が設置されたモニタリング対象のエリア(つまり、収音エリア)の音声を無指向状態で収音する。本実施形態では、撮像エリアと収音エリアとは同一として説明する。マイクアレイMAは、例えば中央に開口部が形成されたドーナツ状の筐体(筐体は不図示)15を有する。この開口部の周囲には、円周方向に沿って、複数のマイクロホンユニットが同心円状に配置されている。マイクロホンユニット(以下、単にマイクロホンという)には、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。マイクアレイMAは、収音により得られた音声データを、ネットワークNWを介して指向性制御装置30に送信する。
【0015】
また、マイクアレイMAの筐体15の中央に形成された開口部の内側に全方位カメラCAが組み込まれることにより、全方位カメラCAとマイクアレイMAとは同軸上に配置されて筐体15に収容される。このように、全方位カメラCAの光軸とマイクアレイMAの筐体15の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置(つまり、全方位カメラCAから見た被写体の位置)と収音位置(つまり、マイクアレイMAから見た音源の位置)とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置3は、後述するようにマイクアレイMAにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラCAにより得られた方向を示す座標を、マイクアレイMAから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。
【0016】
指向性制御装置30は、マイクアレイMAで収音された音声データに対し指向性を形成し、その指向方向の音声を強調することができる。指向性制御装置30は、例えばPC(Personal Computer)を用いて構成される。また、指向性制御装置30は、全方位カメラCAで撮像された撮像エリアの画像データとマイクアレイMAで収音された音声データとを基に、画像データを構成する画素に対応する位置における音圧を画素単位で算出し、後述する音声ヒートマップを生成する。また、指向性制御装置30は、監視モニタ36に接続され、音声ヒートマップを監視モニタ36に表示する。なお、指向性制御装置30は、PCで構成される代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末で構成されてもよい。
【0017】
表示部の一例としての監視モニタ36は、全方位カメラCAで撮像された全方位画像データを表示する。また監視モニタ36は、全方位画像のデータに対して指向性制御装置30が生成した音声ヒートマップを重畳した合成画像データを表示する。なお、監視モニタ36は、指向性制御装置30と一体の装置として構成されてもよい。
【0018】
センサ60は、後述する音源表示動作を起動させるイベントを検出する。センサ60として、例えばセンサ60の設置場所の周囲の明るさを検出する照度センサ、センサ60の設置場所の周囲の温度を検出する温度センサ、センサ60の設置場所付近の人により反射された赤外線を感知する人感センサ等が挙げられる。
【0019】
図2は、マイクアレイMAの内部構成の一例を詳細に示すブロック図である。図2に示すマイクアレイMAは、複数のマイクロホンM1?Mn(例えばn=8)、複数のマイクロホンM1?Mnの出力信号をそれぞれ増幅する複数の増幅器(アンプ)PA1?PAn、各増幅器PA1?PAnから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のA/D変換器A1?An、圧縮処理部25及び送信部26を含む構成である。
【0020】
圧縮処理部25は、A/D変換器A1?Anから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部26は、圧縮処理部25で生成された音声データのパケットをネットワークNWを介して指向性制御装置30に送信する。
【0021】
このように、マイクアレイMAは、マイクロホンM1?Mnの出力信号を増幅器PA1?PAnで増幅し、A/D変換器A1?Anでデジタル音声信号に変換した後、圧縮処理部25で音声データのパケットを生成し、この音声データのパケットをネットワークNWを介して指向性制御装置30に送信する。
【0022】
図3は、全方位カメラCAの内部構成の一例を詳細に示すブロック図である。図3に示す全方位カメラCAは、CPU41、通信部42、電源管理部44、イメージセンサ45、メモリ46及びネットワークコネクタ47を含む構成である。なお、図3では、イメージセンサ45の前段(つまり、図3の紙面右側)に魚眼レンズの図示が省略されている。
【0023】
CPU41は、全方位カメラCAの各部の動作制御を全体的に統括するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。CPU41の代わりに、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサが設けられてもよい。
【0024】
例えばCPU41は、指向性制御装置3を操作するユーザの指定により、全方位画像データのうち特定の範囲(方向)の画像を切り出した切り出し画像データを生成してメモリ46に保存する。
【0025】
イメージセンサ45は、例えばCMOS(相補性金属酸化膜半導体)センサ、又はCCD(電荷結合素子)センサを用いて構成され、不図示の魚眼レンズにより集光された撮像エリアからの反射光の光学像を受光面において撮像処理することで全方位画像データを取得する。
【0026】
メモリ46は、全方位カメラCAの動作を規定するプログラムや設定値のデータが格納されたROM46z、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するRAM46y、及び全方位カメラCAに挿抜自在に接続され、各種データが記憶されるメモリカード46xを有する。
【0027】
通信部42は、ネットワークコネクタ47を介して接続されるネットワークNWとの間のデータ通信を制御するネットワークインタフェース(I/F)である。
【0028】
電源管理部44は、全方位カメラCAの各部に直流電源を供給する。また、電源管理部44は、ネットワークコネクタ47を介してネットワークNWに接続される機器に直流電源を供給してもよい。
【0029】
ネットワークコネクタ47は、全方位画像データ又は2次元パノラマ画像データを、ネットワークNWを介して指向性制御装置30に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
【0030】
図4は、指向性制御装置30の内部構成の一例を詳細に示すブロック図である。図4に示す指向性制御装置30は、通信部31と、操作部32と、信号処理部33と、スピーカ装置37と、メモリ38と、設定管理部39とを少なくとも含む構成である。信号処理部33は、指向方向算出部29、音圧算出部34及び出力制御部35を含む。また、指向性制御装置30は監視モニタ36に接続される。
【0031】
設定管理部39は、全方位カメラCAで撮像された全方位画像データが表示された監視モニタ36に対し、ユーザによって指定された全方位画像データ上の位置を示す座標を、マイクアレイMAから、ユーザによって指定された全方位画像データ上の位置に対応する実際の音源位置に向かう指向方向を示す座標に変換する座標変換式を有する。後述する指向方向算出部29は、設定管理部39が保持する座標変換式を用いて、マイクアレイMAから、ユーザによって指定された位置に対応する音源位置に向かう指向方向を示す座標(θMAh,θMAv)を算出する。この座標算出処理の詳細については、例えば特開2015-029241号公報に記載されている。ここで、θMAhはマイクアレイMAから音声位置に向かう指向方向の水平角を表し、θMAvはマイクアレイMAから音声位置に向かう指向方向の垂直角を表す。音源位置は、監視モニタ36に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部32から指定された位置に対応する実際の音源の位置である。
【0032】
また、設定管理部39は、音圧算出部34により算出された画素ごとの音圧pと比較される第1閾値及び第2閾値を保持する。ここで、音圧pは、音源に関する音パラメータの一例として使用されており、マイクアレイMAで収音される音の大きさを表しており、スピーカ装置37から出力される音の大きさを表す音量とは区別している。第1閾値及び第2閾値は、撮像エリア内で発生した音声の音圧と比較される値であり、例えばユーザが音源として騒がしいと判断する任意の値に設定される。ここで、音源は、音を実際に発している音源だけでなく、この音源から伝播された結果として音が聞こえる箇所を含む広義の音源である。また、閾値は複数設定可能であり、本実施形態では、第1閾値と、これより大きな値である第2閾値との2つが設定される(第1閾値<第2閾値)。また、後述するように、第2閾値より大きな画素の音圧の部分は、全方位画像データが表示された監視モニタ36上で、例えば赤色で描画される。また、第1閾値より大きく第2閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ36上で、例えば青色で描画される。また、第1閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ36上で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。
【0033】
通信部31は、全方位カメラCAが送信した全方位画像データ又は切り出し映像データと、マイクアレイMAが送信した音声データとを受信して信号処理部33に出力する。
【0034】
操作部32は、ユーザの入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部32は、例えば監視モニタ36の画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
【0035】
操作部32は、監視モニタ36に表示された音声ヒートマップMP(図8、図9参照)の赤領域R1がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部33に出力する。
【0036】
メモリ38は、例えばRAM(Random Access Memory)を用いて構成され、指向性制御装置30が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。また、メモリ38は、後述する音声ヒートマップMP(図8、図9参照)を記憶する。
【0037】
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、指向性制御装置30の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部33は、指向方向算出部29、音圧算出部34、出力制御部35を少なくとも含む。
【0038】
指向方向算出部29は、全方位カメラCAで撮像された全方位画像データが表示された監視モニタ36上でユーザにより任意の位置が指定されると、設定管理部39に保持される座標変換式を用いて、マイクアレイMAから、その指定位置に対応する音源位置に向かう指向方向を算出する。つまり、指向方向算出部29は、マイクアレイMAから、全方位画像データ上の指定位置の座標(X,Y)に対応する音源位置に向かう指向方向の座標(θMAh,θMAv)を算出する。
【0039】
音圧算出部34は、全方位カメラCAで撮像された全方位画像データとマイクアレイMAで収音された音声データとを基に、全方位画像データを構成する一つ一つの画素ごとに音圧を算出する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。これにより、音圧算出部34は、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。なお、音圧算出部34は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップを生成すると説明したが、一つ一つの画素ごとに音圧を算出せず、所定数(例えば4個)の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップを生成してもよい。
【0040】
出力制御部35は、監視モニタ36及びスピーカ装置37の各動作を制御するとともに、全方位カメラCAから送信された全方位画像データ或いは切り出し映像データを監視モニタ36に出力して表示させ、マイクアレイMAから送信された音声データをスピーカ装置37に音声出力させる。
【0041】
また、出力制御部35は、マイクアレイMAにより収音された音声データと指向方向算出部29により算出された指向方向の座標(θMAh,θMAv)とを用いて、マイクアレイMAにより収音された音声データの指向性の形成処理を行うことで、指向方向の音声データを強調処理する。音声データの指向性形成処理は、例えば特開2015-029241号公報に記載されている公知の技術である。
【0042】
また、出力制御部35は、音圧算出部34により生成された音圧マップに対し、後述する色変換処理を行うことで、音声ヒートマップMP(図8、図9参照)を生成する。
【0043】
音声出力部の一例としてのスピーカ装置37は、マイクアレイMAが収音した音声データ、又はマイクアレイMAが収音し信号処理部33によって指向性が形成された音声データを音声出力する。なお、スピーカ装置37は、指向性制御装置30とは別体の装置として構成されてもよい。
【0044】
上記構成を有する音源表示システム10の動作を示す。
【0045】
図5は、本実施形態の音源表示システム10における音源の表示動作手順の一例を詳細説明するシーケンス図である。
【0046】
図5において、指向性制御装置30は、所定の開始イベントを検出すると、全方位カメラCAに対し、撮像エリアの全方位画像データの送信を要求するための画像送信要求を行う(T1)。開始イベントは、例えばユーザが指向性制御装置30の操作部32に配置されたマップ表示ボタン(不図示)を押下すること、ユーザが監視モニタ36に表示された画像送信要求を示すアイコン(不図示)を押下すること、指向性制御装置30に内蔵されたタイマが起動したこと、センサ60がイベントを検出したこと等が挙げられる。タイマが起動する一例として、現在時刻が予め設定された時間帯(例えば朝8:00?夕方17:00)に入ったこと等が挙げられる。また、センサ60がイベントを検出する例として、センサ60の一例としての照度センサが所定値以上の明るさを検出すること、センサ60の一例としての温度センサが所定温度以上の周囲温度を検出すること、センサ60の一例としての人感センサが人により反射された赤外線を感知すること等が挙げられる。これにより、指向性制御装置30は、ユーザが所望する条件に合致した場合、図5に示す音源の表示動作を開始させることができ、利便性を向上することができる。
【0047】
全方位カメラCAは、指向性制御装置30から画像送信要求を受信すると、撮像エリアの状況を撮像する動作(撮像動作)を開始する(T2)。指向性制御装置30は、マイクアレイMAに対し、収音エリアの音声データの送信を要求するための音声送信要求を行う(T3)。マイクアレイMAは、指向性制御装置30から音声送信要求を受信すると、収音エリアの音声を収音する動作(収音動作)を開始する(T4)。ここで、撮像エリア(収音エリア)として、オフィス、倉庫、館内等が挙げられる。
【0048】
全方位カメラCAは、撮像により得られた撮像エリアの全方位画像データを指向性制御装置30に送信する(T5)。指向性制御装置30は、全方位カメラCAから送信された全方位画像データを受信すると、監視モニタ36の表示に適した画像データに変換する処理を行い(T6)、変換した画像データを監視モニタ36に出力する(T7)。なお、ステップT6の処理は省略されてもよい。監視モニタ36は、指向性制御装置30から出力された画像データを受信すると、全方位カメラCAで撮像された撮像エリアの画像データを表示する(T8)。
【0049】
指向性制御装置30は、マイクアレイMAから送信された音声データを受信すると(T9)、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する(T10)。音圧マップは、撮像エリアを撮像することにより得られる画像データにおいて、画像データを構成する一つ一つの画素ごとに、算出された音声の音圧値が割り当てられたデータである。
【0050】
図6は、本実施形態の指向性制御装置30における音圧マップの生成手順の一例を詳細に説明するフローチャートである。
【0051】
図6において、指向性制御装置30の通信部31は、マイクアレイMAから送信された音声データを受信して信号処理部33に出力する。信号処理部33は、マイクアレイMAから送信された音声データを入力する(S1)。
【0052】
設定管理部39は、全方位カメラCAにより撮像された全方位画像データを構成するそれぞれの画素の位置を表す座標(X,Y)の原点(0,0)を設定する(S2)。以下、説明を分かり易くするために、画素の位置を表す座標(X,Y)は、例えば全方位画像データの左上隅を原点(0,0)とし、全方位画像データの右下隅を最終位置(MAX,MAX)とする矩形の範囲内で設定される。なお、ステップS2の処理は、指向方向算出部29により行われてもよい。
【0053】
指向方向算出部29は、マイクアレイMAから、全方位画像データ上の座標(X,Y)で表される位置に対応する実際の位置に向かう指向方向の座標(θMAh,θMAv)を算出する。音圧算出部34は、全方位画像データ上の座標(X,Y)に対応する指向方向の座標(θMAh,θMAv)の音圧Pを算出する(S3)。
【0054】
この後、音圧算出部34は、X座標がMAX値に達したか否かを判別する(S4)。MAX値に達していない場合(S4、NO)、音圧算出部34は、X座標の値をインクリメントする(S5)。その後、指向性制御装置30の処理はステップS3に戻る。
【0055】
一方、X座標がMAX値に達した場合(S4、YES)、音圧算出部34は、Y座標がMAX値に達したか否かを判別する(S6)。MAX値に達していない場合(S6、NO)、音圧算出部34は、X座標の値を0(ゼロ)に戻すとともに、Y座標の値をインクリメントする(S7)。その後、指向性制御装置30の処理はステップS3に戻る。
【0056】
一方、ステップS6でY座標がMAX値に達した場合(S6、YES)、音圧算出部34は、ステップS3における算出結果を用いて、全方位画像データのそれぞれの画素の位置に、それぞれの画素に対応する音圧P(X,Y)を割り当てた音圧マップを生成する。音圧算出部34は、生成した音圧マップのデータをメモリ38に保存する(S8)。この後、指向性制御装置30の処理はステップS1に戻る。
【0057】
図5に戻り、ステップT10により音圧マップが生成された後、出力制御部35は、生成された音圧マップに対して色変換処理を行う(T11)。出力制御部35は、色変換処理として、音圧マップにおいて示されたそれぞれの画素に対応する音圧Pを閾値と比較し、閾値を超える音圧を色分けし、音声ヒートマップMPを生成する。例えば本実施形態では、閾値として、第1閾値と、第1閾値より大きな値である第2閾値とが用いられる(第1閾値<第2閾値)。
【0058】
図7は、それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図である。例えば音圧が第2閾値を超える場合、音圧の視覚情報に変換された音画像情報は、大きな音であるとして赤色で描画され、赤領域の音源画像情報として表示される。音圧が第2閾値以下でありかつ第1閾値を超える場合、音画像情報は、中位の音であるとして青色で描画され、青領域の音源画像情報として表示される。音圧が第1閾値以下である場合、音画像情報は、小さな音であるとして無色のまま無色領域の音源画像情報として表示される。
【0059】
このように、出力制御部35は、音圧の算出値を第1閾値及び第2閾値を含む複数の閾値と比較し、音圧の高低に応じて、全方位画像データにおける音画像情報が変化するように音画像情報を有する音声ヒートマップMPを生成する。これにより、ユーザは、音声ヒートマップMPにより、全方位カメラCAにより撮像された全方位画像データの中で、音の発生源の場所だけでなく、音圧の大きさも知ることができる。なお、ここでは、閾値として、第1閾値と第2閾値の2つが用いられたが、1つ又は3つ以上が用いられてもよい。また、閾値は、ユーザが監視したい音声の音圧に合わせて任意の値に設定可能である。
【0060】
指向性制御装置30は、色変換処理により生成された音声ヒートマップMPのデータを監視モニタ36に送信する(T12)。監視モニタ36は、全方位カメラCAにより撮像された全方位画像データに、ステップT12において送信された音声ヒートマップMPのデータを重畳した合成画像(図8、図9参照)を生成して表示する(T13)。なお、合成画像の生成処理は、指向性制御装置30の出力制御部35により行われてもよい。この場合には、出力制御部35は、全方位カメラCAにより撮像された全方位画像データに、ステップT11において生成した音声ヒートマップMPのデータを重畳した合成画像を生成する。
【0061】
但し、本実施形態では、合成画像の視認性を劣化させないために、音声ヒートマップMPのデータのうち、色変換処理により生成された音画像情報の部分が全方位画像データに重畳される。音圧マップの音圧値は、全方位画像データに重畳されなくてもよいし、重畳されてもよい。
【0062】
上記したステップT5?ステップT13は、指向性制御装置30が停止イベントを検出し、全方位カメラCAへの画像送信停止及びマイクアレイMAへの音声送信停止が行われるまで、繰り返される。停止イベントは、例えば指向性制御装置30の電源がオフになること、指向性制御装置30がシャットダウンしたこと、音声ヒートマップMPの生成処理の停止を指示するための処理が行われたこと等が該当する。
【0063】
図8は、全方位画像データに音声ヒートマップMP1のデータが重畳された合成画像GZ1のデータを示す図である。監視モニタ36に表示された合成画像GZ1では、例えばオフィスに設置された全方位カメラCAにより撮像された全方位画像データに、出力制御部35により生成された音声ヒートマップMP1が重畳されている。全方位カメラCAとマイクアレイMAとが同軸に配置された筐体15は、光軸が水平方向(例えば、図8に示す合成画像GZ1の中央付近の廊下に沿った方向)になるように取り付けられている。図8及び図9において、全方位カメラCAにより撮像された全方位画像データは、魚眼レンズを通して撮像されている。
【0064】
図8において、合成画像GZ1の紙面中央には、例えば赤色で描画された赤領域R1及びその周りを囲む青色で描画された青領域B1が表示されている。赤領域R1及び青領域B1で囲まれる範囲には、清掃員が使用している掃除機のモータ音が音源として存在している。
【0065】
また、合成画像GZ1の紙面左側には、例えば赤色で描画された赤領域R2及びその周りを囲む青色で描画された青領域B2が表示されている。赤領域R2及び青領域B2で囲まれる範囲には、オフィスに設置された固定電話機の呼出音が音源として存在している。
【0066】
また、合成画像GZ1の紙面左側のやや下方には、例えば赤色で描画された赤領域R3及びその周りを囲む青色で描画された青領域B3が表示されている。赤領域R3及び青領域B3で囲まれる範囲には、オフィスに設置されたPCのファン音が音源として存在する。合成画像GZ1における他の部分は、算出された音圧値が第1閾値以下であったために(図7参照)、無色のままの無領域NCとして表示されている。なお、上記したように、図8に示す合成画像GZ1の視認性を劣化させないために、音声ヒートマップMP1のデータのうち、赤領域R1,R2,R3及び青領域B1,B2,B3のみ、全方位画像データに重畳されており、以下同様である。
【0067】
図9は、全方位画像データに音声ヒートマップMP2のデータが重畳された合成画像GZ2のデータを示す図である。監視モニタ36に表示された合成画像GZ2では、例えばオフィスに設置された全方位カメラCAにより撮像された全方位画像データに、出力制御部35により生成された音声ヒートマップMP2が重畳されている。この場合も、全方位カメラCAとマイクアレイMAとが同軸に配置された筐体15は、光軸が水平方向(例えば、図9に示す合成画像GZ2の中央付近の廊下に沿った方向)になるように取り付けられている。なお、筐体15は、例えば店舗やオフィス等の館内の天井に取り付けられ、その光軸が垂直方向になるように取り付けられてもよい。
【0068】
図9において、合成画像GZ2の紙面中央上部には、例えば赤色で描画された赤領域R4及びその周りを囲む青色で描画された青領域B4が表示されている。赤領域R4及び青領域B4で囲まれる範囲には、従業員である2人の話声が音源として存在している。
【0069】
また、合成画像GZ2の紙面のやや右側には、赤色で描画された赤領域R5、及び赤領域R5を囲みかつその右側に延びるように青色で描画された青領域B5が表示されている。赤領域R5及び青領域B5で囲まれる範囲には、オフィスに設置された機械の作動音が音源として存在している。合成画像GZ2における他の部分は、算出された音圧値が第1閾値以下であったために(図7参照)、無色のままの無領域NCとして表示されている。
【0070】
なお、ここでは、監視モニタ36は、全方位画像をそのまま円形画像として表示しているが、パノラマ変換を行い、2次元の矩形画像(パノラマ画像)として表示してもよい。この場合、ユーザの合成画像の視認性が一層向上することになる。
【0071】
また、図5に戻り、合成画像のデータ(つまり、ステップT11において生成された音声ヒートマップMPのデータが全方位画像データに重畳された画像)が監視モニタ36に表示されている状態で、例えばユーザが操作部32を介して合成画像のデータ上の音画像情報(例えば赤領域)の位置を指定したとする(T14)。この場合、指向性制御装置30は、指定された合成画像のデータ上の位置の座標を取得する(T15)。なお、監視モニタ36がタッチパネルで構成される場合、ユーザは監視モニタ36の画面にタッチ入力することで、指向性制御装置30は、音画像情報の位置の座標を簡単に取得可能である。
【0072】
指向性制御装置30は、マイクアレイMAから、ユーザにより指定された合成画像のデータ上の位置に対応する実際の音源位置に向かう指向方向に、マイクアレイMAで収音された音声の指向性を形成し、この指向方向の音声を強調する(T16)。スピーカ装置37は、指向方向に強調された音声を出力する(T17)。これにより、ユーザは、音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を把握、追求できる。
【0073】
以上により、本実施形態の音源表示システム10では、全方位カメラCAは、撮像エリアの画像を撮像する。マイクアレイMAは、撮像エリアの音声を収音する。監視モニタ36は、全方位カメラCAにより撮像された撮像エリアの画像を表示する。信号処理部33内の音圧算出部34は、マイクアレイMAにより収音された音声データを用いて、撮像エリアの画像データに現れる音源に関する音パラメータ(例えば音圧P)を算出する。信号処理部33内の出力制御部35は、算出により得られた音圧Pと閾値(例えば第1閾値,第2閾値)とを比較し、この比較結果に応じて、音圧を視覚情報に変換した音源画像情報(例えば音画像情報)を、撮像エリアの画像データに重畳して監視モニタ36に表示させる。
【0074】
これにより、音源表示システム10は、モニタリング対象のエリア(例えば撮像エリア)の撮像により得られた映像データに現れる音源(つまり、音の発生源)を視覚的な音画像情報として表示することができる。従って、ユーザは、表示された撮像エリアの映像に現れる音源を視覚的に認識することができる。
【0075】
また、音源表示システム10では、閾値は例えば複数設定され、信号処理部33の音圧算出部34は、音源の音圧Pとそれぞれの閾値(例えば第1閾値、第2閾値)との比較に応じて、複数の種類の音画像情報を生成する。これにより、指向性制御装置30は、全方位カメラCAにより撮像された全方位画像データに現れる音源の場所(位置)だけでなく、音源における音圧の大きさもユーザに直感的に把握可能な音声ヒートマップMPを生成することができる。
【0076】
また、音源表示システム10では、監視モニタ36に表示された合成画像のデータ(例えば図8、図9参照)の音画像情報(例えば赤領域R2)がユーザにより指定された場合には、信号処理部33の出力制御部35は、マイクアレイMAから、指定された音画像情報の位置の座標に対応する実際の音源位置に向かう方向(つまり、指向方向)に音声の指向性を形成してスピーカ装置37から出力させる。これにより、ユーザは、監視モニタ36上に音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を効率的に把握、追求することができる。
【0077】
また、音源表示システム10では、所定の対象を検出するセンサ60が設けられ、センサ60が所定の対象を検出した場合に、全方位カメラCAは撮像により得られた全方位画像データを指向性制御装置30に送信し、またマイクアレイMAは収音により得られた音声データを指向性制御装置30に送信する。これにより、例えばユーザが所望する条件に合致した場合に、指向性制御装置30は、全方位画像データに音源を表示するための動作を開始でき、ユーザの利便性を向上することができる。
【0078】
また、音源表示システム10では、全方位カメラCAとマイクアレイMAとは同軸上に配置される。これにより、全方位カメラCAの光軸とマイクアレイMAの筐体15の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置(つまり、全方位カメラCAから見た被写体の位置)と収音位置(つまり、マイクアレイMAから見た音源の位置)とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置3は、マイクアレイMAにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラCAにより得られた方向を示す座標を、マイクアレイMAから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。
【0079】
以上、図面を参照しながら実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0080】
例えば、上記した本実施形態では、音パラメータとして、音の発生源(音源)が発する音の音圧を用いたが、音圧に限らず、音の周波数(音域)、音の種類(楽音と騒音)等を用いることも可能であり、さまざまな要望に適した音源表示が可能となる。
【産業上の利用可能性】
【0081】
本発明は、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法として有用である。
【符号の説明】
【0082】
10 音源表示システム
15 筐体
25 圧縮処理部
26 送信部
29 指向方向算出部
30 指向性制御装置
31 通信部
32 操作部
33 信号処理部
34 音圧算出部
35 出力制御部
36 監視モニタ
37 スピーカ装置
38,46 メモリ
39 設定管理部
41 CPU
42 通信部
44 電源管理部
45 イメージセンサ
46x メモリカード
46y RAM
46z ROM
47 ネットワークコネクタ
60 センサ
A1,A2,…,An A/D変換器
CA 全方位カメラ
GZ1,GZ2 合成画像
NW ネットワーク
MA マイクアレイ
M1,M2,…,Mn マイクロホン
PA1,PA2,…,PAn アンプ
R1,R2,R3,R4,R5 赤領域
B1,B2,B3,B4,B5 青領域
NC 無領域
(57)【特許請求の範囲】
【請求項1】
撮像エリアを撮像するカメラと、
前記撮像エリアの音声を収音するマイクアレイと、
前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサと、
前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
前記センサにより前記イベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、
前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
モニタリングシステム。
【請求項2】
請求項1に記載のモニタリングシステムであって、
前記音パラメータは、音圧である、
モニタリングシステム。
【請求項3】(削除)
【請求項4】
請求項1に記載のモニタリングシステムであって、
前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記撮像エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
モニタリングシステム。
【請求項5】
請求項1に記載のモニタリングシステムであって、
前記カメラと前記マイクアレイとが同軸に配置された、
モニタリングシステム。
【請求項6】
カメラとマイクアレイとセンサとを含むモニタリングシステムにおけるモニタリング方法であって、
前記カメラにおいて撮像エリアを撮像し、
前記マイクアレイにおいて前記撮像エリアの音声を収音し、
前記センサにより前記撮像エリアにおける音源の表示を指示するイベントが検出されると、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、
導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
モニタリング方法。
 
訂正の要旨 審決(決定)の【理由】欄参照。
異議決定日 2018-03-26 
出願番号 特願2015-140863(P2015-140863)
審決分類 P 1 651・ 113- YAA (H04N)
P 1 651・ 121- YAA (H04N)
P 1 651・ 537- YAA (H04N)
最終処分 維持  
前審関与審査官 秦野 孝一郎  
特許庁審判長 清水 正一
特許庁審判官 篠原 功一
小池 正彦
登録日 2016-05-27 
登録番号 特許第5939341号(P5939341)
権利者 パナソニックIPマネジメント株式会社
発明の名称 モニタリングシステム及びモニタリング方法  
代理人 特許業務法人栄光特許事務所  
代理人 特許業務法人栄光特許事務所  
代理人 近藤 惠嗣  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ