• ポートフォリオ機能


ポートフォリオを新規に作成して保存
既存のポートフォリオに追加保存

  • この表をプリントする
PDF PDFをダウンロード
審決分類 審判 査定不服 2項進歩性 特許、登録しない。 G01S
管理番号 1361394
審判番号 不服2019-2784  
総通号数 245 
発行国 日本国特許庁(JP) 
公報種別 特許審決公報 
発行日 2020-05-29 
種別 拒絶査定不服の審決 
審判請求日 2019-02-28 
確定日 2020-04-14 
事件の表示 特願2017-49970号「飛行時間型深度イメージングの際の消費電力の低減」拒絶査定不服審判事件〔平成29年12月21日出願公開、特開2017-223648号〕について、次のとおり審決する。 
結論 本件審判の請求は、成り立たない。 
理由 第1 手続の経緯
本願は、2017年(平成29年)3月15日(パリ条約による優先権主張 外国庁受理2016年3月16日、同年7月12日、同年9月23日、2017年3月14日 いずれも米国)を出願日とする外国語書面出願であって、その手続の経緯は以下のとおりである。

平成29年4月20日:翻訳文提出
平成30年2月28日付け:拒絶理由通知書
平成30年10月24日付け:拒絶査定(以下、「原査定」という。)
(査定の謄本の送達日:平成30年10月29日)
平成31年2月28日:審判請求書、手続補正書の提出


第2 本願発明
本願の請求項1?18に係る発明は、平成31年2月28日に提出された手続補正書により補正された特許請求の範囲の請求項1?18に記載された事項により特定されるとおりのものであるところ、そのうち、請求項1に係る発明(以下、「本願発明」という。)は以下のとおりである。
(A?Dは本願発明の構成を分説するため当審で付した。)

[本願発明]
「【請求項1】
A イメージングデバイスを操作する方法であって、
B 複数のフレームのうちの第1のフレーム中に、第1の電力設定を使用して、場面から第1の組の測定値をキャプチャすることであって、前記第1の組の測定値が、前記場面内の1つまたは複数の物体と前記イメージングデバイスとの間の距離を表す深度マップを含む、ことと、
C 第2のフレーム中に、第2の電力設定を使用して、前記場面から第2の組の測定値をキャプチャすることであって、前記第2の電力設定が、前記第1の電力設定よりも低い、ことと、
D 前記第1の組の測定値と前記第2の組の測定値との比較に少なくとも一部基づき、前記第1のフレーム中にキャプチャされた前記深度マップを更新することと、
A を含む、方法。」


第3 原査定の拒絶の理由
原査定の拒絶理由のうち、請求項1に係る発明についての進歩性に係る拒絶理由(理由3)の概要は次のとおりである。
なお、請求項1については、平成31年2月28日に提出された手続補正書による補正の前後でその発明特定事項の変更はない。

理由3.(進歩性)
本願発明は、本願の優先権主張の日(以下、「優先日」という。)前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その優先日前にその発明の属する技術の分野における通常の知識を有する者(以下、「当業者」という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。



引用文献1:国際公開第2014/120613号
引用文献2:特開2015-19204号公報


第4 引用文献等
1 引用文献1
上記引用文献1には、図面とともに次の事項が記載されている(下線は当審で付した。)。
なお、日本語訳については、上記引用文献1に対応する日本語ファミリー特許文献である特表2016-514384号公報の該当箇所の記載を採用している。引用される箇所の段落番号は、それぞれの文献に記載されたものであるので、両者の段落番号は一致しない。

ア 「[0024] Fig. 1 shows a block diagram of an exemplary Mobile Station (MS) 100 capable of performing real time or near real time 3D construction in a manner consistent with disclosed embodiments. As used herein, mobile device or mobile station (MS) 100, may take the form of a cellular phone, mobile phone, or other wireless communication device, a personal communication system (PCS) device, personal navigation device (PND), Personal Information Manager (PIM), or a Personal Digital Assistant (PDA), a laptop, tablet, notebook and/or handheld computer. The terms mobile device or mobile station are used interchangeably herein. In some embodiments, MS 100 may be capable of receiving wireless communication and/or navigation signals. The terms "mobile device" and "mobile station" are used interchangeably herein. 」
(日本語訳)
「【0020】
図1は、開示される実施形態と合致するように、リアルタイムまたはほぼリアルタイムの3D構成を実行することが可能な例示的な移動局(MS)100のブロック図を示している。本明細書で使用する場合、モバイルデバイスまたは移動局(MS)100は、セルラー電話、モバイル電話または他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、または携帯情報端末(PDA)、ラップトップ、タブレット、ノートブックおよび/または手持ち式のコンピュータの形をとり得る。モバイルデバイスまたは移動局という用語は、本明細書では互換的に使用される。いくつかの実施形態では、MS100は、ワイヤレス通信および/またはナビゲーション信号を受信することが可能であり得る。「モバイルデバイス」および「移動局」という用語は、本明細書では互換的に使用される。」

イ 「[0027] As shown in Fig. 1, MS 100 may include cameras 110, Inertial Measurement Unit (IMU) 130, processors 150, memory 160 and/or transceiver 170, display/screen 180 which may be operatively coupled to each other and to other functional units (not shown) on MS 110 through connections 120. Connections 120 may comprise buses, lines, fibers, links, etc., or some combination thereof. 」
(日本語訳)
「【0023】
図1に示すように、MS100は、カメラ110、慣性測定ユニット(IMU)130、プロセッサ150、メモリ160および/または送受信機170、ディスプレイ/スクリーン180を含むことができ、これらは互いに、またMS100での他の機能ユニット(図示せず)に接続120を通して動作可能に結合され得る。接続120は、バス、ライン、ファイバー、リンクなど、またはそれらの何らかの組合せを含むことができる。」

ウ 「[0033] As another example, in some embodiments, camera 110 may take the form of a 3D Time Of Flight (3DTOF) camera. In embodiments with 3DTOF cameras 110, the depth sensor may take the form of a strobe light coupled to the 3DTOF camera 110, which may illuminate objects in a scene and reflected light may be captured by a CCD/CMOS sensor in camera 110. Depth information may be obtained by measuring the time that the light pulses take to travel to the objects and back to the sensor. 」
(日本語訳)
「【0029】
別の例として、いくつかの実施形態では、カメラ110は、3Dタイムオブフライト(3DTOF)カメラの形をとり得る。3DTOFカメラ110による実施形態では、深度センサーは、3DTOFカメラ110に結合されたストロボの形をとってよく、ストロボは、シーンにおけるオブジェクトを照らすことができ、カメラ110におけるCCD/CMOSセンサーによって反射光がキャプチャされ得る。光パルスがオブジェクトに伝播し、センサーに戻るまでに要する時間を測定することによって、深度情報が取得され得る。」

エ 「[0048] Figs. 2A -2C show flowcharts for an exemplary method for power efficient 3D reconstruction consistent with disclosed embodiments. In some embodiments, method 200 may be performed by processing units 150 on MS 100 in conjunction with one or more other functional units. In some embodiments, portions of method 200 may be performed by CV module 155.
[0049] In some embodiments, method 200 may consist of two modules Tracking Module 210 and Reconstruction Module 250. Any real-time tracking system consistent with disclosed embodiments, such as Monocular SLAM (MonoSLAM), Parallel Tracking and Mapping (PTAM), etc., may be selected for use with Tracking Module 210. In some embodiments, Tracking Module 210 and Reconstruction Module 250 may run concurrently. Tracking Module 210 may periodically or continuously track or update camera pose and/or other related non-depth sensor data and provide updated camera pose, sensor information and color images without depth information periodically or upon request to Reconstruction Module 250. In some embodiments, Tracking Module 210 may use a single or monocular camera to capture images without depth information and obtain pose information. 」
(日本語訳)
「【0044】
図2A?図2Cは、開示される実施形態と合致する、電力効率の良い3D再構成のための例示的な方法に関するフローチャートを示している。いくつかの実施形態では、方法200は、MS100のプロセッサ150によって、1つまたは複数の他の機能ユニットと連携して実行され得る。いくつかの実施形態では、方法200の一部は、CVモジュール155によって実行され得る。
【0045】
いくつかの実施形態では、方法200は、追跡モジュール210および再構成モジュール250という2つのモジュールからなり得る。単眼SLAM(MonoSLAM:Monocular SLAM)、並列追跡およびマッピング(PTAM:Parallel Tracking and Mapping)などのような、開示される実施形態と合致する任意のリアルタイム追跡システムが、追跡モジュール210とともに使用するために選択され得る。いくつかの実施形態では、追跡モジュール210および再構成モジュール250は同時に動作し得る。追跡モジュール210は、カメラ姿勢および/または他の関係する非深度センサーデータを周期的または継続的に追跡または更新し、更新済みのカメラ姿勢、センサー情報および色画像を、深度情報なしで周期的に、または要求に応じて再構成モジュール250に提供することができる。いくつかの実施形態では、追跡モジュール210は、単一または単眼のカメラを使用して、深度情報なしで画像をキャプチャし、姿勢情報を取得することができる。」

オ 「 [0051] The term "extend" (and variants thereof) as used in the context of surface reconstruction refers to addition of newly acquired data from a partial model of the environment to an existing 3D model of the environment. The term "update" (and variants thereof) as used in the context of volumetric reconstruction refers to the combination of newly acquired depth data with an existing 3D model of the environment, which may be represented by a volumetric dataset. 」
(日本語訳)
「【0047】
表面再構成(surface reconstruction)のコンテキストで使用する「拡大」という用語(およびその変形)は、環境の部分的モデルから新たに収集されたデータを環境の既存の3Dモデルに追加することを指す。容量測定再構成(volumetric reconstruction)のコンテキストで使用する「更新」という用語(およびその変形)は、容量測定データセットによって表され得る、環境の既存の3Dモデルと新たに収集された深度データを組み合わせることを指す。」

カ 「[0052] In some embodiments, Reconstruction Module 250 may use any reconstruction technique that does not depend on the input of a depth+color image input for every frame. In some embodiments, Reconstruction Module 250 may be configured to use a fixed lower rate for input of color+depth data. In some embodiments, the fixed lower rate for color+depth data may be configurable based on system parameters. For example, in one embodiment, Reconstruction Module 250 may be configured to receive one color+depth image input after four color-only (i.e. without depth data) frames. In another embodiment, Reconstruction Module 250 may be configured so that the additional depth image (or depth data) can be triggered upon request or provided on demand. In general, depending on system parameters, depth information may be provided at some specified rate or on demand. Accordingly, power savings may result, in part, from the lower frequency of depth sensor use. For example, relative to a system operating at a 30 frame per second frame rate where depth data is provided with every frame, if depth information is provided to Reconstruction Module 250 once every five frames, then, depth sensor use in system 200 may be reduced by a factor of 5. In some embodiments, Reconstruction Module 250 may be configured to use a technique based on surface reconstruction and/or a technique based on volumetric reconstruction. 」
(日本語訳)
「【0048】
いくつかの実施形態では、再構成モジュール250は、フレームごとの深度+色画像入力の入力に依存しない任意の再構成技法を使用することができる。いくつかの実施形態では、再構成モジュール250は、色+深度データの入力に関するより低い固定レートを使用するように構成され得る。いくつかの実施形態では、色+深度データに関するより低い固定レートは、システムパラメータに基づいて設定可能であり得る。たとえば、一実施形態では、再構成モジュール250は、4つの色のみの(すなわち、深度データのない)フレームの後で、1つの色+深度画像入力を受信するように構成され得る。別の実施形態では、再構成モジュール250は、追加の深度画像(または深度データ)が要求に応じてトリガされるか、またはオンデマンドで提供され得るように構成され得る。一般に、システムパラメータに応じて、ある指定レートで、またはオンデマンドで深度情報が提供され得る。したがって、より低い深度センサー使用頻度から部分的に電力節約が生じ得る。たとえば、深度データがフレームごとに提供される30フレーム/秒のフレームレートで動作するシステムに対して、深度情報が再構成モジュール250に5フレームごとに提供される場合、システム200における深度センサーの使用は5分の1に低減され得る。いくつかの実施形態では、再構成モジュール250は、表面再構成に基づく技法および/または容量測定再構成に基づく技法を使用するように構成され得る。」

キ 「[0058] In some embodiments using volumetric reconstruction, depth data may be acquired/measured at some specified rate (e.g. once every five frames). Otherwise, the depth sensors may be disabled. For example, the depth sensors may be turned off or placed in standby mode. 」
(日本語訳)
「【0054】
容量測定再構成を使用するいくつかの実施形態では、ある指定レートで(たとえば、5フレームごとに)深度データが収集/測定され得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。」

ク 「[0064] Fig. 2A shows steps in a running 3D reconstruction process 200. In some embodiments, in routine 225, the camera pose may be updated. For example, a monocular SLAM algorithm running on MS 100 may be used to update the pose of camera 110. By using monocular SLAM, MS 100 may construct a representation of its environment while concurrently estimating the camera's pose or motion relative to the environment. 」
(日本語訳)
「【0061】
図2Aは、実行中の3D再構成プロセス200におけるステップを示している。いくつかの実施形態では、ルーチン225において、カメラ姿勢が更新され得る。たとえば、MS100上で動作している単眼SLAMアルゴリズムが、カメラ110の姿勢を更新するために使用され得る。単眼SLAMを使用することによって、MS100はその環境の表現を構成する一方、環境に対するカメラの姿勢または動きを同時に推定することができる。」

ケ 「[0065] In routine 225, a single camera may be used to obtain/update pose information, while depth sensors such as strobes, stereo vision sensors, and/or structured light sources may be turned off, disabled, or placed in a standby mode, so that they do not consume power or consume minimal power. 」
(日本語訳)
「【0062】
ルーチン225では、姿勢情報を取得/更新するために単一のカメラが使用され得る一方、ストロボ、ステレオビジョンセンサー、および/または構造化光源などの深度センサーがオフにされ、無効にされ、または待機モードにされて、深度センサーが電力を消費しないか、または最小限の電力を消費するようになり得る。」

コ 「[0066] In step 230, new sensor data including color image data without depth information and associated pose information may be acquired and Tracking Module 210 may return to step 225 to begin another iteration and update the camera pose. In general, Tracking Module may use any tracking method to determine pose. For example, input from IMU 130 may be used to determine pose.
[0067] An exemplary method for implementing camera pose update routine 225 is described below, although, in practice, any appropriate tracking and pose update method may be used. For inter- frame tracking, the optical flow between an immediately preceding image I and a current image J acquired in step 230 may be computed, for example, by using a Lucas-Kanade algorithm or variants thereof. The Lucas Kanade method is a two-frame differential method for optical flow estimation that may use image gradients and an iterative approach to determine motion parameters. 」
(日本語訳)
「【0063】
ステップ230において、深度情報のない色画像データおよび関連する姿勢情報を含む新しいセンサーデータが収集されることがあり、追跡モジュール210がステップ225に戻って、別の反復を開始し、カメラ姿勢を更新することがある。一般に、追跡モジュールは姿勢を判断するために、任意の追跡方法を使用することができる。たとえば、IMU130からの入力が、姿勢を判断するために使用され得る。
【0064】
カメラ姿勢更新ルーチン225を実施するための例示的な方法について後述するが、実際には、任意の適切な追跡および姿勢更新方法が使用され得る。フレーム間追跡の場合、ステップ230において収集された直前のフレームIと現在のフレームJとの間のオプティカルフローが、たとえば、Lucas-Kanadeアルゴリズムまたはその変形を使用して計算され得る。Lucas-Kanade法は、動きパラメータを判断するために画像勾配および反復手法を使用し得るオプティカルフロー推定のための2フレーム差分法である。」

サ 「[0068] If I and J are consecutive images of size n_(x) X n_(y) , where 0≦x≦n_(x) -1 and 0≦y≦n_(y) -1, and I (x, y) and J (x, y) are the pixel values (e.g. grayscale values) of pixels at point (x, y), then feature tracking may be used to compute the location of a point v in J, which corresponds to point u=[u_(x), u_(y)]^(T) in I, where v=u+d=[u_(x)+d_(x), u_(y)+d_(y)]^(T). The displacement vector d=[d_(x), d_(y)]^(T) is termed the optical flow at u and the superscript "T" is used to refer to the transpose of a matrix or vector. A goal of Lucas-Kanade is to find the displacement vector d that minimizes the error function ε(d) , where,

where, w is an integer and represents a window of size w x w pixels. 」
(日本語訳)
「【0065】
IおよびJがサイズn_(x)×n_(y)(0≦x≦n_(x)-1および0≦y≦n_(y)-1)の連続画像であり、I (x,y)およびJ (x, y)がポイント(x, y)におけるピクセルのピクセル値(たとえば、グレースケール値)である場合、Jにおけるポイントvのロケーションを計算するために特徴追跡が使用されてよく、このポイントvは、Iにおけるポイントu=[u_(x), u_(y)]^(T) (ここで、v=u+d=[u_(x)+d_(x), u_(y)+d_(y)]^(T))に対応する。変位ベクトルd=[d_(x), d_(y)]^(T)は、uにおけるオプティカルフローと呼ばれ、上付き文字「T」は、行列またはベクトルの転置を指すために使用される。Lucas-Kanadeの目標は、下記のような誤差関数ε(d)を最小限に抑える変位ベクトルdを発見することである。
【0066】
【数2】(省略)
【0067】
ここで、wは整数であり、サイズw×wピクセルのウィンドウを表す。」

シ 「[0073] In some embodiments, based on the location of matching features an updated camera pose may be computed in routine 225. In some embodiments, the pose and acquired sensor data including the color images may be transferred periodically to Reconstruction Module 250, which waits for tracking data updates provided by Tracking Module 210 in step 255. In some embodiments, Tracking Module 210 may run continuously at a frame rate of around 30 frames to capture sensor data including monocular images and update pose information, which may be provided to Reconstruction Module 250.」
(日本語訳)
「【0072】
いくつかの実施形態では、合致する特徴のロケーションに基づいて、更新済みカメラ姿勢がルーチン225で計算され得る。いくつかの実施形態では、姿勢および収集されたセンサーデータ(色画像を含む)が、周期的に再構成モジュール250に転送されてよく、再構成モジュール250はステップ255において、追跡モジュール210によって提供される追跡データ更新を待つ。いくつかの実施形態では、追跡モジュール210が約30フレームのフレームレートで継続的に動作して、単眼画像を含むセンサーデータをキャプチャし、姿勢情報を更新することができ、これらは再構成モジュール250に提供され得る。」

ス 「[0074] In some embodiments, in step 260, Reconstruction Module 250 may determine if the existing reconstruction model is to be extended or updated based on the updated captured image and associated pose information received in step 255. In some embodiments, Reconstruction Module 250 may use any reconstruction technique that does not depend on the input of a depth+color image input for every frame. For example, surface and/or volumetric techniques may be used by Reconstruction Module 250. 」
(日本語訳)
「【0073】
いくつかの実施形態では、ステップ260において、再構成モジュール250は、ステップ255において受信された更新済みのキャプチャされた画像および関連する姿勢情報に基づいて、既存の再構成モデルが拡大または更新されるべきかどうかを判断することができる。いくつかの実施形態では、再構成モジュール250は、フレームごとの深度+色画像入力の入力に依存しない任意の再構成技法を使用することができる。たとえば、表面および/または容量測定技法が再構成モジュール250によって使用され得る。」

セ 「[0096] Fig. 2C shows a flowchart for routine or method 275 to extend reconstruction using a volumetric reconstruction technique. In some embodiments, routine 275 may be invoked by or form part of Reconstruction Module 250. In some embodiments, routine 275 may accept, as input, the updated camera pose 304 and color+depth image 302 comprising color and depth information captured in step 265. In some embodiments, updated camera pose 304 may be the most recent pose computed by routine 225. 」
(日本語訳)
「【0095】
図2Cは、容量測定再構成技法を使用して再構成を拡大するためのルーチンまたは方法275に関するフローチャートである。いくつかの実施形態では、ルーチン275は、再構成モジュール250によって呼び出されること、または再構成モジュール250の一部を形成することがある。いくつかの実施形態では、ルーチン275は入力として、更新済みカメラ姿勢304と、ステップ265においてキャプチャされた色情報および深度情報を含む色+深度画像302とを受け入れることができる。いくつかの実施形態では、更新済みカメラ姿勢304は、ルーチン225によって計算された直近の姿勢であり得る。」

ソ 「[0098] In step 350, a volumetric data set may be generated and/or updated based on the depth image and the camera pose. In some embodiments, in step 350, the depth data from the camera frame is fused into a computationally efficient volumetric data structure. In one embodiment, the volumetric reconstruction may use an implicit representation of the surface using a 3D distance function. 」
(日本語訳)
「【0097】
ステップ350において、深度画像およびカメラ姿勢に基づいて容量測定データセットが生成および/または更新され得る。いくつかの実施形態では、ステップ350において、カメラフレームからの深度データは、計算効率の良い容量測定データ構造に融合される。一実施形態では、容量測定再構成は、3D距離関数を使用する表面の暗示的表現を使用することができる。」

タ 「【図1】



チ 「【図2A】



ツ 「【図2C】



上記ア?ソの記載事項及び上記タ?ツの図示内容を総合すれば、引用文献1には、以下の発明(以下、「引用発明」という。)が記載されていると認められる。

[引用発明]
「3Dタイムオブフライト(3DTOF)カメラの形をとるカメラ110、慣性測定ユニット(IMU)130、プロセッサ150、メモリ160および/または送受信機170、ディスプレイ/スクリーン180を含むモバイルデバイスまたは移動局(MS)100における、3D再構成のための方法200であって、
(上記ア、イ、ウ、エ、ク)

前記3DTOFカメラ110に結合されたストロボの形をとる深度センサーは、シーンにおけるオブジェクトを照らすことができ、前記カメラ110におけるCCD/CMOSセンサーによって反射光がキャプチャされ、光パルスがオブジェクトに伝播し、センサーに戻るまでに要する時間を測定することによって、深度情報が取得されるものであり、(上記ウ)

前記方法200は、追跡モジュール210および再構成モジュール250という2つのモジュールからなり、(上記エ)

前記追跡モジュール210は、約30フレームのフレームレートで継続的に動作して、単眼画像を含むセンサーデータをキャプチャし、カメラ姿勢および/または他の関係する非深度センサーデータを周期的または継続的に追跡または更新し、更新済みのカメラ姿勢、センサー情報および色画像を、深度情報なしで周期的に、または要求に応じて再構成モジュール250に提供することができ、(上記エ、シ)

前記追跡モジュール210は、連続画像である直前のフレームIと現在のフレームJとの間のオプティカルフローを2フレーム差分法により動きパラメータとして計算するにあたって、フレームIにおけるポイントuと、フレームJにおける対応するポイントvとの間で定義される変位ベクトルdを求めて、カメラの姿勢情報を更新することができ、(上記コ、サ)

前記再構成モジュール250は、容量測定再構成に基づく技法が使用され、更新済みのキャプチャされた画像および関連する姿勢情報に基づいて、既存の再構成モデルが更新されるべきかどうかを判断することができ、
(上記カ、ス)

前記容量測定再構成技法では、ある指定レートで(たとえば、5フレームごとに)深度データが収集/測定され、それ以外の場合、深度センサー(ストロボ)はオフにされるか、または待機モードにされて、深度センサーの使用は5分の1に低減され、(上記カ、キ)

容量測定再構成技法における更新は、容量測定データセットによって表され得る、環境の既存の3Dモデルと新たに収集された深度データを組み合わせることであり、(上記オ)

容量測定再構成技法を使用して再構成を更新するために、入力として、更新済みカメラ姿勢304と、キャプチャされた色情報および深度情報を含む色+深度画像302とを受け入れ、深度画像およびカメラ姿勢に基づいて容量測定データセットが更新される、(上記セ、ソ、チ)

3D再構成のための方法200。(上記エ、ク)」


2 引用文献2
上記引用文献2には、図面とともに次の事項が記載されている(下線は当審で付した。)。

「【0001】
本開示は、画像処理装置および画像処理方法に関し、特に、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
複数の視点の画像を用いて生成される画像の被写体の奥行き方向の位置を表す奥行き画像を用いた画像認識により、人間の腕や手、指などの動きを高精度に検出し、その動きを様々なアプリケーションのユーザーインターフェースとして利用する技術が提案されている。」

「【0017】
<第1実施の形態>
(本開示を適用した画像処理装置の第1実施の形態の構成例)
図1は、本開示を適用した画像処理装置の第1実施の形態の構成例を示すブロック図である。
【0018】
図1の画像処理装置10は、基準画像取得部11、周辺画像取得部12、検出部13、フレームメモリ14、予測生成部15、および奥行き生成部16により構成される。画像処理装置10は、複数の視点の画像を用いて、それらの視点のうちの基準となる1つの視点である基準視点のサブ画素単位の奥行き画像を生成する。」

「【0036】
(画像処理装置の処理の説明)
図3は、図1の画像処理装置10の奥行き画像生成処理を説明するフローチャートである。
【0037】
図3のステップS11において、画像処理装置10の基準画像取得部11は、現在のフレームの基準視点の画像を取得し、周辺画像取得部12は、現在のフレームの周辺視点の画像を取得する。基準画像取得部11は、現在のフレームの基準視点の画像を検出部13に供給して保持させるとともに、奥行き生成部16に供給する。周辺画像取得部12は、現在のフレームの周辺視点の画像を奥行き生成部16に供給する。
【0038】
ステップS12において、検出部13は、保持している前フレームの基準視点の画像と、基準画像取得部11からの現在のフレームの基準視点の画像とを比較し、現在のフレームの基準視点の画像の各画素の動きベクトルを検出する。検出部13は、動きベクトルを予測生成部15に供給する。
【0039】
ステップS13において、フレームメモリ14は、保持している前フレームの基準視点のサブ画素単位の奥行き画像を読み出し、予測生成部15に供給する。
【0040】
ステップS14において、予測生成部15は、検出部13から供給される動きベクトルと、フレームメモリ14から供給される前フレームの奥行き画像とに基づいて、図2で説明したように、現在のフレームの基準視点の予測奥行き画像を生成する。予測生成部15は、予測奥行き画像と動きベクトルを奥行き生成部16に供給する。
【0041】
ステップS15において、奥行き生成部16は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行う。この生成処理の詳細は、後述する図4を参照して説明する。
【0042】
ステップS16において、奥行き生成部16は、生成処理により生成された現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ14に供給して保持させる。そして、処理は終了する。」

「【図1】



「【図3】



上記記載事項及び図示内容を総合すれば、引用文献2には、以下の技術事項(以下、「引用文献2記載事項」という。)が記載されていると認められる。

[引用文献2記載事項]
「被写体の奥行き方向の位置を表すサブ画素単位の奥行き画像を生成する画像処理装置10において、(【0002】、【0018】)

基準画像取得部11は、現在のフレームの基準視点の画像を取得し、現在のフレームの基準視点の画像を検出部13に供給して保持させるとともに、奥行き生成部16に供給し、(【0037】)

前記検出部13は、保持している前フレームの基準視点の画像と、前記基準画像取得部11からの現在のフレームの基準視点の画像とを比較して、現在のフレームの基準視点の画像の各画素の動きベクトルを検出し、
(【0038】)

予測生成部15は、前記検出部13から供給される動きベクトルと、フレームメモリ14から供給される前フレームの奥行き画像とに基づいて、現在のフレームの基準視点の予測奥行き画像を生成し、(【0040】)

前記奥行き生成部16は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行うこと。(【0041】)」


第5 対比・判断
1 対比
本願発明と引用発明とを対比する。
なお、対比の見出しは、本願発明の構成A?Dに対応して(a)?(d)とした。

(a)引用発明の「モバイルデバイスまたは移動局(MS)100」は、「3Dタイムオブフライト(3DTOF)カメラの形をとるカメラ110」及び「ディスプレイ/スクリーン180」を含むものであるから、本願発明の「イメージングデバイス」に相当する。
また、引用発明の「モバイルデバイスまたは移動局(MS)100における、3D再構成」は、本願発明の「イメージングデバイスを操作する」ことに相当する。
したがって、引用発明の「3Dタイムオブフライト(3DTOF)カメラの形をとるカメラ110、慣性測定ユニット(IMU)130、プロセッサ150、メモリ160および/または送受信機170、ディスプレイ/スクリーン180を含むモバイルデバイスまたは移動局(MS)100における、3D再構成のための方法200」は、本願発明の構成Aである「イメージングデバイスを操作する方法」に相当する。

(b)引用発明の「深度センサー」は、「前記3DTOFカメラ110に結合されたストロボの形をとる」から、「モバイルデバイスまたは移動局(MS)100」に含まれていることが明らかである。
そして、引用発明の「オブジェクト」は、本願発明の「場面内の1つまたは複数の物体」に相当するから、引用発明の「深度センサー」により「測定」される「光パルスがオブジェクトに伝播し、センサーに戻るまでに要する時間」は、本願発明の「前記場面内の1つまたは複数の物体と前記イメージングデバイスとの間の距離」に対応する。
そうすると、引用発明の「光パルスがオブジェクトに伝播し、センサーに戻るまでに要する時間を測定することによって」「取得される」「深度情報」は、本願発明の「前記場面内の1つまたは複数の物体と前記イメージングデバイスとの間の距離を表す深度マップ」に相当する。
引用発明は、「約30フレームのフレームレートで継続的に動作して、単眼画像を含むセンサーデータをキャプチャし」ており、この「センサーデータ」は「非深度センサーデータ」として複数のフレームで継続的にキャプチャされている。
また、引用発明は、「ある指定レートで(たとえば、5フレームごとに)深度データが収集/測定され」るものであるから、この「5フレームごとに」現れる「深度データが収集/測定」される「フレーム」(以下、「深度フレーム」という。)は、本願発明の「第1のフレーム」に相当する。
さらに、この深度フレームでは、深度センサー(ストロボ)がオンにされているから、深度フレーム中に使用される電力は、本願発明の「第1のフレーム中」に「使用」される「第1の電力設定」に相当する。
そして、この深度フレームでは、「非深度センサーデータ」と「深度データ」が「キャプチャ」されているから、この深度フレーム中に「キャプチャ」される「非深度センサーデータ」と「深度データ」の組は、本願発明の「第1のフレーム中に」「場面から」「キャプチャ」される「第1の組の測定値」に相当する。
ここで、引用発明の「深度データ」は「深度情報」と同じものであり、本願発明の「深度マップ」に相当するから、引用発明の「非深度センサーデータ」と「深度データ」の組に、「深度データ」が含まれていることは、本願発明の「前記第1の組の測定値」が「深度マップを含む」ことに相当する。
したがって、引用発明は、本願発明の構成Bに相当する構成を含む。

(c)引用発明の深度フレームではない「フレーム」(以下、「非深度フレーム」という。)においては、「深度データ」は収集/測定されず、「非深度センサーデータ」が「キャプチャ」されるから、この非深度フレームは、本願発明の「第2のフレーム」に相当する。
また、この非深度フレームでは、深度センサー(ストロボ)が「オフにされるか、または待機モードにされ」るから、非深度フレーム中に使用される電力は、本願発明の「第1の電力設定よりも低い」「第2のフレーム中」に「使用」される「第2の電力設定」に相当する。
そして、非深度フレームでは、「深度情報なし」で「非深度センサーデータ」が「キャプチャ」されるから、この非深度フレーム中に「キャプチャ」される「非深度センサーデータ」は、本願発明の「第2のフレーム中に」「場面から」「キャプチャ」される「第2の組の測定値」に相当する。
したがって、引用発明は、本願発明の構成Cに相当する構成を含む。

(d)引用発明は、「連続画像である直前のフレームIと現在のフレームJとの間のオプティカルフローを2フレーム差分法により動きパラメータとして計算する」ものであるところ、この「直前のフレームI」が上記(b)で述べた深度フレームであり、「現在のフレームJ」が上記(c)で述べた非深度フレームである場合には、「2フレーム差分法により」「計算」される「オプティカルフロー」は、深度フレームにおける「非深度センサーデータ」と非深度フレームにおける「非深度センサーデータ」との比較により、「動きパラメータとして計算」されると認められる。
そうすると、本願発明と引用発明とは、「前記第1の組の測定値と前記第2の組の測定値との比較をする」という点で共通している。

上記(a)?(d)において検討した内容を総合すると、本願発明と引用発明とは、以下の一致点で一致し、以下の相違点で相違する。

[一致点]
「A イメージングデバイスを操作する方法であって、
B 複数のフレームのうちの第1のフレーム中に、第1の電力設定を使用して、場面から第1の組の測定値をキャプチャすることであって、前記第1の組の測定値が、前記場面内の1つまたは複数の物体と前記イメージングデバイスとの間の距離を表す深度マップを含む、ことと、
C 第2のフレーム中に、第2の電力設定を使用して、前記場面から第2の組の測定値をキャプチャすることであって、前記第2の電力設定が、前記第1の電力設定よりも低い、ことと、
D’ 前記第1の組の測定値と前記第2の組の測定値との比較することと、
A を含む、方法。」

[相違点]
本願発明は、「前記第1の組の測定値と前記第2の組の測定値との比較に少なくとも一部基づき、前記第1のフレーム中にキャプチャされた前記深度マップを更新する」(構成D)のに対して、引用発明は、そのような構成を有していない点。


2 判断
上記相違点について検討する。
上記引用文献2記載事項の「被写体の奥行き方向の位置を表すサブ画素単位の奥行き画像」は、本願発明の「深度マップ」に相当し、上記引用文献2記載事項において、「前フレームの基準視点の画像」と「現在のフレームの基準視点の画像」とを「比較」することは、本願発明の「前記第1の組の測定値と前記第2の組の測定値との比較」に相当する。
また、上記引用文献2記載事項においては、この画像「比較」から「検出」される「各画素の動きベクトル」と、「前フレームの奥行き画像」とに基づいて、「予測奥行き画像を生成し」、「現在のフレーム」の「奥行き画像」としているから、前フレームと現在フレームとの画像比較に少なくとも一部基づいて、「奥行き画像」の更新を行っているといえる。
そして、引用発明の「オプティカルフロー」は、「2フレーム差分法により動きパラメータとして計算」され、2つのフレームI及びJの対応するポイントu及びvの間で定義される変位ベクトルdを求めており、この「動きパラメータ」としての「変位ベクトル」は、上記引用文献2記載事項の「動きベクトル」に対応するものであるから、引用発明の「オプティカルフロー」の計算の際、上記引用文献2記載事項を適用して、深度フレーム中にキャプチャされた深度データを更新するようにして、上記相違点に係る本願発明の構成Dとすることは、当業者が容易に想到し得たことである。
また、本願発明の奏する効果についても、引用発明及び上記引用文献2記載事項に基づいて当業者ならば容易に予測し得たものにすぎない。
したがって、本願発明は、引用発明及び上記引用文献2記載事項に基づいて当業者が容易に発明をすることができたものである。


3 請求人の主張について
請求人は、審判請求書において、
「しかしながら、引用文献1は、本願発明の「第2のフレーム中に、第2の電力設定を使用して、前記場面から第2の組の測定値をキャプチャすることであって、前記第2の電力設定が、前記第1の電力設定よりも低い、こと」という特徴を開示・示唆しないものと思料いたします。
具体的には、引用文献1の段落0052には、「・・・たとえば、深度データがフレームごとに提供される30フレーム/秒のフレームレートで動作するシステムに対して、深度情報が再構成モジュール250に5フレームごとに提供される場合、システム200における深度センサーの使用は5分の1に低減され得る」こと(頻度を減らすこと)が記載されていますが、本願発明のように、より低い電力設定でキャプチャを行うこと、換言すれば、より低品質の画像をキャプチャすること(本願明細書の段落0089-0100、図11-12B等に対応)までは開示・示唆されておりません。」
と主張をしている(下線は当審が付した)。
しかしながら、上記「第5 対比・判断」の「1 対比」の(c)において述べたように、引用発明の深度フレームではないフレーム(非深度フレーム)においては、深度センサー(ストロボ)がオフにされるか、または待機モードにされており、深度情報なしで非深度センサーデータがキャプチャされるのであるから、本願発明と同様に、より低い電力設定で画像のキャプチャが行われている。また、「より低品質の画像をキャプチャすること」は、請求項1に記載されておらず、請求項の記載に基づかない主張である。
したがって、請求人の上記主張は採用できない。


第6 むすび
以上のとおりであるから、本願発明は、特許法第29条第2項の規定により、特許を受けることができない。
したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。
 
別掲
 
審理終結日 2019-11-12 
結審通知日 2019-11-18 
審決日 2019-11-29 
出願番号 特願2017-49970(P2017-49970)
審決分類 P 1 8・ 121- Z (G01S)
最終処分 不成立  
前審関与審査官 渋谷 知子▲高▼場 正光中村 説志  
特許庁審判長 中塚 直樹
特許庁審判官 小林 紀史
濱野 隆
発明の名称 飛行時間型深度イメージングの際の消費電力の低減  
代理人 阿部 達彦  
代理人 村山 靖彦  
代理人 実広 信哉  
  • この表をプリントする

プライバシーポリシー   セキュリティーポリシー   運営会社概要   サービスに関しての問い合わせ