拒絶査定不服の審決｜不服2020-7815 - 特許審決データベース

会員機能

ランキング

請求人別審判件数

判例データベース

審決データベース

ポートフォリオ機能

ポートフォリオを新規に作成して保存		追加
既存のポートフォリオに追加保存		追加

この審決の個人情報、企業機密に関する修正依頼をする

PDF	PDFをダウンロード

審決分類	審判査定不服 2項進歩性取り消して特許、登録 G16H
管理番号	1372452
審判番号	不服2020-7815
総通号数	257
発行国	日本国特許庁(JP)
公報種別	特許審決公報
発行日	2021-05-28
種別	拒絶査定不服の審決
審判請求日	2020-06-08
確定日	2021-04-13
事件の表示	特願2020- 8254号「支援システム及び支援プログラム」拒絶査定不服審判事件〔請求項の数(2)〕について,次のとおり審決する。
結論	原査定を取り消す。本願の発明は,特許すべきものとする。
理由	第1.手続の経緯本願は,令和1年9月27日を出願日とする特願2019-177207号の一部を令和2年1月22日に新たな特許出願としたものであって,同日付けで上申書が提出され,同年1月30日付けで拒絶理由が通知され,同年3月3日付けで意見書が提出されるとともに手続補正がされたが,同年3月18日付けで拒絶査定(以下「原査定」という。)がされ,これに対し,同年6月8日に拒絶査定不服審判の請求がされると同時に手続補正がされ,同年6月18日付け手続補正指令がされ,同年7月10日に手続補正(方式)がされたものである。第2.原査定の概要原査定の概要は次のとおりである。本願の請求項1,2に係る発明は,以下の引用文献1-3に基いて,その発明の属する技術の分野における通常の知識を有する者(以下「当業者」という。)が容易に発明できたものであるから,特許法第29条第2項の規定により特許を受けることができない。記・請求項 1,2 ・引用文献等 1-3 ＜＜引用文献等一覧＞＞ 1.特開2013-114315号公報 2.特開2017-111731号公報(新たに引用される文献:周知技術を示す文献) 3.特開2018-96834号公報(新たに引用される文献:周知技術を示す文献) 第3.本願発明本願請求項1,2に係る発明(以下「本願発明1」,「本願発明2」という。)は,令和2年6月8日付けの手続補正で補正された特許請求の範囲の請求項1,2に記載された事項により特定される,以下のとおりの発明である。「【請求項1】少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システムであって, 前記端末装置は,前記対象者に関する撮像対象を撮像した撮像画像を受け付け, 前記支援システムは, 前記端末装置が受け付けた前記撮像画像に基づいて,前記患者の看護又は介護に関する情報を特定し,特定した前記患者の看護又は介護に関する情報を,格納装置に格納する処理手段,を備え, 前記端末装置は,第1の日時に前記撮像対象を撮像した第1の撮像画像と,前記第1の日時よりも後の日時である第2の日時に前記撮像対象を撮像した第2の撮像画像を受け付け, 前記処理手段は, 前記端末装置が受け付けた前記第1の撮像画像に基づいて,前記患者の看護又は介護に関する第1の数値情報を特定する第1処理と, 前記端末装置が受け付けた前記第2の撮像画像に基づいて,前記患者の看護又は介護に関する第2の数値情報を特定する第2処理と, 前記第1処理の処理結果及び前記第2処理の処理結果に基づいて,前記第1の数値情報と前記第2の数値情報との差分値を演算し,演算された当該差分値を示す情報を,前記格納装置に格納する第3処理と,を行い, 前記撮像対象は,液体を収容する収容パックを含み, 前記処理手段は, 前記第1処理において, 教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて,前記端末装置が受け付けた前記第1の撮像画像の画像認識を行うことにより,前記第1の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第1の数値情報とを特定し, 前記第2処理において, 前記画像認識用モデルを用いて,前記端末装置が受け付けた前記第2の撮像画像の画像認識を行うことにより,前記第2の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第2の数値情報とを特定し, 前記第3処理において, 前記第1処理で特定した前記収容パックの種類と前記第2処理で特定した前記収容パックの種類が相互に同じ種類である場合に, 前記第2処理にて特定した前記第2の数値情報と, 前記第1処理にて特定した前記第1の数値情報であって,前記第2処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第1の数値情報との差分値を演算する, 支援システム。【請求項2】少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置であって,対象者に関する撮像対象を撮像した撮像画像を受け付ける前記端末装置を備える支援システムを, 前記端末装置が受け付けた前記撮像画像に基づいて,前記患者の看護又は介護に関する情報を特定し,特定した前記患者の看護又は介護に関する情報を,格納装置に格納する処理手段,として機能させ, 前記端末装置は,第1の日時に前記撮像対象を撮像した第1の撮像画像と,前記第1の日時よりも後の日時である第2の日時に前記撮像対象を撮像した第2の撮像画像を受け付け, 前記処理手段は, 前記端末装置が受け付けた前記第1の撮像画像に基づいて,前記患者の看護又は介護に関する第1の数値情報を特定する第1処理と, 前記端末装置が受け付けた前記第2の撮像画像に基づいて,前記患者の看護又は介護に関する第2の数値情報を特定する第2処理と, 前記第1処理の処理結果及び前記第2処理の処理結果に基づいて,前記第1の数値情報と前記第2の数値情報との差分値を演算し,演算された当該差分値を示す情報を,前記格納装置に格納する第3処理と,を行い, 前記撮像対象は,液体を収容する収容パックを含み, 前記処理手段は, 前記第1処理において, 教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて,前記端末装置が受け付けた前記第1の撮像画像の画像認識を行うことにより,前記第1の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第1の数値情報とを特定し, 前記第2処理において, 前記画像認識用モデルを用いて,前記端末装置が受け付けた前記第2の撮像画像の画像認識を行うことにより,前記第2の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第2の数値情報とを特定し, 前記第3処理において, 前記第1処理で特定した前記収容パックの種類と前記第2処理で特定した前記収容パックの種類が相互に同じ種類である場合に, 前記第2処理にて特定した前記第2の数値情報と, 前記第1処理にて特定した前記第1の数値情報であって,前記第2処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第1の数値情報との差分値を演算する, 支援プログラム。」第4.引用文献,引用発明等 1.引用文献1 原査定の拒絶の理由に引用された引用文献1には,図面とともに次の事項が記載されている(下線は当審で付与した。以下同様。)。・「【請求項1】実空間に存在するオブジェクトを入力画像内で識別する識別部と, 前記識別部により識別される第1のオブジェクトと第2のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と, 前記イベントの検出に応じて,前記第1のオブジェクトに関連付けられている属性データを前記第2のオブジェクトに関連付ける属性制御部と, を備える画像処理装置。【請求項2】前記第1のオブジェクト及び前記第2のオブジェクトは,物質を収容可能なオブジェクトである,請求項1に記載の画像処理装置。【請求項3】前記属性データは,関連付けられるオブジェクトに収容される物質の少なくとも種類を示す,請求項2に記載の画像処理装置。【請求項4】前記属性データは,関連付けられるオブジェクトに収容される物質の数量をさらに表す,請求項3に記載の画像処理装置。」・「【請求項16】前記属性制御部は,前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを,前記第2のオブジェクトに関連付けて記憶媒体に記憶させる,請求項1に記載の画像処理装置。」・「【請求項22】実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と, 第1のオブジェクトとの間の物理的作用に関与する,前記入力画像内で識別される第2のオブジェクトに関連付けられている属性データを取得するデータ取得部と, 前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と, を備え, 前記属性データは,前記物理的作用に対応するイベントの検出前に前記第1のオブジェクトに関連付けられており,前記イベントの検出に応じて前記第2のオブジェクトに新たに関連付けられるデータである, 端末装置。・「【技術分野】【0001】本開示は,画像処理装置,プログラム,画像処理方法及び端末装置に関する。【背景技術】【0002】医療分野では,医薬の調剤又は患者への投薬などの医療行為において生じ得る過誤を防止するための多くの取組みが行われている。例えば,点滴注射の薬液の調剤に際して,医師又は看護師は,点滴バッグに注入した薬液の名称及び量を,マーカペンなどの筆記具を用いて当該点滴バッグに書き残す。下記特許文献1は,不適切な医療行為がなされることを防止するために,医療行為が行われる際に,行為者及び患者の識別子,使用される医療機器の識別子,並びに時刻を互いに関連付けるデータを,履歴として記録することを提案している。」・「【発明が解決しようとする課題】【0005】履歴データを追跡するための既存の取組みの多くは,データ入力などの場面で人手を要する。しかし,人手を要する手法では,データの入力ミス又は故意の不正入力などのリスクが残される。また,目的とする行為に加えてデータ入力作業を行為者に課すことは,行為者にとっての負担となる。上記特許文献1に記載された仕組みによれば,医療機器と接続される特別な端末装置の導入によって,データ入力は自動化される。しかし,当該仕組みは特別な端末装置の存在を前提とするため,その応用範囲は限られる。【0006】これに対し,作業行為を映した映像を履歴として記録する手法が考えられる。この場合,履歴を記録するために人手は不要である。しかし,単純に映像を記録するだけでは,外部から内容物を判別できない容器などを用いた行為の詳細を事後的に把握することが難しい。【0007】従って,上述した分野に限らず一般的に,行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することのできる仕組みが実現されることが望ましい。」・「【0019】端末装置200は,撮像部(図示せず)と表示部210とを有する。端末装置200は,撮像部を用いて何らかのオブジェクトを撮像し,画像に映るオブジェクトに関連付けられているデータの配信を画像処理装置100へ要求する。そして,端末装置200は,画像処理装置100から配信されるデータを表示部210に表示させる。画像処理装置100から配信されるデータは,いずれかのオブジェクトについて行われた作業行為の履歴を事後的に把握することを可能とするデータである。作業行為の履歴は,例えば,オブジェクトに関連付けられる属性を通じて把握され,又はタイムスタンプを付与される履歴データそのものから把握され得る。」・「【0031】 (2)オブジェクト識別部オブジェクト識別部130は,実空間に存在するオブジェクトを入力画像内で識別する。オブジェクト識別部130は,例えば,入力画像から抽出される画像特徴量を各オブジェクトについて事前に抽出される画像特徴量と照合することにより,入力画像に映るオブジェクトを識別してもよい。また,オブジェクト識別部130は,各オブジェクトに貼付され,印刷され又は装着されるバーコード又は2次元コード(例えば,QRコード(登録商標))などの識別情報を解釈することにより,入力画像に映るオブジェクトを識別してもよい。また,オブジェクト識別部130は,各オブジェクトの表面上の文字列又はラベルなどを読み取ることにより,入力画像に映るオブジェクトを識別してもよい。なお,後に説明する1つの実施例では,入力画像に映る人物もまたオブジェクトとして識別される。人物の識別は,例えば,事前に抽出される顔画像の特徴量を用いて行われ得る。本実施形態では,一例として,画像特徴量の照合によりオブジェクトが識別される例を主に説明する。」・「【0033】 (4)イベント検出部イベント検出部150は,オブジェクト識別部130により識別される複数のオブジェクトの間の物理的作用に対応するイベントを,入力画像を用いて検出する。本明細書において,オブジェクト間の「物理的」作用とは,作業行為に関与する複数のオブジェクト(物体及び人物の双方を含み得る)の間の実空間における何らかの作用をいう。例えば,2つのオブジェクトの接触又は接近は,これらオブジェクトの間の物理的作用に相当し得る。ある人物の何らかの物体を対象とする動作もまた,当該人物と当該物体の間の物理的作用に相当し得る。これら物理的作用に対応するイベントは,実空間内の上述した物理的作用に応じて実行すべき処理のトリガとなる。どのような物理的作用についてイベントを検出すべきかは,アプリケーションの用途に合わせて定義され得る。後に説明する4つの実施例では,次のような物理的作用についてのイベントが検出される。第1の実施例)医療行為における薬液の移送第2の実施例)調剤行為における薬品の調合第3の実施例)患者による薬の服用第4の実施例)食品加工行為における食材及び調味料の配合なお,これらは説明のための例に過ぎず,他の行為におけるオブジェクト間の物理的作用についてイベントが検出されてもよい。」・「【0035】 (6)属性制御部属性制御部170は,各オブジェクトに関連付けられる属性を制御する。例えば,本実施形態において,属性制御部170は,イベント検出部150による上述したイベントの検出に応じて,検出されたイベントに対応する物理的作用に関与した第1のオブジェクトに関連付けられている属性データを第2のオブジェクトに関連付ける。【0036】図4は,本実施形態における属性の制御の基本的な概念について説明するための説明図である。図4を参照すると,物理的作用に関与する2つのオブジェクトObj1及びObj2が示されている。これら2つのオブジェクトは,典型的には,物質を収容可能なオブジェクトである。本明細書において,物質の収容とは,物質を内部に収納すること,物質を可搬な形で保持すること,及び物質を構成成分として有することなどの様々な形態を含むものとする。例えば,図4の上段において,オブジェクトObj1は物質SB1を,オブジェクトObj2は物質SB2をそれぞれ収容している。この場合,属性データ162において,オブジェクトObj1に物質SB1の種類を示す属性値が,オブジェクトObj2に物質SB2の種類を示す属性値がそれぞれ関連付けられる。そして,属性制御部170は,オブジェクトObj1からオブジェクトObj2への物理的作用に対応するイベントが検出されると,オブジェクトObj1に関連付けられている属性値をオブジェクトObj2に新たに関連付ける。いくつかの実施例において,このような属性値の移動の方向は,上述した属性制御テーブル144を参照することで属性制御部170により決定され得る。図4の下段において,物理的作用に対応するイベントの検出の結果,オブジェクトObj2に物質SB1の種類を示す属性値が新たに関連付けられている。一方,オブジェクトObj1から物質SB1の種類を示す属性値が削除されている。なお,各オブジェクトの属性データは,関連付けられるオブジェクトに収容される物質の種類のみならず,当該物質の数量をも表してよい。」・「【0048】 [3-2.機能構成] 図6は,図5に示した端末装置200の記憶部206及び制御部218により実現される論理的機能の構成の一例を示すブロック図である。図6を参照すると,端末装置200は,画像取得部220,データ取得部230,表示制御部240及びユーザインタフェース部250を含む。【0049】 (1)画像取得部画像取得部220は,撮像部202により生成される撮像画像を入力画像として取得する。入力画像には,実空間に存在する様々なオブジェクトが映される。画像取得部220は,取得した入力画像を,データ取得部230及び表示制御部240へ出力する。【0050】 (2)データ取得部データ取得部230は,画像取得部220により取得される入力画像内で識別されるオブジェクトに関連付けられている属性データを取得する。例えば,データ取得部230は,入力画像又は入力画像の画像特徴量を含むデータ要求を画像処理装置100へ送信する。データ取得部230は,入力画像に映るオブジェクトを識別し,識別したオブジェクトのオブジェクトIDをデータ要求に含めてもよい。そして,データ取得部230は,データ要求に応じて画像処理装置100から配信される属性データを取得し得る。属性データに加えて,識別されたオブジェクトの画像内の位置を示す位置データが画像処理装置100からさらに取得されてもよい。そして,データ取得部230は,取得した属性データ(及び位置データ)を表示制御部240へ出力する。【0051】本実施形態においてデータ取得部230により取得される属性データは,第1のオブジェクトとの間の物理的作用に関与する第2のオブジェクトに関連付けられている属性データを含み得る。当該属性データは,物理的作用に対応するイベントの検出前に第1のオブジェクトに関連付けられており,当該イベントの検出に応じて第2のオブジェクトに新たに関連付けられるデータであってよい。即ち,データ取得部230により取得される属性データを閲覧することで,入力画像に映るオブジェクトを対象として行われた行為の詳細が把握され得る。なお,画像処理装置100から取得される属性データは,タイムスタンプの付与された履歴データの形式で表現されていてもよい。【0052】 (3)表示制御部表示制御部240は,端末装置200における画像及びデータの表示を制御する。例えば,表示制御部240は,入力画像に映るオブジェクトに関連付けられている属性データがデータ取得部230により取得された場合に,取得された属性データを入力画像に重畳する。属性データは,関連付けられているオブジェクトの位置に依存することなく,オブジェクトID又はオブジェクトの名称と共に表示されてもよい。その代わりに,属性データは,関連付けられているオブジェクトの画像内の位置に重なるように,又は当該位置を指し示すように表示されてもよい。【0053】図7は,本実施形態において表示される出力画像の一例について説明するための説明図である。図7の左には,端末装置200により撮像され得る一例としての入力画像Im00が示されている。入力画像Im00には,オブジェクトObj2が映っている。端末装置200は,入力画像Im00に重畳すべきデータを要求するデータ要求を画像処理装置100へ送信し,画像処理装置100から配信されるデータを受信する。図7の右には,端末装置200により表示され得る一例としての出力画像Im01が示されている。出力画像Im01は,入力画像Im00に仮想オブジェクトであるメッセージMSG1を重畳することにより生成された画像である。メッセージMSG1は,例えば図4の下段に示した属性データ162に基づいて生成され,入力画像Im00に映るオブジェクトObj2が物質SB1及びSB2を収容していることを表す。端末装置200のユーザは,出力画像Im01を閲覧することにより,例えばオブジェクトObj2に物質SB1及びSB2を加える行為が行われたことを把握することができる。なお,表示部210を介して表示制御部240によりメッセージMSG1が表示される代わりに,音声出力部214を介してメッセージMSG1を読み上げる音声が出力されてもよい。」・「【0056】＜4.第1の実施例＞【0057】第1の実施例では,履歴管理の対象として,医療行為における薬液の移送を例示する。従って,画像処理装置100は,医師,看護師又は薬剤師などの人物が薬液を取り扱う際に用いる医療器具の間の物理的作用に対応するイベントを検出する。【0058】 (1)オブジェクトの例図8は,第1の実施例におけるオブジェクトデータの一例について説明するための説明図である。図8を参照すると,オブジェクトDB140により記憶される一例としてのオブジェクトデータ142aが示されている。オブジェクトデータ142aは,「オブジェクトID」,「名称」,「品番」,「タイプ」及び「特徴量」という5つのデータ項目を有する。【0059】「オブジェクトID」は,各オブジェクトを一意に識別するための識別子である。「名称」は,各オブジェクトに付与される名称を示す。図8の例では,オブジェクトObj11に「バイアル」,オブジェクトObj12に「注射器」,オブジェクトObj13に「点滴バッグ」という名称がそれぞれ付与されている。「品番」は,同じ種類のオブジェクトを個々に区別するために付与される文字列を示す。【0060】「タイプ」は,属性制御部170による属性の制御の際に参照される区分であり,複数のタイプの候補のうちの少なくとも1つが各オブジェクトについて定義される。本実施例では,次の3つのタイプの候補のうちのいずれかが各オブジェクトに割当てられる。 “SOURCE”…物質の移送元のオブジェクトを示すタイプである “TRANSPORTER”…物質を移送可能なオブジェクトを示すタイプである “DESTINATION”…物質の移送先のオブジェクトを示すタイプである図8の例では,オブジェクトObj11のタイプは“SOURCE”,オブジェクトObj12のタイプは“TRANSPORTER”,オブジェクトObj13のタイプは“DESTINATION”である。【0061】「特徴量」は,各オブジェクトについて既知の画像から抽出される特徴量である。オブジェクト識別部130は,入力画像から抽出される画像特徴量をオブジェクトデータ142aのこれら特徴量と照合し,入力画像に映るオブジェクトを識別し得る。【0062】 (2)イベント本実施例において,イベント検出部150は,オブジェクト識別部130により識別される医療器具の間の物理的作用に対応するイベントを検出する。例えば,図8に例示したオブジェクトが関与するイベントとして,次のようなイベントが挙げられる。イベントEｖ11)バイアルから注射器への薬液の抽出イベントEｖ12)注射器から点滴バッグへの薬液の注入【0063】これらイベントは,例えば,2つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは,例えば,次のような条件のいずれかであってよい。条件C11)2つのオブジェクトの間の距離が閾値を下回る。条件C12)条件C11が連続的に満たされている時間が閾値を上回る。条件C13)2つのオブジェクトを扱う人物の所定のジェスチャが認識される。条件C11における距離は,入力画像内の2次元的な距離であってもよく,又は公知の3次元構造認識技術に基づいて認識される実空間内の3次元的な距離であってもよい。条件C11及びC12における閾値は,オブジェクトに依存することなく共通的に定義されても,各オブジェクトについて個別に定義されてもよい。【0064】上述したイベント検出条件に従って複数のオブジェクト間の物理的作用に対応するイベントが検出されると,イベント検出部150は,検出されたイベントを属性制御部170に通知する。【0065】 (3)属性の制御本実施例において,属性制御部170は,検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に,それらオブジェクトの属性を更新する。属性制御条件は,上述した属性制御テーブルにおいて定義される。【0066】図9は,第1の実施例における属性制御テーブルの一例について説明するための説明図である。図9を参照すると,オブジェクトDB140により記憶される一例としての属性制御テーブル144aが示されている。属性制御テーブル144aは,行及び列の双方にオブジェクトの3つのタイプを配置したマトリックス形式で定義されている。各列は,イベントに関与する第1のオブジェクトのタイプに対応する。各行は,イベントに関与する第2のオブジェクトのタイプに対応する。【0067】例えば,第1のオブジェクトのタイプが“SOURCE”であって,第2のオブジェクトのタイプが“TRANSPORTER”である場合には,第1のオブジェクトに関連付けられている属性が第2のオブジェクトに追加される(即ち,新たに関連付けられる)。第1のオブジェクトの属性は更新されない。【0068】また,第1のオブジェクトのタイプが“TRANSPORTER”であって,第2のオブジェクトのタイプが“DESTINATION”である場合には,第1のオブジェクトに関連付けられている属性が第2のオブジェクトに追加される。第1のオブジェクトの属性は削除される。【0069】これら以外のタイプの組合せにおいては,第1及び第2のオブジェクトの属性は更新されない。【0070】即ち,属性制御部170は,イベント検出部150によりイベントが検出されると,検出されたイベントに関与するオブジェクトを特定し,特定したオブジェクトのタイプの組合せに対応する属性の制御内容を,属性制御テーブル144aを参照することにより決定する。そして,属性制御部170は,決定した制御内容に従って,属性DB160に記憶されている属性データ162を更新する。ここでの属性データ162の更新は,特定されたオブジェクトへの新たな属性の関連付け,及び特定されたオブジェクトの属性の削除を含み得る。また,属性制御部170は,検出されたイベントに対応するレコードを後に説明する履歴データに追加する。【0071】 (4)データ遷移図10A及び図10Bは,本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される4つの入力画像Im11?Im14が順に示されており,右側には各時点の属性データ162aの部分的な内容が示されている。【0072】図10Aを参照すると,入力画像Im11には,バイアルObj11及び注射器Obj12が映っている。属性データ162aにおいて,バイアルObj11には,物質SB11を示す属性値が関連付けられている。これは,バイアルObj11に物質SB11が収容されていることを表す。一方,注射器Obj12には,いずれの属性値も関連付けられていない。これは,注射器Obj12に何も収容されていないことを表す。【0073】次に,入力画像Im12において,バイアルObj11から距離閾値D1の範囲内に,注射器Obj12が映っている。イベント検出部150は,例えば上述したイベント検出条件C11又はC12に従って,バイアルObj11と注射器Obj12との間の薬液の抽出に対応するイベントを検出する。オブジェクトデータ142aによれば,バイアルObj11のタイプは“SOURCE”,注射器Obj12のタイプは“TRANSPORTER”である。そこで,属性制御部170は,“SOURCE”及び“TRANSPORTER”の組合せに対応する属性の制御内容を属性制御テーブル144aを参照して決定し,バイアルObj11に関連付けられている属性値“SB11”を注射器Obj12に新たに関連付ける。その結果,属性データ162aは,注射器Obj12に物質SB11が収容されていることを表す。【0074】次に,図10Bを参照すると,入力画像Im13には,注射器Obj12及び点滴バッグObj13が映っている。属性データ162aにおいて,点滴バッグObj13には,物質SB12を示す属性値が関連付けられている。これは,図10A及び図10Bに示したシナリオ以前の行為の結果であって,点滴バッグObj13に物質SB12が収容されていることを表す。【0075】次に,入力画像Im14において,注射器Obj12から距離閾値D1の範囲内に,点滴バッグObj13が映っている。イベント検出部150は,例えば上述したイベント検出条件C11又はC12に従って,注射器Obj12と点滴バッグObj13との間の薬液の注入に対応するイベントを検出する。オブジェクトデータ142aによれば,注射器Obj12のタイプは“TRANSPORTER”,点滴バッグObj13のタイプは“DESTINATION”である。そこで,属性制御部170は,“TRANSPORTER”及び“DESTINATION”の組合せに対応する属性の制御内容を属性制御テーブル144aを参照して決定し,注射器Obj12に関連付けられている属性値“SB11”を点滴バッグObj13に新たに関連付ける。その結果,属性データ162aは,点滴バッグObj13に物質SB11及びSB12が収容されていることを表す。【0076】図11は,上述したシナリオの間に属性制御部170により生成される一例としての履歴データ164aの内容を示している。図11を参照すると,履歴データ164aは,「オブジェクトID」,「属性(前)」,「属性(後)」及び「時刻」という4つのデータ項目を有する。「オブジェクトID」は,個々のレコードが示す履歴に関与したオブジェクトを識別する識別子である。「属性(前)」は,属性制御部170により更新される前の当該オブジェクトの属性値を示す。「属性(後)」は,属性制御部170により更新された後の当該オブジェクトの属性値を示す。「時刻」は,対応するイベントの検出時刻(又は属性の更新時刻であってもよい)を示す。属性制御部170は,履歴の信頼性を補強するために,これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し,取得した時刻認証データを図11に示したような履歴に関連付けて記憶させてもよい。図11の例では,時刻T11において注射器Obj12の属性が更新され,さらに時刻T12において注射器Obj12及び点滴バッグObj13の属性が更新されたことが,履歴データ164aにより示されている。【0077】 (5)表示例図12は,本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図12を参照すると,一例としての出力画像Im19が示されている。出力画像Im19には,バイアルObj11及び点滴バッグObj13が映っている。また,出力画像Im19には,バイアルObj11を指し示すメッセージMSG11及び点滴バッグObj13を指し示すメッセージMSG12が重畳されている。メッセージMSG11は,バイアルObj11が物質SB11を収容していることを表す。メッセージMSG12は,点滴バッグObj13が物質SB11及びSB12を収容していることを表す。端末装置200のユーザは,例えば,このようなメッセージMSG12を閲覧することにより,点滴バッグObj13に適切な薬液が注入されたかを容易に把握することができる。【0078】 (6)処理の流れ (6-1)属性制御処理図13は,本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図13に示した属性制御処理は,画像取得部120により順次取得される入力画像について繰り返される。【0079】まず,画像取得部120は,撮像部102により生成される撮像画像を入力画像として取得する(ステップS100)。そして,画像取得部120は,取得した入力画像をオブジェクト識別部130へ出力する。【0080】次に,オブジェクト識別部130は,オブジェクトDB140により記憶されている各オブジェクトの既知の特徴量を用いて,入力画像に映るオブジェクトを識別する(ステップS104)。【0081】次に,イベント検出部150は,オブジェクト識別部130により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する(ステップS108)。ここで,イベント検出条件が満たされていない場合には,その後の処理はスキップされる(ステップS112)。イベント検出条件が満たされている場合には,イベント検出部150は,検出したイベントを属性制御部170に通知する。【0082】属性制御部170は,イベント検出部150によりイベントが検出されると,属性制御テーブル144aを用いて,検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する(ステップS116)。そして,属性制御部170は,第1のオブジェクトから第2のオブジェクトへ属性値を移動することを決定した場合には(ステップS120),第1のオブジェクトに関連付けられている属性値を第2のオブジェクトに関連付ける(ステップS124)。また,属性制御部170は,第1のオブジェクトの属性値を削除することを決定した場合には(ステップS128),第1のオブジェクトに関連付けられている属性値を削除する(ステップS132)。【0083】そして,属性制御部170は,更新前及び更新後の属性値を含む履歴データ164aの新たなレコードを属性DB160に記憶させる(ステップS148)。【0084】 (6-2)表示制御処理図14は,本実施例における端末装置200による表示制御処理の流れの一例を示すフローチャートである。図14に示した表示制御処理は,端末装置200の画像取得部220により順次取得される入力画像について繰り返されてもよく,又はスナップショットとして取得される1つの入力画像について単発的に実行されてもよい。【0085】まず,画像取得部220は,撮像部202により生成される撮像画像を入力画像として取得する(ステップS150)。そして,画像取得部220は,取得した入力画像を,データ取得部230及び表示制御部240へ出力する。【0086】次に,データ取得部230は,取得された入力画像内で識別されるオブジェクトに関連付けられている属性データを要求するデータ要求を,画像処理装置100へ送信する(ステップS154)。そして,データ取得部230は,データ要求に対する応答を画像処理装置100から受信する(ステップS158)。ここで,データ要求に対する応答として上述した属性データが受信された場合には,処理はステップS170へ進む。一方,属性データが受信されなかった場合には,表示制御部240により入力画像が表示される(ステップS166)。【0087】ステップS170において,表示制御部240は,データ取得部230により取得された属性データを入力画像に重畳することにより,出力画像を生成する(ステップS170)。そして,表示制御部240は,表示部210に出力画像を表示させる(ステップS164)。【0088】ここまで,図8?図14を用いて第1の実施例について説明した。本実施例によれば,ある医療器具から他の医療器具へ薬液が移送される状況において,医療器具に収容されている薬液の成分をオブジェクトの属性を通じて把握することが可能となる。【0089】一般的に,一度薬液をある医療器具へ移すと,メモ書きなどが無ければ,行為者本人以外の人物がその医療器具に何が収容されているかを知ることは難しい。しかし,本実施例によれば,オブジェクトの属性データ又は属性の更新履歴を閲覧することで,行為者本人以外の人物であっても,医療器具に何が収容されているかを容易に把握することができる。【0090】また,オブジェクトの属性の更新に際して医療行為の行為者にデータ入力などの作業は課されない。従って,行為者の過度な負担を原因として履歴が誤って記録されなかったり,不正なデータが入力されたりするリスクが防止される。」・「【0091】＜5.第2の実施例＞第2の実施例では,履歴管理の対象として,調剤行為における薬品の調合を例示する。従って,画像処理装置100は,医師,看護師又は薬剤師などの人物が薬品を取り扱う際に用いる調剤器具の間の物理的作用に対応するイベントを検出する。なお,説明の簡明さのために,本実施例において第1の実施例と重複する事項についての説明は省略する。【0092】 (1)オブジェクトの例図15は,第2の実施例におけるオブジェクトデータの一例について説明するための説明図である。図15を参照すると,オブジェクトDB140により記憶される一例としてのオブジェクトデータ142bが示されている。オブジェクトデータ142bは,第1の実施例に係るオブジェクトデータ142aと同様,「オブジェクトID」,「名称」,「品番」,「タイプ」及び「特徴量」という5つのデータ項目を有する。【0093】図15の例では,オブジェクトObj21に「薬瓶」,オブジェクトObj22に「さじ」,オブジェクトObj23に「薬包紙」,オブジェクトObj24に「計量器」,オブジェクトObj25に「パッケージ」,という名称がそれぞれ付与されている。【0094】本実施例において,各オブジェクトには次の5つのタイプの候補のうちのいずれかが割当てられる。 “SOURCE”…物質の移送元のオブジェクトを示すタイプである “TRANSPORTER1”…物質を移送可能なオブジェクトを示すタイプである “TRANSPORTER2”…物質を移送可能なオブジェクトを示すタイプである “SCALE”…物質を計量可能なオブジェクトを示すタイプである “DESTINATION”…物質の移送先のオブジェクトを示すタイプである図15の例では,オブジェクトObj21のタイプは“SOURCE”,オブジェクトObj22のタイプは“TRANSPORTER1”,オブジェクトObj23のタイプは“TRANSPORTER2”,オブジェクトObj24のタイプは“SCALE”,オブジェクトObj25のタイプは“DESTINATION”である。【0095】 (2)イベント本実施例において,イベント検出部150は,オブジェクト識別部130により識別される調剤器具の間の物理的作用に対応するイベントを検出する。例えば,図15に例示したオブジェクトが関与するイベントとして,次のようなイベントが挙げられる。イベントEｖ21)薬瓶からさじへの薬品の取り出しイベントEｖ22)さじから薬包紙への薬品の移し替えイベントEｖ23)さじからパッケージへの薬品の移し入れイベントEｖ24)薬包紙からパッケージへの薬品の移し入れイベントEｖ25)薬包紙に収容される薬品の計量器による計量【0096】これらイベントは,例えば,2つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは,例えば,次のような条件のいずれかであってよい。条件C21)2つのオブジェクトの間の距離が閾値を下回る。条件C22)一方のオブジェクトの上方に他方のオブジェクトが位置する。条件C23)条件C21又はC22が連続的に満たされている時間が閾値を上回る。条件C24)2つのオブジェクトを扱う人物の所定のジェスチャが認識される。条件C21における距離は,入力画像内の2次元的な距離であってもよく,又は公知の3次元構造認識技術に基づいて認識される実空間内の3次元的な距離であってもよい。条件C21及びC23における閾値は,オブジェクトに依存することなく共通的に定義されても,各オブジェクトについて個別に定義されてもよい。」・「【0102】また,第1のオブジェクトのタイプが“TRANSPORTER2”であって,第2のオブジェクトのタイプが“SCALE”である場合には,第2のオブジェクトに関連付けられている属性に物質の数量が付加される。即ち,属性制御部170は,例えば,タイプ“SCALE”を有する計量器による計量結果を(例えば,公知のOCR(Optical Character Recognition)技術を表示パネルに適用することにより)入力画像から読み取り,読み取った数量の値を第2のオブジェクトの属性に付加する。【0103】同様に,第1のオブジェクトのタイプが“SCALE”であって,第2のオブジェクトのタイプが“DESTINATION”である場合には,第1のオブジェクトに関連付けられている属性に物質の数量が付加される。【0104】これら以外のタイプの組合せにおいては,第1及び第2のオブジェクトの属性は更新されない。【0105】なお,例えば計量さじのような器具について,“TRANSPORTER1”及び“SCALE”という2つのタイプの双方が設定されてもよい。また,固定的な数量の計量のために用いられる器具については,動的に読み取られる値の代わりに,予め定義される固定的な数量の値が割当てられてよい。【0106】 (4)データ遷移図17A及び図17Bは,本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される6つの入力画像Im21?Im26が順に示されており,右側には各時点の属性データ162bの部分的な内容が示されている。【0107】図17Aを参照すると,入力画像Im21には,薬瓶Obj21及びさじObj22が映っている。属性データ162bにおいて,薬瓶Obj21には,物質SB21を示す属性値が関連付けられている。これは,薬瓶Obj21に物質SB21が収容されていることを表す。一方,さじObj22には,いずれの属性値も関連付けられていない。これは,さじObj22に何も収容されていないことを表す。【0108】次に,入力画像Im22において,薬瓶Obj21の上方に,さじObj22が映っている。イベント検出部150は,例えば上述したイベント検出条件C22又はC23に従って,薬瓶Obj21とさじObj22との間の薬品の取り出しに対応するイベントを検出する。オブジェクトデータ142bによれば,薬瓶Obj21のタイプは“SOURCE”,さじObj22のタイプは“TRANSPORTER1”である。そこで,属性制御部170は,“SOURCE”及び“TRANSPORTER1”の組合せに対応する属性の制御内容を属性制御テーブル144bを参照して決定し,薬瓶Obj21に関連付けられている属性値“SB21”をさじObj22に新たに関連付ける。その結果,属性データ162bは,さじObj22に物質SB21が収容されていることを表す。【0109】次に,入力画像Im23には,さじObj22,薬包紙Obj23及び計量器Obj24が映っている。属性データ162bにおいて,さじObj22には,物質SB21を示す属性値が関連付けられている。一方,薬包紙Obj23には,いずれの属性値も関連付けられていない。【0110】次に,図17Bを参照すると,入力画像Im24において,薬包紙Obj23の上方に,さじObj22が映っている。イベント検出部150は,例えば上述したイベント検出条件C22又はC23に従って,さじObj22と薬包紙Obj23との間の薬品の移し替えに対応するイベントを検出する。オブジェクトデータ142bによれば,さじObj22のタイプは“TRANSPORTER1”,薬包紙Obj23のタイプは“TRANSPORTER2”である。そこで,属性制御部170は,“TRANSPORTER1”及び“TRANSPORTER2”の組合せに対応する属性の制御内容を属性制御テーブル144bを参照して決定し,さじObj22に関連付けられている属性値“SB21”を薬包紙Obj23に新たに関連付ける。その結果,属性データ162bは,薬包紙Obj23に物質SB21が収容されていることを表す。【0111】次に,入力画像Im25において,計量器Obj24が薬包紙Obj23に収容されている物質の数量を計量している様子が映っている。オブジェクトデータ142bによれば,薬包紙Obj23のタイプは“TRANSPORTER2”,計量器Obj24のタイプは“SCALE”である。そこで,属性制御部170は,計量器Obj24により表示される数量の値を入力画像Im25から読み取り,読み取った値を薬包紙Obj23の属性に付加する。図17Bの例では,結果として,属性データ162bは,薬包紙Obj23に物質SB21が3.0g収容されていることを表す。【0112】次に,入力画像Im26において,パッケージObj25の上方に,薬包紙Obj23が映っている。イベント検出部150は,例えば上述したイベント検出条件C22又はC23に従って,薬包紙Obj23からパッケージObj25への薬品の移し入れに対応するイベントを検出する。オブジェクトデータ142bによれば,薬包紙Obj23のタイプは“TRANSPORTER2”,パッケージObj25のタイプは“DESTINATION”である。そこで,属性制御部170は,“TRANSPORTER2”及び“DESTINATION”の組合せに対応する属性の制御内容を属性制御テーブル144bを参照して決定し,薬包紙Obj23に関連付けられている属性値“SB21_3.0g”をパッケージObj25に新たに関連付ける。その結果,属性データ162bは,パッケージObj25に物質SB21が3.0g収容されていることを表す。【0113】 (5)表示例図18は,本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図18を参照すると,一例としての出力画像Im29が示されている。出力画像Im29には,パッケージObj25が映っている。また,出力画像Im29には,パッケージObj25を指し示すメッセージMSG21が重畳されている。メッセージMSG21は,パッケージObj25が物質SB21を3.0g収容していることを表す。端末装置200のユーザは,例えば,このようなメッセージMSG21を閲覧することにより,パッケージObj25に現在いずれの薬品がどれだけの数量収容されているかを容易に把握することができる。【0114】 (6)処理の流れ図19は,本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図19に示した属性制御処理は,画像取得部120により順次取得される入力画像について繰り返される。【0115】まず,画像取得部120は,撮像部102により生成される撮像画像を入力画像として取得する(ステップS200)。そして,画像取得部120は,取得した入力画像をオブジェクト識別部130へ出力する。【0116】次に,オブジェクト識別部130は,オブジェクトDB140により記憶されている各オブジェクトの既知の特徴量を用いて,入力画像に映るオブジェクトを識別する(ステップS204)。【0117】次に,イベント検出部150は,オブジェクト識別部130により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する(ステップS208)。ここで,イベント検出条件が満たされていない場合には,その後の処理はスキップされる(ステップS212)。イベント検出条件が満たされている場合には,イベント検出部150は,検出したイベントを属性制御部170に通知する。【0118】属性制御部170は,イベント検出部150によりイベントが検出されると,属性制御テーブル144bを用いて,検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する(ステップS216)。そして,属性制御部170は,第1のオブジェクトから第2のオブジェクトへ属性値を移動することを決定した場合には(ステップS220),第1のオブジェクトに関連付けられている属性値を第2のオブジェクトに関連付ける(ステップS224)。また,属性制御部170は,第1のオブジェクトの属性値を削除することを決定した場合には(ステップS228),第1のオブジェクトに関連付けられている属性値を削除する(ステップS232)。【0119】また,属性制御部170は,いずれかのオブジェクトに数量を付加することを決定した場合には(ステップS236),付加すべき物質の数量の値を取得し(ステップS240),取得した数量の値を“SCALE”オブジェクトではない方のオブジェクトの属性に付加する(ステップS244)。【0120】そして,属性制御部170は,更新前及び更新後の属性値を含む履歴データ164の新たなレコードを属性DB160に記憶させる(ステップS248)。なお,いずれのオブジェクトの属性も更新されない場合には,ステップS248の処理はスキップされる。【0121】ここまで,図15?図19を用いて第2の実施例について説明した。本実施例によれば,調剤器具を用いて薬品が調合される状況において,調剤器具に収容されている薬品の成分をオブジェクトの属性を通じて把握することが可能となる。また,オブジェクトに収容される物質の数量をもオブジェクトの属性に付加することができる。また,オブジェクトの属性データ又は属性の更新履歴を閲覧することで,行為者本人以外の人物であっても薬品の成分及びその数量を容易に把握することができる。オブジェクトの属性の更新に際しては,調剤行為の行為者にデータ入力などの作業は課されない。」・「【0122】＜6.第3の実施例＞第3の実施例では,履歴管理の対象として,患者による薬の服用を例示する。従って,画像処理装置100は,患者と薬との間の物理的作用,即ち薬の服用行為に対応するイベントを検出する。なお,説明の簡明さのために,本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。【0123】 (1)オブジェクトの例図20は,第3の実施例におけるオブジェクトデータの一例について説明するための説明図である。図20を参照すると,オブジェクトDB140により記憶される一例としてのオブジェクトデータ142cが示されている。オブジェクトデータ142cは,人物オブジェクトについての人物データと,処方薬オブジェクトについての処方薬データとを含む。【0124】人物データは,「オブジェクトID」,「名称」及び「特徴量」という3つのデータ項目を有する。「オブジェクトID」は,各人物オブジェクトを一意に識別するための識別子である。「名称」は,各人物の名前を示す。「特徴量」は,各人物の既知の顔画像から抽出される特徴量である。【0125】処方薬データは,「オブジェクトID」,「名称」,「患者ID」,「服用量」及び「特徴量」という5つのデータ項目を有する。「オブジェクトID」は,各処方薬オブジェクトを一意に識別するための識別子である。「名称」は,各処方薬の名称を示す。「患者ID」は,各処方薬を服用する人物のオブジェクトIDを示す。図20の例では,オブジェクトObj35,即ち「X1錠」を服用する人物は,オブジェクトObj31,即ち「XXさん」である。「服用量」は,各処方薬をいつどれだけ服用すべきかについての情報を示す。「特徴量」は,各処方薬の既知の画像から抽出される特徴量である。【0126】 (2)イベント本実施例において,イベント検出部150は,オブジェクト識別部130により識別される人物による処方薬の服用行為に対応するイベントを検出する。イベント検出部150は,例えば,公知のジェスチャ認識技術を用いて,人物による服用行為のジェスチャを検出してもよい。本実施例におけるイベント検出条件は,次のような条件となる。条件C31)人物オブジェクトが処方薬オブジェクトを服用するジェスチャが認識される。【0127】 (3)属性の制御属性制御部170は,イベント検出部150により服用行為に対応するイベントが検出されると,服用行為に関与する人物オブジェクト及び処方薬オブジェクトの属性を更新する。例えば,属性制御部170は,処方薬オブジェクトに含まれる物質の種類と1回当たりの服用量とを示す属性を人物オブジェクトに新たに関連付けてもよい。また,属性制御部170は,処方薬オブジェクトの属性から,1回当たりの服用量に相当する数量を削除してもよい。さらに,属性制御部170は,これらオブジェクトの属性を更新すると,更新の履歴を示すレコードを履歴データ164cに記憶させる。【0128】図21は,本実施例において属性制御部170により生成される一例としての履歴データ164cの内容を示している。図21を参照すると,履歴データ164cは,「オブジェクトID」,「属性」及び「時刻」という3つのデータ項目を有する。「オブジェクトID」は,処方薬を服用した人物の人物オブジェクトを識別する識別子である。「属性」は,属性制御部170により当該人物オブジェクトに新たに関連付けられた属性値を示す。「時刻」は,対応するイベントの検出時刻(又は属性の更新時刻であってもよい)を示す。属性制御部170は,履歴の信頼性を補強するために,これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し,取得した時刻認証データを図21に示したような履歴に関連付けて記憶させてもよい。図21の例では,時刻T31,T32及びT33において,患者Obj31が物質SB31を2錠ずつ服用したことが,履歴データ164cにより示されている。【0129】さらに,属性制御部170は,服用行為に対応するイベントの検出に応じて,担当の医師,看護師又は患者の家族などが有する端末装置に通知メッセージを送信してもよい。また,属性制御部170は,患者が服用すべきでない薬を服用したことが検出された場合には,警報メッセージを送信し又は警報音を発してもよい。【0130】 (4)データ遷移図22は,本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される3つの入力画像Im31?Im33が順に示されており,右側には各時点の属性データ162cの部分的な内容が示されている。【0131】図22を参照すると,入力画像Im31には,患者Obj31及び処方薬Obj35が映っている。属性データ162cにおいて,患者Obj31には,いずれの属性値も関連付けられていない。一方,処方薬Obj35には,物質SB31の種類と数量30錠とを示す属性値が関連付けられている。これは,処方薬Obj35に物質SB31が30錠収容されていることを表す。【0132】次に,入力画像Im32において,処方薬Obj35を患者Obj31が服用する様子が映っている。イベント検出部150は,このような服用行為のジェスチャを認識することにより,当該服用行為に対応するイベントを検出する。すると,属性制御部170は,処方薬Obj35に関連付けられている属性値“SB31”を患者Obj31に新たに関連付ける。また,属性制御部170は,1回当たりの服用量に相当する数量を患者Obj31の属性に付加する。また,属性制御部170は,処方薬Obj35の属性から1回当たりの服用量に相当する数量を削除する。その結果,属性データ162cは,患者Obj31が物質SB31を2錠服用したこと,及び処方薬Obj35に物質SB31が28錠収容されていることを表す。【0133】その後,入力画像Im33には,患者Obj31が映っている。属性データ162cは,引き続き患者Obj31が物質SB31を2錠服用したことを表している。なお,属性制御部170は,服用行為に対応するイベントの検出時刻から処方薬の効果の持続時間が経過した時点で,当該イベントが検出された際に患者オブジェクトに関連付けた属性を削除してもよい。【0134】 (5)表示例図23は,本実施例において端末装置200により表示される出力画像の一例について説明するための説明図である。図23を参照すると,一例としての出力画像Im39が示されている。出力画像Im39には,患者Obj31が映っている。また,出力画像Im39には,患者Obj31を指し示すメッセージMSG31が重畳されている。メッセージMS31は,患者Obj31が2011年11月1日14時に“X1錠”を2錠服用したことを表す。端末装置200のユーザは,例えば,このようなメッセージMSG31を閲覧することにより,患者が適切な時刻に適切な処方薬を服用したかを容易に把握することができる。【0135】なお,画像処理装置100のユーザインタフェース部190又は端末装置200のユーザインタフェース部250は,患者のオブジェクトID又は名前をユーザ(例えば医師,看護師又は家族など)に指定させ,指定された患者に関連付けられている服用行為の履歴を当該ユーザに呈示するためのUI画面を,ユーザに提供してもよい。【0136】 (6)処理の流れ図24は,本実施例における画像処理装置100による属性制御処理の流れの一例を示すフローチャートである。図24に示した属性制御処理は,画像取得部120により順次取得される入力画像について繰り返される。【0137】まず,画像取得部120は,撮像部102により生成される撮像画像を入力画像として取得する(ステップS300)。そして,画像取得部120は,取得した入力画像をオブジェクト識別部130へ出力する。【0138】次に,オブジェクト識別部130は,オブジェクトDB140により記憶されている人物オブジェクト及び処方薬オブジェクトの既知の特徴量を用いて,入力画像に映るこれらオブジェクトを識別する(ステップS304)。【0139】次に,イベント検出部150は,オブジェクト識別部130により識別されるオブジェクトについて,ジェスチャ認識技術を用いてイベント検出条件が満たされているかを判定する(ステップS308)。ここで,イベント検出条件が満たされていない場合には,その後の処理はスキップされる(ステップS312)。イベント検出条件が満たされている場合には,イベント検出部150は,検出したイベントを属性制御部170に通知する。【0140】属性制御部170は,イベント検出部150によりイベントが検出されると,処方薬オブジェクトである第1のオブジェクトに関連付けられている属性値及び服用量を,人物オブジェクトである第2のオブジェクトに関連付ける(ステップS324)。また,属性制御部170は,第1のオブジェクトに関連付けられている属性の数量から,1回当たりの服用量を削除する(ステップS332)。そして,属性制御部170は,履歴データ164cの新たなレコードを属性DB160に記憶させる(ステップS348)。【0141】ここまで,図20?図24を用いて第3の実施例について説明した。本実施例によれば,患者が処方薬を服用する状況において,患者がどの薬をいつ服用したかをオブジェクトの属性データ又は属性の更新履歴を通じて第3者が把握することが可能となる。オブジェクトの属性の更新に際しては,患者及び第3者にデータ入力などの作業は課されない。」・図1,図3,図6,図10A,図10B,図11,図12,図17A,図17B,図18,図21,図22,図23には,以下の内容が示されている。【図1】【図3】【図6】【図12】【図18】【図23】・「画像処理装置100」と「端末装置200」がシステムとして機能していることは明らかである。これらの記載事項からみて,引用文献1には,以下の発明(以下「引用発明」という。)が記載されていると認められる。「実空間に存在するオブジェクトを入力画像内で識別するオブジェクト識別部130と, 前記オブジェクト識別部130により識別される第1のオブジェクトと第2のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出するイベント検出部150と, 前記イベントの検出に応じて,前記第1のオブジェクトに関連付けられている属性データを前記第2のオブジェクトに関連付ける属性制御部170と, を備える画像処理装置100であって, 前記第1のオブジェクト及び前記第2のオブジェクトは,物質を収容可能なオブジェクトであり,? 前記属性データは,関連付けられるオブジェクトに収容される物質の少なくとも種類を示し, ? 前記属性データは,関連付けられるオブジェクトに収容される物質の数量をさらに表し, 前記属性制御部170は,前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを,前記第2のオブジェクトに関連付けて記憶媒体に記憶させる, 画像処理装置100と, 実空間に存在するオブジェクトを映す入力画像を取得する画像取得部220と, 第1のオブジェクトとの間の物理的作用に関与する,前記入力画像内で識別される第2のオブジェクトに関連付けられている属性データを取得するデータ取得部230と, 前記データ取得部230により取得される前記属性データを前記入力画像に重畳する表示制御部240と, を備える端末装置200であって, 前記属性データは,前記物理的作用に対応するイベントの検出前に前記第1のオブジェクトに関連付けられており,前記イベントの検出に応じて前記第2のオブジェクトに新たに関連付けられるデータである, 端末装置200と, を備える, 行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することができる,画像処理装置100及び端末装置200からなるシステム。」 2.引用文献2 原査定の拒絶の理由に引用された引用文献2には,次の事項が記載されている。・「【技術分野】【0001】本発明は,情報処理システム,情報処理方法,プログラムに関する。【背景技術】【0002】ここ数年,教師あり学習による画像認識技術として,ディープラーニングの研究が盛んにおこなわれている。ディープラーニングは,従来からあるニューラルネットワークを多層に重ねた機械学習の一つであり,学習用画像を用いて事前に学習させることで,画像分類などの問題を解決する。」 3.引用文献3 原査定の拒絶の理由に引用された引用文献3には,次の事項が記載されている。・「【技術分野】【0001】本開示は,データ処理装置,データ処理方法,プログラム,および電子機器に関し,特に,物体に対するラベリング処理を自動化することができるようにしたデータ処理装置,データ処理方法,プログラム,および電子機器に関する。」・「【0005】ところで,上述したように画像に写されている作物の種別の認識などのように,画像から物体を認識する物体認識処理では,一般的に,大量の教師データを用いて事前に機械学習を行う必要があった。従来,例えば,目視により物体を判断してラベリングすることによって教師データを生成していたため,大量の教師データを用意するためには膨大な工数を要することになっていなっていた。」第5.対比・判断 1.本願発明1について (1)対比ア.本願発明1と引用発明とを対比すると,後者の「端末装置200」は前者の「端末装置」に相当し,以下同様に,「画像処理装置100及び端末装置200からなるシステム」は「支援システム」に,「オブジェクト」は「撮像対象」に,「入力画像」は「撮像画像」に,「データ取得部230」は「格納手段」にそれぞれ相当する。イ.後者の「行為者」は,段落【0002】の背景技術の「医療行為が行われる際に,行為者及び患者の識別子,使用される医療機器の識別子,並びに時刻を互いに関連付けるデータを,履歴として記録すること」という記載を考慮すると,前者の「患者または被介護者を含む対象者を支援する支援者」に相当する。ウ.上記ア.とイ.を踏まえると,後者の「行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することができる,画像処理装置100及び端末装置200」は前者の「少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システム」に相当する。エ.後者の「端末装置200」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部220」「を備える」ものであり,オブジェクトは,本願明細書に記載された第1実施例と第2実施例を参照すると,患者又は被介護者を含む対象者に関する撮像対象であることは明らかであるから,後者の「端末装置200」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部220」「を備える」ことは,上記ア.の相当関係を踏まえると,前者の「前記端末装置は,前記対象者に関する撮像対象を撮像した撮像画像を受け付け」ることに相当する。オ.後者の「属性データ」は「関連付けられるオブジェクトに収容される物質の少なくとも種類を示し,」「関連付けられるオブジェクトに収容される物質の数量をさらに表し,」「前記物理的作用に対応するイベントの検出前に前記第1のオブジェクトに関連付けられており,前記イベントの検出に応じて前記第2のオブジェクトに新たに関連付けられるデータである」から,上記エ.を踏まえると,後者の「属性データ」は前者の「患者の看護又は介護に関する情報」に相当する。カ.後者の「端末装置200」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部220と,第1のオブジェクトとの間の物理的作用に関与する,前記入力画像内で識別される第2のオブジェクトに関連付けられている属性データを取得するデータ取得部230と, 前記データ取得部230により取得される前記属性データを前記入力画像に重畳する表示制御部240と,を備える」から,上記オ.を踏まえると,後者のこれらの事項は,前者の「前記端末装置が受け付けた前記撮像画像に基づいて,前記患者の看護又は介護に関する情報を特定し,特定した前記患者の看護又は介護に関する情報を,格納装置に格納する処理手段,を備え」ることに相当する。キ.後者の「前記属性制御部170は,前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを,前記第2のオブジェクトに関連付けて記憶媒体に記憶させる」こと,及び,上記エ.を踏まえると,後者の「端末装置200」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部220」「を備える」ことは,2つのイベントを異なる時間に検出した際には,前者の「前記端末装置は,第1の日時に前記撮像対象を撮像した第1の撮像画像と,前記第1の日時よりも後の日時である第2の日時に前記撮像対象を撮像した第2の撮像画像を受け付け」ることに相当することは明らかである。ク.後者の「前記第1のオブジェクト及び前記第2のオブジェクトは,物質を収容可能なオブジェクトであ」ることと,前者の「前記撮像対象は,液体を収容する収容パックを含」むこととは,「前記撮像対象は,収容パックを含」むことにおいて共通する。ケ.後者の「前記属性データは,関連付けられるオブジェクトに収容される物質の少なくとも種類を示し,前記属性データは,関連付けられるオブジェクトに収容される物質の数量をさらに表し」ていることと,前者の「前記処理手段は,前記端末装置が受け付けた前記第1の撮像画像に基づいて,前記患者の看護又は介護に関する第1の数値情報を特定する第1処理と,前記端末装置が受け付けた前記第2の撮像画像に基づいて,前記患者の看護又は介護に関する第2の数値情報を特定する第2処理と,前記第1処理の処理結果及び前記第2処理の処理結果に基づいて,前記第1の数値情報と前記第2の数値情報との差分値を演算し,演算された当該差分値を示す情報を,前記格納装置に格納する第3処理と,を行」うこと,及び,前者の「前記処理手段は,前記第1処理において,教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて,前記端末装置が受け付けた前記第1の撮像画像の画像認識を行うことにより,前記第1の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第1の数値情報とを特定し,前記第2処理において,前記画像認識用モデルを用いて,前記端末装置が受け付けた前記第2の撮像画像の画像認識を行うことにより,前記第2の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第2の数値情報とを特定し,前記第3処理において,前記第1処理で特定した前記収容パックの種類と前記第2処理で特定した前記収容パックの種類が相互に同じ種類である場合に,前記第2処理にて特定した前記第2の数値情報と,前記第1処理にて特定した前記第1の数値情報であって,前記第2処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第1の数値情報との差分値を演算する」こととは,「前記処理手段は,前記患者の看護又は介護に関する数値情報を特定する処理を行い,」及び「前記処理手段は,前記処理において,前記収容パックに収容される物質の種類と当該収容パックに収容されている物質の量を示す数値情報とを特定」することにおいて共通する。コ.そうすると,両者は, 「少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システムであって, 前記端末装置は,前記対象者に関する撮像対象を撮像した撮像画像を受け付け, 前記支援システムは, 前記端末装置が受け付けた前記撮像画像に基づいて,前記患者の看護又は介護に関する情報を特定し,特定した前記患者の看護又は介護に関する情報を,格納装置に格納する処理手段,を備え, 前記端末装置は,第1の日時に前記撮像対象を撮像した第1の撮像画像と,前記第1の日時よりも後の日時である第2の日時に前記撮像対象を撮像した第2の撮像画像を受け付け, 前記処理手段は, 前記患者の看護又は介護に関する数値情報を特定する処理を行い, 前記撮像対象は,収容パックを含み, 前記処理手段は, 前記処理において,前記収容パックに収容される物質の種類と当該収容パックに収容されている物質の量を示す数値情報とを特定する, 支援システム。」の点で一致し,以下の各点で相違すると認められる。＜相違点1＞処理手段に関して,本願発明1では,「前記端末装置が受け付けた前記第1の撮像画像に基づいて,前記患者の看護又は介護に関する第1の数値情報を特定する第1処理と,前記端末装置が受け付けた前記第2の撮像画像に基づいて,前記患者の看護又は介護に関する第2の数値情報を特定する第2処理と,前記第1処理の処理結果及び前記第2処理の処理結果に基づいて,前記第1の数値情報と前記第2の数値情報との差分値を演算し,演算された当該差分値を示す情報を,前記格納装置に格納する第3処理と,を行い」,及び,「前記第1処理において,教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて,前記端末装置が受け付けた前記第1の撮像画像の画像認識を行うことにより,前記第1の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第1の数値情報とを特定し,前記第2処理において,前記画像認識用モデルを用いて,前記端末装置が受け付けた前記第2の撮像画像の画像認識を行うことにより,前記第2の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第2の数値情報とを特定し,前記第3処理において,前記第1処理で特定した前記収容パックの種類と前記第2処理で特定した前記収容パックの種類が相互に同じ種類である場合に,前記第2処理にて特定した前記第2の数値情報と,前記第1処理にて特定した前記第1の数値情報であって,前記第2処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第1の数値情報との差分値を演算する」ものであるのに対して,引用発明では,「前記属性データは,関連付けられるオブジェクトに収容される物質の少なくとも種類を示し,前記属性データは,関連付けられるオブジェクトに収容される物質の数量をさらに表し」ている点。＜相違点2＞前記撮像対象は,収容パックを含むことに関し,収容パックが,本願発明1では,「液体を収容する」収容パックであるのに対して,引用発明では,特定されていない点。 (2)相違点についての判断＜相違点1について＞引用文献2,3に記載された事項からみて,「教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて,撮像画像の画像認識を行うこと」は周知の事項といえる。しかしながら,引用発明には,相違点1の本願発明1の構成のうち,少なくとも「第1処理で特定した前記収容パックの種類と前記第2処理で特定した前記収容パックの種類が相互に同じ種類である場合に,前記第2処理にて特定した前記第2の数値情報と,前記第1処理にて特定した前記第1の数値情報であって,前記第2処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第1の数値情報との差分値を演算する」ことは,記載されておらず,また,上述した各引用文献のいずれにも記載されていないから,引用発明に上記周知の事項を適用できたとしても,本願発明1の構成には至らない。そして,上記相違点1に係る本願発明1の構成により,本願発明1は,端末装置が受け付けた撮像画像に基づいて,患者の看護又は介護に関する情報を特定し,特定した患者の看護又は介護に関する情報を格納することにより,使い勝手の良い形式で情報を格納することが可能となるという格別の作用効果を奏するものである。したがって,相違点2については,検討するまでもなく,本願発明1は,引用発明,及び,上記周知の事項に基いて,当業者が容易に発明をすることができたものではない。 2.本願発明2について本願発明2と引用発明とを対比すると,本願発明1と引用発明との対比における相違点1と同様の相違点が存在し,本願発明1と同様の理由により,本願発明2は,引用発明,及び,上記周知の事項に基いて,当業者が容易に発明をすることができたものではない。第6.むすび以上のとおり,原査定の理由によっては,本願を拒絶することはできない。また,他に本願を拒絶すべき理由を発見しない。よって,結論のとおり審決する。
審決日	2021-03-25
出願番号	特願2020-8254(P2020-8254)
審決分類	P 1 8・ 121- WY (G16H)
最終処分	成立
前審関与審査官	井出和水
特許庁審判長	氏原康宏
特許庁審判官	一ノ瀬覚藤井昇
発明の名称	支援システム及び支援プログラム
代理人	斉藤達也

プライバシーポリシーセキュリティーポリシー運営会社概要サービスに関しての問い合わせ