Return to search

環境センサによる会話状況認識と参加者による実時間タグ付けを用いたミーティングキャプチャシステム / Meeting Capture System Using Conversational Situation Recognition with Environmental Sensors and Real-time Tagging by Participants

本研究では参加者5, 6 人がプレゼンテーションとフリーディスカッションを交えて行うミーティングを対象として,その様子を映像と音声で記録するとともに,参加者の視線集中,写真撮影と電子メモの記入,プレゼンテーションスライドの操作などを検出してインデクスを生成することで,後から振り返るときのための利便性を確保したミーティングキャプチャシステムを構築する.このインデクスは映像の自動推薦を行う際に利用することを想定しており,過去をうまく想起させるような部分や,複数映像の中のふさわしい部分を選択するための指標となるようにする.収録したデータを自発的に振り返るときにもこのインデクスが手がかりとして提示され,見る人に対してどこから見ればよいのか,どのあたりが重要なシーンであるかが視覚的にわかるようにする.視線集中の獲得は,参加者の顔方向および視線方向をミーティングスペース中央の全方位カメラによって観測し,東西南北のうち特定の方向に対して過半数の集中が起きたときを意味のある重要なシーンが起こったと推測する.この際,顔方向と視線方向は独立に判定される.顔方向集中と視線方向集中では顔方向集中のほうがより印象的な会話イベントが起こったことが示唆され,その特徴としては笑いやジャスチャを伴うことや,会話が質問応答の形式になっていることが挙げられる.また参加者は捉えておきたい場面に対して,カメラのシャッターを押したりメモを書いたりする行為によって実時間タグと呼ぶインデクスを意識的に付与することが可能である.実時間タグのインデクスでは画像が生成されてから最後にメモ書きが起こるまでの活動時間に注目することにより,話題の継続性への手がかりとすることができる.この両者は同時刻にはあまり発生せず,両者のインデクスは性質が異なる相補的なものである.そのため両者のインデクスは目的によって使い分ける必要がある. / In this paper, I construct a capture system for meetings, in which 4 to 5 participants make presentations and/or free discussions. It enables participants and none-participants to look over captured meetings. This system captures paging of presentation slides, pictures by PhotoChat and notes as indices in addition to videos and audios. Besides captured indexes, gathering of gazes are calculated and used as index. I suppose these indexes are good marks to recall meetings and to select a video from multi view point and they will be variable in auto-recommendation. They are also used as markers to show where to start to look and where to look for their impotance when users want to look back. A spherical vision camera set up at the center of meeting table captures meeting participant’s faces in order to recognize that their gaze points gather at the same area. When the majority of them gather their gaze in any area of north, south, east, and west, the system guesses that a significant event occurs and generates the index. The precision ratio of the judgment of gaze gathering is about 65Some features are found in the conversations around the time that gaze gathering occurs. Participants also can give real-time tags to the scene for which they want to leave the indices intentionally by pressing the shutter button and writing the memos. The length of time from to the memo book daily life and happening of real time at the end can be used as a clue to the continuance of the topic. The length of the time between the generation of the image of real-time tag and the last memo can be used as a clue to the continuance of the topic. Both are not so generated at the same time, and the indices of both is the complementary one another. Since the indices of both differ, it is necessary to use them properly by the purposes. / Kyoto University (京都大学) / 0048 / 修士 / 修士(情報学)

Identiferoai:union.ndltd.org:kyoto-u.ac.jp/oai:repository.kulib.kyoto-u.ac.jp:2433/71166
Date23 March 2009
Creators中沢, 拓磨
Contributors西田, 豊明, Nakazawa, Takuma, ナカザワ, タクマ
Publisher京都大学, Kyoto University
Source SetsKyoto University
LanguageJapanese
Detected LanguageEnglish
TypeTFtmp, Thesis or Dissertation
Formatapplication/pdf

Page generated in 0.0024 seconds