Este trabalho introduz uma interface para estender vídeos educacionais com panoramas e navegação não-linear baseada em conteúdo. Em vídeos de e-learning convencionais, cada quadro está restrito ao subconjunto da cena capturado naquele momento. Isso torna difícil para o usuário revisitar conteúdos mostrados anteriormente, que podem ser essenciais para o entendimento dos conceitos seguintes. Localizar conteúdos anteriores nesses vídeos requer uma navegação linear no tempo, o que pode ser ineficiente. Estendemos vídeo-aulas para prover ao usuário o acesso direto a todo o conteúdo apresentado através de uma simples interface. Isso é feito pela detecção automática de pontos relevantes no vídeo e a criação de hyperlinks a partir desses pontos de maneira completamente transparente. Nossa interface constrói gradualmente um panorama clicável que mostra todo o conteúdo visto no vídeo até o dado momento. O usuário pode navegar pelo vídeo simplesmente clicando no conteúdo desejado, ao invés de utilizar a tradicional barra deslizante de tempo. Nosso panorama também pode ser exportado no final da execução, juntamente com anotações feitas pelo usuário, como um conjunto de notas de aula. A eficiência da nossa técnica foi demonstrada com a aplicação bem-sucedida a três categorias de vídeos que são representativas de todo o conjunto de vídeo-aulas disponíveis: Khan Academy, Coursera e aulas convencionais gravadas com uma câmera. Demonstramos que foi possível atingir os resultados em tempo real para vídeos de baixa resolução (320x240). No caso de resoluções mais altas, é necessário que a detecção de features (usando SIFT) seja feita em uma fase de pré-processamento. Como a parte mais custosa do nosso pipeline é extremamente paralelizável, acreditamos que a execução de vídeos de alta resolução em tempo real seja um resultado alcançável em curto prazo. As técnicas descritas nessa dissertação disponibilizam maneiras mais eficientes de explorar vídeos educacionais. Dessa forma, elas tem potencial para impactar a educação, disponibilizando experiências educacionais mais customizáveis para milhões de estudantes em todo o mundo. / This thesis introduces a new interface for augmenting existing e-learning videos with panoramic frames and content-based non-linear navigation. In conventional e-learning videos, each frame is constrained to the subset of the lecture content captured by the camera or frame grabber at that moment. This makes it harder for users to quickly revisit and check previously shown subjects, which might be crucial for understanding subsequent concepts. Locating previously seen materials in pre-recorded videos requires one to perform visual inspection by sequentially navigating through time, which can be distracting and time-consuming. We augment e-learning videos to provide users direct access to all previously shown content through a simple pointing interface. This is achieved by automatically detecting relevant features in the videos as they play, and assigning them hyperlinks to a buffered version in a completely transparent way. The interface gradually builds panoramic video frames displaying all previously shown content. The user can then navigate through the video in a non-linear way by directly clicking over the content, as opposed to using a conventional time slider. As an additional feature, the final panorama can be exported as a set of annotated lecture notes. We demonstrate the effectiveness of our approach by successfully applying it to three representative styles of e-learning videos: Khan Academy, Coursera, and conventional lecture recorded with a camera. We show that we can achieve real-time performance for low-resolution videos (e.g., 320x240) on a single desktop PC. For higher resolution videos, some pre-processing is required for feature detection (using SIFT). However, since the most expensive parts of our processing pipeline are highly parallel, we believe that real-time performance might be soon achievable even for full HD resolution. The techniques described in this thesis provide more efficient ways for exploring the benefits of e-learning videos. As such, they have the potential to impact education by providing more customizable learning experiences for millions of e-learners around the world.

Este trabalho introduz uma interface para estender vídeos educacionais com panoramas e navegação não-linear baseada em conteúdo. Em vídeos de e-learning convencionais, cada quadro está restrito ao subconjunto da cena capturado naquele momento. Isso torna difícil para o usuário revisitar conteúdos mostrados anteriormente, que podem ser essenciais para o entendimento dos conceitos seguintes. Localizar conteúdos anteriores nesses vídeos requer uma navegação linear no tempo, o que pode ser ineficiente. Estendemos vídeo-aulas para prover ao usuário o acesso direto a todo o conteúdo apresentado através de uma simples interface. Isso é feito pela detecção automática de pontos relevantes no vídeo e a criação de hyperlinks a partir desses pontos de maneira completamente transparente. Nossa interface constrói gradualmente um panorama clicável que mostra todo o conteúdo visto no vídeo até o dado momento. O usuário pode navegar pelo vídeo simplesmente clicando no conteúdo desejado, ao invés de utilizar a tradicional barra deslizante de tempo. Nosso panorama também pode ser exportado no final da execução, juntamente com anotações feitas pelo usuário, como um conjunto de notas de aula. A eficiência da nossa técnica foi demonstrada com a aplicação bem-sucedida a três categorias de vídeos que são representativas de todo o conjunto de vídeo-aulas disponíveis: Khan Academy, Coursera e aulas convencionais gravadas com uma câmera. Demonstramos que foi possível atingir os resultados em tempo real para vídeos de baixa resolução (320x240). No caso de resoluções mais altas, é necessário que a detecção de features (usando SIFT) seja feita em uma fase de pré-processamento. Como a parte mais custosa do nosso pipeline é extremamente paralelizável, acreditamos que a execução de vídeos de alta resolução em tempo real seja um resultado alcançável em curto prazo. As técnicas descritas nessa dissertação disponibilizam maneiras mais eficientes de explorar vídeos educacionais. Dessa forma, elas tem potencial para impactar a educação, disponibilizando experiências educacionais mais customizáveis para milhões de estudantes em todo o mundo. / This thesis introduces a new interface for augmenting existing e-learning videos with panoramic frames and content-based non-linear navigation. In conventional e-learning videos, each frame is constrained to the subset of the lecture content captured by the camera or frame grabber at that moment. This makes it harder for users to quickly revisit and check previously shown subjects, which might be crucial for understanding subsequent concepts. Locating previously seen materials in pre-recorded videos requires one to perform visual inspection by sequentially navigating through time, which can be distracting and time-consuming. We augment e-learning videos to provide users direct access to all previously shown content through a simple pointing interface. This is achieved by automatically detecting relevant features in the videos as they play, and assigning them hyperlinks to a buffered version in a completely transparent way. The interface gradually builds panoramic video frames displaying all previously shown content. The user can then navigate through the video in a non-linear way by directly clicking over the content, as opposed to using a conventional time slider. As an additional feature, the final panorama can be exported as a set of annotated lecture notes. We demonstrate the effectiveness of our approach by successfully applying it to three representative styles of e-learning videos: Khan Academy, Coursera, and conventional lecture recorded with a camera. We show that we can achieve real-time performance for low-resolution videos (e.g., 320x240) on a single desktop PC. For higher resolution videos, some pre-processing is required for feature detection (using SIFT). However, since the most expensive parts of our processing pipeline are highly parallel, we believe that real-time performance might be soon achievable even for full HD resolution. The techniques described in this thesis provide more efficient ways for exploring the benefits of e-learning videos. As such, they have the potential to impact education by providing more customizable learning experiences for millions of e-learners around the world.

Este trabalho introduz uma interface para estender vídeos educacionais com panoramas e navegação não-linear baseada em conteúdo. Em vídeos de e-learning convencionais, cada quadro está restrito ao subconjunto da cena capturado naquele momento. Isso torna difícil para o usuário revisitar conteúdos mostrados anteriormente, que podem ser essenciais para o entendimento dos conceitos seguintes. Localizar conteúdos anteriores nesses vídeos requer uma navegação linear no tempo, o que pode ser ineficiente. Estendemos vídeo-aulas para prover ao usuário o acesso direto a todo o conteúdo apresentado através de uma simples interface. Isso é feito pela detecção automática de pontos relevantes no vídeo e a criação de hyperlinks a partir desses pontos de maneira completamente transparente. Nossa interface constrói gradualmente um panorama clicável que mostra todo o conteúdo visto no vídeo até o dado momento. O usuário pode navegar pelo vídeo simplesmente clicando no conteúdo desejado, ao invés de utilizar a tradicional barra deslizante de tempo. Nosso panorama também pode ser exportado no final da execução, juntamente com anotações feitas pelo usuário, como um conjunto de notas de aula. A eficiência da nossa técnica foi demonstrada com a aplicação bem-sucedida a três categorias de vídeos que são representativas de todo o conjunto de vídeo-aulas disponíveis: Khan Academy, Coursera e aulas convencionais gravadas com uma câmera. Demonstramos que foi possível atingir os resultados em tempo real para vídeos de baixa resolução (320x240). No caso de resoluções mais altas, é necessário que a detecção de features (usando SIFT) seja feita em uma fase de pré-processamento. Como a parte mais custosa do nosso pipeline é extremamente paralelizável, acreditamos que a execução de vídeos de alta resolução em tempo real seja um resultado alcançável em curto prazo. As técnicas descritas nessa dissertação disponibilizam maneiras mais eficientes de explorar vídeos educacionais. Dessa forma, elas tem potencial para impactar a educação, disponibilizando experiências educacionais mais customizáveis para milhões de estudantes em todo o mundo. / This thesis introduces a new interface for augmenting existing e-learning videos with panoramic frames and content-based non-linear navigation. In conventional e-learning videos, each frame is constrained to the subset of the lecture content captured by the camera or frame grabber at that moment. This makes it harder for users to quickly revisit and check previously shown subjects, which might be crucial for understanding subsequent concepts. Locating previously seen materials in pre-recorded videos requires one to perform visual inspection by sequentially navigating through time, which can be distracting and time-consuming. We augment e-learning videos to provide users direct access to all previously shown content through a simple pointing interface. This is achieved by automatically detecting relevant features in the videos as they play, and assigning them hyperlinks to a buffered version in a completely transparent way. The interface gradually builds panoramic video frames displaying all previously shown content. The user can then navigate through the video in a non-linear way by directly clicking over the content, as opposed to using a conventional time slider. As an additional feature, the final panorama can be exported as a set of annotated lecture notes. We demonstrate the effectiveness of our approach by successfully applying it to three representative styles of e-learning videos: Khan Academy, Coursera, and conventional lecture recorded with a camera. We show that we can achieve real-time performance for low-resolution videos (e.g., 320x240) on a single desktop PC. For higher resolution videos, some pre-processing is required for feature detection (using SIFT). However, since the most expensive parts of our processing pipeline are highly parallel, we believe that real-time performance might be soon achievable even for full HD resolution. The techniques described in this thesis provide more efficient ways for exploring the benefits of e-learning videos. As such, they have the potential to impact education by providing more customizable learning experiences for millions of e-learners around the world.

Vor dem Hintergrund der Ausspracheabweichungen, die chinesische Muttersprachler beim Erwerb der deutschen Aussprache produzieren bzw. aufweisen, widmet sich die vorliegende Arbeit einer intensiven kontrastiven phonetisch-phonologischen Analyse des Deutschen (Standardbinnendeutsch) und des Chinesischen (Putonghua) auf der segmentalphonetischen und -phonologischen, der phonotaktischen und der suprasegmentalen Ebene, um hierauf aufbauend internetbasierte Lehr- und Lernmaterialien zur deutschen Aussprache für chinesische Muttersprachler zu entwickeln. Exemplarisch für diese Konzeption stehen zwei zweieinhalb- bis dreiminütige selbst entwickelte und professionell ausgearbeitete Lernvideos (zu den deutschen Kurz- und Langvokalen sowie zu Konsonantenhäufungen). / Considering pronunciation deviations which are produced by Chinese native speakers in the learning of German pronunciation, this dissertation conducts an intensive contrastive phonetic-phonological analysis of German (Standard internal German) and Chinese (Putonghua) on the segmental, the phonotactic and the suprasegmental levels, in order to further develop internet-based teaching and learning materials for German pronunciation targeting Chinese native speakers. Two educational videos about German pronunciation for Chinese native speakers based on this contrast are developed as a result of this analysis, with one focusing on German short and long vowels and the other on consonant clusters.