[pt] O volume de dados existentes aumenta a cada dia, sendo que, armazenar, processar e transmitir esta informação se torna um grande desafio. O paradigma de Map Reduce, proposto por Dean e Ghemawat (10), é uma forma eficiente para o processamento de grandes volumes de dados utilizando um cluster de computadores e, mais recentemente, infraestruturas no Cloud. Entretanto, implementações tradicionais de Map Reduce não apresentam nem a flexibilidade (para escolher entre diferentes técnicas de codificação na etapa de map), nem o controle (capaz de especificar como organizar os resultados na etapa de reduce), necessários para o processamento de vídeos. Porém, com a proliferação de dispositivos capazes de reproduzir conteúdo em multimídia, e com o aumento da disponibilidade de banda, o consumo deste tipo de conteúdo é cada vez maior, o que mostra a necessidade de termos arquitetura eficientes para lidar com grandes volumes de dados, especificamente vídeos. A arquitetura de Split and Merge, proposta nesta dissertação, generaliza o paradigma de Map Reduce, fornecendo uma solução eficiente que contempla aspectos relevantes às aplicações de processamento intensivo de vídeo. Para validar a arquitetura proposta, são apresentados dois casos de uso onde a mesma foi implementada utilizando uma plataforma de Cloud. / [en] The Map Reduce approach, proposed by Dean and Ghemawat (10), is an efficient way for processing very large datasets using a computer cluster and, more recently, cloud infrastructures. Traditional Map Reduce implementations, however, provide neither the necessary flexibility (to choose among different encoding techniques in the mapping stage) nor control (to specify how to organize results in the reducing stage), required to process video files. The Split and Merge tool, proposed in this thesis, generalizes the Map Reduce paradigm, and provides an efficient solution that contemplates relevant aspects of intense processing video applications.

[pt] O advento da Internet coloca grandes desafios para o projeto de sistemas de submissão abertos, uma vez que elimina barreiras físicas e geográficas. A redução de custos, associada a passagem de mídias analógicas para digitais, dificultou a projeção de capacidades e recursos necessários para a construção de tais sistemas. Neste trabalho propomos uma arquitetura de software, baseada em computação na nuvem, que provê a escalabilidade necessária para a construção de sistemas de submissão abertos. Estes sistemas são caracterizados pela geração de grandes volumes de dados. Um caso real de uso é analisado utilizando o processamento de vídeos. / [en] The advent of the Internet poses great challenges to the design of public submission systems as it eliminates traditional barriers, such as geographical location and cost. With open global access, it is very hard to estimate storage space and processing power required by this class of applications. In this thesis we explore cloud computing technology as an alternative solution. The main contribution of this work is a general architecture in which to built open access, data intensive, public submission systems. A real world scenario is analyzed using this architecture for video processing.

[pt] Esta tese propõe que a combinação de técnicas de filtragem colaborativa, em particular para recomendações item-item, com novas tecnologias de computação em nuvem, pode melhorar drasticamente a eficiência dos sistemas de recomendação, particularmente em situações em que o número de itens e usuários supera milhões de objetos. Nela apresentamos uma arquitetura de recomendação item-item em tempo real, que racionaliza o uso dos recursos computacionais através da computação sob demanda. A arquitetura proposta oferece uma solução para o cálculo de similaridade entre itens em tempo real, sem ter que recorrer à simplificação do modelo de recomendação ou o uso de amostragem de dados de entrada. Esta tese também apresenta um novo modelo de feedback implícito para vídeos de curta duração, que se adapta ao comportamento dos usuários, e descreve como essa arquitetura foi usada na implementação de um sistema de recomendação de vídeo em uso pelo maior grupo de mídia da América Latina, apresentando resultados de um estudo de caso real para mostrar que é possível reduzir drasticamente o tempo de cálculo das recomendações (e os custos financeiros globais) usando o provisionamento dinâmico de recursos na nuvem. Ela discute ainda a implementação em detalhes, em particular o projeto da arquitetura baseada em nuvem. Finalmente, ela também apresenta oportunidades de pesquisa em potencial que surgem a partir desta mudança de paradigma. / [en] This dissertation argues that the combination of collaborative filtering techniques, particularly for item-item recommendations, with emergent cloud computing technology can drastically improve algorithm efficiency, particularly in situations where the number of items and users scales up to several million objects. It introduces a real-time item-item recommendation architecture, which rationalizes the use of resources by exploring on-demand computing. The proposed architecture provides a real-time solution for computing online item similarity, without having to resort to either model simplification or the use of input data sampling. This dissertation also presents a new adaptive model for implicit user feedback for short videos, and describes how this architecture was used in a large scale implementation of a video recommendation system in use by the largest media group in Latin America, presenting results from a real life case study to show that it is possible to greatly reduce recommendation times (and overall financial costs) by using dynamic resource provisioning in the Cloud. It discusses the implementation in detail, in particular the design of cloud based features. Finally, it also presents potential research opportunities that arise from this paradigm shift.

[pt] A qualidade de vida nos grandes centros urbanos tem sido motivo de preocupação para governantes, empresários e para a população residente em geral. Os serviços de transporte público coletivo exercem papel central nessa discussão, uma vez que determinam, sobretudo para aquela camada da sociedade de menor poder aquisitivo, o tempo desperdiçado diariamente em seus deslocamentos. Nas metrópoles brasileiras, os ônibus municipais são predominantes no transporte coletivo. Os usuários deste serviço – passageiros – não dispõem de informações atualizadas sobre os ônibus e linhas de ônibus em operação. Oferecer essa natureza de informação contribui para uma melhor experiência de uso diário deste modal e, consequentemente, proporciona maior qualidade de vida aos seus usuários. Em uma visão mais abrangente, os ônibus podem ser considerados sensores que viabilizam a compreensão dos padrões e identificação de anomalias no tráfego de veículos nas áreas urbanas, possibilitando galgar benefícios para toda população. O presente trabalho apresenta uma plataforma na nuvem que captura, enriquece, armazena e disponibiliza os dados dos dispositivos de GPS instalados nos ônibus, permitindo a extração de conhecimento a partir deste valioso e volumoso conjunto de informações. Experimentos são realizados com os ônibus do Município do Rio de Janeiro, com aplicações focadas no passageiro e na sociedade. As metodologias, discussões e técnicas empregadas ao longo do trabalho poderão ser reutilizados para diferentes cidades, modais e perspectivas. / [en] The quality of life in urban centers has been a concern for governments, business and the resident population in general. Public transportation services perform a central role in this discussion, since they determine, especially for that layer of lower-income society, the time wasted daily in their movements. In Brazilian cities, city buses are predominant in public transportion. Users of this service - passengers - do not have updated information of buses and lines. Offer this kind of information contributes to a better everyday experience of this modal and therefore provides greater quality of life for its users. In a broader view, the bus can be considered sensors that enable the understanding of the patterns and identify anomalies in vehicle traffic in urban areas, allowing benefits for the whole population. This work presents a platform in the cloud computing environment that captures, enriches, stores and makes available the data from GPS devices installed on buses, allowing the extraction of knowledge from this valuable and voluminous set of information. Experiments are performed with the buses of the Municipality of Rio de Janeiro, with applications focused on passenger and society. The methodologies, discussions and techniques used throughout the work can be reused for different cities, modal and perspectives.