A temática envolvendo o processamento de grandes quantidades de dados é um tema amplamente discutido nos tempos atuais, envolvendo seus desafios e aplicabilidade. Neste trabalho é proposta uma ferramenta de programação para desenvolvimento e um ambiente de execução para aplicações com grandes quantidades de dados. O uso da ferramenta visa obter melhor desempenho de aplicações neste cenário, explorando o uso de recursos físicos como múltiplas linhas de execução em processadores com diversos núcleos e a programação distribuída, que utiliza múltiplos computadores interligados por uma rede de comunicação, de forma que estes operam conjuntamente em uma mesma aplicação, dividindo entre tais máquinas sua carga de processamento. A ferramenta proposta consiste na utilização de blocos de programação, de forma que tais blocos sejam compostos por tarefas, e sejam executados utilizando o modelo produtor consumidor, seguindo um fluxo de execução definido. A utilização da ferramenta permite que a divisão das tarefas entre as máquinas seja transparente ao usuário. Com a ferramenta, diversas funcionalidades podem ser utilizadas, como o uso de ciclos no fluxo de execução ou no adiantamento de tarefas, utilizando a estratégia de processamento especulativo. Os resultados do trabalho foram comparados a duas outras ferramentas de processamento de grandes quantidades de dados, Hadoop e que o uso da ferramenta proporciona aumento no desempenho das aplicações, principalmente quando executado em clusters homogêneos. / The topic involving the processing of large amounts of data is widely discussed subject currently, about its challenges and applicability. This work proposes a programming tool for development and an execution environment for applications with large amounts of data. The use of the tool aims to achieve better performance of applications in this scenario, exploring the use of physical resources such as multiple lines of execution in multi-core processors and distributed programming, which uses multiple computers interconnected by a communication network, so that they operate jointly in the same application, dividing such processing among such machines. The proposed tool consists of the use of programming blocks, so that these blocks are composed of tasks, and the blocks are executed using the producer consumer model, following an execution flow. The use of the tool allows the division of tasks between the machines to be transparent to the user. With the tool, several functionalities can be used, such as cycles in the execution flow or task advancing using the strategy of speculative processing. The results were compared with two other frameworks, Hadoop and Spark. These results indicate that the use of the tool provides an increase in the performance of the applications, mostly when executed in homogeneous clusters.

Monitoramento participativo representa um novo paradigma de coleta de dados de sensores, focado na extração e utilização de dados gerados pelas pessoas. Iniciativas baseadas neste conceito estão se tornando essenciais para projetistas de infraestruturas urbanas inteligentes, uma vez que possibilitam a captura de diversos tipos de informação relevante que não poderia ser capturada por sensores físicos tradicionais. Uma grande quantidade de publicações e projetos associados a este tópico surgiu nos últimos anos, e com eles a necessidade de se organizar e classificar tais trabalhos apropriadamente. Neste trabalho é proposta uma taxonomia para iniciativas de monitoramento colaborativo, ilustrando cada uma de suas dimensões a partir de um extenso levantamento bibliográfico da área. O esquema proposto adicionalmente suporta a identificação e estimula o desenvolvimento de projetos, utilizando mecanismos de coleta de dados ainda não explorados. Focando no monitoramento colaborativo ativo realizado a partir de aplicativos móveis, este trabalho apresenta uma linguagem formal para especificação de novas iniciativas de monitoramento colaborativo, e uma plataforma implementada para interpretar as especificações descritas por meio de tal linguagem e instanciar tanto os aplicativos de coleta de dados quanto os servidores de aplicação para receber, validar e visualizar tais dados, facilitando a criação de novos aplicativos até mesmo por indivíduos sem qualquer conhecimento em desenvolvimento de software. Um experimento foi realizado utilizando tal plataforma para mapear condições de acessibilidade das ruas e calçadas de uma região de quatro quilômetros quadrados na cidade de São Paulo, no qual a cobertura completa da região foi obtida por oito voluntários em menos de três horas. Tal experimento ilustra a efetividade deste tipo de tecnologia, uma vez que a cidade de São Paulo, com aproximadamente mil e quinhentos quilômetros quadrados, poderia ser mapeada por apenas três mil pessoas no mesmo período de três horas. Concluindo este trabalho, uma generalização da solução é discutida, demonstrando a possibilidade de uso da mesma plataforma em outros cenários, diferentes das cidades inteligentes, como por exemplo o monitoramento colaborativo de riscos de acidentes no trabalho em fábricas, entre outros. Finalmente, apresenta-se um direcionamento de trabalhos futuros para o desenvolvimento de sistemas de suporte à decisão, com base nos dados de monitoramento colaborativo, e para o uso de tecnologias de Big Data na captura, agregação, análise e extração de conhecimento dos dados de diferentes tipos de monitoramento colaborativo apresentados na taxonomia, incluindo dados de redes sociais, sensores físicos e derivados do processamento de imagens. / Citizen sensing is a new sensor-based data collection paradigm and is focused on the extraction of data generated by people. Initiatives based on this concept are becoming crucial for designers of intelligent urban infrastructures, since they enable the collection of several types of relevant data that cannot be properly captured by traditional physical sensors. A large number of articles and projects associated to the topic appeared over the last few years, and with them the need for properly classify and organize these works. In the current work, we propose a taxonomy of citizen sensing initiatives and illustrate each of its dimensions through a survey of recent articles in the area. The proposed scheme also supports the identification and stimulates the development of projects addressing data collection methodologies that have not been properly explored so far. Focusing on active citizen sensing through mobile applications, we present a specification language designed to allow the description of such applications, and a platform implemented to interpret specifications described using this language and instantiate both the mobile app for data collection as well as the backend server to receive, validate and visualize the data, facilitating the conception and \'implementation\' of new apps even by people without any knowledge about software development. We also report a real-world experiment in which we used our platform to map accessibility conditions of streets and sidewalks located in a four square kilometers area in São Paulo, Brazil, showing that a full coverage was obtained with the support of eight volunteers after only three hours. Such experiment illustrates the effectiveness of the technology, since the city of São Paulo, with an area of approximately fifteen hundred square kilometers, could be mapped by only three thousand people over the same three hours interval. Concluding this work, a generalization of the solution is discussed, demonstrating the applicability of the same platform in scenarios other than smart cities, such as participatory sensing for risk of work accidents in manufacturing compa nies, and others. Finally, we present some directions for future work at the development of Decision Support Systems based on information from citizen sensing, and the usage of Big Data technologies for capturing, aggregating, analyzing, and extracting knowledge from data generated by the different types of citizen sensing techniques presented in the taxonomy, including data from social networks, physical sensors, and image processing.

A implementação de arcabouços de controle de acesso para sistemas distribuídos é dificultada pelas características próprias desta classe de ambientes, demandando modificações tanto na arquitetura do arcabouço quanto no modelo de política de controle de acesso usualmente empregados em arquiteturas não distribuídas. Este trabalho tenciona sanar ou mitigar estas dificuldades formalizando os requisitos desta classe de ambientes em duas frentes distintas (arquitetura e modelo de política de acesso) e analisando o impacto que uma exerce sobre a outra. Duas conclusões fundamentais são suportadas por esta análise: a necessidade do arcabouço ser construído na forma de um sistema distribuído, e que embora um modelo de política de fato possa ser escolhido, a especificação deste precisará ser modificada de forma a se adaptar às características específicas do ambiente. O arcabouço DRBAC (Distributed Role Based Access Control) foi desenvolvido sobre uma arquitetura distribuída e aplica o modelo de política de controle de acesso baseado em papéis. A arquitetura foi obtida a partir da expansão da arquitetura de referência de ferramentas de controle de acesso e a especificação do modelo foi desenvolvida a partir da especificação padronizada pelo NIST (National Institute Of Standards and Technology). A validação do trabalho é levada a termo por meio de uma série de experimentos realizados sobre a implementação de uma prova de conceito deste arcabouço. / The creation of frameworks for access control in distributed systems is made difficult by this class of systems own characteristics, demanding changes in both the architecture of the framework and in the model of access control policy usually employed on non distributed systems. This works aims to solve or at least mitigate these problems by formalizing these requirements in two different fronts (architecture and model of access control policy) and analyzing its mutual impacts. Two fundamental conclusions are supported by this analysis: the need for the framework to be built in the form of a distributed system, and that although a policy model can indeed be chosen, the specification of this should to be modified to adapt the specific features of the environment. The DRBAC (Distributed Role Based Access Control) framework is built following a distributed architecture model that applies the Role Based Access Control policy. The DRBAC architecture was obtained from the expansion of the reference architecture for an access control tool for a generic access control system and the DRBAC access policy model was adapted from the one standardized by NIST (National Institute of Standards and Technology). The validation of this work is carried out through a series of experiments conducted on a proof of concept implementation of this framework.

Grades Computacionais (grid computing) já é uma realidade tanto no meio acadêmico quanto no meio empresarial. Seu uso se tornou popular principalmente devido à divulgação dos trabalhos nesta área e pela propaganda de produtos e softwares que oferecem essa idéia. Apesar disso, ambientes para o desenvolvimento de aplicações orientadas a objetos em Java para uma infra-estrutura de grid ainda é escasso. Algumas iniciativas oferecem bibliotecas para este desenvolvimento. Outras utilizam paradigmas diferentes, como o de passagem de mensagem, para o desenvolvimento de aplicações. Além disso, a própria infra-estrutura de grid, formada por diferentes domínios administrativos com diferentes políticas de segurança e uso, impede que as aplicações sejam executadas nos diversos níveis existentes no grid. Estes níveis, formados por computadores e clusters de computadores com nós de execução, possuem endereçamento privado, impossibilitando que as aplicações alocadas em cada um desses computadores/nós, em diferentes domínios e diferentes endereços, se comuniquem de forma transparente. Visando uma solução para esses problemas, esta tese apresenta um ambiente para programação orientada a objetos distribuídos e paralelos, em Java, denominado J4GE. Nesse ambiente, o modelo orientado a objetos é base para a distribuição das classes, métodos e atributos existente em uma aplicação. Além disso, o ambiente oferece transparência no acesso aos objetos espalhados pelo grid através de um Serviço de Mensagem, independente do nível onde o recurso, computador ou nó, se encontra. Essa transparência permite também que o programador utilize a plataforma Java sem a necessidade de aprender ou conhecer novas bibliotecas ou paradigmas, diminuindo o esforço no desenvolvimento de aplicações para grid. E, juntamente com os recursos da plataforma Java e do ambiente J4GE, é possível criar objetos distribuídos com comportamento paralelo e concorrente, trazendo maior eficiência para a execução da aplicação. / Grid computing is already a reality both in academic and business world. Its use has become popular mainly because of the projects in this area and the advertising of products and software that offer this idea. Nevertheless, environments for development of object-oriented applications in Java for grid infrastructure are still scarce. Some initiatives offer libraries for this development. Others use different paradigms such as the message-passing for development of applications. Moreover, the infrastructure of grid, formed by different administrative domain with different security policies, prevents the execution of applications at various levels in the grid. These levels, formed by computers and clusters of computers with execution nodes, have private addresses, make impossible the transparent communication of the applications allocated in each of these computers at different levels in different domains. Focused on these problems, this thesis presents an environment for distributed and parallel object-oriented programming in Java, called J4GE. In this environment, the object-oriented model is the basis for the distribution of classes, methods and attributes in an existing application. Moreover, the environment offers transparency in objects access around the grid through a Message Service, regardless the level where is the resource, or the computer, or the execution node. This transparency also allows the programmer to use the Java platform without knowing or learning new libraries or paradigms, reducing the effort in developing applications for grid. The resources of the Java platform and the environment J4GE together can create distributed objects with parallel and concurrent behavior, bringing greater efficiency to the application.

Escalonamento em Grid tem sido vastamente estudado devido à sua grande importância para o desempenho da Grid. Dada a sua complexidade, este é subdividido em escalonamento de recursos e de aplicações. A qualidade do escalonamento está relacionada ao algoritmo de escalonamento de tarefas. O presente trabalho tem como objetivo apresentar a metodologia AGSA (Analysis of Grid Scheduling Algorithms) para a comparação de algoritmos de escalonamento de tarefas em Grid. O intuito desta metodologia é analisar o comportamento e desempenho dos algoritmos em diversos cenários. O ambiente de simulação CEGSE (Characterization oriEnted Grid Scheduling Environment) foi desenvolvido para a criação e simulação destes cenários. Os estudos de caso comprovam a eficácia da metodologia. / Grid Scheduling has been studied because it is very important for Grid performance. Due Grid Scheduling\'s complexity, it is subdivided in resource and application scheduling. The quality of scheduling is related a tasks scheduling algorithm. The dissertation presents the AGSA (Analysis of Grid Scheduling Algorithms) methodology for comparison of Grid Scheduling Algorithms in Grid Computing. The methodology purpose is the behavior and performance analysis of algorithms in various scenarios. The CEGSE (Characterization oriEnted Grid Scheduling Environment) simulation environment is developed for this scenarios create and simulate. The case studies ratify the methodology efficiency.

Com os avanços dos processos da microeletrônica temos dispositivos menores e com maior poder de computação e comunicação. Um Ambiente Pervasivo contém diferentes dispositivos, tais como sensores, atuadores, eletroeletrônicos e dispositivos móveis que interagem com a pessoa de forma natural ao conhecer o contexto. A diversidade de dispositivos e informações do Ambiente Pervasivo introduz um problema de interoperabilidade. Um Ambiente Pervasivo é dinâmico devido à mobilidade do usuário, a variedade de dispositivos. Neste trabalho, é proposto um modelo semântico de contexto para permitir interoperabilidade e fornecer suporte ao dinamismo do Ambiente Pervasivo. O modelo proposto contém características da modelagem de contexto realizadas por trabalhos anteriores, assim como sua integração com a modelagem de preferências das pessoas, políticas de privacidade e serviços. Verificou-se que o modelo de contexto proposto é adequado mediante sua aplicação em um Estudo de Caso e mediante testes realizados. Mostra-se que a modelo de contexto utilizado ontologias e Serviços Web Semânticos permite tratar com informação incompleta e inconsistente, bem como fornece suporte na interoperabilidade e ao dinamismo do Ambiente Pervasivo. / Advances in microelectronic processes have allowed smaller devices with more computation and communication power. Pervasive environment contains different devices like electronic sensor, actuators and mobile devices which interact with the person naturally after the context is known. The device and information diversity introduce an interoperability problem. Pervasive environments are dynamics because of user\'s mobility and a variety of devices. In this work, we propose a context model to allow interoperability and to give support to pervasive environment dynamism. The proposed model contains features of context modeling developed in previous works, as well as, their integration with the modeling of the people\'s preferences, privacy policies and services. It was verified that the context model is appropriate by their application in a Case Study and by accomplished tests. It is shown that the model of context using ontologies and Semantic Web Services allow us to work with inconsistent and incomplete information, as well as gives support to interoperability and dynamism of the Pervasive Environment.

No Brasil as informações sobre o câncer estão distribuídas entre diferentes instituições que realizam o seu tratamento, nesse contexto são necessárias ferramentas para o levantamento do cenário nacional que possa auxiliar na atenção a doença. Este contexto motivou a criação do Oncogrid, que é uma grade computacional para integração e compartilhamento de dados médicos em oncologia e permitirá à comunidade médica a análise dos tratamentos aplicados com reflexos na gestão do câncer. Foi realizada uma pesquisa analizando as diferentes arquiteturas e componentes utilizados em projetos de grade voltados à saúde, a fim de propor uma arquitetura flexível, modular e escalável para o Oncogrid, em conformidade com as necessidades brasileiras. Realizou-se um projeto piloto entre o LSI/EPUSP e o NUTES/UFPE o qual implementou uma aplicação para geração de curvas de sobrevida utilizando o método Kaplan-Meier e serviu para avaliar a arquitetura do Oncogrid. Os resultados obtidos comprovaram a viabilidade da arquitetura utilizada e o potencial da proposta de uma grade computacional como um novo paradigma para a integração e compartilhamento de informações. O Oncogrid mostrou-se uma arquitetura computacional interessante para a realidade brasileira, especialmente no acesso as informações distribuídas, o que pode fornecer maiores subsídios para a evolução dos tratamentos e desenvolvimento de novas frentes de pesquisas. / In Brazil the cancer information is distributed among several institutions that accomplish your treatment, in this context we are need tools to build a national scenery that can be aid the cancer care. This context motivated the Oncogrid creation that is a grid computing for integration and sharing medical data in oncology and will allow the medical community to analise the applied treatments with reflection in cancer management.A study was done to analise the several architectures and components used in grid projects to health care, making possible to propose a flexible, modular and scalable architecture to the Oncogrid accordingly with the brazilian reality. An initial project between LSI/EPUSP and NUTES/UFPE that was developed an application to plot the survival curve using the Kaplan-Meier method and allow the evaluation of the Oncogrid architecture. The results achieved confirm the architecture viability used and the proposal potentiality of a grid computing with a new paradigm to the integration and sharing informations. The Oncogrid shows a viable computing architecture to Brazil, especially to access distributed information that can be prove great contributions to treatment evolution and to develop new research areas.

A adaptação de vídeo é uma técnica amplamente explorada na provisão de conteúdos de forma que atendam adequadamente os mais diversos cenários de consumo, caracterizados por diferentes requisitos e restrições de rede, terminal e preferências do usuário. Entretanto, sua aplicação em sistemas de distribuição de vídeo de alta demanda, como CDNs, é abordada de forma simplista pelas propostas existentes, pois não consideram os diversos aspectos de otimização do uso da rede. Este trabalho trata estas deficiências propondo um serviço de adaptação de vídeo que explora o conceito de contexto, ao elaborar uma adaptação baseada em perfis dos usuários. Além disso, a proposta de adaptação está totalmente integrada a distribuição por redes sobrepostas, sendo possível associar a adaptação em tempo-real à transmissão por multicast e ao caching, o que garante a otimização do uso dos recursos de rede na distribuição dos fluxos de vídeo. Como forma de demonstrar a viabilidade e os benefícios desta proposta são realizados testes experimentais através de uma implementação de referência deste serviço. / Video adaptation is a technique extensively explored for providing content so that it meets different requirements and constraints of network, users terminal and preferences, providing better quality of experience. However, its use in high-demand video distribution systems is not sufficiently explored and is usually tackled in a simple way. This is due to the fact that current solutions do not deals with its applicability systemically. This work presents an approach, which explores video adaptation and the concept of context, elaborating a video adaptation service based in users profile. Moreover, the adaptation proposal presented here is totally integrated to CND (content network distribution) using overlay networks, being possible the association with real-time adaptation to the transmission using multicast and caching. This work focuses on presenting the architecture of that service and its operation. The proposal validation is performed by putting the identified requirements for its application against its provided functionalities and the test results in a implementation of this service.

Grades computacionais tem a finalidade de oferecer meios para o compartilhamento de recursos distribuídos geograficamente para o uso em aplicações que necessitem. A integração de Bancos de Dados distribuídos geograficamente pode ser obtida através do compartilhamento de recursos provido pela tecnologia de grades. Este trabalho utiliza middlewares de grade computacional, especificamente Globus e OGSA-DAI bem como outras tecnologias como LDAP e JDBC, especificando uma arquitetura distribuída para possibilitar a integração de Bancos de Dados, oferecendo também suporte a replicação. A arquitetura proposta possibilita a configuração de níveis hierárquicos de replicação. O presente trabalho apresenta a implementação de um protótipo desta arquitetura. Um driver JDBC é apresentado para possibilitar o uso dos bancos de dados expostos na grade. Tem-se como resultado deste trabalho, a definição da arquitetura e o desenvolvimento de ferramentas culminando em um protótipo funcional, bem como uma versão estável do driver JDBC. A possibilidade de integração de bancos de dados na grade com suporte a replicação, torna possível aplicações de alto desempenho e alta disponibilidade sem comprometer a autonomia local dos bancos de dados integrados. / Grid Computing have the goal of providing means to share resources to be used by applications that need these resources. The integration of geographically distributed databases can be obtained by sharing resources using grid computing technology. This work uses grid middlewares, specifically Globus Toolkit and OGSA-DAI, as well as other technologies as LDAP and Java JDBC, specifying a distributed architecture to allow database integration, also offering support for replication. The proposed architecture offers also its configuration in hierarchical levels of replication. The work also presents the implementation of a prototype based on the proposed architecture. A JDBC driver is presented, it allows the ease access to databases exposed in the grid. The results of this work are the definition of the architecture, the development of a functional prototype and a stable version of the JDBC Driver. The possibility of integrating databases with replication support allows applications of high performance and high availability without interfering in the local autonomy of the databases.

Grade computacional é uma alternativa para melhorar o desempenho de aplicações paralelas, por permitir o uso simultâneo de vários recursos distribuídos. Entretanto, para que a utilização de uma grade seja adequada, é necessário que os recursos sejam utilizados de maneira a permitir a otimização de algum critério. Para isto, várias estratégias de escalonamento têm sido propostas, mas o grande desafio é extrair o potencial que os recursos oferecem para a execução de aplicações paralelas. Uma estratégia bastante usada em sistemas de escalonamento atuais é escalonar uma aplicação paralela nos recursos de um único cluster. Contudo, apesar da estratégia ser simples, ela é muito limitada, devido principalmente a baixa utilização dos recursos. Este trabalho propõe e implementa o sistema GCSE (Grid Cooperative Scheduling Environment) que provê uma estratégia de escalonamento cooperativo para usar eficientemente os recursos distribuídos. Os processos de uma aplicação paralela podem ser distribuídos em recursos de vários clusters e computadores, todos conectados a redes de comunicação públicas. GCSE também gerencia a execução das aplicações, bem como oferece um conjunto de primitivas que fornece informações sobre os ambientes de execução para o suporte à comunicação entre processos. Além disto, uma estratégia de antecipação de dados é proposta para aumentar ainda mais o desempenho das aplicações. Para realizar um bom escalonamento é preciso descobrir os recursos distribuídos. Neste sentido, o sistema LIMA (Light-weIght Monitoring Architecture) foi projetado e implementado. Este sistema provê um conjunto de estratégias e mecanismos para o armazenamento distribuído e acesso eficiente às informações sobre os recursos distribuídos. Além disto, LIMA adiciona facilidades de descobrimento e integração com o GCSE e outros sistemas. Por fim, serão apresentados os testes e avaliações dos resultados com o uso integrado dos sistemas GCSE e LIMA, compondo um ambiente robusto para a execução de aplicações paralelas. / Computing grid is an alternative for improving the parallel application performance, because it allows the simultaneous use of many distributed resources. However, in order to take advantage of a grid, the resources must be used in such a way that some criteria can be optimized. Thus, various scheduling strategies have been proposed, but the great challenge is the exploitation of the potential that the resources provide to the parallel application execution. A strategy often used in current scheduling systems is to schedule a parallel application on resources of a single cluster. Even though this strategy is simple, it is very limited, mainly due to low resource utilization. This thesis proposes and implements the GCSE system (Grid Cooperative Scheduling Environment) that provides a cooperative scheduling strategy for efficiently using the distributed resources. The processes of a parallel application can be distributed in resources of many clusters and computers, and they are all connected by public communication networks. GCSE also manages the application execution, as well as offering a primitive set that provide information about the execution environments for ensuring the communication between processes. Moreover, a data advancement strategy is proposed for improving the application performance. In order to perform a good scheduling, the distributed resources must be discovered. Therefore, the LIMA system (Light-weIght Monitoring Architecture) was designed and implemented. This system provides both strategy and mechanism set for distributed storage and efficient access to information about the distributed resources. In addition, LIMA offers facilities for resource discovering and integrating its functionalities both GCSE and other systems. Finally, the tests and result evaluations are presented with the integrated use of both GCSE and LIMA systems, composing a robust environment for executing parallel application.