abstract: As the size and scope of valuable datasets has exploded across many industries and fields of research in recent years, an increasingly diverse audience has sought out effective tools for their large-scale data analytics needs. Over this period, machine learning researchers have also been very prolific in designing improved algorithms which are capable of finding the hidden structure within these datasets. As consumers of popular Big Data frameworks have sought to apply and benefit from these improved learning algorithms, the problems encountered with the frameworks have motivated a new generation of Big Data tools to address the shortcomings of the previous generation. One important example of this is the improved performance in the newer tools with the large class of machine learning algorithms which are highly iterative in nature. In this thesis project, I set about to implement a low-rank matrix completion algorithm (as an example of a highly iterative algorithm) within a popular Big Data framework, and to evaluate its performance processing the Netflix Prize dataset. I begin by describing several approaches which I attempted, but which did not perform adequately. These include an implementation of the Singular Value Thresholding (SVT) algorithm within the Apache Mahout framework, which runs on top of the Apache Hadoop MapReduce engine. I then describe an approach which uses the Divide-Factor-Combine (DFC) algorithmic framework to parallelize the state-of-the-art low-rank completion algorithm Orthogoal Rank-One Matrix Pursuit (OR1MP) within the Apache Spark engine. I describe the results of a series of tests running this implementation with the Netflix dataset on clusters of various sizes, with various degrees of parallelism. For these experiments, I utilized the Amazon Elastic Compute Cloud (EC2) web service. In the final analysis, I conclude that the Spark DFC + OR1MP implementation does indeed produce competitive results, in both accuracy and performance. In particular, the Spark implementation performs nearly as well as the MATLAB implementation of OR1MP without any parallelism, and improves performance to a significant degree as the parallelism increases. In addition, the experience demonstrates how Spark's flexible programming model makes it straightforward to implement this parallel and iterative machine learning algorithm. / Dissertation/Thesis / M.S. Computer Science 2014

Datadriven kultur är inget nytt begrepp men har blivit allt mer vanligare när organisationer vill göra analyser och rapporter på egen data. Många organisationer har gjort stora investeringar i att blir mer datadrivna men inte lyckats ta till vara på den investeringen som har gjorts. Vilket har skapat problem för många organisationer som har svårt att identifiera var problemet ligger inom organisationen. Att vara datadriven handlar ofta inte om svårigheten i tekniken utan det är många andra faktorer som spelar in. Denna studie har som syfte att ta reda på hur organisationer jobbar för att etablera en datadriven kultur. Studien frågeställning som ska försöka besvaras är:” ”Hur arbetar organisationer med att etablera en datadriven kultur?”. För att besvara frågeställningen kommer två datainsamlingsmetoder att användas. Den primära insamlingen är en systematisk litteraturstudie och den sekundära insamlingen består av kvalitativa intervjuer. Den systematiska litteraturstudien syfte är att söka genom litteraturen för att besvara frågeställningen. De kvalitativa intervjuerna kommer utgå från resultatet av den systematiska litteraturstudie som görs.  Resultatet visar att det finns flera olika sätt att etablera en datadriven kultur på. Det går inte att trycka på en sak utan det är flera faktorer som spelar in. Mycket av den litteratur som finns ger indikationer på hur organisationer bör jobba för att etablera en datadriven kultur men enbart ett fåtal beskriver hur organisationer jobbar med att etablera en datadriven kultur. Ett viktigt steg i att etablera en datadriven kultur är att ta reda på hur verksamheten jobbar idag och hur de ska gå vidare till att utnyttja sin data på ett bättre sätt. Det krävs ofta många förändringar i en organisation för att lyckats att etablera en datadriven kultur från organisationsledning ner till den enskild anställd.

Submitted by Irene Nascimento (irene.kessia@ufpe.br) on 2017-04-10T18:23:48Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação de Mestrado_PROPAD_UFPE_Ijon Santos.pdf: 3007544 bytes, checksum: c798b542d8e9f98334c33dbb694d633e (MD5) / Made available in DSpace on 2017-04-10T18:23:48Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação de Mestrado_PROPAD_UFPE_Ijon Santos.pdf: 3007544 bytes, checksum: c798b542d8e9f98334c33dbb694d633e (MD5) Previous issue date: 2016-05-31 / A presente dissertação busca explicar os fatores condicionantes para a adoção efetiva de Big Data e Business Analytics por parte das Organizações Privadas de Pernambuco em termos de atitudes, aptidão e resultados. Para esse fim, um apanhado teórico-conceitual é reunido sobre o avanço no tráfego de dados na era da Revolução Digital e a predisposição das organizações em se apropriar das tecnologias compatíveis de informação e comunicação que transformam o modus faciendi e o modus pensandi da sociedade. No corpus de pesquisa se destacam duas teorias fundamentadoras: A Teoria da Mediação Cognitiva e a Teoria da Estruturação (base do Modelo de Estruturação de Tecnologia). Ambas exploradas no cerne da questão da dualidade tecnologia-uso, em que o convívio com artefatos tecnológicos em interação com as ações humanas inicia um processo mútuo de influência entre esses elementos, constituindo uma nova modalidade de mediação denominada Hipercultura. Em um método quantitativo de pesquisa, tais construtos serão relacionados entre si e investigados em 183 líderes estratégicos pernambucanos, além de comparados com indivíduos equivalentes de outras naturalidades e nacionalidades por meio de um formulário especialmente preparado. Os resultados obtidos indicam o nível de prontidão das empresas sobre este tema e a relação com o sucesso ou fracasso, quando considerados os níveis de hipercultura, de capacidade analítica e das condições de Tecnologias de Informação e Comunicação existentes nas empresas. Ao final do estudo, são levantados possíveis desdobramentos para os conceitos introduzidos. / The present dissertation seeks to explain the determining factors for the effective adoption of Big Data and Business Analytics on Pernambuco’s Private Organization in terms of attitudes, skills and results. For this purpose, a theoretical-conceptual caught is gathered about the progress in data traffic in the Digital Revolution age and the willingness of organizations to take ownership of supported technologies of information and communication that transform the modus faciendi and the modus pensandi of the society. In the research corpus stand two essential theories: The Cognitive Mediation Networks Theory and the Structuration Theory (base Structurational Model of Technology). Both explored the matter of duality-use technology, in which the interaction with technological artifacts interacting with human actions starts a process of mutual influence between these elements, constituting a new form of mediation called Hyperculture. In a quantitative search method, such constructs will be related to each other and investigated 183 strategic leaders from Pernambuco, and equivalents compared to individuals with other places of birth and nationality using a specially prepared form. The results may indicate the level of readiness of the companies on this issue and if there is, or not, relation with success or failure, when considering the hyperculture levels, analytical capacity and conditions of information and communication technologies in the existing companies. At the end of the study a several possible developments, implications, and applications for the concepts introduced are presented.

O mundo vive um contínuo e acelerado processo de transformação que envolve todas as áreas do conhecimento. É possível afirmar que a velocidade desse processo tem uma relação direta com a rapidez em que ocorrem as mudanças na área tecnológica. Estas mudanças têm tornado cada vez mais as relações globalizadas, modificado as transações comercias e fazendo com que as empresas repensem as formas de competir. Nesse contexto, o conhecimento assume, a partir do volume de dados e informações, um papel de novo insumo, muitas vezes com maior importância que o trabalho, capital e a terra. Essas mudanças e a importância da informação fazem com que as empresas busquem um novo posicionamento, procurando identificar no ambiente externo sinais que possam indicar eventos futuros. O grande desafio das empresas passa pela obtenção de dados, extração da informação e transformação dessa em conhecimento útil para a tomada de decisão. Nessa conjuntura este estudo teve como objetivo identificar qual o modelo de previsão de consumo para análise das informações no processo de Inteligência Competitiva em uma empresa do setor metalúrgico localizada no estado do Rio Grande do Sul. No desenvolvimento do estudo foram utilizados os temas Big Data, Data Mining, Previsão de Demanda e Inteligência Competitiva com a finalidade de responder à seguinte questão: Qual o modelo de previsão de consumo de aço que pode ser usado para análise das informações no processo de Inteligência Competitiva? Na realização do estudo foram analisados dados internos e externos a empresa na busca pela identificação de correlação entre o consumo de aço da empresa e variáveis econômicas que posteriormente foram utilizadas na identificação do modelo de previsão de consumo. Foram identificados dois modelos, um univariado sem intervenção através da metodologia de Box e Jenkins, o segundo modelo foi um modelo de previsão com Função de Transferência. Os dois modelos apresentaram uma boa capacidade de descrever a série histórica do consumo de aço, mas o modelo univariado apresentou melhores resultados na capacidade de previsão. / The world has been in a continuous and rapid process of transformation which involves all the areas of knowledge. It is possible to assert that the speed of this process has a direct relationship with the fast changes in the technological area. These changes have influenced the global relationships even more; modifying the commercial trades and making companies rethink their competitive actions. In this field, knowledge takes on a new role giving more importance to the amount of data and information to the detriment of land, labor and capital. These changes and the importance given to information make companies establish new positions in order to identify signs that anticipate events. Obtaining, extracting and transforming information into useful knowledge to help in the final decision is a challenge. Thus the purpose of this study is determine a model of consumption anticipation to analyze the process of competitive intelligence in a Metallurgy Company located in the state of Rio Grande do Sul. To develop the study the themes Big Data, Data Mining, Demand Prediction and Competitive Intelligence were used aiming to answer the question: Which model to anticipate consumption for iron can be used to analyze information in the process of competitive intelligence? For the study, internal and external data were analyzed to identify the relation between the company iron consumption and the economic variables, which were used in the demand anticipation afterwards. Two models were identified, beeing one of them univariate and having no intervention through Box and Jenkins methodology. The second model had a transfer function. Both of them demonstrated good capability in describing historical series of iron consumption, however the univariate model has demonstrated better results in the capability of anticipation.

Orientadora: Profa. Dra. Patrícia Belfiore Fávero / Coorientador: Prof. Dr. Marcelo de Souza Lauretto / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia da Informação, Santo André, 2017. / Big data trouxe vários desafios para os conceitos dos algoritmos de mineração de dados, a iniciar pelas limitações de memória e tempo, bem como dados de natureza e distribuição com variação constante. Essa massa de dados interessa públicos diversos pelas informações intrínsecas em seu interior e a análise de dados é uma importante fonte estratégica aplicada com objetivos de conhecimento, desenvolvimento e planejamento. Nos últimos anos, diversos métodos baseados em ensembles de classificadores têm sido propostos. Nesses métodos, a idéia central é construir vários classificadores "fracos" para formar um classificador "robusto", que utiliza como convergência a soma (ponderada) dos votos dos subclassificadores nas possíveis classes. Os objetivos deste trabalho foram realizar análises comparativas de desempenho de classificadores de Big Data das famílias de árvores de classificação quando combinados na forma de ensembles (ou metaclassificadores) bagging e boosting. Foi implementado um ambiente de testes, utilizando algoritmos de árvores de classificação sobre datasets públicos a fim de verificar três itens fundamentais: a . Para um certo algoritmo de classificação, a configuração de ensemble (entre Bagging e Boosting) que resulta em maior acurácia. b . Para um certo tipo de ensemble, o melhor algoritmo de classificação. c . A possibilidade de identificar as famílias de Big Data (agrupado segundo um conjunto de características) em que cada tipo de classificador possui melhor desempenho. Os resultados indicaram que o ensemble Boosting apresenta acurácia superior para um número maior das amostras testadas em comparação com os demais algoritmos abordados. Entre os classificadores, sugere-se que representantes de árvores de decisão são suscetíveis à escolha do método de ensemble e, principalmente, da amostra. A análise da aplicação dos ensembles sobre as amostras e as características dos conjuntos exibiu resultados muito variáveis, entretanto notou-se uma melhoria de desempenho quando a classificação é binária. / Big data has brought several challenges to the concepts of data mining algorithms, starting with the limitations of memory and time, as well as data of nature and distribution with constant variation. This mass of data interests diverse publics by the intrinsic information inside and the data analysis is an important strategic source applied with objectives of knowledge, development and planning. In recent years, several methods based on ensembles of classifiers have been proposed. In those methods, the central idea is to construct several "weak" classifiers to form a "robust" classifier, which uses as a convergence the (weighted) sum of the subclassifier¿s votes in the possible classes. The objectives of this work were to perform comparative performance analysis of Big Data classifiers of the classification tree families when combined in the form of bagging and boosting ensembles (or metaclassifiers). A test environment was implemented using classification tree algorithms on public datasets in order to verify three fundamental items: a . For a certain classification algorithm, the ensemble configuration (between Bagging and Boosting) results in greater accuracy. b . For a certain type of ensemble, the best classification algorithm. c . The possibility of identifying Big Data families (grouped according to a set of characteristics) in which each type of classifier performs better. The results indicated that the Boosting ensemble presents superior accuracy for a larger number of samples tested in comparison to the other algorithms. Among the classifiers, it is suggested that representatives of decisions trees are susceptible to the choice of the ensemble method and, mainly, of the sample. The ensembles application analysis on the samples and the characteristics of the sets showed very variable results, however a performance improvement was noticed when the classification was binary.

As crises de marca não só experimentam um crescimento em quantidade como também passam a ter sua visibilidade aumentada pelas redes sociais. A repercussão de uma crise de imagem de marca afeta negativamente tanto o brand equity como as vendas no curto prazo. Mais do que isso, gera custosas campanhas para minimização dos efeitos negativos. Se por um lado o avanço tecnológico aumenta a visibilidade da crise, por outro, possibilita acesso a uma série de informações, internas e externas, que podem ajudar na definição de um plano de ação. Big Data é um termo recentemente criado para designar o crescimento das informações, grandes em volume, diversificadas em formato e recebidas em alta velocidade. No ambiente de marketing, o sistema de informação de marketing (SIM) tem por objetivo fornecer as informações ao tomador de decisão de marketing. Informação relevante, confiável e disponibilizada em um curto espaço de tempo é fundamental para que as decisões sejam tomadas rapidamente, garantindo a liderança do processo de gestão de crise. A partir da pergunta \"qual o uso das informações provenientes do big data na gestão de crise de marca?\" e com o objetivo de \"verificar como gestores fazem uso das informações provenientes de big data na gestão de crise\", elaborou-se este estudo exploratório, empírico, qualitativo e com uso de entrevistas em profundidade com executivos de marketing com experiência em gestão de crise de marca. As entrevistas com seis gestores com experiência em crise e dois especialistas possibilitaram verificar uma grande diferença no uso das informações de big data na gestão de crises de marca, nas diferentes etapas da crise identificadas no referencial teórico: identificação e prevenção, gestão da crise, recuperação e melhorias e aprendizados. / The brand crises not only experience a growth in quantity but also now have increased their visibility through social networks. The impact of a brand crisis negatively affects the brand equity and short-term sales. It also generates costly campaigns to minimize its negative effect. If technological advancement increases the visibility of the crisis, it also provides access to a wealth of internal and external information that can help define an action plan. The term Big Data refers to the growth of information volume, diversification of formats and production and reception in real time, so that a traditional processing system could not store and analyze them. In the marketing environment, marketing information system (MIS) aims to provide information to the marketing decision maker. Relevance, reliability and availability of information is critical for the decision process. It also could ensures the leadership of the crisis management process. From the question \"what is the use of information from big data in brand crisis management?\" and in order to \"verify how managers make use of information from big data in crisis management\", this study exploratory empirical, qualitative, using interviews with marketing executives with experience in brand crisis management was elaborated. Interviews with six managers with experience in crisis and two experts made it possible to verify a big difference in the use of big data information on brand management of crises in the different stages of the crisis identified in the theoretical framework: identification and prevention, crisis management, recovery and improvement and learning.

Submitted by Marlene Santos (marlene.bc.ufg@gmail.com) on 2016-08-31T20:54:09Z No. of bitstreams: 2 Dissertação - Vinícius Vargas Vieira dos Santos - 2016.pdf: 1721860 bytes, checksum: d9133355c0bd533b0b6fee0bbeb0f5ad (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-09-01T12:13:50Z (GMT) No. of bitstreams: 2 Dissertação - Vinícius Vargas Vieira dos Santos - 2016.pdf: 1721860 bytes, checksum: d9133355c0bd533b0b6fee0bbeb0f5ad (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2016-09-01T12:13:50Z (GMT). No. of bitstreams: 2 Dissertação - Vinícius Vargas Vieira dos Santos - 2016.pdf: 1721860 bytes, checksum: d9133355c0bd533b0b6fee0bbeb0f5ad (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2016-04-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Big data, Meio e Linguagem: Novas tecnologias e práticas linguísticas aims to assimilate possible relationships between new digital media and certain conceptual aspects of language, such as meaning and performativity. Big data is a term that refers to digital data gathering, which characterized mass communication media in the past two decades, and it is directly related to the current configuration of Web 2.0 technology services platform. Complex contemporary objects such as big data call for methodological development to meet their super diverse natures. Therefore, it was the goal of this research to expand disciplinary boundaries, searching for theoretical basis in technology studies in the purpose to understand the nature of new media supports. Devices such as computers and mobile phones, with access to the World Wide Web, are increasingly transforming the landscape of linguistic exchanges, enabling communication practices to take place through them. This is why we understand the very computational structure as the medium (media) through which language happens, from then on this structure’s design features (affordances) are stimulating semantic anchoring and linguistic performativity. The scales of excessive volume and variety of digital data and its high speed, which characterize the big data, change the social context settings, and thus causing updates on language. After all, contexts in virtual environments collapse because in assuming the characteristics of the medium they reveal themselves as super diverse, simultaneous, fragmented, unstructured, missing family markers, exceeding traditional scales of time, space and social reach. / Big data, Meio e Linguagem: Novas tecnologias e práticas linguísticas objetiva assimilar possíveis relações entre novas mídias digitais e certos aspectos conceituais da linguagem, como significado e performatividade. Big data é o termo que se refere ao acúmulo de dados digitais que caracterizou as mídias de comunicação em massa nas duas últimas décadas e está diretamente relacionado à atual configuração da plataforma de serviços de tecnologia Web 2.0. Objetos contemporâneos complexos, como big data, nos remetem à consequente necessidade de conceber metodologias que correspondam a suas naturezas superdiversas. Por conseguinte, teve-se em vista, na presente pesquisa, a necessidade de se expandir fronteiras disciplinares, buscando em estudiosos das tecnologias subsídios teóricos para compreensão da natureza dos novos suportes midiáticos. Aparelhos como computadores e celulares com acesso à World Wide Web estão aceleradamente transformando o panorama das trocas linguísticas, possibilitando que práticas comunicacionais, a cada dia mais, realizem-se através dos mesmos. É neste ponto que se compreende a própria estrutura computacional como o meio (mídia) através do qual se efetiva a linguagem, a partir de então suas características próprias de design (affordances) passam a estimular a ancoragem semântica e a performatividade linguística. As escalas de desmedido volume e variedade de dados digitais e altos índices de velocidade que caracterizam o big data modificam as paisagens de contexto social, provocando, consequentemente, atualizações nas escalas da linguagem. Afinal, contextos em ambientes virtuais entram em colapso, pois ao assumir as próprias características do meio, revelam-se superdiversos, simultâneos, fragmentados, não estruturados, ausentes de marcadores familiares, excedendo escalas tradicionais de tempo, espaço e alcance social.

Context. Big data visualization is a vital part of today's technological advancement. It is about visualizing different variables on a graph, map, or other means often in real-time. Objectives. This study aims to determine what challenges there are for big data visualization, whether significant amounts of data impact the visualization, and finding existing solutions for the problems. Methods. Databases used in this systematic literature review include Inspec, IEEE Xplore, and BTH Summon. Papers are included in the review if certain criteria are upheld. Results. 6 solutions are found to reduce large data sets and reduce latency when viewing 2D and 3D graphs. Conclusions. In conclusion, many solutions exist in various forms to improve visualizing graphs of different dimensions. Future grows of data might change this though and might require new solutions of the growing data.

Large amounts of data in various forms are generated at a fast pace in today´s society. This is commonly referred to as “Big Data”. Making use of Big Data has been increasingly important for both business and in research. The forest industry is generating big amounts of data during the different processes of forest harvesting. In Sweden, forest infor-mation is sent to SDC, the information hub for the Swedish forest industry. In 2014, SDC received reports on 75.5 million m3fub from harvester and forwarder machines. These machines use a global stand-ard called StanForD 2010 for communication and to create reports about harvested stems. The arrival of scalable cloud technologies that com-bines Big Data with machine learning makes it interesting to develop an application to analyze the large amounts of data produced by the forest industry. In this study, a proof-of-concept has been implemented to be able to analyze harvest production reports from the StanForD 2010 standard. The system consist of a back-end and front-end application and is built using cloud technologies such as Apache Spark and Ha-doop. System tests have proven that the concept is able to successfully handle storage, processing and machine learning on gigabytes of HPR files. It is capable of extracting information from raw HPR data into datasets and support a machine learning pipeline with pre-processing and K-Means clustering. The proof-of-concept has provided a code base for further development of a system that could be used to find valuable knowledge for the forest industry.

This work describes the design and implementation of space weather related phenomena within the interactive astro-visualization software OpenSpace. Data sets from the Community Coordinated Modelling Center (CCMC) at the National Aeronautics and Space Administration (NASA) were used to implement time-varying high-resolution solar imagery from space observatory spacecraft and time-varying field lines from the different models produced at the CCMC. The obtained results were used to take an audience on an interactive journey through the solar system, at the world’s first ever live planetarium show about space weather.