Dissertação (mestrado)—Universidade de Brasília, Faculdade de Ciência da Informação, Programa de Pós-Graduação em Ciência da Informação, 2013. / Submitted by Alaíde Gonçalves dos Santos (alaide@unb.br) on 2013-12-05T14:07:43Z No. of bitstreams: 1 2013_MarceloAlvesdosSantos.pdf: 1941817 bytes, checksum: 04c5661332b88f595e808c2e4bfcfd2c (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2013-12-13T12:09:25Z (GMT) No. of bitstreams: 1 2013_MarceloAlvesdosSantos.pdf: 1941817 bytes, checksum: 04c5661332b88f595e808c2e4bfcfd2c (MD5) / Made available in DSpace on 2013-12-13T12:09:25Z (GMT). No. of bitstreams: 1 2013_MarceloAlvesdosSantos.pdf: 1941817 bytes, checksum: 04c5661332b88f595e808c2e4bfcfd2c (MD5) / Com o advento tecnológico, as Interfaces de Interação Humano-Computador apresentam um modelo diferente do tradicional e tendem, cada vez mais, a se tornarem multimodais. Essa diferença consiste na integração da informática às ações e aos comportamentos naturais do dia-a-dia, como a fala, a visão, gestos e a audição, para operar um computador e na superação da necessidade do uso de equipamentos convencionais, como teclado e mouse, utilizados no modelo tradicional. Nesse novo modelo, o foco passa a ser a tarefa a ser executada e não mais os computadores. Logo, tem-se como proposta verificar os possíveis benefícios provenientes do uso da Interação Humano- Computador Multimodal (IHCM) em uma interface computacional baseada em voz artificial - voz gerada por computador - associada a um mecanismo de recuperação da informação em que se busca a melhoria do diálogo entre o homem e a máquina nas operações de troca de informação. _______________________________________________________________________________________ ABSTRACT / Since the advent of technology, Interfaces of Human-Computer Interaction presents a different model of the traditional and tend increasingly to become multimodals. This difference consist in the integration of information technology to the actions and natural behaviors of the day-to-day, such as speech, vision, gestures and hearing, to operate a computer and in overcoming the necessity of using conventional equipment such as keyboard and mouse used in the traditional model. In this new model, the focus becomes the task rather than computers. Therefore, the proposed intends to verify the possible benefits from the use of Interaction Multimodal Human-Computer (IHCM) in a computational interface based in artificial voice - computer-generated voice - associated with a information retrieval mechanism aiming to improve the dialogue between man and machine in information exchange operations.

Este trabalho tem como objetivo discutir o estado da arte e propor melhorias em uma área de grande potencial e de crescimento recente na computação: a análise do estado emocional do usuário de um sistema de informação e a aplicação dessa observação em cenários ricos de interação homem-máquina. Para foco em um escopo tratável, escolheu-se o estudo das técnicas atuais de captação afetiva através de três sensores diferentes (expressões faciais, expressões vocais e contexto semântico) e de como sua combinação poderia resultar em dados mais robustos sobre o estado emocional do usuário, em uma aplicação conhecida como Fusão Multimodal. Nesse sentido, o trabalho levanta não apenas a bibliografia recente sobre o estado da arte da aquisição de dados nas três áreas e em fusão, mas também aplica algumas das ferramentas existentes (tanto comerciais como abertas) para melhor compreensão do nível atual da tecnologia acessível ao público acadêmico. Dada a inexistência de uma aplicação facilmente disponível para análise de emoções no contexto semântico, desenvolveu-se uma ferramenta dedicada à pesquisa, nomeada emoCrawler, a qual utiliza redes sociais para avaliação do caráter emocional que palavras indiretamente podem acarretar em uma discussão. O emoCrawler busca avaliar as emoções evocadas em usuários de Twitter e as compara com um dicionário emocional conhecido, baseado em contribuições acadêmicas diversas, gerando um resultado quantitativo útil ao escopo do trabalho. Por fim, o trabalho lançou mão da ferramenta emoCrawler e das outras ferramentas selecionadas para análise de expressões faciais e vocais na criação de um sistema de fusão sensorial que aumente a confiabilidade global da emoção detectada. Para isso, inicialmente um corpus de áudio e vídeo disponível foi tratado e reduzido para o escopo da pesquisa. Em seguida, diferentes técnicas de fusão baseadas em algoritmos de classificação foram aplicadas (redes neurais, Naive Bayes e Support Vector Machine), com abordagens distintas de treinamento para busca de resultados melhores dos que os encontrados nas aplicações unimodais. Os resultados verificados de fato indicam para uma melhor taxa de detecção quando é aplicado o algoritmo de fusão. Nesse processo, a presença de dados fornecidos pelo emoCrawler parece ter contribuído positivamente. / This work aims at discussing the state of the art and proposing improvements in a field of great potential and recent growth in computing: the analysis of the emotional state of the user of an information system and the application of such observations in rich scenarios of human-machine interaction. In a tractable scope of research, this work evaluates the current techniques of affective observation applied on three different inputs (facial expressions, speech features and semantic context) and comprehends how their combination can result in more robust affirmations on the actual emotional status of the user an application called Multimodal Fusion. In this sense, the work presents not only the recent literature on the state of the art in data acquisition in the three aforementioned areas and in fusion, but also applies some of the existing tools (both commercial and open) for a better understanding of the current level of technology available to the academic audience. Given the lack of an application readily available for the analysis of semantic context in emotions, a dedicated piece of software to the research was developed, entitled emoCrawler, which uses social networks as a means to evaluate the emotional signature that words may leave in a discussion. emoCrawler aims at evaluating emotions evoked in Twitter users and comparing them with an emotion dictionary built around academic contributions, generating a quantitative result useful to this research. Finally, this work made use of emoCrawler and the other selected tools for both facial and speech expressions in the creation of a sensor fusion system to enhance the global reliability of the affective detection. To achieve this, an audiovisual database was initially processed and condensed. Then, different fusion techniques based on classification algorithms with distinct learning approaches (neural networks, naïve Bayes and Support Vector Machine) were applied in the pursuit of better outcomes than the unimodal applications. The final results indeed point to a better rate of detection when fusion algorithms are applied. In this process, the data provided by emoCrawler seems to have contributed positively.

Submitted by Isaac Francisco de Souza Dias (isaac.souzadias@ufpe.br) on 2015-10-21T17:59:22Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) 201505 - Dissertaçao - Mariana Bezerra.pdf: 3401115 bytes, checksum: 010b831840b8d329a30f6ffe7b14d778 (MD5) / Made available in DSpace on 2015-10-21T17:59:22Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) 201505 - Dissertaçao - Mariana Bezerra.pdf: 3401115 bytes, checksum: 010b831840b8d329a30f6ffe7b14d778 (MD5) Previous issue date: 2014-07-21 / CAPES / Abordar o design de produtos e sua evolução é falar, também, da evolução dos processos produtivos e tecnologia, do usuário e do designer. Antes da Revolução Industrial, o designer era caracterizado por um funcionário capacitado para adaptar projetos para a capacidade fabril, enquanto o usuário era visto como um comprador final, sem aspirações e necessidades. Após a Revolução Industrial, a produção de bens de consumo assumiu uma escala ascendente e as indústrias se viram forçadas a se adaptar para acompanhar o ritmo de consumo do mercado, bem como a atividade do designer. O usuário, com mais opções de compra, passou a ser considerado relevante no processo de desenvolvimento, e foco dos objetivos de projeto. O surgimento de novas tecnologias como a prototipagem rápida e a realidade virtual, permitiu uma diminuição no tempo e custo gastos durante a validação de projetos de produto, influenciando diretamente a forma como os produtos passaram a ser desenvolvidos. A impressão tridimensional, assim como a realidade virtual, surge como alternativa viável para a avaliação do projeto, devido à rapidez de execução e baixo custo. Este estudo tem como principal objetivo analisar a utilização das tecnologias citadas no processo de análise de projeto de produto junto ao usuário final. Para tanto, se faz necessário abordar a forma como os artefatos vêm sendo desenvolvidos, a relação entre usuário e produto, além das técnicas de representação tridimensional.

Made available in DSpace on 2014-06-12T15:56:03Z (GMT). No. of bitstreams: 2 arquivo2409_1.pdf: 4688487 bytes, checksum: 9b78d651e39e0ca0ca5fdde9cf6d2dd3 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2008 / Desde o fim do século XX, a televisão vem sendo alvo constante de discussões. A busca incessante por melhoria na qualidade de imagem e de som levou ao surgimento de uma nova mídia mais completa, complexa e abrangente, a chamada TV Digital Interativa. Neste novo cenário, um telespectador tem acesso a diversos conteúdos através de vários dispositivos utilizando meios distintos. São tantas as possibilidades de interação que o usuário pode se sentir perdido em meio às configurações dos aparelhos e dos serviços, e simplesmente não usufruir de todas as benesses disponíveis. A fim de evitar este problema e facilitar o uso dos aparelhos, faz-se necessário o uso de técnicas de Interface Usuário-Máquina (IUM) e Ciência de Contexto, que permitam uma captura natural das informações relevantes de uma interação entre telespectador e o dispositivo digital interativo. Esta dissertação propõe o ProfileTV, uma infra-estrutura que permita a criação de serviços de personalização com foco na interação entre telespectadores e dispositivos ou serviços interativos. Os conceitos de TV Digital Interativa são apresentados e discutidos ao longo desta dissertação, atendo-se sempre aos problemas personalização da interação do telespectador com dispositivos ou serviços interativos já evidenciados em trabalhos similares. O ProfileTV une estes conceitos aos de Ciência de Contexto a fim de apresentar uma solução plausível para os problemas já citados

Submitted by Rafael Santana (rafael.silvasantana@ufpe.br) on 2017-12-22T15:00:49Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) UNIVERSIDADE FEDERAL DE PERNAMBUCO.pdf: 5967502 bytes, checksum: 8ae5d4cbe53ca12ca7e2715b01aca67e (MD5) / Made available in DSpace on 2017-12-22T15:00:49Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) UNIVERSIDADE FEDERAL DE PERNAMBUCO.pdf: 5967502 bytes, checksum: 8ae5d4cbe53ca12ca7e2715b01aca67e (MD5) Previous issue date: 2016-06-29 / A ergonomia, disciplina que visa adequar o trabalho ao ser humano, através de elaboração de projetos de ambientes seguro, confortáveis e eficiente, tendo objetivo prioritário o bem estar do trabalhador, auxiliou na análise da nossa dissertação. Foi realizada uma análise ergonômica de três postos de trabalho de cirurgiões dentistas, dois postos da rede pública – NASS/UFPE e do DQV/UFRPE e um consultório da rede privada. Visando identificar as prevalências dos distúrbios osteomusculares comuns nesta profissão. Foi utilizado as duas primeiras fases da metodologia SHTM (Sistema x Humano x Tarefa x Máquina), a apreciação ergonômica e a diagnose ergonômica. Complementada com questionário sócio demográfico; o questionário Nórdico; o questionário de controle-demanda (JCQ) de Karasek, Finalizando com a análise antropométrica e o protocolo RULA. Foram identificados constrangimentos ergonômicos semelhantes em ambos os postos estudados. Na fase de apreciação, foi identificado as ausências dos auxiliares dos cirurgiões dentistas nos procedimentos, não permitindo o trabalho a quatro mãos e a presença de ruído com valor maior que o recomendado pela norma regulamentadora - NR17. Na diagnose ergonômica ficou evidente que as posturas inerentes aos procedimentos odontológicos podem levar a distúrbios osteomusculares e o ruído acima do preconizado pode levar a perda auditiva e ao estresse. No questionário sócio demográfico foi observado que a amostra de 24 CDs era composta por mais cirurgiões dentistas do sexo feminino 62,5%, e que 33,3% pertenciam a rede pública e 66,7% a rede privada. A prevalência de queixas de dor muscular nos últimos 12 meses foi de 91,66%, sendo mais frequente no sexo feminino e divido em 87,5% na rede pública e 93,75% na rede privada. E com a prevalência de afastamento nos últimos 12 meses de 41,66%, sendo 62% (5 CD em 8 participantes) na rede pública e 31,25% (5 CDs em 16 participantes) na rede privada. Os níveis de estresses medidos pelas avaliações, em ambos os grupos, ficaram no quadrante “2,” classifica o trabalho ativo, considerado um tipo de trabalho de boa qualidade e não propiciando desenvolvimento de estresse. Com a antropometria evidenciou uma estreita relação entre as características dimensionais existentes entre o equipamento – o mocho, com as posturas assumidas pelas cirurgiãs dentistas do NASS, podendo favorecer surgimentos de queixas de dores musculares. No protocolo RULA, verificou-se que em ambos os postos necessitam de mudanças ergonômica (nível de ação RULA do posto de trabalho público = 7 e no posto privado = 7), que através do nível de ação do protocolo RULA, classifica em uma postura muito ruim, com risco imediato de lesão e sugere investigar e mudar as condições de trabalho imediatamente. Os resultados obtidos neste trabalho, destacaram a importância de melhorar as posturas inerentes as atividades laborais odontológicas, baseadas em orientações ergonômicas, em futuro breve; desenvolver e/ou aperfeiçoar instrumentos, equipamentos, e orientar nova organização para o desenvolvimento do trabalho destes profissionais a fim de melhorar sua qualidade de vida / The ergonomics, discipline which aims to adapt the work to the human being, through projects elaboration of secure environments, comfortable and efficient, taking priority objective the well-being of the worker, helped in the analysis of our thesis. It was performed a comparative ergonomic analysis of three jobs of surgeons dentist, two posts of the public network - NASS/UFPE and the DQV/UFRPE and a clinic of the private. Aiming to identify and compare the prevalence of musculoskeletal disorders common in this profession. It was used the first two stages of the methodology SHTM (System X Human X Task X Machine), ergonomic assessment and the diagnosis of ergonomic. Complemented with socio demographic questionnaire,; the Nordic questionnaire; the demand-control questionnaire (JCQ) Karasek, . Finalizing with the anthropometric analysis and the ergonomic RULA protocol. Ergonomic constraint was identified similar in both jobs studied. At the assessment stage was identified absences of auxiliary of dental surgeons in procedures, in enabling the work to four hands and the presence of the noise with the value greater than recommended by regulatory norm - NR 17. In ergonomic diagnosis it became evident that the posture inherent to dental procedures can lead to musculoskeletal disorders and the noise above the recommended procedure may lead to hearing loss and to stress. In socio demographic questionnaire was observed that the sample was composed of more dental surgeons female 62.5%, and that 33.3% belonged to the public network and 66.7% the private network. The prevalence of complaints of muscle pain in the last 12 months was 91.66%, being more frequent in the female sex and divided in 87.5% in the public network and 93.75% in the private network and with the prevalence of remoteness in the last 12 months of 41.66%, being 62% in the public network and 31.25% in the private network. The levels of stress measured by the assessments in both groups were in the quadrant "2" which classifies the active work, being considered a type of work of good quality and not providing development of stress. With the anthropometry showed a close relationship between dimensional characteristics existing between the equipment - the owl with the postures assumed by surgeons dentists which may favor appearance of complaints of muscle pain. In the Protocol RULA it was found that in both jobs need ergonomic changes (action level RULA work station public = 7 and in private tour = 7), which through the action level protocol RULA classifies in a very bad posture, with immediate risk of lesion and suggests investigating and change the conditions of work immediately. The results obtained in this research was highlighted the importance of improvements the posture inherent activities dental labor based on ergonomic guidelines and if possible, in the near future, develop and/or improve instruments, equipment as well as a new orientation in the organization of the work of these professionals in order to improvements to their quality of life.

Made available in DSpace on 2018-08-02T00:00:57Z (GMT). No. of bitstreams: 1 tese_4712_DissPedroso.pdf: 11141579 bytes, checksum: 9c20fa3ab46c7740a5a5276bd6249932 (MD5) Previous issue date: 2013-03-28 / As expressões faciais são alvos constante de estudos desde Charles Darwin, em 1872. Pesquisas na área de psicologia e, em destaque, os trabalhos de Paul Ekman afirmam que existem expressões faciais universais básicas e elas são manifestadas em todos os seres humanos independente de fatores como gênero, idade, cultura e ambiente social. Ainda pode-se criar novas expressões mais complexas combinando as expressões fundamentais de alegria, tristeza, medo, nojo, raiva, surpresa e desprezo, além da face neutra. O assunto ainda é atual, uma vez que há uma grande necessidade de implementar interfaces homem-máquinas (IHM) capazes de identificar a expressão de um indivíduo e atribuir uma saída condizente com a situação observada. Pode-se citar como exemplos iterações homem-robô, sistemas de vigilância e animações gráficas. Nesse trabalho é proposto um sistema automático para identificar expressões faciais. O sistema é dividido em três etapas: localização de face, extração de características e identificação da expressão facial. O banco de dados Japanese Facial Expression Database - JAFFE foi utilizado para treinamentos e testes . A localização da face é realizada de maneira automática através do framework proposto por Viola-Jones e é estimado o centro da face. Na sequência, utiliza-se o algoritmo Active Appearance Model - AAM para descrever estatisticamente um modelo de forma e textura para o banco de dados. Com esse descritor é possível gerar um vetor de aparência capaz de representar, com redução de dimensão, uma face e, consequentemente, a expressão facial contida nela através de um algoritmo iterativo de busca a partir de um modelo médio. Esse vetor é utilizado na etapa de reconhecimento das expressões faciais, onde são testados os classificadores baseados no vizinho mais próximo k-NN e a máquina de vetores de suporte - SVM com kernel RBF para tratar o problema de forma não linear. É proposto um mecanismo de busca na saída do bloco de detecção de faces para diminuir o erro do modelo, pois o sucesso do algoritmo é altamente dependente do ponto inicial de busca. Também é proposto uma mudança no algoritmo AAM para redução do erro de convergência entre a imagem real e o modelo sintético que a representa, abordando o problema de forma não linear. Testes foram realizados utilizando a validação cruzada leave one out para todas as expressões faciais e o classificador SVM-RBF. O sistema apresentou um taxa de acerto de 55,4%, com sensibilidade 60,25% e especificidade 93,95%.

Submitted by Pedro Henrique Rodrigues (pedro.henriquer@ufpe.br) on 2015-03-05T19:23:10Z No. of bitstreams: 2 msc_texto_final_library_listed.pdf: 28413192 bytes, checksum: ed36969f74daebe43c53d37db9a8271c (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-05T19:23:10Z (GMT). No. of bitstreams: 2 msc_texto_final_library_listed.pdf: 28413192 bytes, checksum: ed36969f74daebe43c53d37db9a8271c (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2012-03-01 / A tecnologia vem tendo um papel muito importante no ensino por trazer uma valiosa contribuição na possibilidade de estabelecer uma relação entre o conteúdo e o aluno, que é uma necessidade da educação atual. Deste modo, é natural pensar que inserir computadores na sala de aula é uma boa alternativa. Entretanto, só é possível classificar como um ambiente de aprendizagem informatizado aquele onde o recurso tecnológico está integrado ao plano de aula do educador, funcionando como instrumento pedagógico. Além disso, apesar das vantagens providas pelos sistemas computacionais, estes por vezes ainda possuem limitações em relação à experiência de uso do aluno, especialmente quando se trata de crianças. Neste contexto, o presente trabalho tem como objetivo conduzir uma pesquisa acerca do uso de soluções que utilizem realidade aumentada projetiva e interfaces tangíveis como instrumento para auxiliar os professores no processo de construção do aprendizado dos alunos. Deste modo, foi desenvolvido o ARBlocks, uma plataforma de blocos dinâmicos voltada para atividades educacionais infantis. Diferentemente dos conjuntos de blocos tradicionalmente usados em sala de aula, o protótipo criado não tem nenhuma informação gravada em suas faces, sendo ela inserida dinamicamente durante o seu uso. Para que isto ocorra, os blocos são rastreados utilizando um marcador de borda concebido pelo autor e o conteúdo correspondente projetado apenas na sua superfície utilizando uma técnica de calibração de projetores. Por ser um sistema computacional tangível, o ARBlocks possui algumas vantagens em relação aos blocos tradicionais, como a versatilidade de em um único conjunto de blocos conseguir executar várias atividades diferentes ou fornecer estímulos visuais e auditivos para as crianças. Estes benefícios são alcançados sem perder as características positivas dos objetos manipuláveis, já que os pequenos alunos desenvolvem importantes habilidades a partir do manuseio de artefatos. Foram realizadas duas análises sobre o ARBlocks. A primeira, computacional, mostrou que o alinhamento do sistema câmera-projetor é realizado automaticamente e que a ferramenta fornece rastreamento em tempo real. Estes fatores permitem que os alunos e professores interajam com os blocos como se as informações digitais inseridas estivessem realmente gravadas neles. Num segundo momento, professores

Orientador: Edberto Ferneda / Coorientador: Carlos Cândido de Almeida / Banca: Walter Moreira / Banca: Maria José Vicentini Jorente / Banca: Ana Carolina Simionato / Banca: José Remo Ferreira Braga / Resumo: Com o crescente aumento de documentos digitais disponíveis em acervos on-line, torna-se inevitável realizar estudos que proporcionem avanços no modo como os usuários buscam informações nesses documentos. A Recuperação de Informação procura meios para aperfeiçoar este processo através de diferentes núcleos de estudo como modelagem, classificação de textos, arquitetura de sistemas, interfaces de usuário, visualização de dados, entre outros. Diante dessas opções passíveis de investigação, optou-se por restringir esta pesquisa às interfaces de usuário, especificamente os resultados de busca. Nesta perspectiva, o objetivo deste estudo é propor um modelo de interface computacional para apresentação dos resultados de busca em sistemas de recuperação de informação, agregando elementos visuais fundamentados nas áreas de Semiótica e da Interação Humano Computador. Neste sentido, realizou-se uma pesquisa dividida em duas partes. Em um primeiro momento, apresenta-se uma pesquisa bibliográfica de caráter exploratório. Em seguida, foi realizada a pesquisa aplicada. A pesquisa bibliográfica embasou a fundamentação teórica e forneceu subsídios para o levantamento de desafios da recuperação de informação. A pesquisa aplicada procurou responder de forma prática ao objetivo e questionamento da pesquisa. Assim, apresenta-se uma proposta de interface que combina recursos visuais e textuais para contribuir com o processo de percepção dos usuários em relação aos resultados das buscas. Concluindo, a... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: With the growing number of digital documents available in online collections, it becomes inevitable to conduct studies that provide advances in how users search for information in those documents. Information Retrieval looks for ways to improve this process through different study centers such as modeling, text classification, system architecture, user interfaces, data visualization, among others. Faced with these investigative options, it was decided to restrict this research to user interfaces, specifically search results. In this perspective, the objective of this study is to propose a computational interface model to present the search results in information retrieval systems, adding visual elements based on the Semiotics and Human Computer Interaction areas. In this sense, a research was carried out in two parts. At first, an exploratory bibliographic research is presented. The applied research was then carried out. The bibliographical research based the theoretical foundation and provided subsidies for the collection of information retrieval challenges. The applied research sought to respond in a practical way to the objective and questioning of the research. Thus, a proposal of interface is presented that combines visual and textual resources to contribute to the process of perception of the users in relation to the search results. In conclusion, it is believed that it is possible to relate to the development of Information Retrieval interfaces the visual and interacti... (Complete abstract click electronic access below) / Doutor

Esta tese discute o papel da Análise Forense de Imagens como reguladora de mídia digital na sociedade. Isto inclui um estudo com mais de 400 indivíduos para determinar suas capacidades de detectar edições em imagens. Os resultados desse experimento indicam que humanos são facilmente enganados por imagens digitais, tendo dificuldades em diferenciar entre imagens pristinas e editadas. A tese então analisa a efetividade do arsenal de análise forense de imagens contra o estado-da-arte de composição de imagens. Através da análise de padrões fundamentais de imagens, as técnicas forenses são capazes de detectar a presença da maioria das operações de composição testadas. A tese então apresenta uma abordagem alternativa para análise forense de imagens, baseada na geração automática de planos. Ao tratar o processo de inspeção de uma imagem como um plano composto de múltiplos passos, propusemos uma arquitetura que é capaz de indicar os passos necessários para analisar uma imagem. Os planos são baseados em uma modelagem formal do conhecimento e técnicas forenses, de modo que possam ser traduzidos em passos a serem executados. A tese então demonstra que os limites de tal abordagem dependem da dificuldade de validar tal solução. Isso é uma consequência da natureza dos problemas de análise forense de imagens: essencialmente, são problemas de confiança distribuída entre indivíduos com acesso limitado à informação. Essa configuração é analisada de diferentes perspectivas em busca dos limites práticos para a análise forense de imagens digitais. Os resultados dessa análise sugerem que a área falha em produzir soluções acessíveis para a sociedade não por limitações técnicas, mas pela falta de um engajamento multi-disciplinar. A tese então discute como paradoxos filosóficos surgem naturalmente em cenários de análise forense de imagens. A análise forense de imagens digitais lida, essencialmente, com comunicação humana e, como tal, está sujeita a todas suas complexidades. Finalmente, é argumentado que o caminho para construir soluções úteis para a sociedade requer um esforço coletivo de diferentes disciplinas do conhecimento. É responsabilidade da comunidade forense desenvolver uma teoria epistemológica comum e acessível para este projeto coletivo. / This thesis discusses the role of Digital Image Forensics as a regulator of digital media in society. This includes a perceptual study with over 400 subjects to assess their ability to notice editing in images. The results of such experiment indicate that humans are easily fooled by digital images, not being able to tell apart edited and pristine images. The thesis then analyzes the effectiveness of the available arsenal of digital image forensics technology to detect image editing performed by state-of-the-art image-compositing techniques. By analyzing fundamental image patterns, forensics techniques can effectively detect the occurrence of most types of image compositing operations. In response to these two studies, the thesis presents an alternative approach to digital image forensics, based on automated plan generation. By treating the image inspection process as a plan comprised of different steps, it proposes an architecture that is able to guide an analyst choosing the next best step for inspecting an image. The generated plans are flexible, adapting on the fly to the observed results. The plans are based on a formal modelling of current forensics knowledge and techniques, so that they can be translated in steps to be executed. The thesis then shows that the limits of such an approach lie in the difficulty to validate results, which is a consequence of the setup of forensics problems: they are problems of distributed trust among parties with limited information. This scenario is analyzed from different perspectives in search for the practical limits of Digital Image Forensics as a whole. The results of such an analysis suggest that the field is lacking in providing practical and accessible solutions to society due to limited engagement in multidisciplinary research rather than due to limited technical proficiency. The thesis then discusses how paradoxes from philosophy, mathematics, and epistemology arise naturally in both real forensics scenarios, and in the theoretical foundations of the field. Digital Image Forensics ultimately deals with human communication and, as such, it is subject to all its complexities. Finally, it is argued that the path for providing useful solutions for society requires a collective engagement from different disciplines. It is the responsibility of the forensics community to develop a common, accessible epistemological framework for this collective enterprise.

Coleções digitais de mídias, tanto pessoais como online, crescem rapidamente. Para que grandes quantidades de músicas sejam acessíveis à usuários, serviços populares como iTunes, Last.fm e Pandora oferecem recomendações. Essa abordagem livra usuários de lembrarem de músicas, e permite a descoberta de canções novas ou esquecidas. Mas recomendações apresentam problemas com usuários, como credibilidade e falta de controle. A motivação deste trabalho é melhorar a experiência de usuários com recomendações de música através do uso de explicações. Ao usar um sistema de recomendação, a satisfação e aprovação de usuários não depende só da eficácia do algoritmo, mas também de explicações. Pesquisas mostram que estas podem beneficiar sistemas de recomendação, aumentando a credibilidade e satisfação de usuários, ao oferecer mais transparência e formas de correção. O objetivo deste trabalho é projetar e desenvolver uma nova forma de visualização de tags, e testar sua viabilidade para explicar e filtrar recomendações de músicas. Mais precisamente, investigamos se esta visualização pode favorecer as metas de inspeção (scrutability), eficiência, eficácia e satisfação. A partir da pesquisa em necessidades de usuários para recomendações e música, a visualização Tag Strings foi projetada e desenvolvida. Tag Strings inclui tanto a interface da visualização, quanto o processo de coleta e cálculo de relevância de tags e músicas. Para a avaliação da visualização Tag Strings, dois tipos de experimentos foram construídos: a comparação entre uma lista de recomendações com Tag Strings, e a comparação entre o design de referência (baseado nos serviços Last.fm e Pandora) e Tag Strings. A construção desses dois experimentos permitiu a avaliação de Tag Strings como uma forma de explicação para recomendações de música. Os resultados dos experimentos evidenciam que a nova forma de visualização Tag Strings favorece as metas de inspeção (scrutability), eficiência, eficácia e satisfação, melhorando a usabilidade e experiência de usuários com recomendações de música. / Digital media collections, both personal and online, grow rapidly. To make large music collections available to users, popular services such as iTunes, Last.fm and Pandora offer recommendations. This approach frees users from searching for music, and allows for the discovery of new or forgotten items. But recommendations present issues such as user trust and lack of control. The motivation for this project is to improve user experience with music recommendations through explanations. While using a recommendation system, user acceptance and satisfaction depends not only on the algorithm effectiveness, but also on explanations. Research shows that recommendations benefit from explanations, increasing user trust and satisfaction by offering more transparency and scrutability. The goal of this project is to design and develop a new form of tag visualization, and test its feasibility to explain and filter music recommendations. We specifically investigate if the visualization can support the aims of scrutability, efficiency, effectiveness and satisfaction. Based on the user research and needs for music recommendation, the visualization Tag Strings was designed and developed. Tag Strings includes both the visualization interface and the process of collecting and calculation of tag and track relevancy. To evaluate the visualization Tag String, we designed two types of experiments: comparing Tag Strings with a recommendation list, and comparing Tag Strings with a design reference (based on the services Last.fm and Pandora). The design of these two experiments allowed the evaluation of Tag Strings as a form of explanation to music recommendation. The experiment results highlight that the new visualization Tag Strings favors the aims of scrutability, efficiency, effectiveness and satisfaction, improving the user experience with music recommendations.