A implantação da TV Digital Terrestre no Brasil permite que os usuários da TV aberta, principal fonte de informação e entretenimento do país, tenham acesso aos serviços oferecidos pela TV Interativa (TVi). Estes usuários, que constituem uma grande e heterogênea população composta por indivíduos de diversos graus de instrução, faixas etárias e índices de alfabetização digital, passam a adotar uma atitude muito mais ativa em relação a este meio de comunicação tradicionalmente coletivo e passivo, aumentando a possibilidade de escolha e a oferta de conteúdos personalizados. A TVi se torna possível na forma de aplicações interativas enviadas junto com o conteúdo audiovisual da TV. Neste cenário, o rastreamento do olhar, técnica usada para identificar as posições observadas pelo usuário, se apresenta como uma poderosa ferramenta de análise capaz de identificar comportamentos típicos dos usuários, enquanto produz evidências conclusivas, mensuráveis e repetíveis das atividades observadas durante a interação do usuário com a aplicação. Esta pesquisa explora a utilização da técnica de rastreamento do olhar na avaliação de usabilidade de aplicações de TVi e estuda como o rastreamento do olhar pode ser usado para obter dados sobre a interação com estas aplicações. Para tanto, a literatura sobre rastreamento do olhar é investigada, identificando as técnicas e métodos empregados para obter as posições observadas pelos usuários, assim como o uso destas técnicas em avaliações de usabilidade. Para estudar a utilização do rastreamento de olhar em avaliações de usabilidade no ambiente de uso das aplicações da TVi, são feitas adaptações nos sistemas para coleta de dados do rastreamento de olhar no ambiente de TVi. Em seguida, desenvolve-se um experimento em que as técnicas de rastreamento de olhar são usadas simultaneamente com as técnicas clássicas de avaliação de usabilidade, para avaliação de duas aplicações de TVi. Os procedimentos e o ambiente de teste utilizado são apresentados em detalhes. Os resultados obtidos da realização do experimento com 30 usuários, com ambas as técnicas, são comparados, mostrando as contribuições e limitações do rastreamento do olhar para explicar problemas de usabilidade e identificar comportamentos dos usuários. / The introduction of digital terrestrial TV in Brazil allows users of free TV, the main source of information and entertainment in the country, to have access to services offered by Interactive TV (TVi). These users, who constitute a large and heterogeneous population, composed of individuals of varying degrees of education, age and knowledge of computers, will adopt a more proactive attitude regarding this means of communication traditionally collective and passive, raising the possibility of choice and supply of personalized content. The TVi becomes possible in the form of interactive applications sent together with audiovisual content of TV. In this scenario, the eye tracking, technique used for identifying positions observed by the user, presents itself as a powerful analysis tool with the ability to identify typical behavior of users, while producing conclusive, measurable and repeatable evidence about the activities observed during the interaction of users with applications. This research explores the use of eye tracking technique in the usability evaluation of TVis applications and examines how eye tracking can be used to obtain data about users and applications interaction. Hence, the eye tracking literature is investigated; identifying techniques and methods used to obtain the observed positions by users, and how to use these techniques in the usability evaluation. To study the use of the eye tracking in usability evaluations that took place in the environment of use of TVi\'s applications, changes are made in the systems that collect the eye tracking data on this environment. Then, an experiment in which the eye tracking techniques are used together to the traditional usability evaluation techniques is developed to evaluate two TVi\'s applications. The test procedures and the test environment are presented in details. The experiment results, with 30 users, using traditional and eye tracking evaluation techniques are compared, showing the contributions and limitations of eye tracking to explain usability problems and to identify users behaviors.

A acomodação da diversidade de perfil de usuários no projeto de interface de sistemas é um problema freqüente nas atividades do projetista da interação homem-computador. Conseqüentemente, o usuário encontra barreiras ao utilizar interfaces que não foram produzidas para o seu perfil. Este trabalho apresenta uma solução, destinada aos projetistas de famílias de sistemas interativos, para a acomodação e expressão da diversidade por meio da criação e uso de padrões de interface em camadas de personas - as PICAPs. Neste conceito, os padrões de interface apóiam o projetista no direcionamento de soluções, pois representam um problema recorrente e uma solução abstrata para o problema, de tal modo que esta solução pode ser aplicada em várias instâncias diferentes do mesmo problema. As personas apóiam a caracterização dos perfis dos usuários que são foco do projeto de interface, possibilitando que o projetista aplique soluções de interface de acordo com o usuário. O conceito foi aplicado no contexto de governo eletrônico, pois tais sistemas devem ser usáveis por todos, em distinção de qualquer natureza, sendo assim um exemplo da necessidade de se considerar a diversidade. Uma pesquisa com 25 projetistas foi feita para avaliação da aplicabilidade do conceito. / Accommodating users\' profile diversity in systems interface projects is a frequent problem for the human computer interface designer. Therefore, his/her user is faced with barriers in the use of interfaces which were not designed for his/her profile. This work presents a solution for expressing and accommodating users\' diversity, which is useful for the HCI designer, especially for those who design families of products. PICAPS are interface design patterns with layers indexed by personas. The interface design patterns support the designer in employing proven solutions, for they represent a recurrent problem and its abstract solution in such a way that this solution can be applied to different instantiations of the same problem. PICAPs are structured in multiple layers to make possible the users\' diversity accommodation. The layers are indexed by personas as user\'s characterization resource. This concept has been applied to electronic government services, because such systems should be usable by any citizen and therefore are a good example of the user diversity problem. A field research with 25 designers has been performed to check the concept´s applicability.

[pt] O tema desta pesquisa é o estudo de usabilidade da interação tridimensional através de ambientes virtuais na internet. Seu objeto é a experiência vivenciada através do Second Life, um ambiente virtual colaborativo que permite explorar mundos digitais e interagir com outras pessoas em tempo real. Consideramos como hipótese que o Second Life apresenta problemas de usabilidade que prejudicam a interação e o uso por usuários novatos em ambientes virtuais tridimensionais. Desta forma, buscamos identificar tais problemas e formulamos recomendações para o design de interfaces envolvendo a interação 3D. Inicialmente construímos um referencial teórico combinando capítulos de tecnologia tridimensional, percepção visual e conceitos de usabilidade e interação humano-computador. Em seguida, aplicamos a técnica de teste de usabilidade seguida de um questionário pós-teste envolvendo os conceitos de presença e satisfação subjetiva dos usuários. Os resultados obtidos confirmaram a hipótese formulada, permitindo afirmar que a usabilidade do Second Life, apesar de apresentar alta satisfação subjetiva é prejudicada pela existência de problemas que impedem uma maior e melhor utilização por usuários novatos em ambientes virtuais tridimensionais. / [en] This research deals with the usability study of three- dimensional interaction through virtual environments on the internet. The object of this study is the interaction experienced using Second Life, a virtual collaborative environment on the internet that allows users to explore digital worlds and meet other people in real time. It was considered as hypothesis that Second Life has usability problems that compromises the interaction experience for computer users new to threedimensional virtual environments. Therefore this research aimed at discovering such problems and recommending solutions for better design of this type of interfaces. Initially we built a theoretical reference combining three-dimensional technologies, visual perception and important usability concepts. After that, we applied the usability test technique followed by a post-test questionnaire dealing with the factors of presence and subjective satisfaction. The results obtained confirmed the hypothesis by showing that the interaction experience in Second Life, besides a good subjective satisfaction, is compromised by usability problems that affect computer users new to virtual three- dimensional environments.

[pt] A quantidade de websites de comércio eletrônico vem aumentando rapidamente, no entanto, questões envolvendo a usabilidade muitas vezes são esquecidas. Esta pesquisa partiu do pressuposto de que a ineficiência da apresentação de produtos em websites de comércio eletrônico no momento de compra prejudica a realização da tarefa pelo usuário, resultando em frustrações e perdas econômicas. Objetiva-se com esta dissertação melhorar a usabilidade de websites de comércio eletrônico, através da identificação de fatores que facilitem o processo de seleção de um produto pelo usuário no momento da compra; contribuir para o aprofundamento de questões de usabilidade; além de colaborar para o fortalecimento dos estudos de IHC (Interação Humano- Computador) no país. Alguns métodos e técnicas foram usados, em quatro etapas: Primeiramente, através da Análise da Tarefa observaram-se as ações de clientes no momento da seleção de 2 produtos no ambiente real. Posteriormente, através da Avaliação Heurística buscou-se avaliar a interface dos websites de eletrodomésticos selecionados para a pesquisa com base na lista de heurísticas vindas da Análise da Tarefa. Em um terceiro momento, através da técnica Avaliação Cooperativa analisou-se o processo de seleção dos mesmos produtos pelo cliente em websites de comércio eletrônico (ambiente virtual). Por fim, foram analisadas e comparadas as ações dos usuários nos dois ambientes (loja física e virtual) a fim de avaliar as diferenças existentes entre estas no momento de seleção do produto. Através deste trabalho, a hipótese pôde ser confirmada e evidenciou-se que as páginas de apresentação do produto em websites de comércio eletrônico possuem níveis baixos de usabilidade, prejudicando a realização da tarefa pelo usuário, resultando em frustrações e na maioria das vezes a não efetivação da compra. / [en] The amount of e-commerce websites has increased rapidly. However, issues involving their usability many tomes have been overlooked. This research is concerned about the inefficiency of the presentation of products in general, in ecommerce websites at the moment of purchase. This incompetence jeopardizes the accomplishment of the task by the user, who will become frustrated and unsatisfied not to mention the economic losses. It is intended, with the research, to improve the usability of the e-commerce websites through the identification of factors that will enable the user to select better his products at the moment of purchase. Moreover, it is intended to contribute to the development of solutions of usability issues and to improve the studies of IHC. Some methods and techniques were used, in four stages: First of all, through the Task Analysis, we could observe the clients actions at the very moment of selection of two products from the real store; Secondly, through the Heuristic Evaluation, we tried to study the interface of the domestic appliance websites selected for a survey from the Task Analysis; On a third stage, through the Cooperative Evaluation, we analyzed the process of selection of the same products mentioned above by the clients on virtual store; At last, the actions of the users were both analyzed and compared in the virtual store and the real store, in order to verify the differences between them at the moment of the products selection. By means of this work, the hypothesis could be confirmed and became evident that the interfaces of the e-commerce websites showed low levels of usability, risking the performance of task by the users besides leading the user to frustration and most of the time making him give up the purchase.

Made available in DSpace on 2016-03-22T17:26:29Z (GMT). No. of bitstreams: 1 christian res.pdf: 5463 bytes, checksum: 65fdbe742cdd57dd26375ed5dbd3064b (MD5) Previous issue date: 2010-03-29 / This study does a chronological description about the construction of the Brazilian Digital TV System (SBTVD Sistema Brasileiro de TV Digital), since its establishment by the Decree 4901 in June 2006, until its current state-of-art. This new standard was created in Brazil to offer the most modern technology available and a tool for digital and social inclusion of the Brazilian citizens, directed to all classes, faiths, and regions. This public of heterogeneous culture and social contrasts should in some years have access to this innovative technology, which will replace the current analog television system by the year 2016. This work also includes a research about different ways to evaluate usability for Digital TV Applications in order to make them more easy and pleasant to use. The research also shows the results obtained during the Usability Tests through television applications prototyping / O presente estudo faz um relato cronológico da construção do Sistema Brasileiro de TV Digital (SBTVD), desde a sua criação pelo Decreto 4.901, em junho de 2006, até o atual estado da arte da área. Este novo padrão foi criado para oferecer aos brasileiros a mais moderna tecnologia existente, além de ser uma ferramenta de inclusão digital e social direcionada a todas as classes, credos e regiões do país. Este público, de cultura heterogênea e de contrastes sociais marcantes, deverá, em alguns anos, ter acesso a esta tecnologia inovadora, que substituirá, até o ano de 2016, o atual sistema analógico de transmissão televisiva. Neste trabalho também foi feito um levantamento sobre diferentes formas de avaliação de usabilidade existentes para avaliar os aplicativos desenvolvidos para TV Digital, com a finalidade de torná-los mais fáceis e agradáveis de serem utilizados. Além disso, o levantamento mostrou resultados de Testes de Usabilidade em teleusuários, através da prototipação de aplicativos televisivos

Made available in DSpace on 2016-03-22T17:26:45Z (GMT). No. of bitstreams: 1 Bianca_ ultima versao.pdf: 2310630 bytes, checksum: 2a5e16bab352789a9cfbaef41a6e91dd (MD5) Previous issue date: 2011-03-11 / The Information Visualization study area tries to represent through graphic visual representation, transmit information that allow a better understanding of a large amount of raw data. The use of Information Visualization Tools for Digital Television make to television viewers understand the values in a more intuitive way, query, and learn more about the analyzed systems. The purpose of this research is to make TV applications easier to learn, comprehend, understand, and manipulate the high amount of information that will be shown on the television screen through the terrestrial Brazilian Digital TV Standard. Inside this context there will be used, as start point, two classes of evaluation criterias defined by Luzzardi [LUZZARDI, 2003], as a way to facilitate the discovery of the main Usability issues encountered by the viewers. This research finishes with tests, conclusions, and future works / A Visualização de Informações é uma área que procura através de representações gráficas visuais, transmitir informações que permitam a melhor compreensão de um grande volume de dados em estado bruto. A utilização de ferramentas de visualização de informações voltadas para TV Digital poderá tornar possível aos telespectadores, compreender de forma intuitiva, consultar e aprender sobre os sistemas apresentados. O trabalho a ser apresentado tem como principal finalidade, tornar mais fácil ao usuário aprender, compreender, interpretar e manipular o grande volume de informações que serão exibidos em aplicativos televisivos através da TV Digital Terrestre. Dentro deste contexto, serão utilizados como base e ponto de partida, dois conjuntos de critérios de avaliação (heurísticas) definidos por Luzzardi [LUZZARDI, 2003], de modo a facilitar a descoberta dos principais problemas de usabilidade enfrentados pelos telespectadores da TV Digital. O trabalho é concluído com a realização de testes, apresentando conclusões e indicações de trabalhos futuros

A acessibilidade, como um conceito geral, se refere à capacidade de produtos, meios, serviços e dispositivos em alcançar o uso por pessoas com deficiência. A acessibilidade naWeb diz respeito à capacidade destas pessoas em utilizá-la, acessar os conteúdos e poder participar ativamente dela, interagindo e gerando novos conteúdos. A Web de hoje em dia oferece ricas experiências aos usuários, porém muitas barreiras são enfrentadas por usuários com deficiências visuais, devido à falta de atenção dada pelos desenvolvedores às questões de acessibilidade das páginas. A construção de uma página que atenda adequadamente aos requisitos de acessibilidade é uma tarefa técnica complicada. Diversos padrões e recomendações foram criadas para tal, mas o domínio desses padrões e a compreensão de como eles ajudarão na experiência de usuários com deficiências não é simples. Ferramentas existentes validam detalhes técnicos da implementação das páginas, geralmente seguindo uma lista de itens ou recomendações a serem verificadas, mas essas ferramentas não expõem ao desenvolvedor o efeito final na experiência que um usuário cego terá ao visitá-la, ou evidenciam a importância relativa de cada problema encontrado. Neste trabalho, estudou-se a viabilidade e o potencial de um simulador de leitor de tela, cujo público alvo são os próprios desenvolvedores, de forma a auxiliar a análise de acessibilidade de uma página para usuários com deficiência visual. Dois protótipos foram desenvolvidos e avaliados, buscando verificar as lacunas existentes em outras abordagens que ele possa alcançar. / Accessibility, as a general concept, refers to the capacity of products, services and environments to be used by people with disabilities. Web accessibility, therefore, constitutes the ability of the web to be any person, including people with disabilities. The web nowadays offers rich experiences to its users, but there are many barriers that a person with visual disabilities faces while browsing the web. Building a web page that is well adapted to accessibility requirements is a complicated technical task. Several standards and guidelines have been created to achieve this, but mastering these standards and understanding how they will help these users experiences isnt simple. There are existing tools to validate technical details of a web pages implementation, usually referring back to the standards or a list of items to be verified, but these tools dont tell the web developer the effects that each problem will have in the final experience, or the relative importance of each existing problem. In this research, we studied the viability and potential of a screen reader simulator, targeting web developers as its main user group, in order to support the accessibility analysis of a webpage for blind users. Two prototype versions were developed and evaluated, in order to verify the gaps from other types of tools that this approach can reach.

Made available in DSpace on 2017-07-21T14:19:24Z (GMT). No. of bitstreams: 1 SUELYN FERNANDA DA SILVA.pdf: 3051294 bytes, checksum: 677dca6509612434b3c257db9647f482 (MD5) Previous issue date: 2015-04-28 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Meta-analysis is the analysis results of various studies, and is performed in order to synthesize these results statistically formal manner. One application is in the meta validation diagrammatic scales to assess severity of disease in plants. The aim of this study was a metaanalysis in diagrammatic scales of data validation, used to help determine the severity of disease in different cultures, using software that perform meta-analysis with data that correlate variables and have free or trial version, was developed a computer model to automate this task in a simplified manner compared to the software used, R and Comprehensive Meta-Analisys. The database for the meta-analysis comprised a total of 64 studies with the validation subject diagrammatic scales, these studies were split and led to 3 separate databases for reviews where scales were used, was not used and the evaluators They were trained to scale. The meta-analysis with the models of fixed effect and random effect on the R software was carried out in order to obtain the lowest value of the Akaike Information Criterion, which was used to determine the most appropriate model, and then performed a meta-analysis with the Comprehensive Meta-Analisys software. The computational model developed uses the structure of a wizard software, which performs the steps of meta-analysis found the form of literature this model performs the meta-analysis tasks on specific steps guiding the user through every step facilitating the realization of the meta-analysis, so the system It provides options to the user and according to the choice made the system identifies the next step to run until the end of the meta-analysis. It was concluded that the computational model helped to simplify the process of meta and also by the results obtained it is concluded that there are benefits in using scales diagrammatic having a higher overall correlation has been established to 0.97 where it was used. / Metanálise é a análise de resultados de diversos estudos, e é realizada a fim de sintetizar esses resultados de uma maneira estatisticamente formal. Uma das aplicações da metanálise está na validação de escalas diagramáticas para a avaliação de severidade de doenças em plantas. O objetivo deste trabalho foi realizar metanálise em dados de validação de escalas diagramáticas, usadas para auxílio na determinação do grau de severidade de doenças em diferentes culturas, utilizando softwares que realizam metanálise com dados que correlacionam variáveis e que possuem versão gratuita ou para teste, foi desenvolvido um modelo computacional para automatizar tal tarefa de maneira simplificada comparado aos softwares utilizados, R e Comprehensive Meta-Analisys. A base de dados para a metanálise foi composta por um total de 64 estudos com o tema validação de escalas diagramáticas, estes estudos foram divididos e originou-se 3 bases de dados separadas por avaliações onde as escalas eram utilizadas, não eram utilizadas e os avaliadores eram treinados com a escala. Foi realizada a metanálise com os modelos de efeito fixo e de efeito aleatório no software R, a fim de se obter o menor valor do Critério de Informação de Akaike, o qual foi utilizado para determinar o modelo mais adequado, e em seguida realizada a metanálise com o software Comprehensive Meta-Analisys. O modelo computacional desenvolvido utiliza a estrutura de um software assistente, que realiza as etapas da metanálise encontradas da literatura de forma este modelo executa as tarefas da metanálise em passos específicos guiando o usuário por todas as etapas facilitando a realização da metanálise, desta forma o sistema fornece opções ao usuário e de acordo com a escolha realizada o sistema identifica o próximo passo a ser executado até o fim da metanálise. Concluiu-se que o modelo computacional auxiliou a simplificar o processo de metanálise e através dos resultados obtidos conclui-se também que existem benefícios no uso de escalas diagramáticas tendo sido estabelecida uma correlação global superior a 0,97 nos casos em que ela foi usada.

Do ponto de vista do usuário, a interface é uma das partes mais importantes dos sistemas computacionais, porque por meio dela o usuário vê, ouve e sente. Essa relevância motiva pesquisadores da área de Interação Humano-Computador a estudarem maneiras de se criarem interfaces com design focado em usabilidade. A avaliação da usabilidade de interfaces visa verificar se elas atendem aos requisitos do usuário de forma que as funcionalidades do sistema sejam realizadas de modo efetivo, eficiente e que satisfaça as expectativas do usuário. Tendo em vista que o ciclo de desenvolvimento de software costuma ser longo, avaliações da usabilidade de diferentes versões de interfaces devem ser realizadas no decorrer do processo, como forma de minimizar erros e reduzir custos de produção do sistema. Uma das avaliações de usabilidade mais conhecidas é a avaliação heurística, criada por Jacob Nielsen, que se destaca pelo baixo custo e rapidez de aplicação. Nela, especialistas avaliam as interfaces e os diálogos do sistema com base em um conjunto de regras gerais, as heurísticas, que lhes permitem identificar problemas de usabilidade. Apesar de respeitadas e amplamente usadas, as heurísticas de Nielsen foram criadas sem foco em interfaces de dispositivos móveis, muito difundidos atualmente. Por meio deste trabalho, verificou-se que as heurísticas de Nielsen têm limitações para encontrarem problemas de usabilidade em interfaces de dispositivos móveis. Por conta disso, propôs-se um conjunto de heurísticas para avaliação de interfaces de dispositivos móveis e se definiu um conjunto de diretrizes para o desenvolvimento dessas interfaces. A validação das heurísticas propostas indicou que elas foram mais efetivas que as de Nielsen para encontrarem problemas de usabilidade considerados pelos especialistas como catastróficos ou de baixa gravidade / From the users point of view, the interface is one the most important part of computer systems, because everything he sees, hears and feels are contained therein. This relevance motivates researchers of Human-Computer Interaction to study ways to create interfaces with design focused on usability. The usability evaluation of interfaces aims to determine whether the interfaces meet the requirements of the system so that its functionalities are carried out effectively, efficiently and satisfying the users expectations. Considering that the software development lifecycle is often long, usability evaluations of different versions of interfaces should be made during the process, in order to minimize errors and reduce production costs of the final system. Heuristic evaluation, created by Jacob Nielsen, is one of the most used usability evaluation methods, because of it low cost and ease of implementation. In this evaluation method, experts evaluate interfaces and systems dialogues based on a set of general rules, called heuristics, which enable them to identify usability problems. Although respected and widely used, Nielsens heuristics were not created having mobile devices interfaces in mind. Through this work, it was verified that Nielsens heuristics have limitations in finding usability problems in mobile devices interfaces. Because of this, we proposed a set of heuristics for evaluating interfaces for mobile devices and defined a set of guidelines for the development of these interfaces. The validation of the proposed heuristics indicated that they were more effective than Nielsens to find usability problems considered by experts as catastrophic or of low gravity

Heuristic Evaluation (HE) is a popular method of usability inspection. However, its outcomes are dependent on the expertise of evaluators. This study explored and described the difference in quality of outcomes (reports) of a collaborative HE conducted by evaluator groups of distinct composition, regarding different numbers of expert evaluators in each group. Twenty-seven (27) evaluators voluntarily contributed with this study, nine (9) expert and 18 novice evaluators. Thus, I organized seven (7) HE groups according to four (4) different levels of the factor presence of an expert, which ranged from no expert up to three (3) experts in the same group. Each group agreed to provide their reports for this study. Thereafter, I conducted a comparative analysis on the reports based on standard methods of the field and on a cluster analysis of similarities. I described the F-measure for each group report according to a relaxed and a strict criteria. Also, I described the dendrograms formed from the cluster analysis and the respective similarities indicated by each cluster. The results showed that the quality of reports from collaborative HE conducted by experts and novices together can be more similar to the quality of reports from a traditional HE with multiple expert inspectors (Benchmark Group) then to the quality of reports from a collaborative HE conducted by a group composed only by novice evaluators (Baseline Group). Finally, I discuss additional findings and implications for future studies in the field. / A Avaliação Heurística (AH) é um método popular de inspeção de usabilidade. Entretanto, seus resultados são dependentes da experiência dos avaliadores. Este estudo explorou e descreveu a diferença na qualidade de resultados (relatórios) de AH colaborativa conduzida por grupos de avaliadores de composição distinta, considerando diferentes quantidades de avaliadores experientes em cada grupo. Vinte e sete (27) avaliadores contribuíram voluntariamente com este estudo, nove (9) experientes e 18 novatos. Assim, foram organizados sete (7) grupos de AH, de acordo com quatro (4) níveis diferentes do fator presença de avaliador experiente, variando de nenhum experiente até três (3) avaliadores experientes no mesmo grupo. Cada grupo de avaliadores concordou em entregar seus relatórios de AH para este estudo. A partir de tais relatórios, foi conduzida uma análise comparativa baseada em métodos específicos da área, e também baseado em uma análise de agrupamento com base em medidas de similaridade. Como resultado, descreveu-se as medidas F (F-measure) referentes ao relatório de cada grupo respeitando critérios estritos e relaxados de comparação. Além disto, foram descritos os dendrogramas resultados das análises de agrupamento. Os resultados mostraram que a qualidade de relatórios de AH colaborativas conduzidas por avaliadores experientes e novatos juntos pode ser mais similar à qualidade de relatórios de AH tradicional conduzida por múltiplos avaliadores experientes (Grupo Benchmark) do que à qualidade de relatórios de AH colaborativa conduzida por grupos formados apenas por avaliadores novatos (Grupo Baseline). Finalmente, discutiu-se resultados adicionais e implicações para pesquisas futuras na área.