A discussão a respeito da percepção dos protagonistas sobre o ensino superior de Administração é necessário, pois, no Brasil, foi registrado aumento de 208% (INEP, 2017) no número de matriculados no respectivo curso superior, nos últimos vinte anos. Tal aumento é responsável potencial pela produção em série de administradores com baixa qualificação. Assim, esta tese apresenta e discute as percepções de Estudantes e de Professores do ensino superior de Administração, brasileiro e português, acerca dos processos de ensino, de aprendizagem e de avaliação utilizados. Os objetivos específicos este trabalho são: (i) Investigar como os Estudantes percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (ii) Investigar como os Professores percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (iii) Comparar a percepção dos Protagonistas do ensino superior de Administração brasileiro e português acerca dos processos de Ensino, de Aprendizagem e de Avaliação, e; (iv) Investigar as sugestões de melhorias, originadas dos Protagonistas, para o referido ensino. A fim de atingir os objetivos propostos, esta investigação caracterizou-se como uma pesquisa qualitativa e exploratória. A coleta de dados se deu por meio de grupo de foco, junto aos Acadêmicos, entrevistas semiestruturadas, com Professores, e pesquisa documental. A análise dos dados foi realizada através da análise de discurso, proposta por Pêcheux (2009). No Brasil, participaram da pesquisa os Protagonistas que integravam, em 2015/2, os dois primeiros cursos superiores de Administração oferecidos por universidades públicas. Em Portugal, foram escolhidos também os Protagonistas que compunham, em 2016/2, os cursos superiores de Administração nas primeiras universidades públicas que ofereceram o ensino de práticas comerciais, e depois de alguns desdobramentos, o ensino superior de Administração. A comparação entre Brasil e Portugal permitiu mostrar as semelhanças e as diferenças nos cursos superiores de Administração; já que quando introduzido no Brasil, pela Coroa Portuguesa, em 1808, o ensino de práticas comerciais seguia o mesmo modelo de Portugal. Os resultados expõem as insatisfações dos Protagonistas acerca do ensino superior de Administração. De maneira geral, os resultados ratificam a polarização do ensino superior de Administração; confirmam as demandas por um ensino superior de Administração mais dialógico e por estímulo ao desenvolvimento do pensamento crítico; destacam a necessidade de um clima favorável para que ocorresse o processo de aprendizagem; retratam a dicotomia entre teoria e prática e; enfatizam o potencial de maior incentivo às experiências extracurriculares (junto aos órgãos das IES, instituições públicas e privadas e comunidades). A construção da presente tese deu destaque à necessidade de refletir sobre a prática, a integração entre prática e teoria e, sobretudo, como a partir do estabelecimento de relação entre essas ‘traduções’ do conhecimento de gestão se pode desenvolver um Administrador capaz de atuar em um ambiente supercomplexo. Emergem, assim, o imperativo de elucubrar sobre o potencial da dúvida epistemológica e a forma de suscitá-la nos processos de ensino, de aprendizagem e de avaliação, no ensino superior de Administração, além de integrar os referidos processos para um desenvolvimento mais efetivo do Administrador. / The discussion about higher education in Business Administration has been growing as there has been an increase of 208% (according to INEP, 2017) in the number of enrollments in Business Administration over the last 20 years. Such an increase is probably responsible for the mass production of low-qualified administrators. Thus, this dissertation shows and discusses students’ and professors’ perceptions of the teaching, learning and evaluation processes used in Brazil and Portugal. The specific objectives of this study are: (i) To investigate how students perceive the teaching, learning and evaluation processes in higher education Business Administration; (ii) To investigate how professors perceive the teaching, learning and evaluation processes in higher education Business Administration; (iii) To compare how Brazilian and Portuguese protagonists in higher education Business Administration courses perceive the teaching , learning and evaluation processes; and; (iv) To investigate the suggestions for improvements coming from the protagonists in Business administration Education. In order to reach the proposed objectives, this investigation is characterized as qualitative and exploratory. The data collection was carried through focus group with the students, semi-structured interviews with professors and document research. The data analysis was carried through Pêcheux’s discourse analysis (2009). In Brazil, the protagonists who participated in the research belonged, in 2015/2, to the two oldest business courses offered by public universities. In Portugal, the protagonists were part of the Business Administration courses at the first public universities which offered education in commercial practices and later then in higher education Business Administration. The comparison between Brazil and Portugal allow to show similarities and differences in higher education Business Administration courses, since the education in commercial practices in Brazil, brought by Portugal in 1808, followed the Portuguese model. The results show the protagonists’ dissatisfaction with higher education in Business Administration. In general the results confirm the polarization of higher education in Business Administration; ratify the claim for a more dialogical higher education Business Administration and encouragement to develop critical thinking; call the attention to the need for a favorable environment for the learning process to take place; show the dichotomy between theory and practice; emphasize the possibility of more incentives for extracurricular experiences (from Higher Education Institutions’ organs, public and private institutions and communities).The elaboration of this thesis pointed out the need to reflect on the practice, the integration between theory and practice and, above all, how, from establishing the relationship between these “translations” of knowledge about management, can one develop an administrator who can perform in a very complex environment. Thus, it is necessary to picture the possible epistemological question and how to arouse it in the teaching, learning and evaluation processes in higher education Business Administration, as well as integrate these processes to develop a more effective administrator.

A discussão a respeito da percepção dos protagonistas sobre o ensino superior de Administração é necessário, pois, no Brasil, foi registrado aumento de 208% (INEP, 2017) no número de matriculados no respectivo curso superior, nos últimos vinte anos. Tal aumento é responsável potencial pela produção em série de administradores com baixa qualificação. Assim, esta tese apresenta e discute as percepções de Estudantes e de Professores do ensino superior de Administração, brasileiro e português, acerca dos processos de ensino, de aprendizagem e de avaliação utilizados. Os objetivos específicos este trabalho são: (i) Investigar como os Estudantes percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (ii) Investigar como os Professores percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (iii) Comparar a percepção dos Protagonistas do ensino superior de Administração brasileiro e português acerca dos processos de Ensino, de Aprendizagem e de Avaliação, e; (iv) Investigar as sugestões de melhorias, originadas dos Protagonistas, para o referido ensino. A fim de atingir os objetivos propostos, esta investigação caracterizou-se como uma pesquisa qualitativa e exploratória. A coleta de dados se deu por meio de grupo de foco, junto aos Acadêmicos, entrevistas semiestruturadas, com Professores, e pesquisa documental. A análise dos dados foi realizada através da análise de discurso, proposta por Pêcheux (2009). No Brasil, participaram da pesquisa os Protagonistas que integravam, em 2015/2, os dois primeiros cursos superiores de Administração oferecidos por universidades públicas. Em Portugal, foram escolhidos também os Protagonistas que compunham, em 2016/2, os cursos superiores de Administração nas primeiras universidades públicas que ofereceram o ensino de práticas comerciais, e depois de alguns desdobramentos, o ensino superior de Administração. A comparação entre Brasil e Portugal permitiu mostrar as semelhanças e as diferenças nos cursos superiores de Administração; já que quando introduzido no Brasil, pela Coroa Portuguesa, em 1808, o ensino de práticas comerciais seguia o mesmo modelo de Portugal. Os resultados expõem as insatisfações dos Protagonistas acerca do ensino superior de Administração. De maneira geral, os resultados ratificam a polarização do ensino superior de Administração; confirmam as demandas por um ensino superior de Administração mais dialógico e por estímulo ao desenvolvimento do pensamento crítico; destacam a necessidade de um clima favorável para que ocorresse o processo de aprendizagem; retratam a dicotomia entre teoria e prática e; enfatizam o potencial de maior incentivo às experiências extracurriculares (junto aos órgãos das IES, instituições públicas e privadas e comunidades). A construção da presente tese deu destaque à necessidade de refletir sobre a prática, a integração entre prática e teoria e, sobretudo, como a partir do estabelecimento de relação entre essas ‘traduções’ do conhecimento de gestão se pode desenvolver um Administrador capaz de atuar em um ambiente supercomplexo. Emergem, assim, o imperativo de elucubrar sobre o potencial da dúvida epistemológica e a forma de suscitá-la nos processos de ensino, de aprendizagem e de avaliação, no ensino superior de Administração, além de integrar os referidos processos para um desenvolvimento mais efetivo do Administrador. / The discussion about higher education in Business Administration has been growing as there has been an increase of 208% (according to INEP, 2017) in the number of enrollments in Business Administration over the last 20 years. Such an increase is probably responsible for the mass production of low-qualified administrators. Thus, this dissertation shows and discusses students’ and professors’ perceptions of the teaching, learning and evaluation processes used in Brazil and Portugal. The specific objectives of this study are: (i) To investigate how students perceive the teaching, learning and evaluation processes in higher education Business Administration; (ii) To investigate how professors perceive the teaching, learning and evaluation processes in higher education Business Administration; (iii) To compare how Brazilian and Portuguese protagonists in higher education Business Administration courses perceive the teaching , learning and evaluation processes; and; (iv) To investigate the suggestions for improvements coming from the protagonists in Business administration Education. In order to reach the proposed objectives, this investigation is characterized as qualitative and exploratory. The data collection was carried through focus group with the students, semi-structured interviews with professors and document research. The data analysis was carried through Pêcheux’s discourse analysis (2009). In Brazil, the protagonists who participated in the research belonged, in 2015/2, to the two oldest business courses offered by public universities. In Portugal, the protagonists were part of the Business Administration courses at the first public universities which offered education in commercial practices and later then in higher education Business Administration. The comparison between Brazil and Portugal allow to show similarities and differences in higher education Business Administration courses, since the education in commercial practices in Brazil, brought by Portugal in 1808, followed the Portuguese model. The results show the protagonists’ dissatisfaction with higher education in Business Administration. In general the results confirm the polarization of higher education in Business Administration; ratify the claim for a more dialogical higher education Business Administration and encouragement to develop critical thinking; call the attention to the need for a favorable environment for the learning process to take place; show the dichotomy between theory and practice; emphasize the possibility of more incentives for extracurricular experiences (from Higher Education Institutions’ organs, public and private institutions and communities).The elaboration of this thesis pointed out the need to reflect on the practice, the integration between theory and practice and, above all, how, from establishing the relationship between these “translations” of knowledge about management, can one develop an administrator who can perform in a very complex environment. Thus, it is necessary to picture the possible epistemological question and how to arouse it in the teaching, learning and evaluation processes in higher education Business Administration, as well as integrate these processes to develop a more effective administrator.

A discussão a respeito da percepção dos protagonistas sobre o ensino superior de Administração é necessário, pois, no Brasil, foi registrado aumento de 208% (INEP, 2017) no número de matriculados no respectivo curso superior, nos últimos vinte anos. Tal aumento é responsável potencial pela produção em série de administradores com baixa qualificação. Assim, esta tese apresenta e discute as percepções de Estudantes e de Professores do ensino superior de Administração, brasileiro e português, acerca dos processos de ensino, de aprendizagem e de avaliação utilizados. Os objetivos específicos este trabalho são: (i) Investigar como os Estudantes percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (ii) Investigar como os Professores percebem os processos de Ensino, de Aprendizagem e de Avaliação, no ensino superior de Administração; (iii) Comparar a percepção dos Protagonistas do ensino superior de Administração brasileiro e português acerca dos processos de Ensino, de Aprendizagem e de Avaliação, e; (iv) Investigar as sugestões de melhorias, originadas dos Protagonistas, para o referido ensino. A fim de atingir os objetivos propostos, esta investigação caracterizou-se como uma pesquisa qualitativa e exploratória. A coleta de dados se deu por meio de grupo de foco, junto aos Acadêmicos, entrevistas semiestruturadas, com Professores, e pesquisa documental. A análise dos dados foi realizada através da análise de discurso, proposta por Pêcheux (2009). No Brasil, participaram da pesquisa os Protagonistas que integravam, em 2015/2, os dois primeiros cursos superiores de Administração oferecidos por universidades públicas. Em Portugal, foram escolhidos também os Protagonistas que compunham, em 2016/2, os cursos superiores de Administração nas primeiras universidades públicas que ofereceram o ensino de práticas comerciais, e depois de alguns desdobramentos, o ensino superior de Administração. A comparação entre Brasil e Portugal permitiu mostrar as semelhanças e as diferenças nos cursos superiores de Administração; já que quando introduzido no Brasil, pela Coroa Portuguesa, em 1808, o ensino de práticas comerciais seguia o mesmo modelo de Portugal. Os resultados expõem as insatisfações dos Protagonistas acerca do ensino superior de Administração. De maneira geral, os resultados ratificam a polarização do ensino superior de Administração; confirmam as demandas por um ensino superior de Administração mais dialógico e por estímulo ao desenvolvimento do pensamento crítico; destacam a necessidade de um clima favorável para que ocorresse o processo de aprendizagem; retratam a dicotomia entre teoria e prática e; enfatizam o potencial de maior incentivo às experiências extracurriculares (junto aos órgãos das IES, instituições públicas e privadas e comunidades). A construção da presente tese deu destaque à necessidade de refletir sobre a prática, a integração entre prática e teoria e, sobretudo, como a partir do estabelecimento de relação entre essas ‘traduções’ do conhecimento de gestão se pode desenvolver um Administrador capaz de atuar em um ambiente supercomplexo. Emergem, assim, o imperativo de elucubrar sobre o potencial da dúvida epistemológica e a forma de suscitá-la nos processos de ensino, de aprendizagem e de avaliação, no ensino superior de Administração, além de integrar os referidos processos para um desenvolvimento mais efetivo do Administrador. / The discussion about higher education in Business Administration has been growing as there has been an increase of 208% (according to INEP, 2017) in the number of enrollments in Business Administration over the last 20 years. Such an increase is probably responsible for the mass production of low-qualified administrators. Thus, this dissertation shows and discusses students’ and professors’ perceptions of the teaching, learning and evaluation processes used in Brazil and Portugal. The specific objectives of this study are: (i) To investigate how students perceive the teaching, learning and evaluation processes in higher education Business Administration; (ii) To investigate how professors perceive the teaching, learning and evaluation processes in higher education Business Administration; (iii) To compare how Brazilian and Portuguese protagonists in higher education Business Administration courses perceive the teaching , learning and evaluation processes; and; (iv) To investigate the suggestions for improvements coming from the protagonists in Business administration Education. In order to reach the proposed objectives, this investigation is characterized as qualitative and exploratory. The data collection was carried through focus group with the students, semi-structured interviews with professors and document research. The data analysis was carried through Pêcheux’s discourse analysis (2009). In Brazil, the protagonists who participated in the research belonged, in 2015/2, to the two oldest business courses offered by public universities. In Portugal, the protagonists were part of the Business Administration courses at the first public universities which offered education in commercial practices and later then in higher education Business Administration. The comparison between Brazil and Portugal allow to show similarities and differences in higher education Business Administration courses, since the education in commercial practices in Brazil, brought by Portugal in 1808, followed the Portuguese model. The results show the protagonists’ dissatisfaction with higher education in Business Administration. In general the results confirm the polarization of higher education in Business Administration; ratify the claim for a more dialogical higher education Business Administration and encouragement to develop critical thinking; call the attention to the need for a favorable environment for the learning process to take place; show the dichotomy between theory and practice; emphasize the possibility of more incentives for extracurricular experiences (from Higher Education Institutions’ organs, public and private institutions and communities).The elaboration of this thesis pointed out the need to reflect on the practice, the integration between theory and practice and, above all, how, from establishing the relationship between these “translations” of knowledge about management, can one develop an administrator who can perform in a very complex environment. Thus, it is necessary to picture the possible epistemological question and how to arouse it in the teaching, learning and evaluation processes in higher education Business Administration, as well as integrate these processes to develop a more effective administrator.

A qualidade, tanto da produção científica quanto dos pesquisadores, tem sido foco de discussões e objeto de estudo, isto porque a busca pela excelência é constante no meio acadêmico. Sendo assim, conhecer e medir de forma sistematizada as competências dos pesquisadores constitui-se em uma importante ferramenta para identificar as melhores organizações e indivíduos em uma determinada área. Esta dissertação buscou descobrir a qualificação dos pesquisadores nas áreas da Ciência da Computação. Para tal, foi desenvolvido um sistema Web (semi) automatizado. Este sistema é centrado na ontologia OntoResearcher, considera o reuso de outras ontologias, a extração de informações da Web e do currículo dos pesquisadores. A OntoResearcher foi modelada com características e indicadores de qualidade (quantitativos e qualitativos) que permitem mensurar as competências dos pesquisadores. O sistema desenvolvido utiliza as informações modeladas na OntoResearcher para automatizar o processo de avaliação dos pesquisadores e tem como diferencial a qualificação distribuída nas áreas da Ciência da Computação em que o pesquisador atua. As principais contribuições desta dissertação são a definição do perfil de pesquisador, o desenvolvimento da ontologia OntoResearcher e a implementação do sistema de qualificação demonstrando a viabilidade das idéias propostas através dos testes realizados. / The search for excellence is continuous in the academic field. So, the quality of scientific production and researchers has been focus of discussions and subject of study in the academic field. Thus, knowing and measuring the researcher’s skills or qualifications in a systematized way is an important tool to identify the best organizations and individuals in a certain discipline. This work aimed to discover the researcher’s qualification of Computer Science field. To accomplish this task, it was developed a Web system (semi) automatized. This system, which is centered on the OntoResearcher ontology, considers the ontology reuse, the information’s extraction by the researcher’s resume and by the Web. The OntoResearcher was modeled with indicators of scientific quality (quantitative and qualitative) which allows measuring the researcher’s qualifications. The developed system uses the information from OntoResearcher to automatize the researcher’s evaluation. The main differential of this work is the researcher’s qualification distributed in the Computer Science fields on which the researcher has worked. The main contributions of this work are: the researchers’ profiles, the development of OntoResearcher and the development of qualification system demonstrating viability of the ideas through the experimentation.

A qualidade, tanto da produção científica quanto dos pesquisadores, tem sido foco de discussões e objeto de estudo, isto porque a busca pela excelência é constante no meio acadêmico. Sendo assim, conhecer e medir de forma sistematizada as competências dos pesquisadores constitui-se em uma importante ferramenta para identificar as melhores organizações e indivíduos em uma determinada área. Esta dissertação buscou descobrir a qualificação dos pesquisadores nas áreas da Ciência da Computação. Para tal, foi desenvolvido um sistema Web (semi) automatizado. Este sistema é centrado na ontologia OntoResearcher, considera o reuso de outras ontologias, a extração de informações da Web e do currículo dos pesquisadores. A OntoResearcher foi modelada com características e indicadores de qualidade (quantitativos e qualitativos) que permitem mensurar as competências dos pesquisadores. O sistema desenvolvido utiliza as informações modeladas na OntoResearcher para automatizar o processo de avaliação dos pesquisadores e tem como diferencial a qualificação distribuída nas áreas da Ciência da Computação em que o pesquisador atua. As principais contribuições desta dissertação são a definição do perfil de pesquisador, o desenvolvimento da ontologia OntoResearcher e a implementação do sistema de qualificação demonstrando a viabilidade das idéias propostas através dos testes realizados. / The search for excellence is continuous in the academic field. So, the quality of scientific production and researchers has been focus of discussions and subject of study in the academic field. Thus, knowing and measuring the researcher’s skills or qualifications in a systematized way is an important tool to identify the best organizations and individuals in a certain discipline. This work aimed to discover the researcher’s qualification of Computer Science field. To accomplish this task, it was developed a Web system (semi) automatized. This system, which is centered on the OntoResearcher ontology, considers the ontology reuse, the information’s extraction by the researcher’s resume and by the Web. The OntoResearcher was modeled with indicators of scientific quality (quantitative and qualitative) which allows measuring the researcher’s qualifications. The developed system uses the information from OntoResearcher to automatize the researcher’s evaluation. The main differential of this work is the researcher’s qualification distributed in the Computer Science fields on which the researcher has worked. The main contributions of this work are: the researchers’ profiles, the development of OntoResearcher and the development of qualification system demonstrating viability of the ideas through the experimentation.

A qualidade, tanto da produção científica quanto dos pesquisadores, tem sido foco de discussões e objeto de estudo, isto porque a busca pela excelência é constante no meio acadêmico. Sendo assim, conhecer e medir de forma sistematizada as competências dos pesquisadores constitui-se em uma importante ferramenta para identificar as melhores organizações e indivíduos em uma determinada área. Esta dissertação buscou descobrir a qualificação dos pesquisadores nas áreas da Ciência da Computação. Para tal, foi desenvolvido um sistema Web (semi) automatizado. Este sistema é centrado na ontologia OntoResearcher, considera o reuso de outras ontologias, a extração de informações da Web e do currículo dos pesquisadores. A OntoResearcher foi modelada com características e indicadores de qualidade (quantitativos e qualitativos) que permitem mensurar as competências dos pesquisadores. O sistema desenvolvido utiliza as informações modeladas na OntoResearcher para automatizar o processo de avaliação dos pesquisadores e tem como diferencial a qualificação distribuída nas áreas da Ciência da Computação em que o pesquisador atua. As principais contribuições desta dissertação são a definição do perfil de pesquisador, o desenvolvimento da ontologia OntoResearcher e a implementação do sistema de qualificação demonstrando a viabilidade das idéias propostas através dos testes realizados. / The search for excellence is continuous in the academic field. So, the quality of scientific production and researchers has been focus of discussions and subject of study in the academic field. Thus, knowing and measuring the researcher’s skills or qualifications in a systematized way is an important tool to identify the best organizations and individuals in a certain discipline. This work aimed to discover the researcher’s qualification of Computer Science field. To accomplish this task, it was developed a Web system (semi) automatized. This system, which is centered on the OntoResearcher ontology, considers the ontology reuse, the information’s extraction by the researcher’s resume and by the Web. The OntoResearcher was modeled with indicators of scientific quality (quantitative and qualitative) which allows measuring the researcher’s qualifications. The developed system uses the information from OntoResearcher to automatize the researcher’s evaluation. The main differential of this work is the researcher’s qualification distributed in the Computer Science fields on which the researcher has worked. The main contributions of this work are: the researchers’ profiles, the development of OntoResearcher and the development of qualification system demonstrating viability of the ideas through the experimentation.

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.

Esta pesquisa descreve um modelo para descobrir e pontuar competências acadêmicas de pesquisadores, baseado na combinação de indicadores quantitativos que permitem mensurar a produção acadêmica dos cientistas. Um diferencial do modelo é a inclusão de indicadores quantitativos relacionados com a importância da produção bibliográfica dos pesquisadores. Estes indicadores possibilitam uma avaliação da produção considerando aspectos como repercussão na comunidade acadêmica e nível dos veículos de publicação. A pesquisa também contribui com a especificação de uma arquitetura flexível e extensível fundamentada em técnicas de extração de dados na Web e casamento aproximado de dados (através de funções de similaridade). A arquitetura foi implementada em um sistema Web cuja principal característica é a integração de diversas tecnologias open source. O sistema desenvolvido permite que qualquer pesquisador avalie quantitativamente sua produção científica, automatizando diversos aspectos relacionados à tarefa de avaliação, como a obtenção dos indicadores e a integração das diferentes bases de informações. / The present research describes a model that aims finding out and scoring academic researchers skills or competences based on the combination of quantitative indicators that make it possible to measure the production of academic scientists. A special feature concerning our model is the inclusion of quantitative indicators related to the importance of the researchers’ bibliographic production. These indicators allow the evaluation of the production considering both the outcome it has had in the academic community, and the quality level of the place it was published. The study also presents a flexible and extensible architecture specification based on techniques of web data extraction, and on approximate data matching (which is carried out through similarity functions). The architecture has been implemented in a web system whose main feature relies on the integration of several open-source technologies. The developed system allows any researcher to evaluate his/her own scientific production in quantitative terms, automating as well the so many aspects regarding the evaluation task, by making it easier to obtain the indicators and to integrate the different information databases, for instance.

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas. / This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.