In this dissertation, several approaches I have taken to build upon the student learning model are described. There are two focuses of this dissertation. The first focus is on improving the accuracy with which future student knowledge and performance can be predicted by individualizing the model to each student. The second focus is to predict how different educational content and tutorial strategies will influence student learning. The two focuses are complimentary but are approached from slightly different directions. I have found that Bayesian Networks, based on belief propagation, are strong at achieving the goals of both focuses. In prediction, they excel at capturing the temporal nature of data produced where student knowledge is changing over time. This concept of state change over time is very difficult to capture with classical machine learning approaches. Interpretability is also hard to come by with classical machine learning approaches; however, it is one of the strengths of Bayesian models and aids in studying the direct influence of various factors on learning. The domain in which these models are being studied is the domain of computer tutoring systems, software which uses artificial intelligence to enhance computer based tutorial instruction. These systems are growing in relevance. At their best they have been shown to achieve the same educational gain as one on one human interaction. Computer tutors have also received the attention of White House, which mentioned an tutoring platform called ASSISTments in its National Educational Technology Plan. With the fast paced adoption of these data driven systems it is important to learn how to improve the educational effectiveness of these systems by making sense of the data that is being generated from them. The studies in this proposal use data from these educational systems which primarily teach topics of Geometry and Algebra but can be applied to any domain with clearly defined sub-skills and dichotomous student response data. One of the intended impacts of this work is for these knowledge modeling contributions to facilitate the move towards computer adaptive learning in much the same way that Item Response Theory models facilitated the move towards computer adaptive testing.

Made available in DSpace on 2014-07-29T15:25:13Z (GMT). No. of bitstreams: 1 TESE GELCIO CARVALHO_2010.pdf: 3331303 bytes, checksum: d2aec807295415f4ab708d6d39f6c473 (MD5) Previous issue date: 2010-11-30 / Introduction: The Pontifical Catholic University of Goiás pedagogical project for its medical course has stemmed from a thirty year long dream. It came into existence in 2005 following the authorization granted by the National Council of Education after the homologation of the National Curricular Guidelines. The present study shows the need to further investigate the development of assessment processes which are used to identify, follow and materialize changes in medical training. The theory used lies on the possibility of quantifying the medical performance in the patient-physician encounter. Objective: to evaluate some components of the patient-physician encounter based on biopsychosocial model; to create an assessment tool to measure the self-perception of this encounter; to test the effectiveness of this tool in this scenario; and to quantify the category variables of the research in a Pontifical Catholic University of Goiás medical course. Materials and Methods: This was a quantitative, longitudinal and cohort study. The study group presented 39 medical students from 5th Class of the Pontifical Catholic University of Goiás Medical School Course and the investigation was divided into two stages with a year interval between the application of the required academic protocols preceded by a medical semiological conclusion. The dimensions under observation were the following: biomedical, cognitive, ecosystemic, psychological and bioethical. The assessment tool was designed to present 5 dimensions,18 facets and 72 indicators, divided into groups of four alternatives per facet, scaled in degrees 0,1,2 or 3. The higher the degree, the higher the complexity of the biopsychosocial model represented by the software program developed by the researcher called Project 2. Introduction: The Pontifical Catholic University of Goiás pedagogical project for its medical course has stemmed from a thirty year long dream. It came into existence in 2005 following the authorization granted by the National Council of Education after the homologation of the National Curricular Guidelines. The present study shows the need to further investigate the development of assessment processes which are used to identify, follow and materialize changes in medical training. The theory used lies on the possibility of quantifying the medical performance in the patient-physician encounter. Objective: to evaluate some components of the patient-physician encounter based on biopsychosocial model; to create an assessment tool to measure the self-perception of this encounter; to test the effectiveness of this tool in this scenario; and to quantify the category variables of the research in a Pontifical Catholic University of Goiás medical course. Materials and Methods: This was a quantitative, longitudinal and cohort study. The study group presented 39 medical students from 5th Class of the Pontifical Catholic University of Goiás Medical School Course and the investigation was divided into two stages with a year interval between the application of the required academic protocols preceded by a medical semiological conclusion. The dimensions under observation were the following: biomedical, cognitive, ecosystemic, psychological and bioethical. The assessment tool was designed to present 5 dimensions,18 facets and 72 indicators, divided into groups of four alternatives per facet, scaled in degrees 0,1,2 or 3. The higher the degree, the higher the complexity of the biopsychosocial model represented by the software program developed by the researcher called Project 2.Results: Through a circular radial profile with a central point and three areas with crescent spirals graded by differing shades of colors, we have been able to represent the clinical encounter, using the individuals self-perception. The results showed the effectiveness of the software, following a quality control process across all responses. We have used descriptive statistics to mathematically analyze the increase in the study group performance, and compare the responses in percentages in the two stages of the study. We have found a weak association between the category variables (facets) using the Chi-square ratio with the Cramer s-V Coefficient, except for the following facets: Critical Analysis(p 2 = 0,002); Social Health Indicators (p 2 = 0,007); e Health Promotion (p 2 = 0,049). As for individual self-perception, having the facet responses as a reference, 26 subjects (66,7%) showed growth in the formation process; 6 (15,4%) showed decrease and 7 (17,9%) remained unaltered. Conclusion: Through the use of the academic protocol and the biopsychosociallybased patient-physician self-perception assessment tool we have been able to quantitatively assess the academic performance as to knowledge, skills and medical attitudes displayed in the interaction of the physician with the patient. The selfperception assessment tool designed to graphically represent such encounters was put to test and has fulfilled all its objectives. The evaluation of the study group evidentiated some biopsychosocially practices in the pedagogical process used by the Pontifical Catholic University of Goiás Medical School. After a year interval between the stages of the study, an increase was observed in the self-perception of the individuals performance 2,9 times as high as the decrease responses. A long-term application of our findings include opportunities to use this methodology for an on-going self-evaluation of the medical students, provide insights about individual performance in the different stages of the medical training, create a new scenario in the academic portfolios as an evaluation and curricular history resource, and finally adjust the assessment tool so that it could be used by other courses and professionals in the health area working in clinical settings. / Introdução: o projeto pedagógico do Curso de Medicina da Pontifícia Universidade Católica de Goiás surgiu da experiência de, aproximadamente, 30 anos. Foi materializado em 2005, com o parecer de autorização do Conselho Nacional de Educação, após a homologação das Diretrizes Curriculares Nacionais. Com isso, a necessidade de aprofundar o estudo com o desenvolvimento dos processos avaliativos capazes de auxiliar a identificação, o acompanhamento e a efetivação das mudanças na formação médica. O pressuposto teórico adotado na pesquisa sustenta a viabilidade de quantificar a atuação profissional no encontro clínico. Objetivos: avaliar alguns componentes do encontro clínico no modelo biopsicossocial; construir um instrumento de autopercepção deste encontro; testar o instrumento de avaliação nesta vivência; e quantificar as variáveis categóricas da pesquisa em uma turma de Medicina da Pontifícia Universidade Católica de Goiás. Metodologia: pesquisa quantitativa, longitudinal e coorte prospectiva. O grupo do estudo foi composto por 39 acadêmicos da V Turma de Medicina da PUC Goiás e a pesquisa constituída de duas etapas com um intervalo de 1 ano entre as aplicações dos dois protocolos acadêmicos, após a conclusão da unidade de Semiologia Médica. As dimensões avaliadas na pesquisa foram: biomédica, cognitiva, ecossistêmica, psicológica e bioética. O instrumento de avaliação foi construído com 5 dimensões, 18 facetas e 72 indicadores, divididos em blocos de quatro alternativas para cada faceta, escalonadas em graus, zero, 1, 2 ou 3. Quanto maior o grau, maior a complexidade voltada para o modelo biopsicossocial, representada pelo programa informacional desenvolvido pelo pesquisador, denominado Project2. Resultados: por meio de um perfil radial, circular, com um ponto central e três áreas com raios crescentes, graduadas por diferentes tonalidades de cor, foi possível representar o encontro clínico utilizando a autopercepção dos sujeitos. Os resultados serviram para testar a consistência do software, com controle de qualidade para todas as respostas. Utilizando a estatística descritiva, o crescimento do desempenho do grupo do estudo foi observado matematicamente, quando comparadas as respostas em porcentagem nas duas etapas da pesquisa. Houve associação fraca entre as variáveis categóricas (facetas) utilizando a relação do teste Qui-Quadrado com o Coeficiente V de Cramer, com exceção das facetas: Análise Crítica (p 2 = 0,002); Determinantes Sociais de Saúde (p 2 = 0,007); e Promoção da Saúde (p 2 = 0,049). Na autopercepção, tomando como referências as respostas nas facetas, 26 sujeitos (66,7%) demonstraram crescimento no processo de formação, 6 (15,4%) apresentaram declínio e 7 (17,9%) ficaram inalterados. Conclusão: utilizando o protocolo acadêmico e o Instrumento de Autopercepção do Encontro Clínico no Modelo Biopsicossocial, foi possível avaliar quantitativamente o desempenho acadêmico enquanto conhecimentos, habilidades e atitudes relacionados à prática clínica. O Instrumento da Autopercepção criado para a representação gráfica deste encontro foi testado e cumpriu com todos os objetivos propostos. A avaliação do grupo do estudo refletiu o processo ensino-aprendizagem da Instituição de Ensino (PUC Goiás), com prática pedagógica problematizadora na visão biopsicossocial. Com intervalo de um ano entre as etapas, houve crescimento das autopercepções dos desempenhos dos sujeitos da pesquisa 2,9 vezes maior que as respostas representadas por declínio. Como visão de futuro, há possibilidade de utilizar a metodologia da pesquisa para perenizar o processo avaliativo dos acadêmicos, propiciar reflexões sobre os desempenhos individuais nas diferentes fases da formação médica, criar um novo cenário nos portfólios acadêmicos como recurso de avaliação na história curricular e possibilidade de adaptar o instrumento para aplicar em outros cursos e profissionais da área da saúde que desenvolvem ambientes clínicos.

No description available.

No description available.

Made available in DSpace on 2014-12-17T14:46:57Z (GMT). No. of bitstreams: 1 GabrielaSMM_TESE.pdf: 1186575 bytes, checksum: a681a1de59e776a78b1ba0ba6228a2ac (MD5) Previous issue date: 2014-07-21 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / A disciplina de Semiologia e Semiot?cnica da Enfermagem proporciona o desenvolvimento de habilidades necess?rias ? pr?tica profissional da enfermagem e ao estudo de procedimentos te?ricopr?ticos. Na avalia??o desse componente, torna-se fundamental observar como o estudante trabalha o conhecimento adquirido, como o aplica e o progresso no uso de instrumentos e recursos, bem como sua capacidade de julgamento cr?tico; favorecendo a concretiza??o da assist?ncia proveniente do processo educativo eficiente. Assim, o estudo tem como objetivo geral analisar os conhecimentos e as habilidades dos acad?micos de enfermagem da Universidade Federal do Rio Grande do Norte (UFRN) matriculados em diferentes per?odos sobre os procedimentos de higieniza??o simples das m?os-HSM, mensura??o da press?o arterial-PA, pun??o venosa perif?rica com cateter agulhado-PVP e sondagem vesical de demora masculina-SVD. Trata-se de estudo anal?tico com abordagem quantitativa, realizado no Departamento de Enfermagem da UFRN, em Natal/RN desenvolvido em duas etapas: valida??o de conte?do de quatro question?rios e quatro listas de verifica??o; e identifica??o dos conhecimentos e habilidades dos procedimentos em quest?o. A popula??o foi composta por dois p?blicos alvos, sendo o primeiro 27 ju?zes docentes de Universidades do Estado respons?veis por avaliar os instrumentos de coleta de dados, sendo todos considerados v?lidos quanto ao conte?do e, o segundo, 186 acad?micos de enfermagem da UFRN, matriculados do 5? ao 9? per?odo do curso. O estudo obteve parecer favor?vel do CEP/HUOL (CAAE n? 0002.0.294.000-10). A verifica??o dos conhecimentos ocorreu por meio da aplica??o de question?rios estruturados validados, com 12 quest?es objetivas cada (m?ximo de acertos) e observa??o da execu??o dos procedimentos com preenchimento das listas de verifica??o validadas, em laborat?rio de simula??o. Os resultados foram analisados no programa SPSS 20.0 por meio de estat?stica descritiva e inferencial, utilizando-se os testes ANOVA, Wilcoxon e Friedman, adotando n?vel de signific?ncia estat?stica de p-valor < 0,05. Dos 186 pesquisados, 89,8% eram do sexo feminino, com idade entre 18 a 26 anos (88,2%), solteiro/divorciado (86,6%), renda de 1 a 5 sal?rios m?nimos (74,2%). Quanto ? experi?ncia laboral, 18,3% tiveram experi?ncia em sa?de anterior a gradua??o; 15,6% tinham forma??o como t?cnico de enfermagem; e 10,2% trabalharam na ?rea da sa?de. Atualmente, 14,0% trabalham. A m?dia de acertos do conhecimento nos quatro procedimentos variou de 6,2 a 8,8, sendo maior em HSM (8,6), seguida por SVD (7,8), PVP (7,4) e PA (6,7); o 6? per?odo apresentou as piores m?dias em tr?s dos quatro procedimentos (HSM, PA e SVD). Quanto ?s habilidades, o procedimento de PVP apresentou melhor m?dia de acerto geral (21,2 ? 2,6), e a SVD masculina a m?dia mais baixa, com maior varia??o (m?dia 27,2 e DP 4,4), sendo a diferen?a entre per?odos significante (p=0,041). Verificou-se que existem diferen?as significativas entre os conhecimentos e habilidades dos quatro procedimentos nos diferentes per?odos da gradua??o em enfermagem (p<0,001, para cada procedimento). Os acad?micos det?m melhor habilidade, de forma geral, ao comparar habilidade com o conhecimento nos procedimentos em estudo. Conclui-se pela rejei??o da hip?tese nula e aceita??o da hip?tese alternativa, na qual se evidencia que existem diferen?as significativas entre os conhecimentos e habilidades dos procedimentos de HSM, mensura??o da PA, PVP e SVD nos diferentes per?odos da gradua??o em enfermagem. A pesquisa acarretar? repercuss?o para as profiss?es da sa?de dada a natureza do cuidado, colaborando especialmente na forma??o dos enfermeiros, melhoria do ensino e expans?o das reflex?es acerca do ensino em Semiologia e Semiot?cnica da Enfermagem

No campo da Educação está cada vez mais presente o meio eletrônico com suas potencialidades. O ensino mediado por tecnologia é uma realidade, oferecido no âmbito internacional e em todos os campos do saber. Esse novo meio em rede do processo de aprendizagem favorece a promoção das estratégias de ensino centradas no aluno. Paralelamente, múltiplos fatores culminaram no surgimento de uma nova ciência: a Bioética. O processo de aprendizagem em Bioética se identifica com a aquisição de competências que vão além do conhecimento do conteúdo, do saber teórico. Engloba habilidades cognitivas de reflexão e discernimento, de juízo e decisão que conduzem ao saber comportar-se com qualidade e aconselhar de forma assertiva, diante de uma questão ética que reclama uma ação, atitude ou postura adequada. Portanto, identificam-se como elementos desse processo, não apenas o conhecimento do conteúdo, mas também as habilidades que determinam a capacidade operativa do indivíduo no âmbito da Bioética. Especificamente faz-se necessário o desenvolvimento e aplicação de metodologias de avaliação adequadas ao meio digital e à finalidade do processo de ensino-aprendizagem nesta área do saber. Este estudo propõe o modelo de análise qualitativa de conteúdo de Yang (2008) como metodologia para identificar as competências próprias do aprendizado específico da Bioética nas postagens dos alunos em fóruns eletrônicos. Sua metodologia de análise contempla indicadores de aprendizagem cognitiva (cognitive learning) adquiridos através de fóruns eletrônicos, abrangendo competências de conteúdo e habilidades cognitivas. O modelo de análise de conteúdo proposto por Yang demonstrou-se eficiente para aferir a aprendizagem no campo da Bioética, apontando a capacidade e profundidade das reflexões pessoais; também é adequado para avaliar o registro das habilidades cognitivas que correspondem ao aprendizado de bioética, bem como se apresenta como uma ferramenta de grande utilidade para a elaboração das questões dos fóruns visando às competências pretendidas. / In the field of Education electronic means are increasingly present, with all its potentialities. Teaching through technological means is a reality offered internationally and in every educational field. These new means of the learning process in the web offer teaching strategies centered on the student. Simultaneously and in parallel, due to several factors, a final result appeared: the development of a new science, Bioethics. The learning process in Bioethics identifies itself with the acquisition of competencies which goes beyond the knowledge of the content, the theoretical knowledge. Includes cognitive abilities of reflection and insight, judgment and decision, which lead to the knowledge of how to behave with quality and advise assertively, through an ethical issue that calls for a proper proceeding, attitude or posture. Therefore the elements of the learning process identify themselves not only with acquired knowledge of the contents but also with the abilities which determine the operative capacity of the student in the sphere of Bioethics. Specifically it becomes necessary to develop evaluation methodologies suitable to the digital technologies and to the objective of the teaching-learning process in this sphere of knowledge. This study proposes de Yang qualitative analysis of content (2008) as a methodology to identify the competences specific to the learning of Bioethics in answers given by the students in electronic forums. The analysis methodology contemplates cognitive learning indicators acquired through the electronic forums, which include content competences and cognitive abilities. The Yang qualitative analysis of content was efficient to evaluate the learning in the sphere of Bioethics, indicating the capacities and depth of personal reflection; it was also adequate to evaluate the registry of cognitive abilities which correspond to the learning of Bioethics, as well as a valuable tool to elaborate questions to the forums in the direction of the sought competences.

Introdução: Médicos residentes (MR) representam uma grande força de trabalho na maioria dos hospitais universitários brasileiros. O contato destes com alunos da graduação e do internato acrescenta atividades didáticas ao seu repertório diário de atividades assistenciais. Estudos norte-americanos e canadenses demonstram que até 25% do tempo de trabalho de médicos residentes é exercido como atividade de ensino. Pesquisadores apontaram que alunos de medicina creditam aos MR30-85% de toda a teoria clínica adquirida na graduação. Nos Estados Unidos criaram-se programas de capacitação didática, conhecidos como \"Residents as Teachers\" (RaTs) - residentes como professores, atualmente presentes em 80% daquelas instituições. Em nosso meio, todo esse contato se dá com pouco ou nenhum treinamento formal dos residentes em técnicas de ensino. No presente estudo investigou-se a hipótese de que o treinamento formal de MR em técnicas de ensino poderia aumentar o desempenho em habilidades de ensino clínico. Métodos: Estudo prospectivo, onde escores pré e pós-intervenção foram aferidos por meio de atividades simuladas desenvolvidas, especificamente, para este fim. Quarenta e nove médicos residentes dos programas de clínica médica, cirurgia geral, dermatologia e infectologia da Universidade Federal de Uberlândia participaram do estudo. Foram elaboradas 4 estações simuladas para avaliação de habilidades didáticas em cenários de ambulatório, enfermaria, unidade de emergências e durante a orientação de um procedimento. Todos os MR tiveram seus desempenhos gravados em vídeo para avaliação posterior, por 3 investigadores independentes, que atribuíram escores padronizados para cada cenário. Os MR foram avaliados em 3 etapas, com 1 semana de intervalo entre elas: basal (D1), após primeira intervenção (D2), após segunda intervenção (D3). A intervenção principal baseou-se no método de ensino clínico \"Preceptoria em um Minuto - PEM\" e uma intervenção controle de comunicação de más notícias. Os residentes foram randomizados eletronicamente quanto à ordem de recebimento de cada uma das intervenções após D1. Todos os residentes foram submetidos às intervenções, principal e controle, com uma semana de intervalo, de acordo com a randomização. Resultados: Houve aumento estatisticamente significativo nos escores das avaliações de desempenho dos MR quando comparadas avaliações pré e pós-intervenções nas estações enfermaria e procedimento. As estações emergência e ambulatório produziram baixas confiabilidades entre avaliadores. Na estação enfermaria, foram observadas medianas de escores de 109,5 para a D1; 142,5 para D2 e 137,5 para D3, com diferença significativa entre as etapas de avaliação (p=0,009). Análise pós-hoc para comparação de pares demonstrou diferença significativa entre D1 e D2 (p=0,011). Análise de confiabilidade da estação enfermaria pela teoria da generalização (teoria G) demonstrou coeficientes de 0,545 para D1; 0,702 para D2 e 0,860 para D3. Os coeficientes de consistência interna e confiabilidade entre avaliadores foram respectivamente 0,913 e 0,595. Na estação procedimentos, foram observadas medianas de escores de 99 para D1; 119 D2; e 119,5 D3. Houve diferença significativa entre as etapas de avaliação com p < 0,001. Análise pós-hoc para comparação de pares demonstrou diferença significativa entre D1 e D2 (p=0,001) e entre D1 e D3 (p= 0,004). Coeficientes G para as etapas de avaliação da estação procedimentos foram calculados em 0,683 para D1; 0,681 para D2 e 0,670 para D3. Consistência interna resultou um coeficiente de 0,726 e a confiabilidade entre avaliadores 0,772. Conclusões: O presente estudo demonstrou ganho na aquisição de habilidades de ensino clínico, em MR brasileiros após intervenção específica com método PEM. Observou-se aumento progressivo da confiabilidade geral para a estação enfermaria, com um coeficiente condizente com avaliações de alto padrão obtido em D3. A estação enfermaria também produziu uma alta consistência interna e confiabilidade moderada entre avaliadores. A estação procedimentos produziu coeficientes de confiabilidade bons, porém estáveis através das etapas do estudo. As estações emergência e ambulatório produziram coeficientes de confiabilidade entre observadores ruins, o que prejudicou a análise final dos resultados / Introduction: Medical residents (MR) represent a powerful work force in most of Brazilian teaching hospitals. Their contact with undergraduate students adds to their daily work teaching activities. Studies from the United States (US) and Canada indicate that 25% of a resident\'s working time is spent in teaching duties. Other researchers point to the fact that medical students attribute to MR 30-85% of all clinical theory acquired during graduation. In the US, programs developed specifically to foster MR\'s teaching skills, known as \"Residents as Teachers\" (RaTs), are now present at nearly 80% of American institutions. In Brazil, the close contact between MR and interns is conceived under little or no formal training in clinical teaching skills. The present study investigated if delivering teaching skills to MR would enhance their ability to teach simulated interns. Methods: We developed a prospective study where scores pre and post intervention were obtained through simulated activities, specifically designed for this purpose. Forty-nine medical residents from internal medicine, general surgery, dermatology and infectious diseases programs in Universidade Federal de Uberlandia took part in the activities. Four simulated stations were developed to assess clinical teaching skills in different scenarios: a clinical ward, in the emergency department, during ambulatory consultation and while teaching a simple procedure. All participants had their performances recorded in video for further evaluation. Three independent raters used a standardized questionnaire to attribute scores for every MR\'s recorded performance. All MRs were evaluated in 3 distinct occasions, one week apart: pre- intervention (D1), after first intervention (D2) and after second intervention (D3). The main intervention was based on a lecture about a teaching skill\'s method, the \"One Minute Preceptor\". Control intervention was based on a lecture about how to deliver bad news. All residents were electronically randomized to receive the main or control interventions after D1. All residents received both interventions, one week apart, according to randomization. Results: There was a statistically significant increase in the performance\'s scores of MRs when we compared pre and post intervention evaluations for stations clinical ward and teaching a procedure. For the clinical ward station, median scores were 109.5 for D1, 142.5 for D2 and 137.5 for D3, with a significant difference between 3 occasions (p= 0.009). Post-hoc analysis was carried out and evidenced significant differences between D1 and D2 (p=0.011). Reliability estimates were calculated using generalizability theory (G theory). The overall coefficient was 0.545 for D1, 0.702 for D2 and 0.860 for D3. Internal consistency resulted in a 0.913 coefficient and interrater reliability 0.595. In teaching a procedure station, we observed median scores of 99 for D1, 119 for D2 and 119.5 for D3. The difference across all occasions was statistically different (p < 0.001). Post-hoc analysis evidenced significant differences between D1 and D2 (p=0.001); D1 and D3 (p=0,004). G coefficients for the occasions were 0.683 for D1, 0.681 for interrater reliability was 0.772. Conclusions: The present study evidenced a gain in clinical teaching skills after specific training session based on the \"One Minute Preceptor\" method, in studied Brazilian MRs. The reliability analysis demonstrated progressive G coefficients across occasions in the clinical ward station, reaching levels expected for high stakes evaluations in E3. The clinical ward station also showed a high internal consistency and moderate interrater reliability. The procedure station resulted in good reliability coefficients across occasions, but they were stable in all of them. Clinical ward and emergency stations produced poor interrater reliability coefficients, which impaired interpretation of final results

Verschiedene Schulleistungsstudien stellten für Kinder mit nicht-deutscher Familiensprache bereits in der Grundschule substanzielle Disparitäten im Bereich Mathematik fest. Diese Disparitäten führten zu der Frage, ob die verwendeten Testverfahren zu hohe sprachliche Hürden für Kinder mit nicht-deutscher Familiensprache aufweisen und daher nicht ausreichend in der Lage sind, die Kompetenzen dieser Gruppe valide zu erfassen. In dieser kumulativen Arbeit wurde geprüft, inwiefern die sprachliche Komplexität von Mathematikaufgaben in der Grundschule einen benachteiligenden Einfluss auf die Erfassung der Mathematikleistung von Kindern mit nicht-deutscher Familiensprache darstellt. Zunächst wurde geprüft, ob die in nationalen Schulleistungsstudien verwendeten Aufgaben für diese Gruppe differenziell valide sind. Daran anschließend wurde untersucht, ob sich itemspezifische Kompetenznachteile durch die sprachlichen Merkmale der Aufgaben erklären lassen. In der vorliegenden Arbeit konnte gezeigt werden, dass die differenzielle Validität der betrachteten Testverfahren für Kinder mit nicht-deutscher Familiensprache insgesamt gering ausgeprägt ist. Ferner wurde festgestellt, dass sich die einzelnen sprachlichen Merkmale der Aufgaben sowohl spezifisch als auch gemeinsam auf die differenzielle Validität auswirken. Der größte Anteil der itemspezifischen Kompetenznachteile wurde durch mehrere Merkmale gemeinsam aufgeklärt. Eine experimentelle Teilstudie zeigte, dass eine sprachliche Vereinfachung nicht geeignet scheint, um die Kompetenznachteile von Kindern mit nicht-deutscher Familiensprache substanziell zu verringern. Ein Vergleich der Effekte sprachlicher Merkmale von Mathematikaufgaben auf die Mathematikleistungen von Kindern mit nicht-deutscher Familiensprache zwischen der dritten und der vierten Klassenstufe ergab, dass sich die sprachliche Komplexität der Aufgaben vor allem für jüngere Grundschulkinder unabhängig von ihrer Familiensprache benachteiligend auswirkte. / Large-scale assessment studies have repeatedly documented performance disadvantages of language minority students in German elementary schools. The substantial achievement gap has led to concerns regarding the validity of large-scale assessment items for language minority students. It may be the case that these performance differences are, in part, due to high language demands of the test items. These items may selectively disadvantage language minority students in the testing situation. This dissertation project investigated the connection between the academic language demands of mathematics test items and the test performance of monolingual students and language minority students. First, it was investigated whether the test items were differentially valid for language minority students. Moreover, the connection between the differential validity and the linguistic complexity of the test items was tested. The findings indicated that overall, differential validity of the examined tests for language minority students was low. However, the test items’ language demands were related to differential validity. The largest proportion of item-specific performance disadvantages was explained by confounded combinations of several linguistic features. Additionally, unique effects of descriptive, lexical, and grammatical features were identified. An experimental study showed that linguistic simplification did not seem to be a promising method to substantially reduce the performance differences between language minority students and German monolingual students. A comparison of differential effects of mathematics items’ language demands for language minority students over two adjacent grade levels indicated that the impact of academic language demands seemed to depend on grade level rather than on language minority student status. Regardless of their home language, younger students seemed to struggle more with linguistically complex test items than older students.

Made available in DSpace on 2016-01-26T12:51:14Z (GMT). No. of bitstreams: 1 antoniodequeirospereiracalcas_dissert.pdf: 304421 bytes, checksum: 8340add46d7bc1de4ce8a976566be228 (MD5) Previous issue date: 2007-05-17 / The evaluation is an activity of pedagogical practice, and considered one of the greatest challenges to improve education. Objectives: The main objective of this work is to evaluate university teaching according to the students´ view and, especially, to observe this evaluation reliability and to identity characteristics; personal and technical behavior of a good teacher . Casuistics and Method: A total of 43 students from the second grade of UNORP Psychology course in the year of 2005, and 25 professors of this course participated in the study. The choice for the group and professor to answer the questionnaire was made by draw. Descriptive method and a mixed model of quantitative and qualitative evaluation were used. The questionnaires were based on GRIDS Program, adapted to the setting where the investigation was performed. The questionnaires were self-applied for the students in the classroom without the presence of the researcher. The professors received them, answering and sending them freely later. Results: All the questions that have comprised the used instrument were considered relevant. The selfevaluation was coherent with the evaluation performed by the students. The teacher's evaluation by the students demonstrated to be well-defined and reliable. Conclusions: The characteristics of a good professor could be identified based on the questions such as the ability to transmit the objectives xi of the subject taught, their ability to organize the classes, to point out the relevance of the contents, constant updating, respectful and nice relationship, stimulus to questioning and inference formulation, to be on time and be diligent, coherence in learning evaluation and flexibility and opening to dialogue, competence, general culture, humility and availability to deal with the students, employees and friends. At last, this tool discusses the opinion of the professors and the students .about the students´ ability in evaluating adequately the professors. While 90% of the students have believed in their correct evaluation, only 69% of the professors have had similar opinion. The professor´ s selfevaluation was compared with the students´, and the results were considered very similar, suggesting a high index of congruence in the perception of both. Further studies with a greater number of professors could be performed to corroborate this research data. / A avaliação é uma atividade da prática pedagógica e um dos maiores desafios para a melhoria da educação. Objetivos: Este trabalho tem como objetivo principal a avaliação da docência universitária na perspectiva do aluno e, especificamente, verificar sua confiabilidade e identificar características; e condutas pessoais e técnicas do "bom professor". Casuística e Método: Participaram do estudo 43 alunos do 2 ano diurno do curso de Psicologia da Unorp do ano de 2005 e 25 professores. A escolha da turma e do professor para responder ao questionário de auto-avaliação foi realizada por sorteio. Utiliza o método descritivo e um modelo misto de avaliação quantitativa e qualitativa. Os questionários utilizados foram elaborados a partir do Programa G.R.I.D.S. (Guidelines for Review and Internal Development in Schools) e adaptados para da realidade da instituição em que foram aplicados. São auto-aplicáveis e foram realizados em sala de aula, no caso dos alunos, sem a presença do pesquisador. Os professores tiveram liberdade para responder e entregar posteriormente. Resultados: Todas as questões que compõem o instrumento utilizado foram consideradas relevantes. A auto-avaliação foi coerente com a avaliação realizada pelos alunos. A avaliação do docente pelo alunado demonstrou ser precisa e confiável. Conclusões: Com base nas questões foi possível identificar as características do "bom" professor. Dentre elas, destacam-se: a capacidade de transmissão dos objetivos da disciplina que ministra, sua capacidade em organizar as aulas, apontar a relevância dos conteúdos, atualização constante, o preparo das aulas, relacionamento respeitoso e cordial com os alunos, incentivo ao questionamento e a formulação de inferências, a pontualidade e assiduidade, a coerência na avaliação da aprendizagem e flexibilidade e abertura ao diálogo, competência, cultura geral, humildade e disponibilidade em atender alunos, funcionários e colegas. Nota de Resumo Por último, o instrumento levanta a questão sobre a capacidade dos alunos em avaliarem corretamente os professores. Enquanto grande parte - 90% dos alunos - acredita avaliarem corretamente, apenas 69% dos professores têm a mesma opinião. A auto-avaliação do professor foi comparada com a realizada pelos alunos e os resultados foram considerados muito semelhantes, sugerindo um alto índice de congruência na percepção de ambos. Novos estudos com um número maior de professores sendo avaliados devem ser realizados para confirmar os dados desta pesquisa.

Made available in DSpace on 2015-07-22T20:49:38Z (GMT). No. of bitstreams: 0 Previous issue date: 2009-05-01. Added 1 bitstream(s) on 2015-08-11T03:26:05Z : No. of bitstreams: 1 Publico-12604.pdf: 2006111 bytes, checksum: 7660510ef4a682b1546376eb3327a858 (MD5) / Este trabalho traz como objeto de pesquisa a Avaliação Formativa, referenciada a critério, que acontece durante as sessões tutoriais do Curso de Medicina da Universidade Estadual de Montes Claros, no qual desde 2002 foi implantada a metodologia Aprendizagem Baseada em Problemas (Problem Based Learning – PBL). Especificamente, objetivou apreender, na ótica de discentes e docentes, as concepções dessa avaliação, as dificuldades enfrentadas durante o processo avaliativo e a contribuição da avaliação para o processo de aprendizagem e para o crescimento pessoal dos estudantes. Os sujeitos da pesquisa foram 11 tutores e 45 discentes do sétimo período do curso. Os dados foram coletados por meio de questionário com assertivas relacionadas à temática pesquisada e análise do grau de concordância e/ou discordância que foram quantificados, tabulados e dispostos em gráficos. Para o aprofundamento dos dados, utilizamos a entrevista semiestruturada, cujos dados foram submetidos à Análise Temática. Os entrevistados percebem a proposta formativa da avaliação na sessão tutorial, definindo-a como processual, reflexiva, dialógica, diagnóstica; enfatizam a possibilidade de feedback como fator motivador e determinante para solucionar as deficiências detectadas e reforçar as potencialidades percebidas. Os participantes têm vivenciado dificuldades durante o processo avaliativo relacionadas ao desempenho dos docentes (falta de preparo e de compromisso), ao desempenho dos estudantes (falta de sinceridade, maturidade e preparo) e outras decorrentes de fatores institucionais, como a inadequação dos critérios utilizados nos instrumentos avaliativos. Os resultados apontam para a necessidade de programas de desenvolvimento docente e também discente em avaliação, assim como maior compromisso das instituições que utilizam a metodologia PBL na busca contínua e reflexiva, em coerência com os pressupostos pedagógicos estabelecidos pelo currículo. Apesar das dificuldades, emerge a percepção dos entrevistados em relação à contribuição do momento avaliativo, para a aprendizagem, permitindo a construção do conhecimento, identificação de lacunas, análise crítica das fontes bibliográficas, compromisso com o aprendizado coletivo; e promovendo uma retroalimentação das atividades, fator contributivo para melhorias no curso. Acresça-se, ainda, o avanço quando apresentam um olhar para além do biológico identificando a avaliação como possibilidade de desenvolvimento de habilidades de relacionamento interpessoal, de comunicação, capacitação para a educação permanente, valorização da ética e dos aspectos psicossociais dos pacientes, enfatizados como essenciais para a prática médica. / This research is about the Formative Evaluation that happens during the tutorials sessions of the Medicine course at Universidade Estadual de Montes Claros, where since 2002 the Problem-based Learning (PBL) methodology was implanted. It specifically had the objective of understanding the students and professor’s perspective, the conceptions of this evaluation, to raise the difficulties that we have to deal with during the evaluation process and the contribution of the evaluation to the learning process and to the students` personal development . The subject of this research were 11 tutors and 45 4th year medical students .The data were collected through a questionnaire with assertions related to the subject that had been researched and analysis of the level of agreement and disagreement that were quantified in tabular form and graphic data. In order to make a profound study of the data we used a semi-structured interview whose data were submitted to Thematic Analysis. The interviewees perceive the formative proposal of the evaluation in the tutorial session, defining it as procedural, reflexive, dialogic, diagnostic. They emphasize the possibility of feedback as a motivating and determinant fact to solve the detected deficiencies and reinforce the perceived potential. The participants had some difficulties during the evaluation process related to the professors` performance ( lack of knowledge about how to evaluate and commitment), students` performance ( lack of sincerity , maturity and knowledge about how to evaluate,) and others that are consequence of institutional factors like inadequate criteria on the evaluating options. The results show the necessity of programs to develop professors and students that have been evaluated, such as commitment of the institutes that work with the PBL methodology trying to get a reflexive coherence with the pedagogical presupposition established in the curriculum. Although difficulties, the interviewees` perception appear related to the contribution of the evaluative moment to the learning process .It permits to build knowledge, identify gaps, critical analysis of the bibliographic reference, commitment with the collective learning and determining a feedback of the activities, a contributive factor to make the course better. Besides, when they present an interest that is not just biological, identifying in the evaluation the possibility of abilities development, interpersonal relationship, communication, permanent education, appreciation of ethic and psychosocial aspects of the patients, emphasized as essential in the medical practice. / TEDE / BV UNIFESP: Teses e dissertações