Pesquisas com bilíngues e usuários de línguas adicionais utilizam diferentes medidas para avaliar proficiência no processo de seleção dos seus participantes. A proficiência linguística de um indivíduo pode ser medida através de testes de proficiência, testes de desempenho e medidas de autoavaliação. Questionários de histórico da linguagem contêm perguntas sobre a experiência que os indivíduos têm com as suas línguas e escalas de autoavaliação de proficiência. Estudos sugerem que usuários de línguas adicionais são capazes de reportar a sua proficiência de forma consistente com o seu desempenho em medidas padronizadas (MARIAN et al., 2007; LUK et al., 2013). Nesse contexto, a presente dissertação teve como objetivo analisar a proficiência autoavaliada de usuários de inglês como língua adicional através do Questionário de Experiência e Proficiência Linguística (QuExPLi). Para isso, foram desenvolvidos dois estudos. No primeiro estudo, correlacionamos as variáveis da experiência linguística – marcos de idade, tempo de imersão e uso atual da língua – de 535 participantes com a proficiência reportada por eles no Questionário de Experiência e Proficiência Linguística (QuExPLi), a fim de investigar quais fatores se associariam à proficiência autoavaliada. No segundo estudo, correlacionamos as mesmas variáveis da experiência com o inglês como língua adicional com os resultados no TOEFL ITP de 112 participantes, que fizeram parte do primeiro estudo, para investigar quais fatores se associariam à proficiência demonstrada em um teste de proficiência padronizado. Além disso, correlacionamos a proficiência autoavaliada no questionário com os resultados no TOEFL ITP, para averiguar a relação entre duas diferentes medidas de proficiência e reunir evidências de validade do QuExPLi. Os resultados sugerem que, em relação às variáveis da experiência linguística, os fatores relacionados a marcos de idade, tempo de imersão e uso atual da língua associam-se com a proficiência auto reportada pelos participantes. Porém, dentre esses fatores, apenas os meses passados em um país em que o inglês é falado correlacionaram-se de forma significativa com a proficiência dos participantes demonstrada através do TOEFL ITP. A discrepância entre os fatores associados à proficiência autoavaliada e aqueles que se associaram com o resultado no TOEFL ITP pode advir da natureza acadêmica do teste. Os resultados também revelam uma correlação positiva significativa moderada entre a proficiência autoavaliada no QuExPLi e a pontuação dos participantes no TOEFL ITP, sugerindo que os participantes, usuários de inglês como língua adicional, conseguem reportar sua proficiência de forma acurada. / Research with bilinguals and additional languages learners use different measures to evaluate proficiency while selecting participants for studies. An individual‟s language proficiency can be measured through proficiency tests, performance tests or self-evaluation measures. Language background questionnaires include questions about individuals‟ experience with their languages and self-assessment proficiency measures. Studies suggest that users of additional languages can report their proficiency in a way that is consistent with their performance in standard measures (MARIAN et al., 2007; LUK et al., 2013). In this context, the goal of the present thesis was to analyze self-assessed proficiency of users of English as an additional language through the Questionário de Experiência e Proficiência Linguística (QuExPLi). In order to do that, two studies were designed. In the first study, we correlated language experience variables – age, time of immersion and current use of the language - of 535 participants with their self-reported proficiency on the QuExPLi, in order to investigate which factors would associate with self-assessed proficiency. In the second study, we correlated the same language experience variables with the scores on the TOEFL ITP of 112 individuals, who also participated in the first study, in order to investigate which factors would associate with the proficiency demonstrated in a standardized proficiency test. Moreover, we correlated participants‟ self-assessed proficiency with their scores on the TOEFL ITP, in order to investigate the relationship between two distinct measures of proficiency and gather evidences of validity of the QuExPLi. Results suggest that the factors related to age, time of immersion and current use of the language are associated with participants‟ self-assessed proficiency. However, only the months spent in a country where English is spoken correlated significantly with participants‟ scores on the TOEFL ITP. The discrepancy between the factors associated with self-reported proficiency and those associated with the results on the TOEFL ITP can be derived from the academic nature of the test. Results also show a moderate positive correlation between participants‟ self-assessed proficiency and their scores on the TOEFL ITP was found, suggesting that users of English as an additional language are able to report their proficiency accurately.

Pesquisas com bilíngues e usuários de línguas adicionais utilizam diferentes medidas para avaliar proficiência no processo de seleção dos seus participantes. A proficiência linguística de um indivíduo pode ser medida através de testes de proficiência, testes de desempenho e medidas de autoavaliação. Questionários de histórico da linguagem contêm perguntas sobre a experiência que os indivíduos têm com as suas línguas e escalas de autoavaliação de proficiência. Estudos sugerem que usuários de línguas adicionais são capazes de reportar a sua proficiência de forma consistente com o seu desempenho em medidas padronizadas (MARIAN et al., 2007; LUK et al., 2013). Nesse contexto, a presente dissertação teve como objetivo analisar a proficiência autoavaliada de usuários de inglês como língua adicional através do Questionário de Experiência e Proficiência Linguística (QuExPLi). Para isso, foram desenvolvidos dois estudos. No primeiro estudo, correlacionamos as variáveis da experiência linguística – marcos de idade, tempo de imersão e uso atual da língua – de 535 participantes com a proficiência reportada por eles no Questionário de Experiência e Proficiência Linguística (QuExPLi), a fim de investigar quais fatores se associariam à proficiência autoavaliada. No segundo estudo, correlacionamos as mesmas variáveis da experiência com o inglês como língua adicional com os resultados no TOEFL ITP de 112 participantes, que fizeram parte do primeiro estudo, para investigar quais fatores se associariam à proficiência demonstrada em um teste de proficiência padronizado. Além disso, correlacionamos a proficiência autoavaliada no questionário com os resultados no TOEFL ITP, para averiguar a relação entre duas diferentes medidas de proficiência e reunir evidências de validade do QuExPLi. Os resultados sugerem que, em relação às variáveis da experiência linguística, os fatores relacionados a marcos de idade, tempo de imersão e uso atual da língua associam-se com a proficiência auto reportada pelos participantes. Porém, dentre esses fatores, apenas os meses passados em um país em que o inglês é falado correlacionaram-se de forma significativa com a proficiência dos participantes demonstrada através do TOEFL ITP. A discrepância entre os fatores associados à proficiência autoavaliada e aqueles que se associaram com o resultado no TOEFL ITP pode advir da natureza acadêmica do teste. Os resultados também revelam uma correlação positiva significativa moderada entre a proficiência autoavaliada no QuExPLi e a pontuação dos participantes no TOEFL ITP, sugerindo que os participantes, usuários de inglês como língua adicional, conseguem reportar sua proficiência de forma acurada. / Research with bilinguals and additional languages learners use different measures to evaluate proficiency while selecting participants for studies. An individual‟s language proficiency can be measured through proficiency tests, performance tests or self-evaluation measures. Language background questionnaires include questions about individuals‟ experience with their languages and self-assessment proficiency measures. Studies suggest that users of additional languages can report their proficiency in a way that is consistent with their performance in standard measures (MARIAN et al., 2007; LUK et al., 2013). In this context, the goal of the present thesis was to analyze self-assessed proficiency of users of English as an additional language through the Questionário de Experiência e Proficiência Linguística (QuExPLi). In order to do that, two studies were designed. In the first study, we correlated language experience variables – age, time of immersion and current use of the language - of 535 participants with their self-reported proficiency on the QuExPLi, in order to investigate which factors would associate with self-assessed proficiency. In the second study, we correlated the same language experience variables with the scores on the TOEFL ITP of 112 individuals, who also participated in the first study, in order to investigate which factors would associate with the proficiency demonstrated in a standardized proficiency test. Moreover, we correlated participants‟ self-assessed proficiency with their scores on the TOEFL ITP, in order to investigate the relationship between two distinct measures of proficiency and gather evidences of validity of the QuExPLi. Results suggest that the factors related to age, time of immersion and current use of the language are associated with participants‟ self-assessed proficiency. However, only the months spent in a country where English is spoken correlated significantly with participants‟ scores on the TOEFL ITP. The discrepancy between the factors associated with self-reported proficiency and those associated with the results on the TOEFL ITP can be derived from the academic nature of the test. Results also show a moderate positive correlation between participants‟ self-assessed proficiency and their scores on the TOEFL ITP was found, suggesting that users of English as an additional language are able to report their proficiency accurately.

Pesquisas com bilíngues e usuários de línguas adicionais utilizam diferentes medidas para avaliar proficiência no processo de seleção dos seus participantes. A proficiência linguística de um indivíduo pode ser medida através de testes de proficiência, testes de desempenho e medidas de autoavaliação. Questionários de histórico da linguagem contêm perguntas sobre a experiência que os indivíduos têm com as suas línguas e escalas de autoavaliação de proficiência. Estudos sugerem que usuários de línguas adicionais são capazes de reportar a sua proficiência de forma consistente com o seu desempenho em medidas padronizadas (MARIAN et al., 2007; LUK et al., 2013). Nesse contexto, a presente dissertação teve como objetivo analisar a proficiência autoavaliada de usuários de inglês como língua adicional através do Questionário de Experiência e Proficiência Linguística (QuExPLi). Para isso, foram desenvolvidos dois estudos. No primeiro estudo, correlacionamos as variáveis da experiência linguística – marcos de idade, tempo de imersão e uso atual da língua – de 535 participantes com a proficiência reportada por eles no Questionário de Experiência e Proficiência Linguística (QuExPLi), a fim de investigar quais fatores se associariam à proficiência autoavaliada. No segundo estudo, correlacionamos as mesmas variáveis da experiência com o inglês como língua adicional com os resultados no TOEFL ITP de 112 participantes, que fizeram parte do primeiro estudo, para investigar quais fatores se associariam à proficiência demonstrada em um teste de proficiência padronizado. Além disso, correlacionamos a proficiência autoavaliada no questionário com os resultados no TOEFL ITP, para averiguar a relação entre duas diferentes medidas de proficiência e reunir evidências de validade do QuExPLi. Os resultados sugerem que, em relação às variáveis da experiência linguística, os fatores relacionados a marcos de idade, tempo de imersão e uso atual da língua associam-se com a proficiência auto reportada pelos participantes. Porém, dentre esses fatores, apenas os meses passados em um país em que o inglês é falado correlacionaram-se de forma significativa com a proficiência dos participantes demonstrada através do TOEFL ITP. A discrepância entre os fatores associados à proficiência autoavaliada e aqueles que se associaram com o resultado no TOEFL ITP pode advir da natureza acadêmica do teste. Os resultados também revelam uma correlação positiva significativa moderada entre a proficiência autoavaliada no QuExPLi e a pontuação dos participantes no TOEFL ITP, sugerindo que os participantes, usuários de inglês como língua adicional, conseguem reportar sua proficiência de forma acurada. / Research with bilinguals and additional languages learners use different measures to evaluate proficiency while selecting participants for studies. An individual‟s language proficiency can be measured through proficiency tests, performance tests or self-evaluation measures. Language background questionnaires include questions about individuals‟ experience with their languages and self-assessment proficiency measures. Studies suggest that users of additional languages can report their proficiency in a way that is consistent with their performance in standard measures (MARIAN et al., 2007; LUK et al., 2013). In this context, the goal of the present thesis was to analyze self-assessed proficiency of users of English as an additional language through the Questionário de Experiência e Proficiência Linguística (QuExPLi). In order to do that, two studies were designed. In the first study, we correlated language experience variables – age, time of immersion and current use of the language - of 535 participants with their self-reported proficiency on the QuExPLi, in order to investigate which factors would associate with self-assessed proficiency. In the second study, we correlated the same language experience variables with the scores on the TOEFL ITP of 112 individuals, who also participated in the first study, in order to investigate which factors would associate with the proficiency demonstrated in a standardized proficiency test. Moreover, we correlated participants‟ self-assessed proficiency with their scores on the TOEFL ITP, in order to investigate the relationship between two distinct measures of proficiency and gather evidences of validity of the QuExPLi. Results suggest that the factors related to age, time of immersion and current use of the language are associated with participants‟ self-assessed proficiency. However, only the months spent in a country where English is spoken correlated significantly with participants‟ scores on the TOEFL ITP. The discrepancy between the factors associated with self-reported proficiency and those associated with the results on the TOEFL ITP can be derived from the academic nature of the test. Results also show a moderate positive correlation between participants‟ self-assessed proficiency and their scores on the TOEFL ITP was found, suggesting that users of English as an additional language are able to report their proficiency accurately.

abstract: ABSTRACT The integration of technology into content area teaching while taking into account state standards is a continuing challenge for secondary teachers. To address this challenge, six high school teachers participated in one-on-one tutoring sessions conducted by the researcher. The Technological Pedagogical Content Knowledge (TPACK), which posits that teachers add technology into their practice by blending it with content and pedagogy, served as the theoretical framework and guided implementation of the project. During the one-on-one tutoring sessions, which occurred weekly in hour-long sessions for a five- to eight-week period, teachers selected the focus of the training sessions. To assess teacher perceptions of efficacy quantitative data were gathered prior to and following the intervention using an on-line survey tool. Although pre- to post-intervention scores on the survey increased, the difference was not significant. With respect to the qualitative data four themes emerged. First, there were specific processes and patterns that emerged within the sessions related to the TPACK framework. Teachers selected either technology or content to initiate sessions. Teachers did not begin sessions with high yield pedagogical strategies as a focus. Second, one-on-one tutoring fostered an initial sense of community, and as the project progressed, a community of practice emerged. Third, challenges emerged related to technology and high yield pedagogical strategies. At times technology did not work or teachers expressed there was too much to grasp and apply to their practice. Additionally, the appropriate applications of high yield instructional strategies also presented challenges to participants. Fourth, based on their participation in the project, teachers expressed an increased sense of efficacy with respect to conducting their work. The discussion was focused on how teachers created a community of practice to support their professional growth, which influenced efficacy for teaching as they became increasingly effective in blending technology, pedagogy and content. / Dissertation/Thesis / Ed.D. Educational Leadership and Policy Studies 2011

A robot is proficient if its performance for its task(s) satisfies a specific standard. While the design of autonomous robots often emphasizes such proficiency, another important attribute of autonomous robot systems is their ability to evaluate their own proficiency. A robot should be able to conduct proficiency self-assessment (PSA), i.e. assess how well it can perform a task before, during, and after it has attempted the task. We propose the assumption-alignment tracking (AAT) method, which provides time-indexed assessments of the veracity of robot generators' assumptions, for designing autonomous robots that can effectively evaluate their own performance. AAT can be considered as a general framework for using robot sensory data to extract useful features, which are then used to build data-driven PSA models. We develop various AAT-based data-driven approaches to PSA from different perspectives. First, we use AAT for estimating robot performance. AAT features encode how the robot's current running condition varies from the normal condition, which correlates with the deviation level between the robot's current performance and normal performance. We use the k-nearest neighbor algorithm to model that correlation. Second, AAT features are used for anomaly detection. We treat anomaly detection as a one-class classification problem where only data from the robot operating in normal conditions are used in training, decreasing the burden on acquiring data in various abnormal conditions. The cluster boundary of data points from normal conditions, which serves as the decision boundary between normal and abnormal conditions, can be identified by mainstream one-class classification algorithms. Third, we improve PSA models that predict robot success/failure by introducing meta-PSA models that assess the correctness of PSA models. The probability that a PSA model's prediction is correct is conditioned on four features: 1) the mean distance from a test sample to its nearest neighbors in the training set; 2) the predicted probability of success made by the PSA model; 3) the ratio between the robot's current performance and its performance standard; and 4) the percentage of the task the robot has already completed. Meta-PSA models trained on the four features using a Random Forest algorithm improve PSA models with respect to both discriminability and calibration. Finally, we explore how AAT can be used to generate a new type of explanation of robot behavior/policy from the perspective of a robot's proficiency. AAT provides three pieces of information for explanation generation: (1) veracity assessment of the assumptions on which the robot's generators rely; (2) proficiency assessment measured by the probability that the robot will successfully accomplish its task; and (3) counterfactual proficiency assessment computed with the veracity of some assumptions varied hypothetically. The information provided by AAT fits the situation awareness-based framework for explainable artificial intelligence. The efficacy of AAT is comprehensively evaluated using robot systems with a variety of robot types, generators, hardware, and tasks, including a simulated robot navigating in a maze-based (discrete time) Markov chain environment, a simulated robot navigating in a continuous environment, and both a simulated and a real-world robot arranging blocks of different shapes and colors in a specific order on a table.