Tese de doutoramento. Engenharia Electrotécnica e de Computadores. Universidade do Porto. Faculdade de Engenharia. 2012

A avaliação de qualidade de segmentação de vídeos tem se mostrado um problema pouco investigado no meio científico. Apesar disso, estudos recentes na área resultaram em algumas métricas que têm como finalidade avaliar objetivamente a qualidade da segmentação produzida pelos algoritmos. Tais métricas consideram as diferentes formas em que os erros ocorrem (fatores perceptuais) e seus parâmetros são ajustados de acordo com a aplicação em que se pretende utilizar os vídeos segmentados. Neste trabalho apresentam-se: i) uma avaliação da métrica que representa o estado-da-arte, demonstrando que seu desempenho varia de acordo com o algoritmo; ii) um método subjetivo para avaliação de qualidade de segmentação; e iii) uma nova métrica perceptual objetiva, derivada do método subjetivo aqui proposto, capaz de encontrar o melhor ajuste dos parâmetros de dois algoritmos de segmentação encontrados na literatura, quando os vídeos por eles segmentados são utilizados na composição de cenas em ambientes de Teleconferência Imersiva. / Assessment of video segmentation quality is a problem seldom investigated by the scientific community. Nevertheless, recent studies presented some objective metrics to evaluate algorithms. Such metrics consider different ways in which segmentation errors occur (perceptual factors) and its parameters are adjusted according to the application for which the segmented frames are intended. In this work: i) we demonstrate empirically that the performance of existing metrics changes according to the segmentation algorithm; ii) we developed a subjective method to evaluate segmentation quality; and iii) we contribute with a new objective metric derived on the basis of experiments from subjective method in order to adjust the parameters of two bilayer segmentation algorithms found in the literature when these algorithms are used for compose scenes in Immersive Teleconference environments.

A avaliação de qualidade de segmentação de vídeos tem se mostrado um problema pouco investigado no meio científico. Apesar disso, estudos recentes na área resultaram em algumas métricas que têm como finalidade avaliar objetivamente a qualidade da segmentação produzida pelos algoritmos. Tais métricas consideram as diferentes formas em que os erros ocorrem (fatores perceptuais) e seus parâmetros são ajustados de acordo com a aplicação em que se pretende utilizar os vídeos segmentados. Neste trabalho apresentam-se: i) uma avaliação da métrica que representa o estado-da-arte, demonstrando que seu desempenho varia de acordo com o algoritmo; ii) um método subjetivo para avaliação de qualidade de segmentação; e iii) uma nova métrica perceptual objetiva, derivada do método subjetivo aqui proposto, capaz de encontrar o melhor ajuste dos parâmetros de dois algoritmos de segmentação encontrados na literatura, quando os vídeos por eles segmentados são utilizados na composição de cenas em ambientes de Teleconferência Imersiva. / Assessment of video segmentation quality is a problem seldom investigated by the scientific community. Nevertheless, recent studies presented some objective metrics to evaluate algorithms. Such metrics consider different ways in which segmentation errors occur (perceptual factors) and its parameters are adjusted according to the application for which the segmented frames are intended. In this work: i) we demonstrate empirically that the performance of existing metrics changes according to the segmentation algorithm; ii) we developed a subjective method to evaluate segmentation quality; and iii) we contribute with a new objective metric derived on the basis of experiments from subjective method in order to adjust the parameters of two bilayer segmentation algorithms found in the literature when these algorithms are used for compose scenes in Immersive Teleconference environments.

Introdução: Médicos residentes (MR) representam uma grande força de trabalho na maioria dos hospitais universitários brasileiros. O contato destes com alunos da graduação e do internato acrescenta atividades didáticas ao seu repertório diário de atividades assistenciais. Estudos norte-americanos e canadenses demonstram que até 25% do tempo de trabalho de médicos residentes é exercido como atividade de ensino. Pesquisadores apontaram que alunos de medicina creditam aos MR30-85% de toda a teoria clínica adquirida na graduação. Nos Estados Unidos criaram-se programas de capacitação didática, conhecidos como \"Residents as Teachers\" (RaTs) - residentes como professores, atualmente presentes em 80% daquelas instituições. Em nosso meio, todo esse contato se dá com pouco ou nenhum treinamento formal dos residentes em técnicas de ensino. No presente estudo investigou-se a hipótese de que o treinamento formal de MR em técnicas de ensino poderia aumentar o desempenho em habilidades de ensino clínico. Métodos: Estudo prospectivo, onde escores pré e pós-intervenção foram aferidos por meio de atividades simuladas desenvolvidas, especificamente, para este fim. Quarenta e nove médicos residentes dos programas de clínica médica, cirurgia geral, dermatologia e infectologia da Universidade Federal de Uberlândia participaram do estudo. Foram elaboradas 4 estações simuladas para avaliação de habilidades didáticas em cenários de ambulatório, enfermaria, unidade de emergências e durante a orientação de um procedimento. Todos os MR tiveram seus desempenhos gravados em vídeo para avaliação posterior, por 3 investigadores independentes, que atribuíram escores padronizados para cada cenário. Os MR foram avaliados em 3 etapas, com 1 semana de intervalo entre elas: basal (D1), após primeira intervenção (D2), após segunda intervenção (D3). A intervenção principal baseou-se no método de ensino clínico \"Preceptoria em um Minuto - PEM\" e uma intervenção controle de comunicação de más notícias. Os residentes foram randomizados eletronicamente quanto à ordem de recebimento de cada uma das intervenções após D1. Todos os residentes foram submetidos às intervenções, principal e controle, com uma semana de intervalo, de acordo com a randomização. Resultados: Houve aumento estatisticamente significativo nos escores das avaliações de desempenho dos MR quando comparadas avaliações pré e pós-intervenções nas estações enfermaria e procedimento. As estações emergência e ambulatório produziram baixas confiabilidades entre avaliadores. Na estação enfermaria, foram observadas medianas de escores de 109,5 para a D1; 142,5 para D2 e 137,5 para D3, com diferença significativa entre as etapas de avaliação (p=0,009). Análise pós-hoc para comparação de pares demonstrou diferença significativa entre D1 e D2 (p=0,011). Análise de confiabilidade da estação enfermaria pela teoria da generalização (teoria G) demonstrou coeficientes de 0,545 para D1; 0,702 para D2 e 0,860 para D3. Os coeficientes de consistência interna e confiabilidade entre avaliadores foram respectivamente 0,913 e 0,595. Na estação procedimentos, foram observadas medianas de escores de 99 para D1; 119 D2; e 119,5 D3. Houve diferença significativa entre as etapas de avaliação com p < 0,001. Análise pós-hoc para comparação de pares demonstrou diferença significativa entre D1 e D2 (p=0,001) e entre D1 e D3 (p= 0,004). Coeficientes G para as etapas de avaliação da estação procedimentos foram calculados em 0,683 para D1; 0,681 para D2 e 0,670 para D3. Consistência interna resultou um coeficiente de 0,726 e a confiabilidade entre avaliadores 0,772. Conclusões: O presente estudo demonstrou ganho na aquisição de habilidades de ensino clínico, em MR brasileiros após intervenção específica com método PEM. Observou-se aumento progressivo da confiabilidade geral para a estação enfermaria, com um coeficiente condizente com avaliações de alto padrão obtido em D3. A estação enfermaria também produziu uma alta consistência interna e confiabilidade moderada entre avaliadores. A estação procedimentos produziu coeficientes de confiabilidade bons, porém estáveis através das etapas do estudo. As estações emergência e ambulatório produziram coeficientes de confiabilidade entre observadores ruins, o que prejudicou a análise final dos resultados / Introduction: Medical residents (MR) represent a powerful work force in most of Brazilian teaching hospitals. Their contact with undergraduate students adds to their daily work teaching activities. Studies from the United States (US) and Canada indicate that 25% of a resident\'s working time is spent in teaching duties. Other researchers point to the fact that medical students attribute to MR 30-85% of all clinical theory acquired during graduation. In the US, programs developed specifically to foster MR\'s teaching skills, known as \"Residents as Teachers\" (RaTs), are now present at nearly 80% of American institutions. In Brazil, the close contact between MR and interns is conceived under little or no formal training in clinical teaching skills. The present study investigated if delivering teaching skills to MR would enhance their ability to teach simulated interns. Methods: We developed a prospective study where scores pre and post intervention were obtained through simulated activities, specifically designed for this purpose. Forty-nine medical residents from internal medicine, general surgery, dermatology and infectious diseases programs in Universidade Federal de Uberlandia took part in the activities. Four simulated stations were developed to assess clinical teaching skills in different scenarios: a clinical ward, in the emergency department, during ambulatory consultation and while teaching a simple procedure. All participants had their performances recorded in video for further evaluation. Three independent raters used a standardized questionnaire to attribute scores for every MR\'s recorded performance. All MRs were evaluated in 3 distinct occasions, one week apart: pre- intervention (D1), after first intervention (D2) and after second intervention (D3). The main intervention was based on a lecture about a teaching skill\'s method, the \"One Minute Preceptor\". Control intervention was based on a lecture about how to deliver bad news. All residents were electronically randomized to receive the main or control interventions after D1. All residents received both interventions, one week apart, according to randomization. Results: There was a statistically significant increase in the performance\'s scores of MRs when we compared pre and post intervention evaluations for stations clinical ward and teaching a procedure. For the clinical ward station, median scores were 109.5 for D1, 142.5 for D2 and 137.5 for D3, with a significant difference between 3 occasions (p= 0.009). Post-hoc analysis was carried out and evidenced significant differences between D1 and D2 (p=0.011). Reliability estimates were calculated using generalizability theory (G theory). The overall coefficient was 0.545 for D1, 0.702 for D2 and 0.860 for D3. Internal consistency resulted in a 0.913 coefficient and interrater reliability 0.595. In teaching a procedure station, we observed median scores of 99 for D1, 119 for D2 and 119.5 for D3. The difference across all occasions was statistically different (p < 0.001). Post-hoc analysis evidenced significant differences between D1 and D2 (p=0.001); D1 and D3 (p=0,004). G coefficients for the occasions were 0.683 for D1, 0.681 for interrater reliability was 0.772. Conclusions: The present study evidenced a gain in clinical teaching skills after specific training session based on the \"One Minute Preceptor\" method, in studied Brazilian MRs. The reliability analysis demonstrated progressive G coefficients across occasions in the clinical ward station, reaching levels expected for high stakes evaluations in E3. The clinical ward station also showed a high internal consistency and moderate interrater reliability. The procedure station resulted in good reliability coefficients across occasions, but they were stable in all of them. Clinical ward and emergency stations produced poor interrater reliability coefficients, which impaired interpretation of final results