Les recommandations (normes) élaborées par l'UIT (l'Union Internationale de Télécommunications) précisent avec rigueur les conditions dans lesquelles les tests subjectifs de qualité visuelle doivent avoir lieu: la salle de test, les conditions de visualisation, le protocole d'évaluation, les méthodes de post-traitement des scores accordées par les évaluateurs, etc... Pourtant, les études de l'état de l'art mettent en évidence que des nombreuses inadvertances perdurent au niveau théorique et expérimental: (1) la modélisation statistique précise des scores attribués par les observateurs humains à un certain type de contenu reste encore inconnue, (2) la différence théorique et applicative entre les évaluations sur des échelles discrètes et continues ne fait pas encore l'objet d'une étude dédiée et (3) l'impact sémantique (psycho-cognitif) des étiquettes associées à l'échelle d'évaluation est toujours invoqué mais jamais évalué. Notre thèse offre un cadre méthodologique et expérimental permettant de: 1. Modéliser avec précision statistique la distribution des scores attribués par les observateurs et évaluer l'impact pratique d'une telle modélisation, 2. Établir la relation théorique entre les scores attribués par les observateurs sur une échelle continue et une échelle discrète, 3. Établir le cadre statistique permettant de quantifier l'impact sémantique induit par les étiquettes sémantiques associées à l'échelle d'évaluation, 4. Spécifier et réaliser un cadre expérimental de référence, à vocation d'utilisation ultérieure par les instances de l'UIT / Quality evaluation is an ever-fascinating field, covering at least a century of research works emerging from psychology, psychophysics, sociology, marketing, medicine… While for visual quality evaluation the IUT recommendations pave the way towards well-configured, consensual evaluation conditions granting reproducibility and comparability of the experimental results, an in-depth analysis of the state-of-the-art studies shows at least three open challenges related to the: (1) the continuous vs. discrete evaluation scales, (2) the statistical distribution of the scores assigned by the observers and (3) the usage of semantic labels on the grading scales. Thus, the present thesis turns these challenges into three research objectives: 1. bridging at the theoretical level the continuous and the discrete scale evaluation procedures and investigating whether the number of the classes on the discrete scales is a criterion meaningful in the results interpretations or just a parameter; studying the theoretical influence of the statistical model of evolution results and of the size of the panel (number of observers) in the accuracy of the results are also targeted; 2. quantifying the bias induced in subjective video quality experiments by the semantic labels (e.g. Excellent, Good, Fair, Poor and Bad) generally associated to the discrete grading scales; 3. designing and deploying an experimental test-bed able to support their precision and statistical relevance. With respect to these objectives, the main contributions are at theoretical, methodological and experimental levels

Im Bildungs- und Trainingsbereich erfolgen immer häufiger Evaluationen von Trainings, Workshops usw. Der Messung des Lernerfolgs der Interventionsteilnehmer kommt dabei im Rahmen von Mehr-Ebenen-Konzepten eine wichtige Rolle zu. Diese Evaluationen sind jedoch von formal-methodischen Problemen flankiert, wie dem Kriteriendilemma (Müller, 1987), das die Ambivalenz zwischen der Exaktheit von Datenerhebungen und deren Repräsentativität bezüglich der Programminhalte thematisiert. Des Weiteren ist Wissen domainenspezifisch und muss oft aktualisiert werden. Zuweilen fehlt eine vollständige Wissensbasis zur Konstruktion von Messinstrumenten. In diesem Fall wird häufig auf Selbsteinschätzungen zurückgegriffen. Diese praktikablen subjektiven Einschätzungen sind einerseits etablierte Messzugänge, z.B. in der Selbstkonzeptforschung (z.B. Moschner & Dickhäuser, 2006; Stiensmeier-Pelster & Schöne, 2008). Andererseits werden ihnen verschiedene Verzerrungstendenzen zugeschrieben (z.B. Mummendey & Grau, 2008). Metaanalytische Befunde (z.B. Moser, 1999) geben mittlere Zusammenhänge zwischen Selbsteinschätzungen und objektiven Leistungskriterien an und explizieren Kriterien für eine hohe Validität von Selbsteinschätzungen. Dabei stellt die Erwartung der Validierung der Selbsteinschätzungen das wichtigste Validitätskriterium dar. Alternativ zu subjektiven Messzugängen können so genannte objektive Messzugänge zur Erhebung des Lernerfolgs eingesetzt werden. Darunter versteht man u.a. Wissenstests mit offenem oder geschlossenem Antwortformat, die jedoch einen deutlichen höheren Konstruktions- bzw. Auswertungsaufwand erfordern. In der vorliegenden Arbeit sollen nun zwei methodologische Aspekte im Rahmen der Lernerfolgsmessung untersucht werden: die Differenzierungsfähigkeit und die Änderungssensitivität von Items, Subskalen und Skalen. Dabei sollen diese zwischen verschiedenen subjektiven und objektiven Messzugängen verglichen werden. Unter der Differenzierungsfähigkeit wird die Streuung der Items bzw. je Item verstanden (Lienert & Raatz, 1998). Muellerbuchhof & Zehrt (2004) nutzen für den Vergleich zwischen den Messzugängen den Experten-Novizen-Vergleich, wobei sich im objektiven Kompetenzmaß eine höhere Differenzierung zwischen den bekannten Gruppen zeigt als in den Selbsteinschätzungen. Die Änderungssensitivität gibt die Fähigkeit z.B. eines Items an, reale Veränderungen der jeweiligen Variablen widerzuspiegeln (Krauth, 1995). Für verschiedene Fremd- und Selbsteinschätzungsskalen und -items finden sich Hinweise auf die Änderungssensitivität derselben (z.B. Burlingame et al., 2006; Vermeersch et al., 2004). Es fehlen jedoch vergleichende Studien zu objektiven Messzugängen. In der vorliegenden Arbeit wird nun zuerst geprüft, ob sich subjektive und objektive Messzugänge hinsichtlich ihrer Differenzierungsfähigkeit und ihrer Änderungssensitivität unterscheiden. Weiterhin soll bestimmt werden, welcher Messzugang in welchem Ausmaß besser differenziert und interventionsbedingte Veränderungen sensitiver abbildet. Des Weiteren soll nach der Art des erhobenen Wissens (Faktenwissen oder Anwendungswissen) unterschieden werden. Anschließend sollen verschiedene objektive Messzugänge entsprechend verglichen werden. Zuletzt erfolgt ein Vergleich von zwei Arten von Selbsteinschätzungen. Im Ergebnis sollen jeweils praktikable Empfehlungen für den Einsatz in Evaluationsvorhaben abgeleitet werden. Die globalen Fragestellungen zur Differenzierungsfähigkeit werden anhand von zwei Studien an Studierenden geprüft: in einer methodologischen Analyse einer quasiexperimentellen Trainingsevaluationsstudie (Clasen, 2007; Winkelmann, 2009) (Studie1) sowie in einer experimentellen Studie einer Kursevaluation (Studie 2). In Studie 1 werden dabei der Bestimmung der Differenzierungsfähigkeit Veränderungswerte und in Studie 2 Statuswerte zugrunde gelegt. Die Fragestellungen zur Änderungssensitivität sowie zur Differenzierungsfähigkeit der subjektiven und objektiven Messzugänge untereinander werden anhand von Studie 2 bearbeitet. Im Ergebnis zeigt sich, dass der objektiv offene Messzugang am besten in der Lage ist, zwischen Personen zu differenzieren und treatmentbedingte Veränderungen abzubilden. Dieser ist jedoch auch am aufwändigsten in der Durchführung und besonders in der Auswertung, welche inhaltliche Fachkompetenz des Auswertenden voraussetzt. Die praktikablen Selbsteinschätzungen (einzelne Einschätzungen, die aggregiert werden, sowie Globaleinschätzungen) der Studierenden nehmen den zweiten Platz ein, dicht gefolgt vom objektiv geschlossenen Messzugang, der z.T. auch bessere Ergebnisse liefert als die Selbsteinschätzungen. Sobald in einer Evaluationsstudie jedoch Zweifel an der Validität der Selbsteinschätzungen gerechtfertigt sind, ist ein objektiver Messzugang zu bevorzugen. Innerhalb des objektiv geschlossenen Messzugangs verfügt die weniger übliche Darstellung als Block von „stimmt- stimmt nicht“- Antworten über eine bessere Differenzierungsfähigkeit und Änderungssensitivität als das Multiple Choice- Format. Des Weiteren differenziert die Subskala Anwendungswissen für jeden untersuchten Messzugang tendenziell besser als die Subskala Faktenwissen. Diese Ergebnisse werden in den Forschungskontext eingeordnet, Kritikpunkte der Studien werden thematisiert. Für den Evaluator werden aus den Ergebnissen der vorliegenden Arbeit jeweils praktikable Empfehlungen zum Einsatz der verschiedenen Messzugänge in Evaluationsvorhaben abgeleitet.

Aujourd'hui, les technologies de captation et de restitution sonore se développent dans le but de diffuser des scènes avec un rendu spatialisé. Avant leur diffusion, les extraits sonores peuvent être évalués en terme de qualité par des méthodes recommandées par I'Union lnternationale des Télécommunications (évaluation des codecs de compression, procédés de prise ou restitution sonore...). Cependant, ces standards d'évaluation montrent certaines faiblesses notamment en ce qui concerne les attributs de qualité à évaluer. La dimension spatiale n'est pas prise en compte spécifiquement. Dans ce travail, une méthodologie dédiée à l'évaluation de la qualité de I'audio spatialisé est mise en place notamment pour répondre aux biais identifiés. De par l'utilisation d'une catégorisation libre et d'une analyse multidimensionnelle, vingt-huit attributs ont été catégorisés en trois familles d'attributs : le Timbre, l'Espace et les Défauts. Ces trois attributs généraux ont été inclus dans un test d'écoute. Celui-ci se déroule en deux phases : l'évaluation de la qualité globale suivie de l'évaluation des trois attributs simultanément sur une même interface. Les tests sont réalisés sans référence explicite, le fichier original constitue une référence cachée. De plus, trois signaux audio, dit ancrages, spécifiques à chacun des trois attributs ont été définis puis superposés pour définir un ancrage unique triplement dégradé. La méthode a été testée à la fois sur un système de restitution au casque avec des contenus binauraux mais également sur un système multicanal 5.1. L'évaluation de stimuli de qualité intermédiaire est préconisée ainsi que des contenus présentant un effet spatial prononcé. L'évaluation multicritère a montré son intérêt dans certaines conditions et permet ainsi d'identifier les caractéristiques qui sont dégradées. Les attributs Défauts et Timbre ont montré un poids influant sur la qualité globale tandis que le poids de I'attribut Espace est plus discutable. / Nowadays, recording and restitution technologies focus on a spatial rendering of sound. Before their broadcast, the quality evaluation of sound excerpts is often necessary. Methods recommended by the international telecommunication union denote some weaknesses about sound attributes to be evaluated.For example, spatial dimension is barely taken into account. A methodology dedicated to the assessment of spatial audio quality is proposed in order to avoid some biases. With a free categorization and a multidimensional scaling, 28 attributes were clustered in three families '. Timbre, Space and Defecfs. These three categories were included in a listening test split into two sessions : first, the assessment of overall quality and then, the evaluation of the three categories presented simultaneously on a same interface.Tests were conducted without explicit reference, but, the original version was considered as a hidden reference. Moreover, three specific anchors, each one associated to dedicated categories, were defined and then were mixed to define a unique anchor impaired in three ways. The method was tested on a 5.1 system and on binaural contents with headphone restitution. lntermediate quality of contents is recommended as well as contents with relevant spatial effects. The interest of a multicriteria assessment is to identify which properties of sound are impaired. Linear regression shows that Defecfs and Timbre attributes have influential weight on overall quality while the weight of Space attribute is more dubious.