Die übergeordnete Zielstellung der vorliegenden Arbeit ist es, Bedingungsfaktoren erfolgreicher Teamarbeit anhand von Forschungsarbeiten aus unterschiedlichen Fachrichtungen herauszuarbeiten und diese anhand eigener Studien zu sogenannten Actionteams empirisch zu überprüfen. Hierfür wird auf Grundlage einer umfangreichen Literaturanalyse ein Rahmenforschungsmodell zur Teamarbeit synthetisiert sowie ein Verhaltensmarker Ansatz zur Erfassung und Bewertung von Team(arbeits)prozessen in kritischen Situationen entwickelt und erprobt. Demzufolge ist die Arbeit in zwei Teile aufgebaut: Im ersten Schritt wird theoriegeleitet ein Forschungsmodell zur Teamarbeit abgeleitet und durch sekundäranalytische Auswertungen von elitären Actionteams überprüft. Darauf aufbauend, wird ein Verhaltensmarker-Ansatz zur Messung und Bewertung von potentiell trainierbaren Team(arbeits)prozessen konzipiert und an Rettungsdienstteams in einer high-fidelity-Simulation experimentell evaluiert. Der Fokus im ersten Teil der Arbeit liegt auf der theoriegeleiteten Entwicklung des Forschungsmodells, welches Teamarbeit in folgende analytisch unterscheidbare Dimensionen differenziert: emergent states (shared mental models, mutual trust und group potency) und Teamprozesse (team orientation, team leadership, mutual performance monitoring, backup behavior, adaptability und closed loop communication). Dieses Forschungsmodell wurde mit einer Sekundäranalyse von Fragebogen- und Interviewdaten zu einer Stichprobe von elitären Actionteammitgliedern geprüft und empirisch bestätigt. Die quantitative Analyse von Fragebogendaten zeigt bei den elitären Actionteammitgliedern (n = 132) positive signifikante Zusammenhänge zwischen den emergent states und Teamprozessen. Im direkten Abgleich mit nichtelitären Actionteammitgliedern (n = 133) zeigten sich bei den elitären Actionteammitgliedern durchweg höhere Ausprägungen in den Teamarbeitsdimensionen (erste Forschungsfrage). Des Weiteren wurde untersucht, ob eine Beziehung zwischen Teamarbeitsdimensionen und verschiedenen Teamtypen (contending teams, critical teams und performing teams) besteht. Die inhaltsanalytische Auswertung von qualitativen Interviewdaten elitärer Actionteammitglieder (n = 51) wie auch statistische Analysen standardisierter Fragebogendaten elitärer Actionteammitglieder (n = 132) legen eine Beziehung nahe. Die Ergebnisse belegen, dass sich die beiden Teamtypen contending teams und performing teams am stärksten in den Teamarbeitsdimensionen team leadership und adaptability unterscheiden (zweite Forschungsfrage). Das Hauptanliegen des zweiten Teils der Arbeit besteht darin, zu testen, ob die im ersten Arbeitsteil als erfolgskritisch identifizierten Team(arbeits)prozesse, nach einer Schulungs- und Trainingsintervention mit einer erhöhten Leistungsfähigkeit einhergehen. Dazu wird aus den Erkenntnissen des ersten Teils und unter Rückgriff auf aktuelle Forschungsergebnisse ein Verhaltensmarker-Ansatz entwickelt. Zur Überprüfung, ob und wie durch eine Verbesserung der Team(arbeits)prozesse die Leistungsfähigkeit von Actionteams gesteigert werden kann, wurde eine quasi-experimentelle Simulations-Studie mit einem Experimental- und Kontrollgruppen-Design durchgeführt. Um mit dem entwickelten prozessanalytischen Messinstrument die Team(arbeits)prozesse praktizierender Rettungsdienstmitglieder in kritischen Situationen zu erfassen, wurde eine Simulation als Zwischenform einer Labor- und Felduntersuchung gewählt. Insgesamt nahmen 96 Teilnehmer an der Studie teil, die in zwei Gruppen aufgeteilt wurden. Der Teilnehmerkreis eins (T1; n = 47) erhielt vor der Simulation eine Schulungs- und Trainingsmaßnahme und der Teilnehmerkreis zwei (T2; n = 49) erhielt diese nachher. Anschließend wurde eine Teilstichprobe mit jeweils 10 Personen aus dem Teilnehmerkreis eins (T1) als Experimentalgruppenteilnehmer (n = 10) und aus dem Teilnehmerkreis zwei (T2) als Kontrollgruppenteilnehmer (n =10) zufällig ausgewählt. Die Experimental- und Kontrollgruppenteammitglieder absolvierten in einer high-fidelity-Simulation ein komplexes und mit kritischen Situationen konzipiertes Fallbeispiel. Die Bewertung der Team(arbeits)prozesse und des Teamerfolges erfolgte durch eine offene, passiv teilnehmende Beobachtung und wurde mittels Beobachtungsbogen von sechs Experten während der Simulation protokolliert. Des Weiteren wurde das Verhalten der Teammitglieder anhand aufgezeichneter Videodateien mit einer Videointeraktionsanalyse bewertet. Die Ratingübereinstimmung zwischen den Beobachtungsdaten der teilnehmenden Forscher vor Ort mit den Videoauswertungen der unabhängigen Experten im Nachgang lassen erkennen, dass das entwickelte prozessanalytische Verfahren zur Messung und Bewertung von Team(arbeits)prozessen geeignet ist, reliabel und objektiv die Leistungsfähigkeit von Rettungsdienstteams in kritischen Situationen zu erfassen. Die Befunde zeigen, dass die als erfolgskritisch und potentiell trainierbar identifizierten Team(arbeits)prozesse durch eine Schulungs- und Trainingsmaßnahme gesteigert werden konnten. Hierbei verdeutlichen die Ergebnisse des Experimental- und Kontrollgruppenvergleichs, dass insbesondere die Reflexions-, Teamführungs- und Koordinationsprozesse verbessert werden konnten. Auch lag der Teamerfolg, gemessen an der Anzahl richtig gewählter und ausgeführter Maßnahmen, die in einem zeitlich vorgegebenen Rahmen durchgeführt wurden, bei den Experimentalgruppen etwas höher als bei den Kontrollgruppen. Zusammenfassend liegen mit dieser Arbeit erste empirische Befunde eines quasi-experimentellen und multi-methodischen Forschungs- bzw. Evaluationsdesigns vor, die aufzeigen, welche erfolgskritischen Team(arbeits)prozesse die Leistungsfähigkeit von Actionteams in kritischen Situationen steigern können.

Magister Commercii (Industrial Psychology) - MCom (IPS) / The construction industry plays a crucial role in the South African economy. In this high-risk industry, a lack of engagement by employees can have serious and costly health and safety consequences. Because construction companies work under conditions of tight deadlines and stringent requirements, executives and managers are often unable to reduce the demands on their employees. Hence, if employees are to increase their own levels of work engagement (and so improve health, promote safety, and guard against burnout), they need to exert personal agency by recrafting their own jobs. The term job crafting refers to proactive employee behaviours that seek to optimise the work environment, frequently by addressing the balance between job demands and job resource. Previous literature suggests that employees who use job crafting behaviours show higher work engagement, lower disengagement, more positive emotions, and better adaptive performance.

In this thesis, we explore two different approaches to causal inferences. The traditional approach models the theoretical relationship between the outcome variables and their explanatory variables, i.e., the science, at the same time as the systematic differences between treated and control subjects are modeled, i.e., the assignment mechanism. The alternative approach, based on Rubin's Causal Model (RCM), makes it possible to model the science and the assignment mechanism separately in a two-step procedure. In the first step, no outcome variables are used when the assignment mechanism is modeled, the treated students are matched with similar control students using this mechanism, and the models for the science are determined. Outcome variables are only used in the second step when these pre-specified models for the science are fitted. In the first paper, we use the traditional approach to evaluate whether a husband is more prone to quit smoking when his wife quits smoking than he would have been had his wife not quit. We find evidence that this is the case, but that our analysis must rely on restrictive assumptions. In the subsequent two papers, we use the alternative RCM approach to evaluate if a Harvard freshman who does not smoke (observed potential outcome) is more prone to start smoking when he shares a suite with at least one smoker, than he would have been had he shared a suite with only smokers (missing potential outcomes). We do not find evidence that this is the case, and the small and insignificant treatment effect is robust against various assumptions that we make regarding covariate adjustments and missing potential outcomes. In contrast, we do find such evidence when we use the traditional approach previously used in the literature to evaluate peer effects relating to smoking, but the treatment effect is not robust against the assumptions that we make regarding covariate adjustments. These contrasting results in the two latter papers allow us to conclude that there are a number of advantages with the alternative RCM approach over the traditional approaches previously used to evaluate peer effects relating to smoking. Because the RCM does not use the outcome variables when the assignment mechanism is modeled, it can be re-fit repeatedly without biasing the models for the science. The assignment mechanism can then often be modeled to fit the data better and, because the models for the science can consequently better control for the assignment mechanism, they can be fit with less restrictive assumptions. Moreover, because the RCM models two distinct processes separately, the implications of the assumptions that are made on these processes become more transparent. Finally, the RCM can derive the two potential outcomes needed for drawing causal inferences explicitly, which enhances the transparency of the assumptions made with regard to the missing potential outcomes. / Diss. Stockholm : Handelshögskolan, 2006 S. 1-13: sammanfattning, s. [15]-161: 4 uppsatser

No description available.

Die übergeordnete Zielstellung der vorliegenden Arbeit ist es, Bedingungsfaktoren erfolgreicher Teamarbeit anhand von Forschungsarbeiten aus unterschiedlichen Fachrichtungen herauszuarbeiten und diese anhand eigener Studien zu sogenannten Actionteams empirisch zu überprüfen. Hierfür wird auf Grundlage einer umfangreichen Literaturanalyse ein Rahmenforschungsmodell zur Teamarbeit synthetisiert sowie ein Verhaltensmarker Ansatz zur Erfassung und Bewertung von Team(arbeits)prozessen in kritischen Situationen entwickelt und erprobt. Demzufolge ist die Arbeit in zwei Teile aufgebaut: Im ersten Schritt wird theoriegeleitet ein Forschungsmodell zur Teamarbeit abgeleitet und durch sekundäranalytische Auswertungen von elitären Actionteams überprüft. Darauf aufbauend, wird ein Verhaltensmarker-Ansatz zur Messung und Bewertung von potentiell trainierbaren Team(arbeits)prozessen konzipiert und an Rettungsdienstteams in einer high-fidelity-Simulation experimentell evaluiert. Der Fokus im ersten Teil der Arbeit liegt auf der theoriegeleiteten Entwicklung des Forschungsmodells, welches Teamarbeit in folgende analytisch unterscheidbare Dimensionen differenziert: emergent states (shared mental models, mutual trust und group potency) und Teamprozesse (team orientation, team leadership, mutual performance monitoring, backup behavior, adaptability und closed loop communication). Dieses Forschungsmodell wurde mit einer Sekundäranalyse von Fragebogen- und Interviewdaten zu einer Stichprobe von elitären Actionteammitgliedern geprüft und empirisch bestätigt. Die quantitative Analyse von Fragebogendaten zeigt bei den elitären Actionteammitgliedern (n = 132) positive signifikante Zusammenhänge zwischen den emergent states und Teamprozessen. Im direkten Abgleich mit nichtelitären Actionteammitgliedern (n = 133) zeigten sich bei den elitären Actionteammitgliedern durchweg höhere Ausprägungen in den Teamarbeitsdimensionen (erste Forschungsfrage). Des Weiteren wurde untersucht, ob eine Beziehung zwischen Teamarbeitsdimensionen und verschiedenen Teamtypen (contending teams, critical teams und performing teams) besteht. Die inhaltsanalytische Auswertung von qualitativen Interviewdaten elitärer Actionteammitglieder (n = 51) wie auch statistische Analysen standardisierter Fragebogendaten elitärer Actionteammitglieder (n = 132) legen eine Beziehung nahe. Die Ergebnisse belegen, dass sich die beiden Teamtypen contending teams und performing teams am stärksten in den Teamarbeitsdimensionen team leadership und adaptability unterscheiden (zweite Forschungsfrage). Das Hauptanliegen des zweiten Teils der Arbeit besteht darin, zu testen, ob die im ersten Arbeitsteil als erfolgskritisch identifizierten Team(arbeits)prozesse, nach einer Schulungs- und Trainingsintervention mit einer erhöhten Leistungsfähigkeit einhergehen. Dazu wird aus den Erkenntnissen des ersten Teils und unter Rückgriff auf aktuelle Forschungsergebnisse ein Verhaltensmarker-Ansatz entwickelt. Zur Überprüfung, ob und wie durch eine Verbesserung der Team(arbeits)prozesse die Leistungsfähigkeit von Actionteams gesteigert werden kann, wurde eine quasi-experimentelle Simulations-Studie mit einem Experimental- und Kontrollgruppen-Design durchgeführt. Um mit dem entwickelten prozessanalytischen Messinstrument die Team(arbeits)prozesse praktizierender Rettungsdienstmitglieder in kritischen Situationen zu erfassen, wurde eine Simulation als Zwischenform einer Labor- und Felduntersuchung gewählt. Insgesamt nahmen 96 Teilnehmer an der Studie teil, die in zwei Gruppen aufgeteilt wurden. Der Teilnehmerkreis eins (T1; n = 47) erhielt vor der Simulation eine Schulungs- und Trainingsmaßnahme und der Teilnehmerkreis zwei (T2; n = 49) erhielt diese nachher. Anschließend wurde eine Teilstichprobe mit jeweils 10 Personen aus dem Teilnehmerkreis eins (T1) als Experimentalgruppenteilnehmer (n = 10) und aus dem Teilnehmerkreis zwei (T2) als Kontrollgruppenteilnehmer (n =10) zufällig ausgewählt. Die Experimental- und Kontrollgruppenteammitglieder absolvierten in einer high-fidelity-Simulation ein komplexes und mit kritischen Situationen konzipiertes Fallbeispiel. Die Bewertung der Team(arbeits)prozesse und des Teamerfolges erfolgte durch eine offene, passiv teilnehmende Beobachtung und wurde mittels Beobachtungsbogen von sechs Experten während der Simulation protokolliert. Des Weiteren wurde das Verhalten der Teammitglieder anhand aufgezeichneter Videodateien mit einer Videointeraktionsanalyse bewertet. Die Ratingübereinstimmung zwischen den Beobachtungsdaten der teilnehmenden Forscher vor Ort mit den Videoauswertungen der unabhängigen Experten im Nachgang lassen erkennen, dass das entwickelte prozessanalytische Verfahren zur Messung und Bewertung von Team(arbeits)prozessen geeignet ist, reliabel und objektiv die Leistungsfähigkeit von Rettungsdienstteams in kritischen Situationen zu erfassen. Die Befunde zeigen, dass die als erfolgskritisch und potentiell trainierbar identifizierten Team(arbeits)prozesse durch eine Schulungs- und Trainingsmaßnahme gesteigert werden konnten. Hierbei verdeutlichen die Ergebnisse des Experimental- und Kontrollgruppenvergleichs, dass insbesondere die Reflexions-, Teamführungs- und Koordinationsprozesse verbessert werden konnten. Auch lag der Teamerfolg, gemessen an der Anzahl richtig gewählter und ausgeführter Maßnahmen, die in einem zeitlich vorgegebenen Rahmen durchgeführt wurden, bei den Experimentalgruppen etwas höher als bei den Kontrollgruppen. Zusammenfassend liegen mit dieser Arbeit erste empirische Befunde eines quasi-experimentellen und multi-methodischen Forschungs- bzw. Evaluationsdesigns vor, die aufzeigen, welche erfolgskritischen Team(arbeits)prozesse die Leistungsfähigkeit von Actionteams in kritischen Situationen steigern können.:Inhaltsverzeichnis Abstract 4 Inhaltsverzeichnis i Abbildungsverzeichnis v Tabellenverzeichnis v Abkürzungsverzeichnis viii 1 Einleitung 1 1.1 Ausgangspunkt, Zielsetzung und Forschungsfragen 1 1.2 Aufbau der Arbeit 4 2 Begriffliche und konzeptionelle Grundlagen der Teamarbeit 7 2.1 Skizze zur Entwicklung der Kleingruppenforschung 7 2.1.1 Historische Entwicklung der Kleingruppenforschung 7 2.1.2 Perspektiven der Kleingruppenforschung 8 2.1.3 Projekte und Programme der Gruppenforschung 9 2.2 Ziele sowie Vor- und Nachteile von Gruppenarbeit nach Wegge (2004) 10 2.3 Begriffsbestimmung zu Gruppenarbeit und Teamarbeit 12 2.4 Überblick zu repräsentativen Theorien und Ansätze zum Teamarbeitskonzept 14 2.5 Chronologische Meilensteine zur Teamforschung 16 2.6 Ergänzende Beiträge verschiedener Forschungsstränge 17 3 Definitionen, Merkmale und Typen von Teams 26 3.1 Notwendigkeit einer neuen Begriffsbestimmung? 26 3.2 Begriffsdefinitionen zu Gruppe, Arbeitsgruppe und Team 27 3.2.1 Teams, deren Fokus auf die Handlungsausführung gerichtet ist: Arbeitsteams, Crews, Actionteams, Interdisciplinary-Action-Teams (IAT), Swift-Starting-Action-Teams (STAT) 30 3.2.2 Teams, deren Fokus auf die kognitive Entscheidungsfindung ausgerichtet ist: Projektteams 31 3.3 Teamklassifikationsansätze 34 3.3.1 Allgemeine Klassifikationen und Typologien 35 3.3.2 Aktuellere Teamklassifikationen 36 3.4 Einordnung der Teams der Untersuchung 39 4 Theoretische Erklärungsansätze zur Teamarbeit und Teameffektivität mit unterschiedlicher Reichweite 42 4.1 Grand Theory – Handlungsregulationstheorie nach Frese und Zapf (1994) 42 4.1.1 Perspektive Handlungsprozess 43 4.1.2 Perspektive Handlungsstruktur und Regulationsebenen (vgl. Frese & Zapf, 1994, S. 280–287) 44 4.1.3 Empirische Evidenz handlungsregulationstheoretischer Ansätze 45 4.2 Middle Range Theories – disziplinübergreifende Ansätze und Rahmenmodelle zur Teamarbeit und Teameffektivität 49 4.2.1 Ältere bzw. klassische Modelle zur Erklärung von Teamarbeit und Teameffektivität aus der allgemeinen Gruppenforschung 49 4.2.2 Aktuellere Beiträge zur Erklärung von Teamarbeit und Teameffektivität 57 4.3 Conclusio: Zusammenfassung der theoretischen Vorarbeiten zur Teamarbeit und Teameffektivität 69 5 Rahmenforschungsmodell, Forschungsfragen und Hypothesen 71 5.1 Emergent states 71 5.1.1 Geteilte mentale Modelle (shared mental models) 71 5.1.2 Gegenseitiges Vertrauen (mutual trust) 74 5.1.3 Teamstärke (group potency) 75 5.2 Teamprozesse 76 5.2.1 Kommunikation (closed loop communication) 76 5.2.2 Teamführung (team leadership) 78 5.2.3 Teamorientierung (team orientation) 79 5.2.4 Gegenseitige Leistungsüberwachung (mutual performance monitoring) 80 5.2.5 Unterstützung (backup behavior) 81 5.2.6 Anpassungsfähigkeit (adaptability) 82 5.3 Konkludierendes Rahmenforschungsmodell 83 5.4 Forschungsfragen und Hypothesen 88 6 Sekundäranalytische Auswertungen zur Teamarbeit in Actionteams 91 6.1 Datenmaterial 91 6.2 Stichproben 91 6.2.1 Stichprobe Fragebogenerhebung 91 6.2.2 Stichprobe Interviewerhebung 93 6.3 Methode 94 6.3.1 Erhebungsverfahren Fragebogenstudie 94 6.3.2 Erhebungsverfahren Interviewstudie 95 6.4 Datenauswertung der Fragebogenstudie 96 6.4.1 Hypothesenüberprüfung des Zusammenhangs zwischen Teamprozessen und emergent states 96 6.4.2 Hypothesenüberprüfung zum Vergleich der Ausprägungen der Teamarbeitsdimensionen von elitären Actionteammitgliedern und nichtelitären Actionteammitgliedern 97 6.4.3 Ergebnisse zur forschungsleitenden Fragestellung 1 100 6.4.4 Quantitative Analysen zur Beziehung zwischen Teamarbeit und Teamtyp 100 6.4.5 Hypothesenüberprüfung der Ausprägungen der Teamarbeitsdimensionen nach Teamtyp 100 6.4.6 Interpretation der Ergebnisse 102 6.5 Datenauswertung der Interviewstudie 102 6.5.1 Ergebnisse der Interviewstudie elitärer Actionteammitglieder 104 6.5.2 Hypothesenüberprüfung der Beziehung zwischen Teamprozessen und Teamtyp 106 6.5.3 Ergebnisse (Teamprozesse – Teamtyp) 109 6.5.4 Hypothesenüberprüfung der Beziehung zwischen emergent states und Teamtyp 111 6.5.5 Ergebnisse (emergent states – Teamtyp) 113 6.6 Zusammenfassung der Ergebnisse 115 6.7 Kritische Reflexion 115 7 Entwicklung und Erprobung eines Behavioral-Marker-Systems zur Messung und Bewertung von Team(arbeits)prozessen für Rettungsdienstteams 117 7.1 Inhaltlicher und methodischer Mehrwert durch Verhaltensbeobachtung 117 7.2 Vorgehen zur Entwicklung eines Verhaltensmarkersystems (behavioral marker system) 118 7.3 Theoretische Ableitung von Verhaltensmarkern zur Messung und Bewertung von Team(arbeits)prozessen und Teamerfolg 120 7.4 Übersicht zu Verhaltensmarker-Ansätzen 121 7.4.1 Verhaltensmarker-Ansätze 121 7.4.2 Evaluationsstudien 122 7.5 Ableitung für die vorliegende Untersuchung 123 7.6 Untersuchungskonstrukte 126 7.6.1 Elemente: Teamaufgabe und Organisationales System 127 7.6.2 Konstrukt Teamerfolg 128 7.6.3 Messung und Bewertung des Konstrukts Teamerfolg 129 7.6.4 Konstrukt Teamprozesse 130 7.6.5 Messung und Bewertung von Teamprozessen 131 7.7 Erhebungsverfahren und -instrumente 136 7.7.1 Schriftliche Befragung 136 7.7.2 Teilnehmende Verhaltensbeobachtung – Beobachtungsbogen für Teamprozesse 139 8 Methodologische Einordnung der experimentellen Studie 142 9 Experimentelle Untersuchung 145 9.1 Experimentelles Forschungsdesign 145 9.2 Stichprobe 147 9.3 Schulungs-und Trainingsmaßnahmen samt Fallbeispiel 148 9.3.1 Konzeption der Schulungs- und Trainingsmaßnahmen 148 9.3.2 Ablauf der Schulungs- und Trainingsmaßnahmen 149 9.3.3 Konzeption des Simulationsszenarios ‚Traumamanagement‘ 152 9.4 Datenerhebung und Auswertungsverfahren 155 10 Ergebnisse der experimentellen Studie 159 10.1 Fragebogenerhebung 159 10.1.1 Stichprobenbeschreibung 159 10.1.2 Deskriptive Statistiken 161 10.1.3 Ergebnisse der Fragebogenerhebung der Teilstichprobe 164 10.1.4 Vorbereitung und Ablauf der Simulation 167 10.1.5 Beobachtungsschemata zur Bewertung der nichtfachlichen-interaktiven Team(arbeits)prozesse 167 10.2 Auswertung der nichtfachlichen-interaktiven Team(arbeits)prozesse und medizinisch-fachlichen Fähigkeiten 171 10.2.1 Analyse der Team(arbeits)prozesse 171 10.2.2 Analyse der medizinisch-fachlichen Fähigkeiten 178 10.3 Diskussion und Reflexion der Ergebnisse 180 10.3.1 Diskussion der Methodik 180 10.3.2 Diskussion der Ergebnisse 182 11 Zusammenfassung und Ausblick 183 Literaturverzeichnis 187 Erklärung 209 Anhang 210 A.1 Übersicht Sample Interviewstudie 210 A.2 Überblick Studien zur HregT und Teamarbeit 212 A.3 Zuordnung der nichtfachlichen-interaktiven Team(arbeits)prozesse zu den Phasen des Fallbeipiels ‚Traumamanagement‘ 237 A.4 Nichtfachliche Beobachtungsbogen 249

<p dir="ltr">Vocabulary is a crucial element in second language learning. However, researchers in vocabulary acquisition express concerns about students’ successful acquisition of vocabulary (e.g., no significant gain after one semester of instruction (Clark & Ishida, 2005)) and the limited classroom instruction dedicated to vocabulary. In an effort to address these issues, the present study developed an online vocabulary learning system intended for use as homework, incorporating relevant theories, hypotheses, and empirical findings from existing literature and investigated its effectiveness employing a mixed-methods design.</p><p dir="ltr">For the quantitative component, students’ vocabulary gains were measured across three aspects of vocabulary knowledge (breadth/size, depth, and speed of access). A three-week experiment was conducted with students enrolled in the third-semester Japanese language course at a US Midwest institution. The final dataset included 54 students’ data. The experimental group (<i>n</i> = 28) utilized the new system to learn target words, while the control group (<i>n</i> = 26) used the current system employed in the course. The current system is also operated online and includes two types of exercises (i.e., listen-and-repeat and flashcards). ANCOVAs were employed to identify any significant differences between the groups, controlling for their pretest scores. Additionally, regression analyses were conducted to explore the relationship between the time the experimental group students spent learning new words using the new system and their outcomes, while also controlling for their pretest scores.</p><p dir="ltr">For the qualitative component, eight students from the same participant pool as the quantitative component participated in one-hour focus group discussions, conducted separately for the experimental and control groups.</p><p dir="ltr">The quantitative analysis revealed no significant differences between the groups; however, it was found that the time spent by the experimental group learning new words using the system significantly predicted two aspects of vocabulary knowledge. The qualitative data offered insights into potential explanations for the lack of significant differences between the groups, including the influence of students’ motivation on the experiment and the perceived difficulty level of the vocabulary exercises implemented in the new system. Based on the results of the present study, numerous suggestions are made for future development projects of similar systems and research.</p>