Das Forschungsfeld der Bildungsforschung befindet sich seit der ersten PISA-Studie in einer starken Expansionsphase. Bisherige Analysen dieses Feldes beschränken sich allerdings auf allgemeine Übersichten zu verschiedenen Aspekten, etwa zum Personal, zur Finanzierung, zu Forschungsprojekten oder zu Publikationen. Das Ziel der Dissertation ist es dagegen, speziell die kognitiven Strukturen der Bildungsforschung in Deutschland, und hier insbesondere die in diesem Feld behandelten Forschungsthemen sowie seine Wissensbasis, mittels der bibliometrischen Methoden der Kowort- und der Referenzanalyse zu untersuchen. Die Datengrundlage bildeten zum einen die Schlagwörter zu 23389 Publikationen des Zeitraums 2000 bis 2009, die durch eine schlagwortbasierte Suche in der FIS Bildung Literaturdatenbank ermittelt wurden. Zum anderen die in den Beiträgen der dritten Auflage des Handbuchs Bildungsforschung zitierten 3921 Referenzen. Die Ergebnisse der Referenzanalysen zeigen eine nach wie vor sehr große Bedeutung der Publikationstypen Monographie und Sammelband und einen relativ starken nationalen Fokus im Zitationsverhalten, aber auch große Unterschiede in den Zitationsmustern zwischen den einzelnen Beiträgen. Zudem zeigt sich, dass die Schulleistungsstudien und die Bildungsberichte die einflussreichsten Publikationen der aktuellen Bildungsforschung darstellen und die Pädagogik, die Soziologie, die Psychologie sowie die Wirtschaftswissenschaften die wichtigsten Bezugsdisziplinen. In der Analyse der thematischen Schwerpunkte bestätigt sich die zentrale Rolle des Themenbereichs Schülerleistung und ist ein Bedeutungszuwachs der Forschung zum Thema Lernen zu erkennen. Aus den Analysen lässt sich folgern, dass Handbücher eine informative, aber noch wenig genutzte, Datenquelle der Wissenschaftsforschung darstellen. Ferner sind mit der Methode der Kowortanalyse auch differenziertere Untersuchungen von Forschungsfeldern, die nicht gut in Zitationsdatenbanken abgedeckt sind, möglich. / Since the first PISA study the field of educational research is going through a phase of strong expansion. Previous analyses of the field are largely confined to general overviews of various aspects like scientific staff, funding, research projects or publications. The aim of the thesis, in contrast, is to study the cognitive structures of educational research in Germany, in particular the research topics and the knowledge base of the field, using the bibliometric methods of co-word analysis and reference analysis. Two data sources were used: the keywords of 23389 publications from the period 2000 to 2009. These publications were identified by a keyword-based search in the German Education Index. And the 3921 references cited in the articles of the third edition of the Handbuch Bildungsforschung. The results of the reference analysis show a high relevance of the document types monograph and edited book and a relatively strong national focus but also considerable differences in the citation patterns of the individual articles. Furthermore, student assessment studies and education reports are the most influential publications of current educational research and pedagogy, socioloy, psychology and economics the main reference disciplines. The analysis of the thematic priorities reaffirms the central role of the topic student achievement and shows a growing importance of the issue of learning. It can be concluded that handbooks are an informative but still largely unexplored data source in science studies. Moreover, the method of co-word analysis facilitates more detailed investigations of research fields that are not well covered in citation indexes.

Publikationen, die nicht in Web of Science bzw. Scopus indexiert sind, werden als sogenannte „non-source items“ bezeichnet. Bislang wurden sie in bibliometrischen Studien vernachlässigt. Das zentrale Anliegen dieser Studie ist die Untersuchung der Publikations- und Zitationscharakteristika von Dokumenten in den Sozialwissenschaften unter besonderer Berücksichtigung von non-source items, unabhängig vom jeweiligen Dokumenttyp. Indem die Publikationen zweier führender deutscher politikwissenschaftlicher Universitätsinstitute ausgewertet werden, werden die Auswirkungen der Berücksichtigung von non-source items in bibliometrischen Evaluationen in den Sozialwissenschaften untersucht und die folgenden drei Forschungsfragen beantwortet: FF1: Was sind die Charakteristika von Publikationen in den Politikwissenschaften? FF2: Was sind Charakteristika von non-source-items und wie ist deren Impact in der Politikwissenschaft? FF3: Wie können non-source items in bibliometrische Evaluation eingeschlossen werden? Kurz gefasst lässt sich festhalten, dass non-source items in bibliometrischen Evaluationen berücksichtigt werden sollten, unabhängig von ihrem Impact oder ihrer Zitationen. Eine umfassendere Zitationsdatenbank ist notwendig, um qualitativ hochwertige Evaluationen in den Sozialwissenschaften zu ermöglichen. Die Autorin schlägt verschiedene Möglichkeiten vor, den Impact von non-source items in der Politikwissenschaft zu untersuchen und macht einen Vorschlag zur alternativen Evaluation basierend auf Publikations- und Zitationsmustern. Die Strukturen der hier erörterten Formel, Datenbank und des Evaluationssystems können gleichermaßen in anderen sozialwissenschaftlichen Disziplinen angewendet werden. Allerdings sind weitere empirische Untersuchungen in anderen Disziplinen notwendig, um die entsprechenden Faktoren und Werte bestimmen zu können, da die Disziplinen stark heterogen sind. / Publications that are not indexed by Web of Science or Scopus are named “non-source items”. These have so far been neglected by most bibliometric analyses. The central issue of this study is to investigate the publication and citation characteristics of items in the social sciences with special attention to non-source items of all document types. By analyzing the publications of two top-ranking political science university departments in Germany, this study explores the effect of the inclusion of non-source items in bibliometric evaluations in the social sciences, and answers the following three research questions: RQ1: What are the characteristics of publications in political science? RQ2: What are the characteristics and impact of non-source items in political science? RQ3: How to include non-source items into bibliometric evaluation in political science? In short, the results of this study show that non-source items should be included in bibliometric evaluations, regardless of their impact or the citations from them. The demand for a more comprehensive coverage of bibliometric databases in the social sciences for a higher quality of evaluations is shown. The author proposes several approaches to investigate the impact of non-source items in political science and suggests an alternative to evaluate German political scientists according to their publication and citation patterns. The empirical findings of this study can serve as valuable information to investigators of the social sciences. However, further empirical studies in different fields are needed, due to the significant heterogeneity among fields in the social sciences.

Zitationsnetzwerke akademischer Publikationen werden zur Themenerkennung und -verfolgung mittels bibliometrischer Verfahren erstellt und zerteilt. Ergebnisse können jedoch nicht gegen eine Grundwahrheit geprüft werden. In vielen Arbeiten des Feldes fehlt es an Argumentation, Dokumentation und Validation für Entscheidungen im Prozess der Datenverarbeitung. Die Dissertation geht mit einem umfassenden Literaturreview und programmierten Experimenten in die Tiefe und identifiziert Abhängigkeiten. Diese Forschungsfragen werden beantwortet: #1 Welche Variablen beeinflussen die Themenerkennung und -verfolgung? #2 Welche Variablenwerte werden in der Literatur berichtet und wie wird gemessen? #3 In welchem Ausmaß unterscheiden sich Ergebnisse verschiedener Konfigurationen? Kapitel 1 führt in die Problematik ein und stellt Kontext her. In Kapitel 2 werden Annahmen der Bibliometrie beispielhaft seziert und das tatsächliche Zitationsverhalten aus Studien zusammengetragen. Kapitel 3 behandelt Datenquellen, deren Probleme und Selektion als Abhängigkeit. Kapitel 4 betrachtet verschiedene Aspekte von Forschungssoftware, die in bisherigen Untersuchungen als Einflussfaktor unterrepräsentiert blieb und schließt mit einem Review relevanter Software. Kapitel 5 behandelt verbreitete Datenmodelle und Algorithmen und dokumentiert Validations- und Vergleichstechniken. Im Kapitel 6 werden Ansätze zur Themenverfolgung diskutiert und Cluster Labels werden als Abhängigkeit identifiziert. Kapitel 7 zeigt die Datenquelle, Softwarekonfigurationen, Datenmodelle, Algorithmen und Vergleichsmethoden als Einflussfaktoren auf. Nur wenige Cluster ähneln sich in einer Weise, dass man vom "gleichen" Thema sprechen könnte. Die Arbeit zeigt, dass jede Prozessentscheidung Einfluss auf das Endergebnis nimmt und die weit verbreiteten Themenerkennungsstudien kaum mehr als lokale und stark subjektive Datenexplorationen sind. / Scholarly publications are used to construct citation-based networks and cluster algorithms are utilized to delineate topics from such networks. Topics are also investigated for development over time. Since there is no baseline, results validation is not trivial. Many scientometric publications lack argumentation, documentation and validation of decisions made in the processw. The dissertation provides an extensive literature review and reports programmed experiments for the identification of process dependencies. The following research questions are answered: #1 Which variables affect the outcome of topic delineation and tracking? #2 What variable values are reported in the literature and how are they measured? #3 To what extent does topic delineation and tracking yield different results for varied configurations? Chapter 1 introduces the situation and provides context of research evaluation. In chapter 2 we dissect assumptions and collect evidence about actual citation behavior. Chapter 3 deals with data sources, their problems and data utliziation as a dependency. Chapter 4 covers research software as an underreported dependency and reviews selected bibliometric applications. Chapter 5 discusses several suggested data models and algorithms including validation and comparison techniques. In chapter 6 we document topic tracking approaches, their influence and the cluster labels as dependencies. Chapter 7 reports the data model, software configurations, algorithms and comparison methods as dependencies. Only a miniscule number of clusters are similar enough to represent the 'same topic'. The dissertation showcases, that every decision in a topic delineation and tracking process affects the results. Scientometric topic delineation and tracking studies should be considered local and highly subjective data exploration exercises.