Research in information retrieval deals with the theories and models that constitute the foundations for any kind of service that provides access or pointers to particular elements of a collection of documents in response to a submitted information need. The specific field of information retrieval evaluation is concerned with the critical assessment of the quality of search systems. Empirical evaluation based on the Cranfield paradigm using a specific collection of test queries in combination with relevance assessments in a laboratory environment is the classic approach to compare the impact of retrieval systems and their underlying models on retrieval effectiveness. In the past two decades international campaigns, like the Text Retrieval Conference, have led to huge advances in the design of experimental information retrieval evaluations. But in general the focus of this system-driven paradigm remained on the comparison of system results, i.e. retrieval systems are treated as black boxes. This approach to the evaluation of retrieval system has been criticised for treating systems as black boxes. Recent works on this subject have proposed the study of the system configurations and their individual components. This thesis proposes a generic approach to the evaluation of retrieval systems at the component-level. The focus of the thesis at hand is on the key components that are needed to address typical ad-hoc search tasks, like finding books on a particular topic in a large set of library records. A central approach in this work is the further development of the Xtrieval framework by the integration of widely-used IR toolkits in order to eliminate the limitations of individual tools. Strong empirical results at international campaigns that provided various types of evaluation tasks confirm both the validity of this approach and the flexibility of the Xtrieval framework. Modern information retrieval systems contain various components that are important for solving particular subtasks of the retrieval process. This thesis illustrates the detailed analysis of important system components needed to address ad-hoc retrieval tasks. Here, the design and implementation of the Xtrieval framework offers a variety of approaches for flexible system configurations. Xtrieval has been designed as an open system and allows the integration of further components and tools as well as addressing search tasks other than ad-hoc retrieval. This approach ensures that it is possible to conduct automated component-level evaluation of retrieval approaches. Both the scale and impact of these possibilities for the evaluation of retrieval systems are demonstrated by the design of an empirical experiment that covers more than 13,000 individual system configurations. This experimental set-up is tested on four test collections for ad-hoc search. The results of this experiment are manifold. For instance, particular implementations of ranking models fail systematically on all tested collections. The exploratory analysis of the ranking models empirically confirms the relationships between different implementations of models that share theoretical foundations. The obtained results also suggest that the impact on retrieval effectiveness of most instances of IR system components depends on the test collections that are being used for evaluation. Due to the scale of the designed component-level evaluation experiment, not all possible interactions of the system component under examination could be analysed in this work. For this reason the resulting data set will be made publicly available to the entire research community. / Das Forschungsgebiet Information Retrieval befasst sich mit Theorien und Modellen, die die Grundlage für jegliche Dienste bilden, die als Antwort auf ein formuliertes Informationsbedürfnis den Zugang zu oder einen Verweis auf entsprechende Elemente einer Dokumentsammlung ermöglichen. Die Qualität von Suchalgorithmen wird im Teilgebiet Information Retrieval Evaluation untersucht. Der klassische Ansatz für den empirischen Vergleich von Retrievalsystemen basiert auf dem Cranfield-Paradigma und nutzt einen spezifischen Korpus mit einer Menge von Beispielanfragen mit zugehörigen Relevanzbewertungen. Internationale Evaluationskampagnen, wie die Text Retrieval Conference, haben in den vergangenen zwei Jahrzehnten zu großen Fortschritten in der Methodik der empirischen Bewertung von Suchverfahren geführt. Der generelle Fokus dieses systembasierten Ansatzes liegt jedoch nach wie vor auf dem Vergleich der Gesamtsysteme, dass heißt die Systeme werden als Black Box betrachtet. In jüngster Zeit ist diese Evaluationsmethode vor allem aufgrund des Black-Box-Charakters des Untersuchungsgegenstandes in die Kritik geraten. Aktuelle Arbeiten fordern einen differenzierteren Blick in die einzelnen Systemeigenschaften, bzw. ihrer Komponenten. In der vorliegenden Arbeit wird ein generischer Ansatz zur komponentenbasierten Evaluation von Retrievalsystemen vorgestellt und empirisch untersucht. Der Fokus der vorliegenden Dissertation liegt deshalb auf zentralen Komponenten, die für die Bearbeitung klassischer Ad-Hoc Suchprobleme, wie dem Finden von Büchern zu einem bestimmten Thema in einer Menge von Bibliothekseinträgen, wichtig sind. Ein zentraler Ansatz der Arbeit ist die Weiterentwicklung des Xtrieval Frameworks mittels der Integration weitverbreiteter Retrievalsysteme mit dem Ziel der gegenseitigen Eliminierung systemspezifischer Schwächen. Herausragende Ergebnisse im internationalen Vergleich, für verschiedenste Suchprobleme, verdeutlichen sowohl das Potenzial des Ansatzes als auch die Flexibilität des Xtrieval Frameworks. Moderne Retrievalsysteme beinhalten zahlreiche Komponenten, die für die Lösung spezifischer Teilaufgaben im gesamten Retrievalprozess wichtig sind. Die hier vorgelegte Arbeit ermöglicht die genaue Betrachtung der einzelnen Komponenten des Ad-hoc Retrievals. Hierfür wird mit Xtrieval ein Framework dargestellt, welches ein breites Spektrum an Verfahren flexibel miteinander kombinieren lässt. Das System ist offen konzipiert und ermöglicht die Integration weiterer Verfahren sowie die Bearbeitung weiterer Retrievalaufgaben jenseits des Ad-hoc Retrieval. Damit wird die bislang in der Forschung verschiedentlich geforderte aber bislang nicht erfolgreich umgesetzte komponentenbasierte Evaluation von Retrievalverfahren ermöglicht. Mächtigkeit und Bedeutung dieser Evaluationsmöglichkeiten werden anhand ausgewählter Instanzen der Komponenten in einer empirischen Analyse mit über 13.000 Systemkonfigurationen gezeigt. Die Ergebnisse auf den vier untersuchten Ad-Hoc Testkollektionen sind vielfältig. So wurden beispielsweise systematische Fehler bestimmter Ranking-Modelle identifiziert und die theoretischen Zusammenhänge zwischen spezifischen Klassen dieser Modelle anhand empirischer Ergebnisse nachgewiesen. Der Maßstab des durchgeführten Experiments macht eine Analyse aller möglichen Einflüsse und Zusammenhänge zwischen den untersuchten Komponenten unmöglich. Daher werden die erzeugten empirischen Daten für weitere Studien öffentlich bereitgestellt.

The problems of incidents arising in computer networks and the computer system security level evaluation are considered in the thesis. The main research objects are incidents arising in computer networks, intrusion detection systems and network scanning types. The aim of the thesis is the investigation of the incidents in the computer networks and computer system security level evaluation. The following main tasks are solved in the work: classification of attacks and numerical evaluation of the attack severity level evaluation; quantitative evaluation of the computer system security level; investigation of the dependence of the computer system performance and availability on the attacks affecting the system and defense mechanisms used in it; development of the model simulating the computer network horizontal and vertical scanning. The thesis consists of general characteristic of the research, five chapters and general conclusions. General characteristic of the thesis is dedicated to an introduction of the problem and its topicality. The aims and tasks of the work are also formulated; the used methods and novelty of solutions are described; the author‘s publications and structure of the thesis are presented. Chapter 1 covers the analysis of existing publications related to the problems of the thesis. The survey of the intrusion detection systems is presented and methods of the intrusion detection are analyzed. The currently existing techniques of the attack classification are... [to full text] / Disertacijoje nagrinėjamos incidentų kompiuterių tinkluose ir kompiuterių sistemų saugumo lygio įvertinimo problemos. Pagrindiniai tyrimo objektai yra incidentai kompiuterių tinkluose, atakų atpažinimo sistemos ir kompiuterių tinklo žvalgos būdai. Disertacijos tikslas – incidentų kompiuterių tinkluose tyrimas ir kompiuterių sistemų saugumo lygio įvertinimas. Darbe sprendžiami šie pagrindiniai uždaviniai: atakų klasifikavimas ir jų sunkumo lygio skaitinis įvertinimas; kompiuterių sistemos saugumo lygio kiekybinis įvertinimas; kompiuterių sistemos našumo ir pasiekiamumo priklausomybės nuo sistemą veikiančių atakų ir joje naudojamų apsaugos mechanizmų tyrimas; modelio, imituojančio kompiuterių tinklo horizontalią ir vertikalią žvalgą kūrimas. Disertaciją sudaro įvadas, penki skyriai ir bendrosios išvados. Įvadiniame skyriuje nagrinėjamas problemos aktualumas, formuluojamas darbo tikslas bei uždaviniai, aprašomas mokslinis darbo naujumas, pristatomi autoriaus pranešimai ir publikacijos, disertacijos struktūra. Pirmasis skyrius skirtas literatūros apžvalgai. Jame apžvelgiamos atakų atpažinimo sistemos, analizuojami atakų atpažinimo metodai. Nagrinėjami atakų klasifikavimo būdai. Didelis dėmesys skiriamas kompiuterių sistemos saugumo lygio įvertinimo metodams, kompiuterių prievadų žvalgos būdams ir žvalgos atpažinimo metodams. Skyriaus pabaigoje formuluojamos išvados ir konkretizuojami disertacijos uždaviniai. Antrajame skyriuje pateikta sudaryta atakų nukreiptų į kompiuterių... [toliau žr. visą tekstą]

Die Dissertation beschreibt am Beispiel einer Längsschnittstudie in der Papierindustrie, wie Effekte von Maßnahmen der betrieblichen Gesundheitsförderung in geschätzten ökonomischen Nutzen übertragen werden können. Ausgangspunkt der Untersuchung ist das Variablen-Modell nach Locke und Latham (1990). Darauf aufbauend wurden geeignete Indikatoren und Messinstrumente ausgewählt und in mehreren Voruntersuchungen überprüft. Hauptinstrument ist ein Fragebogen, der im quasiexperimentellen Design zur Ist-Analyse und nach Umsetzung der Maßnahmen eingesetzt wurde. An der ersten Befragung im Oktober 2000 nahmen 320 Gewerbliche und Angestellte des Unternehmens (Rücklauf 89%), an der zweiten drei Jahre später 402 Mitarbeiter (Rücklauf 91%) teil. Für den Längsschnitt standen die Fragebögen von 118 Mitarbeitern zur Verfügung. Neben den Fragebogendaten wurden personbezogene Daten zum Krankenstand erhoben, die auf freiwilliger Basis mit den Fragebogendaten verknüpft wurden, worauf sich 71% der im Jahr 2000 Befragten und 80% der im Jahr 2003 Befragten einlassen konnten. Zur Absicherung der Validität kamen weitere Untersuchungsmethoden zum Einsatz: für 19 Tätigkeiten wurde eine objektive arbeitspsychologische Tätigkeitsanalyse (Pohlandt, Schulze, Jordan & Richter, 2002) durchgeführt, die beteiligten Bereiche wurden in einem Rankingverfahren durch betriebliche Experten eingeschätzt, die organisationale Einbindung der betrieblichen Gesundheitsförderung wurde zu beiden Untersuchungszeitpunkten mit Hilfe des Fragebogens von Breucker (Prävention online, 2000) erfasst, es fanden 22 strukturierte Interviews mit den Beschäftigten zur Einschätzung der durchgeführten Maßnahmen statt. Die Ergebnisse der ersten Mitarbeiterbefragung wurden zurückgemeldet, diskutiert und zu 12 Maßnahmen verdichtet. Diese 12 Maßnahmen wurden in die Zweitbefragung mit aufgenommen, wobei die aktive Beteiligung an ihnen und die Zufriedenheit mit ihrer Umsetzung eingeschätzt werden sollten. Zur Ermittlung der Effizienz wurden eine erweiterte Kosten-Nutzen-Analyse (nach Schmidt, Hunter & Pearlman, 1982) und eine Kosten-Nutzwert-Analyse (nach Rinza & Schmitz, 1992) durchgeführt. Fast alle im Fragebogen erfassten Variablen hatten sich zwischen der ersten und zweiten Befragung signifikant verbessert (Arbeitsintensität, Tätigkeitsspielraum, Motivationspotenzial der Tätigkeit, soziale Unterstützung, sozialen Stressoren, Commitment, Arbeitszufriedenheit, allgemeines Befinden, psychosomatische Beschwerden). Nicht signifikant waren die Änderungen beim (multimodal beeinflussten) Krankenstand, sowie bei der Einschätzung der Führung. Bezüglich der Effektstärke konnte bei 9 der 12 Maßnahmen mindestens ein positiver Unterscheidungseffekt aufgezeigt werden. Bei der Ermittlung des (subjektiv erlebten) Nutzwertes der Maßnahmen kamen alle 12 Maßnahmen in den positiven Bereich. Mit der Kosten-Nutzen-Analyse wurde ein positives Kosten-Nutzen-Verhältnis für 6 der 9 verbleibenden Maßnahmen (zwischen 1:71 und 1:1,5) ermittelt. Diese Ergebnisse wurden kritisch hinterfragt und durch Einbeziehung von Diskontierung, spezifischen Effizienzkriterien, Sensitivitätsanalysen und Worst-Case-Berechnung relativiert (vgl. Anforderungen nach Drummond, O´Brien, Stoddart & Torrance, 1987/1997). Im Vergleich zur Kosten-Nutzen-Analyse wurden bei der Kosten-Nutzwert-Analyse deutlich andere Rangreihen ermittelt. Die kritische Gesamtschau der Ergebnisse ermöglicht spezifische Empfehlungen für fünf Maßnahmengruppen. Es zeigte sich, dass die gemeinsame Erörterung von Kosten-Nutzen-Analyse und Nutzwert zusätzliche und bisher nicht erfasste Aspekte beim Umgang mit den Maßnahmen eröffnet. / The thesis illustrates a longitudinal study in the paper industry. It shows how effects resulting from measures of occupational health promotion may be translated into an estimated economic advantage. The starting point of the study is the high performance cycle (Locke & Latham: 1990). Proceeding from that, appropriate indicators and measuring instruments were selected and tested in several pre-studies. The main instrument is a questionnaire, used in a comparative design before and after the translation of the measures into practice. 320 white- and blue-collar workers took part in the first survey in October 2000 (response rate 89%), whereas 402 workers participated in the second survey which was conducted three years later (response rate 91%). After all, complete data sets for the longitudinal analysis were available from 118 participants. Apart from that personal data concerning absenteeism were used, which were then connected to the questionnaire data on a voluntary basis. Whereas in 2000, in the first survey, 71% of the participants agreed to the connection of their personal data with the questionnaire, 80% agreed to it in the second survey, in 2003. To guarantee the questionnaire?s validity an array of additional methods was used: an objective occupational job analysis (Pohlandt, Schulze, Jordan & Richter, 2002) of 19 different occupations was carried out and the company?s experts evaluated the branches involved by ranking. Furthermore the organizational embedding of occupational health promotion measures was investigated in both surveys with the help of Breucker?s questionnaire (Prevention online, 2000) and additionally 22 structured interviews with the employees took place in order to evaluate the acceptance of the measures conducted. The results of the first employee survey were reported back, discussed and condensed into 12 measures. These 12 measures were then included in the second survey when the employees? active participation in the measures? implementation and their satisfaction with the measures? effects should be evaluated. To determine the measures? actual efficiency an extended cost-benefit-analysis (with reference to Schmidt, Hunter & Pearlman: 1982) and a cost-utility-analysis (with reference to Rinza & Schmitz: 1992) were conducted. Nearly all variables investigated in the questionnaire had significantly improved between the first and the second survey (indicators of job demands, occupational scope, motivational potential of occupation, social support, social stressors, commitment, job satisfaction, well-being, psychosomatic complaints). Changes in (multi-modally influenced) absenteeism and in the evaluation of the management?s style of leadership were not significant. Referring to the effects? impact 9 out of 12 measures proved to be positively significant in at least one criterion, whereas referring to (subjectively felt) utility all 12 measures turned out to be positively significant. In six of the remaining nine measures the cost-benefit-analysis resulted in a positive cost-benefit-relation (between 1:71 and 1:1,5). These results were critically discussed and taking into account discounting, specific result-criteria, sensitivity analyses and worst case assessment (see quality principles by Drummond, O´Brien, Stoddart & Torrance, 1987/1997) finally adjusted. Comparing the cost-benefit and cost-utility analyses resulted in significantly different rankings. The critical overall view allows for specific recommendations for five measure-groups. Finally, the joint discussion of the cost-benefit analysis and utility turned out to open up additional aspects of how to conduct the measures in future, which have not been described so far.

Die Dissertation beschreibt am Beispiel einer Längsschnittstudie in der Papierindustrie, wie Effekte von Maßnahmen der betrieblichen Gesundheitsförderung in geschätzten ökonomischen Nutzen übertragen werden können. Ausgangspunkt der Untersuchung ist das Variablen-Modell nach Locke und Latham (1990). Darauf aufbauend wurden geeignete Indikatoren und Messinstrumente ausgewählt und in mehreren Voruntersuchungen überprüft. Hauptinstrument ist ein Fragebogen, der im quasiexperimentellen Design zur Ist-Analyse und nach Umsetzung der Maßnahmen eingesetzt wurde. An der ersten Befragung im Oktober 2000 nahmen 320 Gewerbliche und Angestellte des Unternehmens (Rücklauf 89%), an der zweiten drei Jahre später 402 Mitarbeiter (Rücklauf 91%) teil. Für den Längsschnitt standen die Fragebögen von 118 Mitarbeitern zur Verfügung. Neben den Fragebogendaten wurden personbezogene Daten zum Krankenstand erhoben, die auf freiwilliger Basis mit den Fragebogendaten verknüpft wurden, worauf sich 71% der im Jahr 2000 Befragten und 80% der im Jahr 2003 Befragten einlassen konnten. Zur Absicherung der Validität kamen weitere Untersuchungsmethoden zum Einsatz: für 19 Tätigkeiten wurde eine objektive arbeitspsychologische Tätigkeitsanalyse (Pohlandt, Schulze, Jordan & Richter, 2002) durchgeführt, die beteiligten Bereiche wurden in einem Rankingverfahren durch betriebliche Experten eingeschätzt, die organisationale Einbindung der betrieblichen Gesundheitsförderung wurde zu beiden Untersuchungszeitpunkten mit Hilfe des Fragebogens von Breucker (Prävention online, 2000) erfasst, es fanden 22 strukturierte Interviews mit den Beschäftigten zur Einschätzung der durchgeführten Maßnahmen statt. Die Ergebnisse der ersten Mitarbeiterbefragung wurden zurückgemeldet, diskutiert und zu 12 Maßnahmen verdichtet. Diese 12 Maßnahmen wurden in die Zweitbefragung mit aufgenommen, wobei die aktive Beteiligung an ihnen und die Zufriedenheit mit ihrer Umsetzung eingeschätzt werden sollten. Zur Ermittlung der Effizienz wurden eine erweiterte Kosten-Nutzen-Analyse (nach Schmidt, Hunter & Pearlman, 1982) und eine Kosten-Nutzwert-Analyse (nach Rinza & Schmitz, 1992) durchgeführt. Fast alle im Fragebogen erfassten Variablen hatten sich zwischen der ersten und zweiten Befragung signifikant verbessert (Arbeitsintensität, Tätigkeitsspielraum, Motivationspotenzial der Tätigkeit, soziale Unterstützung, sozialen Stressoren, Commitment, Arbeitszufriedenheit, allgemeines Befinden, psychosomatische Beschwerden). Nicht signifikant waren die Änderungen beim (multimodal beeinflussten) Krankenstand, sowie bei der Einschätzung der Führung. Bezüglich der Effektstärke konnte bei 9 der 12 Maßnahmen mindestens ein positiver Unterscheidungseffekt aufgezeigt werden. Bei der Ermittlung des (subjektiv erlebten) Nutzwertes der Maßnahmen kamen alle 12 Maßnahmen in den positiven Bereich. Mit der Kosten-Nutzen-Analyse wurde ein positives Kosten-Nutzen-Verhältnis für 6 der 9 verbleibenden Maßnahmen (zwischen 1:71 und 1:1,5) ermittelt. Diese Ergebnisse wurden kritisch hinterfragt und durch Einbeziehung von Diskontierung, spezifischen Effizienzkriterien, Sensitivitätsanalysen und Worst-Case-Berechnung relativiert (vgl. Anforderungen nach Drummond, O´Brien, Stoddart & Torrance, 1987/1997). Im Vergleich zur Kosten-Nutzen-Analyse wurden bei der Kosten-Nutzwert-Analyse deutlich andere Rangreihen ermittelt. Die kritische Gesamtschau der Ergebnisse ermöglicht spezifische Empfehlungen für fünf Maßnahmengruppen. Es zeigte sich, dass die gemeinsame Erörterung von Kosten-Nutzen-Analyse und Nutzwert zusätzliche und bisher nicht erfasste Aspekte beim Umgang mit den Maßnahmen eröffnet. / The thesis illustrates a longitudinal study in the paper industry. It shows how effects resulting from measures of occupational health promotion may be translated into an estimated economic advantage. The starting point of the study is the high performance cycle (Locke & Latham: 1990). Proceeding from that, appropriate indicators and measuring instruments were selected and tested in several pre-studies. The main instrument is a questionnaire, used in a comparative design before and after the translation of the measures into practice. 320 white- and blue-collar workers took part in the first survey in October 2000 (response rate 89%), whereas 402 workers participated in the second survey which was conducted three years later (response rate 91%). After all, complete data sets for the longitudinal analysis were available from 118 participants. Apart from that personal data concerning absenteeism were used, which were then connected to the questionnaire data on a voluntary basis. Whereas in 2000, in the first survey, 71% of the participants agreed to the connection of their personal data with the questionnaire, 80% agreed to it in the second survey, in 2003. To guarantee the questionnaire?s validity an array of additional methods was used: an objective occupational job analysis (Pohlandt, Schulze, Jordan & Richter, 2002) of 19 different occupations was carried out and the company?s experts evaluated the branches involved by ranking. Furthermore the organizational embedding of occupational health promotion measures was investigated in both surveys with the help of Breucker?s questionnaire (Prevention online, 2000) and additionally 22 structured interviews with the employees took place in order to evaluate the acceptance of the measures conducted. The results of the first employee survey were reported back, discussed and condensed into 12 measures. These 12 measures were then included in the second survey when the employees? active participation in the measures? implementation and their satisfaction with the measures? effects should be evaluated. To determine the measures? actual efficiency an extended cost-benefit-analysis (with reference to Schmidt, Hunter & Pearlman: 1982) and a cost-utility-analysis (with reference to Rinza & Schmitz: 1992) were conducted. Nearly all variables investigated in the questionnaire had significantly improved between the first and the second survey (indicators of job demands, occupational scope, motivational potential of occupation, social support, social stressors, commitment, job satisfaction, well-being, psychosomatic complaints). Changes in (multi-modally influenced) absenteeism and in the evaluation of the management?s style of leadership were not significant. Referring to the effects? impact 9 out of 12 measures proved to be positively significant in at least one criterion, whereas referring to (subjectively felt) utility all 12 measures turned out to be positively significant. In six of the remaining nine measures the cost-benefit-analysis resulted in a positive cost-benefit-relation (between 1:71 and 1:1,5). These results were critically discussed and taking into account discounting, specific result-criteria, sensitivity analyses and worst case assessment (see quality principles by Drummond, O´Brien, Stoddart & Torrance, 1987/1997) finally adjusted. Comparing the cost-benefit and cost-utility analyses resulted in significantly different rankings. The critical overall view allows for specific recommendations for five measure-groups. Finally, the joint discussion of the cost-benefit analysis and utility turned out to open up additional aspects of how to conduct the measures in future, which have not been described so far.