No description available.

Probabilistic model checking mainly concentrates on techniques for reasoning about the probabilities of certain path properties or expected values of certain random variables. For the quantitative system analysis, however, there is also another type of interesting performance measure, namely quantiles. A typical quantile query takes as input a lower probability bound p ∈ ]0,1] and a reachability property. The task is then to compute the minimal reward bound r such that with probability at least p the target set will be reached before the accumulated reward exceeds r. Quantiles are well-known from mathematical statistics, but to the best of our knowledge they have not been addressed by the model checking community so far. In this paper, we study the complexity of quantile queries for until properties in discrete-time finite-state Markov decision processes with nonnegative rewards on states. We show that qualitative quantile queries can be evaluated in polynomial time and present an exponential algorithm for the evaluation of quantitative quantile queries. For the special case of Markov chains, we show that quantitative quantile queries can be evaluated in pseudo-polynomial time.

Delay Discounting im Sinne eines Abwertens zukünftiger Belohnungen ist ein weit verbreitetes Phänomen. Es zeigt sich z. B. in persönlichen Angelegenheiten, wie der Entscheidung für den kurzfristigen Genuss von Süßigkeiten und gegen die langfristigen, durchaus größeren Vorteile einer schlanken Figur. Auch internationale wirtschaftliche und politische Diskussionen zum Klimaschutz oder der Finanzkrise werden von der Präferenz für sofortige, kleinere Belohnungen über verzögerte, größere Belohnungen getrieben. In der Psychologie wird Delay Discounting als Maß für Impulsivität bzw. Selbstkontrolle mit dem Auftreten von Aufmerksamkeitsdefizit-Hyperaktivitäts-Syndromen und von Abhängigkeitserkrankungen in Verbindung gebracht. Bezüglich der neuronalen Grundlagen von Delay Discouting ist mithilfe von sogenannten Intertemporal Choice Tasks bereits herausgefunden worden, dass die Entscheidung für eine sofortige Belohnung stärkere neuronale Aktivierung in belohnungsspezifischen Gehirnregionen evoziert als die Entscheidung für eine verzögerte Belohnung. Außerdem wurden sowohl theoretisch wie auch empirisch ein impulsives und ein reflektives System als Grundlage des Delay Discounting beschrieben, deren Existenz jedoch von manchen Wissenschaftlern angezweifelt wird. Ebenso wird angezweifelt, ob Delay Discounting unabhängig vom Einsatz von Intertemporal Choice Tasks und der damit verbundenen Entscheidung zwischen zwei Alternativen überhaupt besteht. Da die neuronalen Grundlagen des Delay Discounting und des impulsiven und reflektiven Systems bisher nicht unabhängig von einer Entscheidungsaufgabe erfasst wurden, konnten diese Zweifel nicht ausgeräumt werden. Ebenso ist zurzeit unbekannt, ob sich die neuronalen Korrelate des Delay Discounting bei Personen mit unterschiedlichen Persönlichkeitseigenschaften, bei Männern und Frauen, bei Rauchern und Nichtrauchern und in Abhängigkeit von verschiedenen Genvarianten unterscheiden. Um diese Lücke zu schließen, ist im Rahmen der vorliegenden Arbeit ein neuartiges Delay Discounting Paradigma zum Einsatz im Magnetresonanztomographen entwickelt worden. Dieses Paradigma ähnelt einem Monetary Incentive Delay Task und ermöglicht es, neuronale Aktivierung bei der Antizipation und bei dem Erhalt einer einzelnen Belohnung zu einem Zeitpunkt zu erfassen. Außerdem kann nach der Antizipation einer Belohnung, die sich durch eine bestimmte Höhe (0,05 €, 0,50 €, 1,00 €) und eine bestimmte Auszahlungsverzögerung (0 Tage, 10 Tage, 100 Tage) auszeichnet, in einer einfachen visuellen Diskriminationsaufgabe eine Reaktionszeit erfasst werden, die als behaviorales Maß für die inzentive Motivation fungiert. Zusammen mit einer Erfassung verschiedener Persönlichkeitseigenschaften und einer Genotypisierung für den COMT Val 158 Met Polymorphismus, den DRD2 Taq 1 A Polymorphismus und den DAT 1 Polymorphismus ist das Delay Discounting Paradigma an insgesamt 90 Probanden im Magnetresonanztomographen eingesetzt worden, so dass 84 auswertbare Datensätze gewonnen werden konnten. Diese 84 Datensätze stammten insgesamt von 42 Frauen und 42 Männern bzw. von 43 strikten Nichtrauchern, 38 starken Rauchern und drei Gelegenheitsrauchern. Anhand der Auswertung der Gesamtstichprobe konnte bestätigt werden, dass das Delay Discounting Paradigma belohnungs- und verzögerungsspezifisch unterschiedliche Reaktionszeiten und unterschiedliche neuronale Aktivierung hervorruft. In belohnungsverarbeitenden Gehirnregionen wie dem ventralen Striatum zeigte sich sowohl stärkere Aktivierung für größere Belohnungen als auch für Belohnungen, die früher ausgezahlt wurden. Damit steht fest, dass Delay Discounting unabhängig von der Entscheidung zwischen zwei Alternativen auftritt. Außerdem konnte erstmalig ein Interaktionseffekt zwischen Belohnungshöhe und Belohnungsverzögerung aufgedeckt werden: Es zeigte sich eine Abnahme der Differenzen in der neuronalen Aktivierung zwischen größter und kleinster Belohnung über die Zeit, was auf eine Indifferenz gegenüber der Höhe verzögerter Belohnung hindeutet. Ein Einfluss der Belohnungsverzögerung wurde allerdings nur beim Erhalt von Belohnungen messbar, bei der Antizipation von Belohnungen zeigte sich kein Delay Discounting Effekt. Bezüglich der Kontroverse zur Existenz eines impulsiven und reflektiven Systems konnten Ergebnisse gewonnen werden, die beide Positionen integrieren. So wurde zwar die Beteiligung von zwei distinkten neuronalen Systemen beim Abwerten zukünftiger Belohnungen bestätigt, allerdings zeigte sich auch, dass beide Systeme – in einem unterschiedlichen Ausmaß – verzögerte Belohnungen abwerten. Trotzdem wird von den vorliegenden Ergebnissen die Annahme, dass sich aus der Interaktion von impulsivem und reflektivem System impulsives und selbstkontrolliertes Verhalten ergeben kann, gestützt. Im Hinblick auf die interindividuellen Unterschiede, die in der vorliegenden Arbeit aufgedeckt werden sollten, haben sich vor allem Zusammenhänge zwischen dem subjektiv berichteten allgemeinen Stress der Versuchspersonen (operationalisiert über das Selbststeuerungsinventar) und der neuronalen Aktivität von Gehirnregionen, die dem impulsiven und reflektiven System zugeordnet werden, gezeigt. So ist bei niedrigem Stress das impulsive System signifikant weniger aktiviert als das reflektive System, während sich bei hohem Stress dieser Zusammenhang umkehrt. Die relative Hyperaktivierung des impulsiven Systems bei Stress könnte erklären, warum unter Stress vermehrt Rückfälle bei abhängigkeitserkrankten Probanden beobachtet werden. Außerdem ging starkes neuronales Delay Discounting in medial präfrontalen Gehirnregionen mit hohem Stress, ebenso wie mit hoher nichtplanender Impulsivität (gemessen anhand der Barratt Impulsivitätsskala) und mit geringer Selbstkontrolle (gemäß des Selbststeuerungsinventars) einher. Dieses Ergebnis belegt unter anderem, dass das neu entwickelte Delay Discounting Paradigma neuronale Prozesse abbildet, die mit Impulsivität und Selbstkontrolle in Verbindung stehen. Darüber hinaus konnte kongruent mit entsprechenden Vorbefunden ein Einfluss des COMT Val 158 Met Polymorphismus auf das neuronale Delay Discounting im ventralen Striatum und erstmalig ein Zusammenhang zwischen dem DRD2 Taq 1 A A1-Allel und neuronalem Delay Discounting im posterioren Cingulum aufgedeckt werden. Damit ist die Bedeutung des Neurotransmitters Dopamin, der durch die untersuchten Polymorphismen beeinflusst wird, für die neuronalen Grundlagen des Delay Discounting bestätigt worden. Zusammengenommen deuten sowohl die beschriebenen Befunde als auch die sonstigen Ergebnisse der Arbeit darauf hin, dass sich neuronales Delay Discounting interindividuell unterscheidet. Im Hinblick auf Pathologien, die mit diesem Phänomen in Verbindung stehen, sollte daher weitere Forschung zu interindividuellen Unterschieden und zu spezifischen Behandlungsmethoden erfolgen.

Eine phasische Ausschüttung des Neurotransmitters Dopamin wird u.a. mit positivem Affekt, der Reaktivität auf Neuheit und kognitiver Handlungssteuerung in Verbindung gebracht. In der vorliegenden Doktorarbeit wurde der dopaminerge Einfluss auf die Flexibilität und Stabilität der Handlungssteuerung untersucht. Für eine zielgerichtete Handlung sind beide antagonistischen Anforderungen notwendig. Einerseits müssen gewählte Handlungsabsichten gegenüber irrelevanten Ablenkungsreizen abgeschirmt und somit stabilisiert werden. Andererseits müssen diese Absichten im Falle handlungsrelevanter Änderungen der Situation flexibel angepasst werden. Als theoretische Grundlage für die vorliegende Arbeit dienten in diesem Zusammenhang folgende Kernthesen von Miller und Cohen (2001): (1) Der präfrontale Kortex (PFC) ist entscheidend an der Regulation der Handlungssteuerung beteiligt. (2) Eine phasische Dopaminausschüttung ermöglicht die Aufnahme neuer Reize im PFC und damit die Möglichkeit, gegebenenfalls aktuelle Regeln und Ziele zu ändern. (3) Eine phasische Dopaminausschüttung verschiebt demnach die Balance zwischen einer flexiblen und stabilen Handlungssteuerung in Richtung Flexibilität. In den ersten beiden Studien der vorliegenden Arbeit wurde der Einfluss interindividueller Unterschiede dopaminerger Aktivität auf die Flexibilität der Handlungssteuerung untersucht. Als Prädiktoren wurden die spontane Lidschlagrate (EBR), die Polymorphismen COMT Val-158-Met und DRD4 Exon III sowie das Geschlecht eingesetzt. In der dritten Studie sollte eine Dopaminausschüttung experimentell durch die Darbietung von Signalen einer potenziellen Belohnung (Geldgewinn) stimuliert werden. Hierdurch sollten die beobachteten Zusammenhänge aus den ersten beiden Studien erhärtet und in einem erweiterten theoretischen Kontext untersucht werden. In allen drei Studien zeigte sich ein signifikanter Zusammenhang von Lidschlagrate und kognitiver Flexibilität (mittleres η²=8%). Entsprechend der Vorhersage wurde mit steigender Lidschlagrate eine erhöhte Flexibilität beobachtet. Ferner ergaben sich Interaktionseffekte zwischen EBR und DRD 4 Exon III Polymorphismus bzw. EBR und Geschlecht, sowie ein Geschlechtshaupteffekt. Zur Stabilität dieser Effekte konnte jedoch jeweils keine abschließende Aussage gemacht werden. In der dritten Studie zeigte sich bei Darbietung des Belohnungssignals eine erhöhte kognitive Stabilität (η²=7%). Dieser Zusammenhang wurde vom subjektiven Erlebens des Experiments moderiert (η²=11%): Personen, die den Eindruck hatten, ohne große Anstrengung viel zu gewinnen, zeigten eine erhöhte kognitive Flexibilität. Diese beiden Befunde können innerhalb einer integrativen Theorie von Cohen et al. (2004) plausibel erklärt werden. Der Belohnungs-Haupteffekt könnte auf die Dominanz eines (noradrenergen) Wirkungspfades im Kontext der Wettkampfsituation hinweisen. Der moderierende Effekt des subjektiven Erlebens könnte gemäß der oben erläuterten Kernthesen von Miller und Cohen (2001) als gleichzeitige Flexibilisierung über den dopaminergen Wirkungspfad interpretiert werden, die insbesondere bei geringer wahrgenommener Anstrengung dominieren kann. Als wichtigstes Ergebnis der vorliegenden Arbeit kann zusammenfassend festgestellt werden, dass die Hypothese einer dopaminergen Beeinflussung der Flexibilitäts-Stabilitäts-Balance der kognitiven Handlungssteuerung durch die Ergebnisse der drei Studien unterstützt werden konnte. Dabei erwies sich insbesondere die spontane Lidschlagrate als zuverlässiger non-invasiver und effizient zu erhebender Prädiktor dopaminerger Aktivität. Der flexibilisierende Einfluss von Dopamin kann von einem stabilisierenden Einfluss überlagert werden. Dies ist insbesondere dann der Fall, wenn eine erforderliche Leistung zur Erreichung einer Belohnung als nützlich eingeschätzt und subjektiv als anstrengend wahrgenommen wird. / Converging evidence suggests a modulatory role of the neurotransmitter dopamine concerning reward, positive affect, novelty, and cognitive control. According to Miller and Cohen (2001) a phasic burst of dopamine shifts the balance between cognitive flexibility versus stability towards increased flexibility. Based on this assumption the current dissertation aimed at revealing associations between correlates of dopaminergic activity and the cognitive flexibility in an attentional set-shifting paradigm. In the first two studies we examined individual differences in the spontaneous eyeblink rate (EBR), the polymorphisms DRD4 exon III and COMT Val158Met polymorphism, as well as gender. In the third study we examined the impact of prospective monetary gains. Through this the findings of the first two studies should be validated and tested in an extended theoretical background. In all three studies an association between high EBR and increased cognitive flexibility was observed (mean η²=8%). Thus the main thesis of Miller and Cohen (2001) could be confirmed. Furthermore we observed interactions between EBR and DRD4 and EBR and gender, as well as a gender main effect on cognitive flexibility. In the third study we observed increased cognitive stability in the face of prospective gains (η²=7%). However, this effect was modulated by the subjective evaluation of the reward cues: participants who reported increasing their effort in response to reward cues showed increased cognitive stability whereas those who reported a positive and relaxed attitude towards the reward cues showed increased flexibility (η²=11%). The results thus suggest that the flexibility-stability-balance is modulated by the perceived effort needed to receive the potential reward.

Traffic light control (TLC) with transit signal priority (TSP) is an effective way to deal with urban congestion and travel delay. The growing amount of available connected vehicle data offers opportunities for signal control with transit priority, but the conventional control algorithms fall short in fully exploiting those datasets. This paper proposes a novel approach for dynamic TLC with TSP at an urban intersection. We propose a deep reinforcement learning based framework JenaRL to deal with the complex real-world intersections. The optimisation focuses on TSP while balancing the delay of all vehicles. A two-layer state space is defined to capture the real-time traffic information, i.e. vehicle position, type and incoming lane. The discrete action space includes the optimal phase and phase duration based on the real-time traffic situation. An intersection in the inner city of Jena is constructed in an open-source microscopic traffic simulator SUMO. A time-varying traffic demand of motorised individual traffic (MIT), the current TLC controller of the city, as well as the original timetables of the public transport (PT) are implemented in simulation to construct a realistic traffic environment. The results of the simulation with the proposed framework indicate a significant enhancement in the performance of traffic light controller by reducing the delay of all vehicles, and especially minimising the loss time of PT.

Belohnungen sind im Leben des Menschen von enormer Bedeutung. Es wurde vermutet, dass die zentralen sozialen Schwierigkeiten bei Autismus-Spektrum-Störungen (ASS) auf eine verminderte Reaktionsfähigkeit auf spezifische soziale Belohnungen zurückzuführen sein könnten. Die Literatur zu diesem Thema ist jedoch nicht schlüssig. Diese Dissertation umfasst vier Studien, die die Reaktionsfähigkeit auf soziale und nicht-soziale Belohnungen unter besonderer Berücksichtigung von ASS und autistischen Merkmalen untersuchen. In den Studien 1 und 2 wurden neuronale (ereigniskorrelierte Potenziale), autonome (Pupillengröße) und verhaltensbezogene (Selbstberichte und Reaktionszeiten) Indizes der Reaktion auf soziale und nicht-soziale Belohnungen bei Personen mit ASC sowie mit ausgeprägten und geringen autistischen Merkmalen untersucht. Wir stellten fest, dass ein höheres Maß an autistischen Merkmalen bei klinischen ASS und in der Allgemeinbevölkerung mit einer verstärkten neuronalen und autonomen Verarbeitung, typischen Leistungen und einer geringeren selbstberichteten Belohnungssensitivität verbunden war. Studie 3 untersuchte die Auswirkungen von sozialer Vertrautheit und Belohnungskontext auf die Pupillenreaktionen. Die Ergebnisse deuten darauf hin, dass der Belohnungswert eines positiven Reizes bei vertrauten Gesichtern höher ist und von der Assoziation zwischen Handlung und Ergebnis abhängt. Studie 4 ist eine theoretische Perspektive zum Verständnis der Multidimensionalität von Belohnungen und zum Umgang damit. In allen Studien konnte ich nachweisen, dass das Belohnungsverhalten von ASS vielfältig und atypisch, aber nicht defizitär ist. Außerdem schlage ich eine Definition von Belohnung vor, die sie von einem rein positiven Stimulus unterscheidet. Schließlich erörtere ich diese Arbeit im breiteren Rahmen der sozialneuropsychologischen Forschung und zeige Möglichkeiten auf, wie sie in künftigen Studien weiter verbessert werden kann. / Rewards are immensely important in human lives. It has been suggested that the core social difficulties in autism spectrum conditions (ASC) may stem from lowered responsiveness to specifically social rewards. However, the literature on this topic is inconclusive. This dissertation includes four studies investigating reward responsiveness to social and non-social rewards with particular focus on ASC and autistic traits. Studies 1 and 2 investigated neuronal (event-related potentials), autonomic (pupil sizes) and behavioural (self-reports and reaction times) indexes of responsiveness to social and non-social rewards in individuals with ASC, and with high and low autistic traits. We observed that higher levels of autistic traits in clinical ASC and in the general population were linked to enhanced neuronal and autonomic processing, typical performance, and decreased self-reported reward sensitivity. Study 3 investigated the effects of social familiarity and rewarding context on pupillary responses. The results indicated that the reward value of a positive stimulus is higher for more familiar faces and depends on action-outcome associations. Study 4 is a theoretical perspective on understanding and working with multidimensionality of rewards. Across all studies, I provide evidence for multifaceted and atypical, but not deficient, reward responsiveness in ASC. Further, I propose a definition of reward which differentiates it from a merely positive stimulus. Finally, I discuss this work in the broader framework of social neuropsychology research and identify the ways in which it can be further improved in future studies.

Pathologisches Glücksspiel (PG) ist eine psychiatrische Erkrankung, die gerade erst im DSM-5 der gleichen Kategorie wie substanzgebundene Suchterkrankungen zugeordnet wurde. Bildgebungsstudien zu Substanzabhängigkeit beobachteten funktionelle und strukturelle Veränderungen im präfrontalen Kortex (PFC) und mesolimbischen Belohnungssystem (d.h. Striatum). Für PG wurden ähnliche Veränderungen berichtet; jedoch gibt es kaum Studien, die sich mit verschiedenen Aspekten funktioneller und struktureller Korrelate in diesen Regionen beschäftigen. Diese Arbeit untersuchte PG Patienten, alkoholabhängige (AD) Patienten und Kontrollpersonen (HC) mit Magnetresonanztomografie. In Analyse I wurden funktionelle Gehirndaten während der Belohnungsaufgabe zwischen den drei Gruppen verglichen. In Analyse II wurde das Volumen grauer Substanz mit voxelbasierter Morphometrie und in Analyse III die intrinsische Gehirnaktivität mit einer seedbasierten funktionellen Konnektivitätsanalyse von PG Patienten und HC ausgewertet. Die Analysen ergaben veränderte Aktivierungen in frontostriatalen Arealen während der Verarbeitung von Verlustvermeidung für PG Patienten im Vergleich zu HC. PG Patienten unterschieden sich dabei in ihrer Aktivierung von AD Patienten während der Antizipation von Geldverlust. Weiterhin zeigten PG Patienten erhöhte Volumina grauer Substanz und eine erhöhte funktionelle Konnektivität in frontostriatalen Arealen im Vergleich zu HC. Die Ergebnisse liefern weitere Hinweise für eine veränderte Belohnungsverarbeitung in PG und betonen die Bedeutung der Verlustvermeidungsverarbeitung. Die Volumenveränderungen im und die erhöhte Konnektivität zwischen dem PFC and Belohnungssystem deuten auf eine veränderte Interaktion zwischen diesen Regionen hin. Da solche Veränderungen in kortikostriatalen Systemen Ähnlichkeiten zu denen in Substanzabhängigkeiten aufweisen, unterstützen die Ergebnisse die neue Klassifikation des PG im DSM-5. / Pathological gambling (PG) is a psychiatric disorder newly classified under the same category as substance use disorders in the DSM-5. Neuroimaging studies on substance-related addictions reported functional and structural changes in the prefrontal cortex (PFC) and the mesolimbic reward system (i.e., striatum). For PG, findings are not that extensive, but also demonstrate altered reward processing and prefrontal function. However, there is a lack of studies focusing on different aspects of functional and structural correlates within these areas in PG. This thesis investigated PG patients, alcohol dependent (AD) patients and healthy controls with magnetic resonance imaging (MRI). In analysis I, functional brain data of a reward paradigm was compared between the three groups. In analysis II, local gray matter volume of PG patients and controls was processed via voxel-based morphometry. Resting-state data of PG patients and controls was analyzed via seed-based functional connectivity in analysis III. Results revealed altered brain responses in fronto-striatal areas during loss avoidance processing in PG patients as compared to controls. Importantly, PG patients differed in their brain responses from AD patients during the prospect of monetary loss. Moreover, PG patients showed an increase in local gray matter volume and functional connectivity in frontal-striatal areas as compared to controls. Our results add further evidence for an altered reward processing in PG and underline the importance of loss avoidance processing. Moreover, our findings of volumetric alterations within and increased connectivity between PFC and reward system, suggest an altered interaction between these brain regions. Since such alterations in cortico-striatal circuits resemble those reported for substance-related addictions, our findings support the new classification of PG in the DSM-5.