Accumulating evidence suggests that dopaminergic neurons show significant task-related diversity. Curiously, dopamine concentration and dopamine axon activity show spatio-temporal wave patterns in the dorsal striatum. What could be the function of this wave-like dynamics of dopamine in the striatum, particularly in Reinforcement Learning? This work introduces a novel Reinforcement Learning algorithm that exploits the wave-like dynamics of dopamine to increase speed, reliability and flexibility in decision-making. An agent can form a cognitive map by exploring the environment and obtaining the information about the expectation of time spent in each future state given a departing state (i.e. the Successor Representation). This map captures the temporal connections of the visited states and outlines several possible state transition trajectories leading to the reward. Using the cognitive map, following a single reward delivery, the reward prediction errors can be computed for each state. In the cognitive map, states leading to the reward possess a high positive error, while temporally distant states retain smaller errors. Thus, the dynamics of errors exhibit a wave front travelling in the cognitive map. Under the assumption of the neurons representing adjacent states in the cognitive map are also spatial neighbors, it automatically follows that the reward prediction error carrying signal will also show wave-like dynamics in space. By exploiting the dopamine waves, the proposed Reinforcement Learning approach outperforms three classical Reinforcement Learning algorithms: basic SARSA, the Successor Representation and SARSA with eligibility traces. Consequently, the algorithm suggests conditions under which wave-like dynamics of dopamine release in the striatum can have direct functional implications for learning. / En ökande mängd bevis pekar på att dopaminerga nervceller uppvisar en betydande uppgiftsrelaterad diversitet. Märkligt nog uppvisar såväl dopaminkoncentrationen som aktiviteten i dopaminerga axon i dorsala striatum en vågliknande dynamik. Vilken funktion kan dopaminets vågliknande dynamik tänkas fylla i striatum, särskillt vid förstärkningsinlärning? I detta arbete introduceras en ny förstärkningsinlärningsalgoritm som utnyttjar dopaminets vågliknande dynamik för att öka snabbheten, tillförlitligheten och flexbiliteten vid beslutsfattande. En agent kan skapa en kognitiv karta genom att utforska en miljö och tillgodogöra sig information om den förväntade tiden som kommer tillbringas i varje framtida tillstånd givet ett starttillstånd (en så kallad successionsrepresentation). Denna karta fångar upp de tidsmässiga förbindelserna mellan besökta tillstånd och ger en skiss för flera möjliga serier av tillståndsövergångar som leder till belöning. Genom att använda denna kognitiva karta efter en enskild belöning kan belöningsförutsägningsfel beräknas för varje tillstånd. I den kognitiva kartan har tillstånd som leder till belöning ett stort positivt fel, medan tidsmässigt avlägsna tillstånd har mindre fel. Detta ger upphov till att dynamiken för felen uppvisar en vågfront in den kognitiva kartan. Under antagandet att nervceller som representerar närliggande tillstånd i den kognitiva kartan också är fysiska grannar, följer det automatiskt att signalen för belöningsförutsägningsfel också uppvisar en våglikannde dynamik i rummet. Genom att utnyttja dopaminvågor överträffar den föreslagna förstärkningsinlärningsalgoritmen tre klassiska förstärkningsinlärningsalgoritmer: vanlig SARSA, successionsrepresentation, och SARSA med kvalificeringsspår. Algoritmen förslår därför betingelser under vilka en vågliknande dynamik av dopaminfrisättning i striatum kan ha direkta funktionella implikationer för inlärning.

Dopamine replacement therapy is the main method of treating Parkinson’s Disease (PD), however over time this treatment causes increasingly abnormal, involuntary movements. This symptom, known as Levodopa-Induced-Dyskinesia (LID) is associated with aberrant, high frequency oscillations (HFOs) in the motor cortex and basal ganglia, as demonstrated with implanted electrodes in human Parkinson’s patients as well as in a rat model of Parkinson’s Disease. However, despite efforts to determine if the same high frequency oscillations are also present during dyskinesia in the widespread 6-OHDA mouse model of Parkinson’s Disease, studies have been unable to do so. By building and implanting a 64-channel multi-electrode array into a unilateral 6-OHDA lesioned mouse, we were able to record HFOs at 80Hz and >100Hz in the motor cortex, basal ganglia and thalamus in the lesioned hemisphere during LID. We also recorded bilateral HFOs at >100Hz in the intact hemisphere. With this work we show that the same HFOs that are present in the motor cortex and basal ganglia of rats and humans are also present in mice during dyskinesia. This work will act to further validate the 6-OHDA PD-model in mice and provide opportunities to investigate new treatments for Parkinson’s Disease, dyskinesia and other neurological conditions. It will also serve as a model to study a purposed mechanism underlying the information processing in populations of neurons. / Dopaminbehandling är den mest förekommande metoden för att behandla Parkinsons sjukdom men detta orsakar dessvärre en bieffekt i form av gradvis förvärrande ofrivilliga rörelser. Detta beteendemönster kallas för Levodopa-Inducerad-Dyskinesi (LID) och med hjälp av elektrodimplantat i hjärnan, på parkinsonpatienter och djurmodeller av parkinsons, har man kunnat se att beteendet är förknippat med högfrekventa oscilleringar (HFO) av hjärnaktivitet i motorcortex och basala ganglierna. Trots försök att kartlägga om dessa högfrekventa oscilleringar också är närvarande i den populära 6-OHDA musmodellen av Parkinsons sjukdom, så har man hittills inte lyckats demonstrera detta. Genom att bygga och implantera ett elektrodimplantat med 64 kanaler i en ensidigt-leisonerad 6-OHDA musmodell av Parkinsons sjukdom så kunde vi åskådliggöra HFO i motor cortex, basala ganglierna och thalamus i den lesionerade hjärnhalvan under LID. Vi kunde också påvisa HFO som sträckte sig över till den intakta hjärnhalvan, med frekvenser över 100 Hz. Denna forskning ger stöd att 6-OHDA modellen för Parkinsons i möss är valid och ger möjlighet till nya metoder att utforska och behandla Parkinsons, dyskinesi och andra neurologiska åkommor. Studien lägger också grunden för framtida studier som ämnar att undersöka föreslagna mekanismer bakom sättet populationer av neuroner bearbetar information. / ingår i ett projekt finansierat av Vetenskapsrådet #2018-02717