La thèse consiste en l'apprentissage d'une tâche complexe de robotique de manipulation en utilisant très peu d'aprioris. Plus précisément, la tâche apprise consiste à atteindre un objet avec un robot série. L'objectif est de réaliser cet apprentissage sans paramètres de calibrage des caméras, modèles géométriques directs, descripteurs faits à la main ou des démonstrations d'expert. L'apprentissage par renforcement profond est une classe d'algorithmes particulièrement intéressante dans cette optique. En effet, l'apprentissage par renforcement permet d’apprendre une compétence sensori-motrice en se passant de modèles dynamiques. Par ailleurs, l'apprentissage profond permet de se passer de descripteurs faits à la main pour la représentation d'état. Cependant, spécifier les objectifs sans supervision humaine est un défi important. Certaines solutions consistent à utiliser des signaux de récompense informatifs ou des démonstrations d'experts pour guider le robot vers les solutions. D'autres consistent à décomposer l'apprentissage. Par exemple, l'apprentissage "petit à petit" ou "du simple au compliqué" peut être utilisé. Cependant, cette stratégie nécessite la connaissance de l'objectif en termes d'état. Une autre solution est de décomposer une tâche complexe en plusieurs tâches plus simples. Néanmoins, cela n'implique pas l'absence de supervision pour les sous tâches mentionnées. D'autres approches utilisant plusieurs robots en parallèle peuvent également être utilisés mais nécessite du matériel coûteux. Pour notre approche, nous nous inspirons du comportement des êtres humains. Ces derniers généralement regardent l'objet avant de le manipuler. Ainsi, nous décomposons la tâche d'atteinte en 3 sous tâches. La première tâche consiste à apprendre à fixer un objet avec un système de deux caméras pour le localiser dans l'espace. Cette tâche est apprise avec de l'apprentissage par renforcement profond et un signal de récompense faiblement supervisé. Pour la tâche suivante, deux compétences sont apprises en parallèle : la fixation d'effecteur et une fonction de coordination main-oeil. Comme la précédente tâche, un algorithme d'apprentissage par renforcement profond est utilisé avec un signal de récompense faiblement supervisé. Le but de cette tâche est d'être capable de localiser l'effecteur du robot à partir des coordonnées articulaires. La dernière tâche utilise les compétences apprises lors des deux précédentes étapes pour apprendre au robot à atteindre un objet. Cet apprentissage utilise les mêmes aprioris que pour les tâches précédentes. En plus de la tâche d'atteinte, un predicteur d'atteignabilité d'objet est appris. La principale contribution de ces travaux est l'apprentissage d'une tâche de robotique complexe en n'utilisant que très peu de supervision. / The thesis is focused on learning a complex manipulation robotics task using little knowledge. More precisely, the concerned task consists in reaching an object with a serial arm and the objective is to learn it without camera calibration parameters, forward kinematics, handcrafted features, or expert demonstrations. Deep reinforcement learning algorithms suit well to this objective. Indeed, reinforcement learning allows to learn sensori-motor mappings while dispensing with dynamics. Besides, deep learning allows to dispense with handcrafted features for the state spacerepresentation. However, it is difficult to specify the objectives of the learned task without requiring human supervision. Some solutions imply expert demonstrations or shaping rewards to guiderobots towards its objective. The latter is generally computed using forward kinematics and handcrafted visual modules. Another class of solutions consists in decomposing the complex task. Learning from easy missions can be used, but this requires the knowledge of a goal state. Decomposing the whole complex into simpler sub tasks can also be utilized (hierarchical learning) but does notnecessarily imply a lack of human supervision. Alternate approaches which use several agents in parallel to increase the probability of success can be used but are costly. In our approach,we decompose the whole reaching task into three simpler sub tasks while taking inspiration from the human behavior. Indeed, humans first look at an object before reaching it. The first learned task is an object fixation task which is aimed at localizing the object in the 3D space. This is learned using deep reinforcement learning and a weakly supervised reward function. The second task consists in learning jointly end-effector binocular fixations and a hand-eye coordination function. This is also learned using a similar set-up and is aimed at localizing the end-effector in the 3D space. The third task uses the two prior learned skills to learn to reach an object and uses the same requirements as the two prior tasks: it hardly requires supervision. In addition, without using additional priors, an object reachability predictor is learned in parallel. The main contribution of this thesis is the learning of a complex robotic task with weak supervision.

Orientador: Ricardo Pereira Tassinari / Banca: Adrian Oscar Dongo Montoya / Banca: André Leclerc / Resumo: A partir da consideração, feita pelo próprio Jean Piaget, de que a Epistemologia Genética é uma teoria do conhecimento, em seu sentido pleno, e que realiza também uma crítica dos conhecimentos (portanto é uma epistemologia) e de suas gêneses (no indivíduo e históricoculturalmente), o objetivo central desta Dissertação é o de apresentar algumas contribuições essenciais que a Epistemologia Genética pode trazer às discussões contemporâneas em Teoria do Conhecimento. Nela, mostramos como conceitos centrais como os de ação, esquema de ação e sistema de esquemas de ação, bem como o de processo de adaptação-organização, fazem parte de um modelo biológico-cognitivo que possibilita explicar, por um lado, a constituição das estruturas necessárias ao conhecimento e, por outro, a própria estruturação do real pelo sujeito epistêmico, i.e., o sujeito do conhecimento. Empreendemos aqui uma sistematização das definições e conceitos que permitem essa explicação e mostramos como o sistema de esquemas de ação do sujeito epistêmico se constitui como estofo da sua estruturação do real, em particular das noções de objeto permanente e de espaço objetivo. Por questão de delimitação, tratamos apenas do período inicial da construção do sistema de esquemas de ação (Período Sensório- Motor). / Abstract: À partir de la considération, qui a été faite par Jean Piaget, de que l'Épistémologie Génétique est une théorie de la connaissance, dans son plein sens, et que elle fait aussi une critique des connaissances (donc c'est une épistémologie) et de ses genèses (dans l'individu et dans l'historique-culturellement), l'objectif central de cette dissertation c'est de présenter quelques contributions indispensables que l'Épistémologie Génétique peut porter aux débats contemporains en Théorie de la Connaissance. Dans celle-là, nous montrons comme concepts centraux, comme ceux de l'action, du schème de l'action et du système de schèmes de l'action, ainsi que celui de la procédure d'adaptation-organisation, qui font partie d'un modele biologique-cognitif qui rend possible expliquer, d'un côté, la constitution des structures nécessaires à la connaissance et, de l'autre côté, la juste structuration du réel par le sujet épistémique, i. e., le sujet de la connaissance. Entreprenons ici une systematisation des définitions et concepts qui permettent cette explication et nous montrons comme le système de schèmes d'action du sujet épistémique se forme comme étoffe de sa structuration du réel, en particulier des notions d'objet permanent et d'espace objectif. Par raison de délimitation, nous parlons juste de la période initiale de la construction du système de schèmes de l'action (la Période Sensori-Moteur). / Mestre

La recherche s'appuie sur trois hypothèses fondamentales : 1) il existe un lien entre les processus cognitifs de bas et haut niveau; 2) l'espace sensori-rnoteur est une perception subjective; et 3) l'espace sensori-rnoteur varie en fonction des différentes conduites à l'intérieur des interactions sociales. La thèse soutient que l'espace sensori-rnoteur se laisse modeler par la simple co-présence humaine et par des interactions coopératives plutôt que non-coopératives. Les chapitres 1, II, III, ont pour but de décomposer et d'expliquer la signification des hypothèses 1), 2) et 3) qui débouchent sur la formulation de la thèse centrale que le chapitre TV démontrera expérimentalement. Le chapitre V ouvre des perspectives éthiques en formulant une nouvelle hypothèse sur le lien qui pourrait exister entre la perception de l'espace en situation d'interaction sociale et les jugements moraux. La recherche met en œuvre plusieurs des disciplines qui concourent aux sciences cognitives: la neuro-psychologie expérimentale, certains aspects de la psychologie sociale, mais aussi l'histoire de la philosophie et la philosophie de l'esprit contemporaine. / This research arises from the following three main hypotheses: 1) Low and high-level cognitive processes are bound together; 2) Sensorimotor space is a subjective perception; and 3) Sensorimotor space varies as a function of different types of social behaviours. The thesis argues that sensorimotor space is shaped by both mere co-presence of another human body and cooperative or uncooperative interactions. Chapters l, Il, III aim at analyzing and explaining the meaning of the first, the second and the third hypothesis in order to advance the primary thesis. Chapter V opens up an ethical perspective about a possible bound between spatial perception and moral evaluations during social interactions. This work is enriched by several constitutive disciplines of cognitive sciences : conternporary philosophy, philosophy of mind, experimental neuropsychology and some topics studied by social psychology. / La ricerca ha preso le mosse da tre ipotesi fondamentali: 1) Esiste un legame tra processi cognitivi di basso ed alto livello; 2) Lo spazio senso-motorio è una percezione soggettiva; 3) Lo spazio senso-motorio varia in funzione delle diverse modalità di interazione sociale. La tesi sostiene che lo spazio senso-motorio si lascia modulare dalla semplice co-presenza di un altro agente umano e da interazioni cooperative e non cooperative. I capitoli I, II, III, hanno lo scopo di scomporre e spiegare il significato della prima, seconda e terza ipotesi; giungendo a formulare la tesi centrale che sarà poi dimostrata sperimentalmente nel capitolo IV. Il capitolo V introduce future linee di ricerca nell’ambito dell’etica proponendo una nuova ipotesi sul legame che potrebbe sussistere tra la percezione dello spazio durante l’interazione sociale e i giudizi morali. Il lavoro svolto chiama ad operare insieme diverse discipline che concorrono a formare le scienze cognitive: la storia della filosofia, la filosofia della mente contemporanea, la neuropsicologia sperimentale ed alcuni temi della psicologia sociale.

Made available in DSpace on 2014-06-11T19:25:28Z (GMT). No. of bitstreams: 0 Previous issue date: 2009-06-01Bitstream added on 2014-06-13T18:28:50Z : No. of bitstreams: 1 marcal_ver_me_mar.pdf: 427386 bytes, checksum: ac9b9cc338342dd3ef178ed8a8055e10 (MD5) / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / A partir da consideração, feita pelo próprio Jean Piaget, de que a Epistemologia Genética é uma teoria do conhecimento, em seu sentido pleno, e que realiza também uma crítica dos conhecimentos (portanto é uma epistemologia) e de suas gêneses (no indivíduo e históricoculturalmente), o objetivo central desta Dissertação é o de apresentar algumas contribuições essenciais que a Epistemologia Genética pode trazer às discussões contemporâneas em Teoria do Conhecimento. Nela, mostramos como conceitos centrais como os de ação, esquema de ação e sistema de esquemas de ação, bem como o de processo de adaptação-organização, fazem parte de um modelo biológico-cognitivo que possibilita explicar, por um lado, a constituição das estruturas necessárias ao conhecimento e, por outro, a própria estruturação do real pelo sujeito epistêmico, i.e., o sujeito do conhecimento. Empreendemos aqui uma sistematização das definições e conceitos que permitem essa explicação e mostramos como o sistema de esquemas de ação do sujeito epistêmico se constitui como estofo da sua estruturação do real, em particular das noções de objeto permanente e de espaço objetivo. Por questão de delimitação, tratamos apenas do período inicial da construção do sistema de esquemas de ação (Período Sensório- Motor). / À partir de la considération, qui a été faite par Jean Piaget, de que l’Épistémologie Génétique est une théorie de la connaissance, dans son plein sens, et que elle fait aussi une critique des connaissances (donc c’est une épistémologie) et de ses genèses (dans l’individu et dans l’historique-culturellement), l’objectif central de cette dissertation c’est de présenter quelques contributions indispensables que l’Épistémologie Génétique peut porter aux débats contemporains en Théorie de la Connaissance. Dans celle-là, nous montrons comme concepts centraux, comme ceux de l’action, du schème de l’action et du système de schèmes de l’action, ainsi que celui de la procédure d’adaptation-organisation, qui font partie d’un modele biologique-cognitif qui rend possible expliquer, d’un côté, la constitution des structures nécessaires à la connaissance et, de l’autre côté, la juste structuration du réel par le sujet épistémique, i. e., le sujet de la connaissance. Entreprenons ici une systematisation des définitions et concepts qui permettent cette explication et nous montrons comme le système de schèmes d’action du sujet épistémique se forme comme étoffe de sa structuration du réel, en particulier des notions d’objet permanent et d’espace objectif. Par raison de délimitation, nous parlons juste de la période initiale de la construction du système de schèmes de l’action (la Période Sensori-Moteur).

Le but de ce travail a été d’étudier le couplage entre la cinématique du mouvement et l’activité neuromagnétique du cerveau humain, de comprendre les mécanismes neuronaux à la base de ce couplage, et d’essayer de répondre, notamment grâce à l’utilisation de la cohérence cortico-cinématique, à un certain nombre de questions posées par le traitement de la cinématique d’un mouvement des doigts (exécuté ou observé) par le cerveau.Ce travail de thèse de doctorat démontre en 5 études originales que(i) la fréquence de mouvement n’a pas d’impact sur le niveau de couplage ni sur la localisation de la source principale de ce couplage pendant des mouvements volontaires des doigts (étude I), (ii) la cinématique de mouvements (dirigés vers un but) observés de la main d’autrui est couplée à l’activité du cerveau de l’observateur dans la partie postérieure du gyrus temporal supérieur droit, les lobules supra temporaux et cortex SM1 bilatéraux de la même manière que durant l’exécution d’un mouvement similaire (étude II),(iii) l’amplitude de la bande β des cortex SM1 bilatéraux est modulée par la cinématique de mouvements répétitifs de la main dirigés vers un but, et ce, de la même manière lors de l’exécution où de l’observation de cette action. Cette modulation ne semble pas être liée au phénomène de CKC (étude III), (iv) Ce couplage est réduit de manière significative chez les patients souffrant d’ataxie de Friedreich et ce, tant pour des mouvements actifs que passifs, ce qui apporte de nouvelles évidences en faveur du rôle prépondérant des afférences proprioceptives dans le phénomène CKC. De plus, la CKC corrèle de manière significative avec l’expansion de triplet GAA1 et pas avec les scores cliniques SARA plaidant ainsi pour une altération génétiquement déterminée et stable des afférences proprioceptives dans la maladie de Friedreich (étude IV),(v) l’activité magnétique du lobe postérieur du cervelet ipsilatéral au mouvement est couplée avec la cinématique de ce mouvement sans influence de la fréquence du mouvement (étude V). / Doctorat en Sciences biomédicales et pharmaceutiques (Médecine) / info:eu-repo/semantics/nonPublished

Les figures de neuroanatomie de ce mémoire peuvent être téléchargées en haute résolution. / Une voie neuronale sous-tendant la locomotion induite par la détection d’odorants a été découverte chez la lamproie (Derjean et al., 2010). Le signal olfactif est relayé du bulbe olfactif médian au tubercule postérieur, puis à la région locomotrice mésencéphalique et enfin aux cellules réticulospinales qui activent les réseaux locomoteurs spinaux. Des études récentes démontrent que le bulbe olfactif médian est sous l’influence d’une inhibition GABAergique tonique qui régule les réponses des cellules réticulospinales à la stimulation du nerf olfactif (Daghfous et al., 2013). Des mécanismes de modulation supplémentaires pourraient exister dans le bulbe olfactif de Petromyzon marinus puisqu’il contient aussi des fibres dopaminergiques. Chez tous les vertébrés étudiés, la dopamine joue un rôle important dans le traitement olfactif. Des techniques anatomiques (traçage et immunofluorescence) et physiologiques (enregistrements intracellulaires) ont été utilisées pour étudier la modulation dopaminergique de la voie olfacto-motrice. L’immunofluorescence ciblant la dopamine a révélé des fibres plus nombreuses dans la partie médiane du BO et à proximité de neurones de projection et de fibres olfactives. De plus, aucun corps cellulaire immunopositif n’a été détecté dans le bulbe olfactif. L’enregistrement des réponses synaptiques des cellules réticulospinales à la stimulation du nerf olfactif a été réalisé dans le cerveau isolé in vitro. L’injection locale de dopamine dans le bulbe olfactif médian diminue de moitié l’amplitude de réponse. Sous l’effet d’un antagoniste des récepteurs GABAA dans le bain ou localement dans le bulbe olfactif médian, les dépolarisations soutenues enregistrées sont supprimées par l’injection de dopamine. Cependant, l’injection individuelle ou combinée dans le bulbe olfactif médian d’antagonistes sélectifs des récepteurs D1 ou D2, soit le SCH 23390 et l’éticlopride, demeure sans effet significatif sur les réponses olfacto-motrices, indiquant l’absence d’activité dopaminergique tonique. Pour localiser les neurones responsables de cette modulation, des injections de traceur axonal ont été combinées avec l’immunofluorescence ciblant la dopamine. Des cellules dopaminergiques projetant au BO médian ont été observées dans les noyaux dopaminergiques du tubercule postérieur et de l’hypothalamus périventriculaire. Dans l’ensemble, nos résultats montrent anatomiquement et physiologiquement la présence d’une innervation dopaminergique dans le bulbe olfactif médian qui a une action inhibitrice sur le traitement olfacto-moteur. / A neural substrate underlying odor-evoked locomotion was revealed in lampreys (Derjean et al., 2010), involving a neural pathway extending from the medial part of the olfactory bulb to the posterior tuberculum. The signal is then relayed to the mesencephalic locomotor region and eventually reaches reticulospinal cells that activate the spinal locomotor networks. Recent research in the lab (Daghfous et al., 2013) shows that the medial olfactory bulb, is under a tonic GABAergic inhibition gating reticulospinal cell responses to olfactory nerve stimulation. Additional modulatory mechanisms might exist in the olfactory bulb of Petromyzon marinus as it also contains dopaminergic fibers. In every vertebrate studied to date, dopamine plays an important role in olfactory processing. Anatomical (axonal tracers and immunofluorescence) and physiological (intracellular recordings) techniques were used to investigate the dopaminergic modulation of the olfacto-motor pathway. Dopamine immunofluorescence showed scarce innervation of the olfactory bulb that was most abundant in the medial part and in close vicinity to projection neurons and olfactory nerve fibers. Additionally, no dopamine-immunoreactive cell bodies were detected in the olfactory bulb. Synaptic responses of reticulospinal cells to olfactory nerve stimulation were recorded in the isolated brain. Local injection of dopamine in the medial olfactory bulb induces an almost two-fold decrease of the synaptic responses. When GABAA receptor antagonist GABAzine was also injected in the medial olfactory bulb, the effect of dopamine was much more evident and could suppress large bursts of action potentials. However, D1 (SCH 23390) and D2 (Eticlopride) receptor antagonists injection in the medial olfactory bulb failed to alter the amplitude of reticulospinal cell responses to olfactory nerve stimulation, indicating that this modulation is not tonic. To locate the neurons responsible for this modulation, tracer injections combined with dopamine immunofluorescence were performed. Dopaminergic cells projecting to the medial olfactory bulb were found in the dopaminergic nuclei of the posterior tuberculum and the periventricular hypothalamus. Altogether, our results show anatomically and physiologically the presence of a dopaminergic innervation within the medial olfactory bulb that mediates inhibitory effects on olfacto-motor signaling.