Des perturbations industrielles ont amené de profondes transformations des systèmes d'ordonnancement et de planification en temps réel, dans le contexte d'un environnement manufacturier de plus en plus dynamique coomme l'humain est au cœur de ces processus. Il est nécessaire d'assurer une synergie entre les opérateurs et les machines. En plus des objectifs comme la réduction des retards et des coûts, il serait essentiel de prendre en compte les aspects tels que l'équité de la charge de travail entre les opérateurs et la répétitivité des tâches. Toutefois dans la littérature, l'intégration de ces facteurs est peu abordée. Nous proposons dans ce projet d'appliquer des méthodes qui visent à réduire l'écart de charge de travail entre les opérateurs tout en favorisant la répétitivité des tâches assignées de manière à favoriser la prise d'habitudes - deux objectifs pouvant sembler contradictoires. Dans cet esprit, nous avons en premier lieu pris le temps de bien comprendre le modèle d'ordonnancement initial utilisé par le partenaire industriel, puis nous avons fait un survol de la littérature en relation avec l'allocation des tâches aux opérateurs dans le milieu manufacturier et la prise en compte des deux aspects : l'équité de la charge de travail et la répétitivité des tâches. En deuxième lieu, nous avons proposé deux familles de méthodes pour assurer l'équité de la charge de travail sans modifier le modèle d'ordonnancement déjà en place. La première famille fait le prétraitement des données en entrée du système de planification. La deuxième famille consiste à utiliser des approches de post-traitement pour ajuster le plan d'allocation. Des méthodes combinées ont aussi été testées. Les méthodes combinées avec des données réelles ont démontré une supériorité par rapport aux autres méthodes, avec une réduction de 70% de l'écart de charge de travail entre les opérateurs sur une semaine type de travail par rapport au modèle initial. En troisième lieu, nous avons proposé de nouvelles méthodes pour maximiser la répétitivité des tâches des opérateurs. Tenant compte de la complexité du modèle initial et la volonté de cibler plusieurs objectifs à la fois (retards, équité et répétitivité), un compromis entre l'équité et la répétitivité est recherché. Une étude expérimentale utilisant des données réelles collectées chez notre partenaire industriel démontre qu'en permettant seulement une dégradation de 10% du respect de l'équité, nous pouvons atteindre un niveau acceptable de répétitivité. / Industrial disruptions are leading to profound transformations in real-time scheduling and planning systems, in the context of an increasingly dynamic manufacturing environment. Humans are at the heart of these processes, and it is essential to ensure synergy between operators and machines. Although these systems often focus on objectives such as reducing delays and costs, it would be essential to take into account aspects such as workload equity between operators and task repeatability. However, the integration of these factors remains complex. In this project, we are proposing to apply methods that aim to reduce the difference in workloads between operators, while at the same time encouraging the repeatability of assigned tasks so as to promote operators' habits - two objectives that may seem contradictory. To this end, we first took the time to fully understand the initial scheduling model used by the industrial partner, then reviewed the literature in relation to the operator in new industrial eras and the two aspects in question. Second, we proposed two families of methods to ensure workload fairness without modifying the existing scheduling model. The first family involves preprocessing the data input to the scheduling system. The second family uses post-processing approaches to adjust the allocation plan. Combined methods were also tested. The combined methods demonstrated superiority over the other methods, with a 70% reduction in the difference in workload between operators over a typical working week compared with the initial model. Finally, new methods have been proposed to maximize the repeatability of tasks. Taking into account the complexity of the initial model and the desire to target several objectives at once (delays, fairness and repeatability), a compromise between fairness and repeatability is sought. An experimental study using real data collected from our industrial partner shows that by allowing only a 10% degradation in fairness compliance, we can achieve an acceptable level of repeatability.

La transformation numérique et le mouvement « industrie 4.0 » reposent sur des concepts tels que l'intégration et l'interconnexion des systèmes utilisant des données en temps réel. Dans le secteur manufacturier, un nouveau paradigme d'allocation dynamique des ressources humaines devient alors possible. Plutôt qu'une allocation statique des opérateurs aux machines, nous proposons d'affecter directement les opérateurs aux différentes tâches qui nécessitent encore une intervention humaine dans une usine majoritairement automatisée. Nous montrons les avantages de ce nouveau paradigme avec des expériences réalisées à l'aide d'un modèle de simulation à événements discrets. Un modèle d'optimisation qui utilise des données industrielles en temps réel et produit une allocation optimale des tâches est également développé. Nous montrons que l'allocation dynamique des ressources humaines est plus performante qu'une allocation statique. L'allocation dynamique permet une augmentation de 30% de la quantité de pièces produites durant une semaine de production. De plus, le modèle d'optimisation utilisé dans le cadre de l'approche d'allocation dynamique mène à des plans de production horaire qui réduisent les retards de production causés par les opérateurs de 76 % par rapport à l'approche d'allocation statique. Le design d'un système pour l'implantation de ce projet de nature 4.0 utilisant des données en temps réel dans le secteur manufacturier est proposé. / The Industry 4.0 movement is based on concepts such as the integration and interconnexion of systems using real-time data. In the manufacturing sector, a new dynamic allocation paradigm of human resources then becomes possible. Instead of a static allocation of operators to machines, we propose to allocate the operators directly to the different tasks that still require human intervention in a mostly automated factory. We show the benefits of this new paradigm with experiments performed on a discrete-event simulation model based on an industrial partner's system. An optimization model that uses real-time industrial data and produces an optimal task allocation plan that can be used in real time is also developed. We show that the dynamic allocation of human resources outperforms a static allocation, even with standard operator training levels. With discrete-event simulation, we show that dynamic allocation leads to a 30% increase in the quantity of parts produced. Additionally, the optimization model used under the dynamic allocation approach produces hourly production plans that decrease production delays caused by human operators by up to 76% compared to the static allocation approach. An implementation system for this 4.0 project using real-time data in the manufacturing sector is furthermore proposed.

Les problèmes de planification dans les entreprises du secteur manufacturier sont très complexes. Pour prendre de bonnes décisions, le décideur doit utiliser des systèmes d’aides à la décision exploitant des modèles d’optimisation mathématiques. Malheureusement, les systèmes d’aide à la décision conventionnels sont souvent inadaptés et incompatibles avec les besoins des décideurs. Dans le cadre de ce mémoire, nous proposons un système interactif qui permet au décideur d’adapter les solutions proposées en fonction de ses préférences. Nous exploitons une approche interactive inspirée des systèmes multi-agents (l'un des agents est humain et l'autre est l'ordinateur). Dans la littérature, ces systèmes sont appelés systèmes à initiative partagée (en anglais : mixed-initiative system, ou MIS). Nous analysons et proposons différentes approches qui permettent au décideur d'interagir avec le modèle mathématique et de choisir sa solution. Pour tester et évaluer la faisabilité de ces méthodes, nous avons utilisé un cas industriel réel. Il s’agit d’un problème de planification collaborative des ventes, de la production et de la distribution dans l’industrie des produits forestiers.

Les travaux de cette thèse portent sur l'élaboration d'une approche d'anticipation des comportements possibles de l'opérateur humain lorsqu'il ne respecte pas certaines règles de sécurité. Le non-respect des règles de sécurité, considéré comme une erreur humaine, constitue la source majeure d'incidents/accidents dans le domaine des agroéquipements. Ce domaine caractérisé par un manque de formalisation de son REX. L'approche proposée consiste à définir une méthodologie permettant de proposer des plans d'actions humaines possibles résultant d'un non-respect des règles de sécurité et de les évaluer par la suite. La génération des plans d'actions alternatifs aux prescriptions est réalisée à travers un outil que nous avons développé, baptisé A2PG (Alternative Action Plan Generator). Ce dernier, s'inspirant des modèles de l'opérateur humain, est basé sur les paramètres suivants à définir : la tâche à réaliser et le catalogue d'actions qui contient l'ensemble des actions, des pré-conditions nécessaires et de sécurité associées à chaque action ainsi que les effets de l'exécution de l'action. Le non-respect peut être modélisé au niveau d'A2PG par la variation d'au moins un de ses paramètres (sauf les pré-conditions nécessaires). Nous nous sommes intéressés plus particulièrement à la variation des pré-conditions de sécurité, c'est-à-dire la non-prise en compte par l'opérateur humain des pré-conditions de sécurité. Des algorithmes de génération des plans d'actions alternatifs ont été mises en œuvre. L'identification des plans a été réalisée à travers une adaptation de l'algorithme SHOP2 qui se base sur le planificateur HTN (Hierarchical Task Network). Les plans alternatifs sont élaborer par un algorithme qui permet principalement de définir les combinaisons de pré-conditions de sécurité à considéré dans la spécification d'A2PG et dont au moins une pré-condition de sécurité est supprimée. L'applicabilité de l'approche a été démontrée sur le cas des tondeuses à gazon autoportées.

Les développements récents de la réalité virtuelle font du travail collaboratif assisté par ordinateur un outil prometteur et flexible. Il est en effet aujourd’hui possible, de représenter les données ainsi que les utilisateurs eux-mêmes de manière vivante dans les environnements virtuels collaboratifs (EVC). Les EVC se définissent comme des mondes virtuels distribués, générés par ordinateur, dans lesquels les utilisateurs peuvent se rencontrer, communiquer et interagir entre eux, mais aussi avec des données et des objets 3D. Les utilisateurs peuvent être éloignés physiquement, parler des langues différentes et utiliser des systèmes informatiques hétérogènes tout en collaborant malgré tout au sein d’un EVC. L’objectif principal des EVC est de proposer une collaboration fluide entre plusieurs utilisateurs. Ceci implique de prendre en charge un nombre considérable d’échanges, de communications et de négociations mais également de permettre des activités collaboratives. Par ailleurs, il est nécessaire de proposer des techniques d’interaction ainsi que des moyens pour bien prendre conscience de tout ce qui se passe dans l’environnement. Afin de préserver ces différents aspects dans la conception des EVC, nous nous intéressons à quatre facteurs essentiels : l’immersion, la conscience, la communication et l’intuitivité. Ces facteurs sont déterminants pour le succès des systèmes virtuels collaboratifs. En tenant compte des quatre facteurs cités cidessus, nous proposons et évaluons de nouvelles métaphores pour la navigation et la manipulation afin d’améliorer et d’enrichir les techniques d’interactions dans les EVC. Premièrement, nous proposons et évaluons un ensemble de trois métaphores de navigation pour explorer un environnement à plusieurs : indiquer un chemin en dessinant des flèches, illuminer un chemin à suivre et orienter une boussole pour montrer une direction. Ces métaphores peuvent être implémentées dynamiquement et utilisées directement dans n’importe quels environnements. Nos résultats révèlent que ces métaphores de navigation réduisent considérablement le temps passé à chercher un chemin dans des contextes d’exploration collaborative. Par ailleurs, nous avons développé une technique de manipulation directe dédiée aux environnements virtuels immersifs. Cette technique, qui utilise sept points de contrôle, affranchit l’utilisateur de plusieurs difficultés souvent rencontrées telles que le tremblement de la main ou l’effet Heisenberg lors de la manipulation d’objets 3D dans un système de projection immersive. En réduisant le nombre de degrés de liberté de l’objet manipulé à l’aide de point de contrôle, notre technique permet à l’utilisateur de contrôler partiellement l’objet, rendant ainsi la manipulation d’objets volumineux plus aisée. Enfin, nous avons implémenté et évalué deux métaphores d'interaction dans une application de conception et d'aménagement de poste de travail industriel. En tenant compte des quatre facteurs cités ci-dessus, nous avons implémenté une application de conception de poste de travail pour trois principaux types d'utilisateurs : un utilisateur final, un ingénieur et un expert en ergonomie. Afin d'avoir un niveau d'immersion optimal et des interactions naturelles entre des utilisateurs, nous avons implémenté une configuration de système asymétrique pour chaque utilisateur. Chacun pouvait utiliser quelque métaphores de communication implicites qui étaient simples, naturelles, et pertinentes dans notre contexte collaborative. / Recent progress of the virtual reality technology gives the computer supported collaborative work a potential and flexible tool of vividly representing data as well as users themselves in collaborative virtual environments. Collaborative virtual environments have been defined as computer-based, distributed virtual worlds in which people can meet, communicate and interact with others, with data and 3D objects. People may be geometrically far from each other, speak different languages and use heterogeneous computer systems. The ultimate goal in developing collaborative virtual environments is to support a smooth collaboration between multiple users which involves considerable communication and negotiation, cooperative and collaborative activities, interaction techniques, and awareness process. Considering these aspects into the design of a collaborative virtual environment, we are interested in four main factors, including immersion, awareness, communication and naturalness. These factors greatly determine the success of a collaborative virtual system. From the need of improving and completing interaction techniques in CVEs considering the four preceding factors, in this research we propose and evaluate new metaphors for 3D navigation and manipulation techniques. The first contribution of this research is to propose and evaluate a set of three navigation metaphors in a collaborative exploration context, including drawing directional arrows, lighting up path to follow, and orientating a compass to show a direction. These navigation metaphors can be dynamically implemented and used without constraints in any 3D virtual environments. The empirical result of our experiment revealed that these navigation metaphors considerably reduced wasted time in a wayfinding task of a collaborative exploring scenario. We have developed, in the second part of this research, a direct manipulation technique in immersive virtual environments. This manipulation technique deals with some difficulties the user often encounters such as hand jitter or Heisenberg effects while manipulating 3D objects in immersive projection systems. By dividing the number of degrees of freedom of the manipulated object into each handle of our tool, our technique enables a user to partially control the object, making the manipulation of large objects easier in immersive virtual environments. The last contribution of this research is the implementation and evaluation of two interaction metaphors in a digital mock-up application. Taking into account the four factors including immersion, awareness, communication and naturalness, we have built a workstation design application for three main users: an end-user, a design engineer and an ergonomics expert. In order to have an optimal immersion for the whole application and natural interaction between them, we have implemented an asymmetric system setup at each user's site. Each user could use some implicit communication metaphors which were simple, natural and still relevant in our collaborative context.

Les travaux de cette thèse portent sur l’élaboration d’une approche d’anticipation des comportements possibles de l’opérateur humain lorsqu’il ne respecte pas certaines règles de sécurité. Le non-respect des règles de sécurité, considéré comme une erreur humaine, constitue la source majeure d’incidents/accidents dans le domaine des agroéquipements. Ce domaine caractérisé par un manque de formalisation de son REX. L’approche proposée consiste à définir une méthodologie permettant de proposer des plans d’actions humaines possibles résultant d’un non-respect des règles de sécurité et de les évaluer par la suite. La génération des plans d’actions alternatifs aux prescriptions est réalisée à travers un outil que nous avons développé, baptisé A2PG (Alternative Action Plan Generator). Ce dernier, s’inspirant des modèles de l’opérateur humain, est basé sur les paramètres suivants à définir : la tâche à réaliser et le catalogue d’actions qui contient l’ensemble des actions, des pré-conditions nécessaires et de sécurité associées à chaque action ainsi que les effets de l’exécution de l’action. Le non-respect peut être modélisé au niveau d’A2PG par la variation d’au moins un de ses paramètres (sauf les pré-conditions nécessaires). Nous nous sommes intéressés plus particulièrement à la variation des pré-conditions de sécurité, c'est-à-dire la non-prise en compte par l’opérateur humain des pré-conditions de sécurité. Des algorithmes de génération des plans d’actions alternatifs ont été mises en œuvre. L’identification des plans a été réalisée à travers une adaptation de l’algorithme SHOP2 qui se base sur le planificateur HTN (Hierarchical Task Network). Les plans alternatifs sont élaborer par un algorithme qui permet principalement de définir les combinaisons de pré-conditions de sécurité à considéré dans la spécification d’A2PG et dont au moins une pré-condition de sécurité est supprimée. L’applicabilité de l’approche a été démontrée sur le cas des tondeuses à gazon autoportées. / These research works concern the development of an approach anticipating the possible human behaviours when they do not respect safety rules. The failure in complying with safety rules, considered human error, is the major source of incidents/accidents in agricultural equipment field. The proposed approach consists in defining a tool for generation of human action plans. An action plan is a sequence of actions allowing the achievement goal. The identification of these plans is done through the implementation of algorithms of planning methods based on hirerachical methods. These allow the decomposition of tasks into sub-tasks according to the chose specification of the generator. This specification consists in defining the parameters of the generator in order to simulate the failure in complying with safety rule. It concerns the following input parameters; task to achieve, safety preconditions, action effects, actions, list. Work then focus on the defining of a strategy based on the expert judgements to assess the human action plans, produced by the generator, in terms of credibility. The developed approach is a part of an improvement human factors consideration in risk analysis of agricultural equipment. Finally, this approach is demonstrated by its application to the riding lawn mower.

L'objectif poursuivi dans ce travail de thèse est la réalisation d'un dispositif capable d'interpréter une parole normalement articulée mais non vocalisée, permettant ainsi la " communication parlée silencieuse ". Destiné, à terme, à être léger et portatif, ce dispositif pourrait être utilisé d'une part, par une personne ayant subi une laryngectomie (ablation du larynx suite à un cancer), et d'autre part, pour toute communication, soit dans un milieu où le silence est requis (transport en commun, opération militaire, etc.), soit dans un environnement extrêmement bruité. Le dispositif proposé combine deux systèmes d'imagerie pour capturer l'activité de l'appareil vocal pendant " l'articulation silencieuse " : l'imagerie ultrasonore, qui donne accès aux articulateurs internes de la cavité buccale (comme la langue), et la vidéo, utilisée pour capturer le mouvement des lèvres. Le problème traité dans cette étude est celui de la synthèse d'un signal de parole " acoustique ", uniquement à partir d'un flux de données " visuelles " (images ultrasonores et vidéo). Cette conversion qualifiée ici de " visuo-acoustique ", s'effectue par apprentissage artificiel et fait intervenir quatre étapes principales : l'acquisition des données audiovisuelles, leur caractérisation, l'inférence d'une cible acoustique à partir de l'observation du geste articulatoire et la synthèse du signal. Dans le cadre de la réalisation du dispositif expérimental d'acquisition des données, un système de positionnement de la sonde ultrasonore par rapport à la tête du locuteur, basé sur l'utilisation combinée de deux capteurs inertiaux a tout d'abord été conçu. Un système permettant l'enregistrement simultané des flux visuels et du flux acoustique, basé sur la synchronisation des capteurs ultrasonore, vidéo et audio par voie logicielle, a ensuite été développé. Deux bases de données associant observations articulatoires et réalisations acoustiques, contenant chacune environ une heure de parole (continue), en langue anglaise, ont été construites. Pour la caractérisation des images ultrasonores et vidéo, deux approches ont été mises en œuvre. La première est basée sur l'utilisation de la transformée en cosinus discrète, la seconde, sur l'analyse en composantes principales (approche EigenTongues/EigenLips). La première approche proposée pour l'inférence des paramètres acoustiques, qualifiée de " directe ", est basée sur la construction d'une " fonction de conversion " à l'aide d'un réseau de neurones et d'un modèle par mélange de gaussiennes. Dans une seconde approche, qualifiée cette fois " d'indirecte ", une étape de décodage des flux visuels au niveau phonétique est introduite en amont du processus de synthèse. Cette étape intermédiaire permet notamment l'introduction de connaissances linguistiques a priori sur la séquence observée. Elle s'appuie sur la modélisation des gestes articulatoires par des modèles de Markov cachés (MMC). Deux méthodes sont enfin proposées pour la synthèse du signal à partir de la suite phonétique décodée. La première est basée sur une approche par concaténation d'unités ; la seconde utilise la technique dite de " synthèse par MMC ". Pour permettre notamment la réalisation d'adaptations prosodiques, ces deux méthodes de synthèse s'appuient sur une description paramétrique du signal de parole du type "Harmonique plus Bruit" (HNM).

Ce travail se situe dans le cadre de la surveillance de systèmes homme-machine, où l'opérateur humain est un élément de décision dans la boucle. Ce type de systèmes nécessite une surveillance automatisée globale temps-réel, incluant la détection d'incidents techniques et de défaillances humaines. Partant de l'hypothèse que la partie technologique travaille " correctement " et/ou qu'elle est surveillée par un système de diagnostic, nous nous centrons sur la partie opérateur humain, la plus critique à surveiller. Nous présentons un système de diagnostic appliqué à la surveillance du conducteur automobile à partir d'informations fournies par des capteurs embarqués dans le véhicule. Les travaux ont été développés dans le cadre du projet Européen AWAKE et le projet national " facteurs de dégradation de la vigilance et de la sécurité dans les transports " de PREDIT.<br />Nous proposons une stratégie générale de système temps-réel pour la surveillance du niveau de vigilance du conducteur (dynamique lente) et la surveillance du niveau de risque lié à la situation actuelle de conduite (dynamique instantanée), à travers :<br />* L'analyse temporelle et fréquentielle des signaux mécaniques (mesures de performance) par ondelettes et filtres, pour en extraire des caractéristiques dynamiques, statistiques et fréquentielles sur la dégradation de la conduite,<br />* L'apprentissage par SVM, méthode pour laquelle nous avons développé des stratégies d'implémentation adaptées pour un apprentissage en ligne et pour des problèmes de grande taille,<br />* La fusion par FIS, afin de profiter de l'expertise humaine et produire un diagnostic sur le niveau de risque lié à la sortie de la voie de circulation.<br />* La validation d'une telle approche à travers des EEG et EOG (mesures physiologiques) et des autoévaluations (mesures subjectives).<br />Nous appliquons cette méthodologie à diverses expériences des programmes AWAKE et PREDIT réalisées sur des simulateurs ou des démonstrateurs.