Dans cette thèse, nous proposons un ensemble d'outils nécessaires à l'élaboration d'un simulateur de chirurgie. Dans un premier temps, nous définissons plusieurs modèles déformables physiques temps réels permettant de simuler les déformations et la découpe d'organes du corps humain. Ces modèles s'appuient sur la théorie de l'élasticité et la méthode des éléments finis. Nous avons tout d'abord travaillé sur l'enrichissement du modèle élastique linéaire en le généralisant au cas des matériaux dont le comportement est anisotrope, soit en raison de la présence de fibres (muscles, tendons), soit parce qu'ils sont entourés d'une peau (capsule de Glisson pour le foie). Cependant, la principale limitation de l'élasticité linéaire est de n'être valable que dans l'hypothèse de petits déplacements. Nous proposons donc un nouveau modèle déformable mettant en oeuvre l'élasticité non-linéaire de St Venant-Kirchhoff, qui reste valable pour les grands déplacements. Après avoir étendu ce modèle aux matériaux anisotropes, nous proposons plusieurs méthodes d'optimisation des calculs, soit en utilisant un algorithme adaptatif qui combine les modèles linéaires et non-linéaires, soit à partir d'une nouvelle formulation. La seconde partie de ces travaux porte sur la simulation des interactions entre les instruments chirurgicaux et les organes virtuels. Pour cela, nous avons modélisé les contacts, ainsi que certaines actions spécifiques comme le glissement, la préhension et la découpe. De plus, nous nous sommes intéressés aux problèmes liés à l'utilisation d'interfaces à retour d'effort.

Dans le cadre général des interventions assistées par ordinateur, nos travaux, abordés essentiellement en terme d'imagerie virtuelle, se sont focalisés sur la phase préopératoire (analyse, modélisation, simulation) dans un objectif de planification réaliste de traitements mini-invasifs de lésions vasculaires (angioplastie transluminale, pose d'endoprothèse aortique, brachythérapie endovasculaire). De nouvelles fonctionnalités d'analyse locale et de description géométrique associées à un capteur virtuel sont proposées. A l'issue de cette exploration virtuelle analytique des données patient (imagerie TDM), la description géométrique de structures complexes ainsi que la détermination de paramètres caractérisant les structures vasculaires sont envisagées au regard du planning interventionnel et évaluées sur modèle animal et sur données patient. Une première approche de simulation spécifique patient d'interactions outils / tissus en angioplastie transluminale est finalement proposée.