Les présents travaux de thèse envisagent une nouvelle technique d'optimisation au sens topologique dans des géométries de type canal vertical où se réalisent des transferts de chaleur conducto-convectifs en régime laminaire. Les équations qui décrivent l'écoulement du fluide et le transfert d'énergie sont discrétisées par la méthode des volumes finis. La première partie du mémoire présente une nouvelle technique d'optimisation et sa validation sur des cas d'études de la littérature (single pipe, bend pipe). Cette technique consiste à définir des fonctions d'interpolation de type sigmoïde et permet d'obtenir une amélioration de l'interface fluide-solide au cours du processus d'optimisation. La seconde partie met en évidence les phénomènes physiques dans le canal asymétriquement chauffé, notamment l'influence de la stratification thermique extérieure et du rayonnement de surface sur les quantités aérauliques et thermiques. Enfin, une nouvelle expression de la puissance mécanique pour contrôler les pertes de charge (malgré l'ajout de matière) dans le canal vertical combinée avec une nouvelle expression de la puissance thermique sont étudiées. Le problème ainsi posé est résolu pour un écoulement en convection naturelle. Pour les cas considérés, chacune des fonctions coût est optimisée sans détériorer l'autre. Nous comparons aussi les valeurs des puissances obtenues par notre algorithme avec celles couramment utilisées dans la littérature et montrons que ces nouvelles fonctionnelles sont performantes. / This thesis deals with topology optimization of mass and heat transfer in the framework of the vertical asymetrically-heated channel. The incompressible Navier-Stokes equations coupled to the convection-diffusion equation through the Boussinesq approximation are employed and are solved with the finite volume method. We first propose a new interpolation technique for heat transfer optimization and validate it on referenced cases such as the "single pipe" and the "bend pipe". This new technique consists in the introduction of sigmoid interpolation functions to obain a better definition of the interface between fluid and solid domains, during the optimization process. We study then physical phenomenon in the asymmetrically heated channel , in particular the influence of thermal stratification outside the channel and surface radiation on thermal and dynamic quantities. We thus highlight the size variation of reversed flow at the exit of the channel and the plug-effect linked on external thermal stratification. Finally, we propose a new expression of mechanical power in order to control charges losses (despite addition of material) in the vertical channel combined with the expression of thermal power. In all considered cases, our algorithm succeeds to enhance one of the phenomenon modelled by our new cost functions without deteriorating the other one. We also compare the values of standard cost functions from the litterature over iteration of our optimization algorithm and show that our new cost functions are effective.