Récemment, il y a eu une hausse massive du trafic dans les réseaux mobiles à cause de nouveaux services et applications. Les architectures actuelles des réseaux cellulaires ne sont plus capables de gérer de façon satisfaisante ce trafic. Les Réseaux de Petites Cellules (RPC), basées sur un déploiement dense de stations de bases portables, autoorganisantes et efficaces en termes d’énergie apparait comme une solution prometteuse à ce problème. Les RPC augmentent la capacité du réseau, réduisent sa consommation énergétique et améliorent sa couverture. Par contre, elles posent des défis importants en termes de design optimal. Dans cette thèse, des aspects liés au design cellulaire et à l’allocation de ressources dans les RPC sont traités. La thèse se compose de deux parties. Dans la première partie, le design cellulaire est étudié : une population statique d’utilisateurs est considérée, et la taille optimale de cellule maximisant le débit spatial est donnée en fonction du modèle de récepteur, des conditions radio et des partitions indoor/outdoor. En considérant des utilisateurs mobiles, la taille de cellule optimale est étudiée afin de minimiser le temps de service, et minimiser le blocage et la déconnexion en cours de communication, en fonction de la vitesse des utilisateurs et du type de trafic. Le problème de placement des stations de base optimal est traité en fonction de différents critères de qualité (maximisation de débit total, équité proportionnelle, minimisation de délai, équité max-min) pour différentes distributions d’utilisateurs et partitions de cellules. Le problème de scaling de capacité dans un RPC limité par l’interférence avec pré-codage est étudié, et la quantité optimale d’antennes par utilisateurs en fonction de l’interférence inter-cellules est dérivée. Dans le cadre d’un réseau “green”, pour une charge du réseau donnée, on étudie les politiques optimales en boucle ouverte, afin de maximiser soit une fonction coût du système (contrôle centralisé) soit des fonctions de coût de chacune des stations de base (contrôle distribué). Dans la seconde partie, nous étudions l’allocation de ressources, nous introduisons les concepts de d’équité T-échelle et équité multi-échelle. Ces concepts permettent de distribuer les ressources équitablement pour les différentes classes de trafic. Ces concepts sont illustrés par des applications au partage de spectre et à l’allocation de ressources dans les femto-cellules indoor/outdoor. L’allocation de puissance pour satisfaire les demandes de trafic des utilisateurs avec un grand nombre d’interféreurs est une tâche difficile. Ce problème est abordé, et nous proposons un algorithme universel qui converge vers une configuration de puissance optimale qui satisfait les demandes des utilisateurs dans toutes les stations de base. Les performances de l’algorithme sont illustrées pour différentes configurations du système et différents niveaux de coopération entre les stations de base. / An ever increasing demand for mobile broadband applications and services is leading to a massive network densification. The current cellular system architectures are both economically and ecologically limited to handle this. The concept of small-cell networks (SCNs) based on the idea of dense deployment of self-organizing; low-cost, low-power base station (BSs) is a promising alternative. Although SCNs have the potential to significantly increase the capacity and coverage of cellular networks while reducing their energy consumption, they pose many new challenges to the optimal system design. Due to small cell sizes, the mobile users cross over many cells during the course of their service resulting in frequent handovers. Also, due to proximity of BSs, users (especially those at cell edges) experience a higher degree of interference from neighboring BSs. If one has to derive advantages from SCNs, these alleviated effects have to be taken care either by compromising on some aspects of optimality (like dedicating extra resources) or by innovating smarter algorithms or by a combination of the two. The concept of umbrella cells is introduced to take care of frequent handovers. Here extra resources are dedicated to ensure that the calls are not dropped within an umbrella cell. To manage interference, one might have to ensure that the neighboring cells always operate in independent channels or design algorithms which work well in interference dominant scenarios or use the backhaul to incorporate BS cooperation techniques. Further, small cell BS are most often battery operated, which calls for efficient power utilization and energy conservation techniques. Also, when deployed in urban areas, some of the small cells can have larger concentration of users throughout the cell, for example, hot-spots, which call in for design of SCNs with dense users. Also, with portable BSs, one has the choice to install them on street infrastructure or within residential complexes. In such cases, cell design and resource allocation has to consider aspects like user density, distribution (indoor/outdoor), mobility, attenuation, etc. We present the thesis in two parts. In the first part we study the cell design aspects, while the second part deals with the resource allocation. While the focus is on SCNs, some of the results derived and the tools and techniques used are also applicable to conventional cellular systems.