Abstract The aim of this thesis is to devise novel cooperative paradigms that allow small base stations (SBSs) to perform joint optimizations in the field of interference and spectral resource management, in an automated, self-organizing way. Fostering cooperation requires a careful negotiation process and incurs additional operational costs that can ultimately limit the scalability of such an approach. Hence, we design cooperative models around the self-organizing functions of small cell networks, through which each SBS dynamically adapts its own cooperative strategy to the current network status. In the first part of the thesis, we study the co-tier interference in the downlink of an underlay small cell tier. Showing that mutual interference is a limiting factor, we propose a cooperative scheme based on the concept of interference alignment. Thereby, the SBSs autonomously devise their cooperative strategy, select partner small base stations and suppress the mutual interference via alignment. In the second part, we extend the above problem by considering additional constraints posed by non-cooperative macro cell users sharing the spectrum with the SBSs. Due to the dimension of such a problem, we show that interference alignment solutions do not often exist, hence, we propose a distributed solution based on the concept of interference draining for solving the interfering signals in the space-frequency domain. Finally, we focus on inter-tier cooperation and propose an adaptive hybrid access policy based on spectrum leasing, which jointly enhances the SBSs' transmission capacity and the macro cell users' QoS . In the studied scenarios, we highlight how SBSs' individual performance is network-dependent, due to the shared nature of the spectrum and the network infrastructure. For addressing such issues, we use novel concepts from coalitional games in partition form in which the strategic decisions are optimized by accounting for external effects, such as interference or dynamic spectrum allocation. Based on the properties of optimality of coalitional games in partition form, the proposed cooperative solutions show two key features. First, by leveraging on decentralized strategic decisions, complex interference management techniques, such as interference alignment or draining, can be implemented in practical, scalable way. Second, although notable cooperative solutions exists for certain problem dimensions, the proposed algorithms are shown to be effective for a wide range of network sizes, by achieving significant data rate enhancement and low overhead. / Tiivistelmä Työssä käsitellään merkittäviä häiriön ja radioresurssien hallintaongelmia ja ehdotetaan käytännöllisiä yhteistoiminnallisuusmalleja, jotka tuottavat merkittäviä suorituskykyparannuksia, ja samaan aikaan ottavat huomioon yhteistyön kustannukset ja strategisten päätösten vaikutuksen piensolujen keskinäiseen suorituskykyyn. Työn ensimmäisessa osassa tutkitaan makro- ja piensoluverkon välistä häiriötä laskevalla siirtosuunnalla. Koska keskinäishäiriö osoittautuu merkittäväksi rajoittavaksi tekijäksi, ehdotetaan yhteistyömenetelmää, joka perustuu ns. häiriön laskostamiseen. Tällaisessa menetelmässä pientukiasemat päättävät itsenäisesti yhteistyöstrategiansa ja valitsevat ne tukiasemat, joiden kanssa tehdään yhteistyötä ja vaimennetaan keskinäishäiriötä laskostamalla. Työn toisessa osassa edellämainittua ongelmaa laajennataan ottamalla huomioon rajoitteet, jotka aiheutuvat samoja taajuusresursseja jakavista, mutta piensolutukiasemien kanssa yhteistyötä tekemättömistä makrosoluista. Ongelman laajuudesta havaitaan, että yleensä häiriön laskostusratkaisua ei löydy tällaisessa ongelmassa. Niinpä ehdotetaan hajautettua häiriön kohdennukseen perustuvaa ratkaisua, jossa häiriösignaalit lomitellaan tila-taajuustasossa. Työn viimeisessä osassa keskitytään eri tyyppisten tukiasemasolujen kesken käytävään yhteistyöhön ja ehdotetaan mukautuvaa taajuusspektrin vuokraamiseen perustuvaa hybridi-käyttöoikeusmenetelmää, joka parantaa piensolujen kapasiteettia ja makrosolukäyttäjien palvelun laatua. Kaikissa tutkituissa menetelmissä korostetaan kuinka yksittäisen pientukiaseman suorituskyky on verkosta riippuvainen johtuen jaetusta taajuuskaistasta ja verkkoinfrastuktuurista. Näissä skenaarioissa käytetään uusia ositukseen perustuvia ns. liittoumapelikonsepteja. Tämän tyyppisissä peleissä strategiset päätökset on optimoitu ottamalla huomioon ulkoiset tekijät kuten häiriö ja dynaaminen taajuuden allokointi. Ositukseen perustuvien liitoumapelien optimaalisuus- ja stabiilisuusominaisuuksien pohjalta ehdotetaan hajautettuja algoritmeja tutkittuihin ongelmiin. Ehdotetut yhteistoiminnalliset ratkaisut osoittavat kaksi avaintekijää. Ensinnäkin käyttämällä hajautettuja strategisia päätöksiä kompleksiset häiriönhallintatekniikat, kuten häiriön lomittelu ja kohdennus, voidaan toteuttaa käytännöllisesti siten, että hyöty-kustannussuhde on tasapainossa. Toiseksi, vaikka merkittäviä yhteistyöratkaisuja on olemassa tietyn dimensioisiin ongelmiin, ehdotetut algoritmit ovat osoittautuneet tehokkaiksi hyvin erikokoisissa verkoissa. Samalla on saavutettu merkittäviä datanopeusparannuksia ja hyvä skaalautuvuus.