Abstract This thesis focuses on transceiver optimization for heterogeneous multi-user multiple-input multiple-output (MIMO) wireless communications systems. The aim is to design decentralized beamforming methods with low signaling overhead for improved spatial spectrum utilization. A wide range of transceiver optimization techniques are covered, with particular consideration of decentralized optimization, fast convergence, computational complexity and signaling limitations. The proposed methods are shown to provide improved rate of convergence, when compared to the conventional weighted minimum MSE (WMMSE) approach. This makes them suitable for time-correlated channel conditions, in which the ability to follow the changing channel conditions is essential. Coordinated beamforming under quality of service (QoS) constraints is considered for interfering broadcast channel. Decomposition based decentralized processing approaches are shown to enable the weighted sum rate maximization (WSRMax) in time-correlated channel conditions. Pilot-aided decentralized WSRMax beamformer estimation is studied for coordinated multi-point (CoMP) joint processing (JP). In stream specific estimation (SSE), all effective channels are individually estimated. The beamformers are then constructed from the locally estimated channels. On the other hand, with direct estimation (DE) of the beamformers, only the intended signal needs to be separately estimated and the covariance matrices are implicitly estimated from the received pilot training matrices. This makes the pilot design more robust to pilot contamination. These methods show that CoMP JP is feasible even in relatively fading channel conditions and with limited backhaul capacity by employing decentralized beamformer processing. In the final part of the thesis, a relay-assisted cellular system with decentralized processing is considered, in which users are served either directly by the base stations or via relays for WSRMax or sum power minimization subject to rate constraints. Zero-forcing and coordinated beamforming provide a trade-off between complexity, in-band signaling and spectrum utilization. Relays are shown to be beneficial in many scenarios when the in-band signaling is accounted for. This thesis shows that decentralized downlink MIMO transceiver design with a reasonable computational complexity is feasible in various system architectures even when signaling resources are limited and channel conditions are moderately fast fading. / Tiivistelmä Tämä väitöskirja keskittyy lähetin- ja vastaanotinoptimointiin heterogeenisissä monikäyttäjä- ja moniantennijärjestelmissä. Tavoitteena on parantaa tilatason suorituskykyä tutkimalla hajautettuja keilanmuodostusmenetelmiä, joissa ohjaussignaloinnin tarve on alhainen. Erityisesti keskitytään hajautetun keilanmuodostuksen optimointiin, nopeaan konvergenssiin, laskennalliseen kompleksisuuteen sekä signaloinnin rajoitteisiin. Esitettyjen menetelmien osoitetaan parantavan konvergenssinopeutta ja vähentävän signaloinnin tarvetta, verrattaessa tunnettuun WMMSE-menetelmään. Nämä mahdollistavat lähetyksen aikajatkuvissa kanavissa, joissa kanavan muutosten seuraaminen on erityisen tärkeää. Näiden menetelmien osoitetaan mahdollistavan hajautetun ja priorisoidun tiedonsiirtonopeuden maksimoinnin monisolujärjestelmissä sekä aikajatkuvissa kanavissa käyttäjäkohtaisilla siirtonopeustakuilla. Pilottiavusteisten lähetys- ja vastaanotinkeilojen estimointia tutkitaan yhteislähetysjärjestelmissä. Yksittäisten lähetyskanavien estimoinnissa effektiiviset kanavat estimoidaan yksitellen, ja lähetys- ja vastaanotinkovarianssimatriisit muodostetaan summaamalla paikalliset kanavaestimaatit. Suoraestimoinnissa ainoastaan oman käyttäjän effektiivinen kanava estimoimaan erikseen. Tällöin kovarianssimatriisit saadaan suoraan vastaanotetuista pilottisignaaleista. Tämä tekee estimaateista vähemmän herkkiä häiriölle. Hajautetun yhteislähetyksen osoitetaan olevan mahdollista, jopa verrattain nopeasti muuttuvissa kanavissa sekä rajallisella verkkoyhteydellä lähettimien välillä. Viimeisessä osassa tutkitaan välittäjä-avusteisia järjestelmiä, joissa käyttäjiä palvellaan joko suoraan tukiasemasta tai välittäjä-aseman kautta. Optimointikriteereinä käytetään siirtonopeuden maksimointia sekä lähetystehon minimointia siirtonopeustakuilla. Nollaanpakottava sekä koordinoitu keilanmuodostus tarjoavat valinna laskennallisen kompleksisuuden, ohjaussignaloinnin sekä suorituskyvyn välillä. Välittäjä-avusteisen lähetyksen osoitetaan olevan hyödyllisiä useissa tilanteissa, kun radiorajanpinnan yli tapahtuvan signaloinnin tarve otetaan huomioon keilanmuodostuksessa. Tässä väitöskirjassa osoitetaan hajautetun keilanmuodostuksen olevan mahdollista verrattaen vähäisillä laskennallisilla resursseilla heterogeenisissä moniantennijärjestelmissä. Esitetyt menetelmät tarjoavat ratkaisuja järjestelmiin, joissa ohjaussignalointiresurssit ovat rajallisia ja radiokanava on jatkuvasti muuttuva.