Abstract This thesis focuses on transceiver optimization for heterogeneous multi-user multiple-input multiple-output (MIMO) wireless communications systems. The aim is to design decentralized beamforming methods with low signaling overhead for improved spatial spectrum utilization. A wide range of transceiver optimization techniques are covered, with particular consideration of decentralized optimization, fast convergence, computational complexity and signaling limitations. The proposed methods are shown to provide improved rate of convergence, when compared to the conventional weighted minimum MSE (WMMSE) approach. This makes them suitable for time-correlated channel conditions, in which the ability to follow the changing channel conditions is essential. Coordinated beamforming under quality of service (QoS) constraints is considered for interfering broadcast channel. Decomposition based decentralized processing approaches are shown to enable the weighted sum rate maximization (WSRMax) in time-correlated channel conditions. Pilot-aided decentralized WSRMax beamformer estimation is studied for coordinated multi-point (CoMP) joint processing (JP). In stream specific estimation (SSE), all effective channels are individually estimated. The beamformers are then constructed from the locally estimated channels. On the other hand, with direct estimation (DE) of the beamformers, only the intended signal needs to be separately estimated and the covariance matrices are implicitly estimated from the received pilot training matrices. This makes the pilot design more robust to pilot contamination. These methods show that CoMP JP is feasible even in relatively fading channel conditions and with limited backhaul capacity by employing decentralized beamformer processing. In the final part of the thesis, a relay-assisted cellular system with decentralized processing is considered, in which users are served either directly by the base stations or via relays for WSRMax or sum power minimization subject to rate constraints. Zero-forcing and coordinated beamforming provide a trade-off between complexity, in-band signaling and spectrum utilization. Relays are shown to be beneficial in many scenarios when the in-band signaling is accounted for. This thesis shows that decentralized downlink MIMO transceiver design with a reasonable computational complexity is feasible in various system architectures even when signaling resources are limited and channel conditions are moderately fast fading. / Tiivistelmä Tämä väitöskirja keskittyy lähetin- ja vastaanotinoptimointiin heterogeenisissä monikäyttäjä- ja moniantennijärjestelmissä. Tavoitteena on parantaa tilatason suorituskykyä tutkimalla hajautettuja keilanmuodostusmenetelmiä, joissa ohjaussignaloinnin tarve on alhainen. Erityisesti keskitytään hajautetun keilanmuodostuksen optimointiin, nopeaan konvergenssiin, laskennalliseen kompleksisuuteen sekä signaloinnin rajoitteisiin. Esitettyjen menetelmien osoitetaan parantavan konvergenssinopeutta ja vähentävän signaloinnin tarvetta, verrattaessa tunnettuun WMMSE-menetelmään. Nämä mahdollistavat lähetyksen aikajatkuvissa kanavissa, joissa kanavan muutosten seuraaminen on erityisen tärkeää. Näiden menetelmien osoitetaan mahdollistavan hajautetun ja priorisoidun tiedonsiirtonopeuden maksimoinnin monisolujärjestelmissä sekä aikajatkuvissa kanavissa käyttäjäkohtaisilla siirtonopeustakuilla. Pilottiavusteisten lähetys- ja vastaanotinkeilojen estimointia tutkitaan yhteislähetysjärjestelmissä. Yksittäisten lähetyskanavien estimoinnissa effektiiviset kanavat estimoidaan yksitellen, ja lähetys- ja vastaanotinkovarianssimatriisit muodostetaan summaamalla paikalliset kanavaestimaatit. Suoraestimoinnissa ainoastaan oman käyttäjän effektiivinen kanava estimoimaan erikseen. Tällöin kovarianssimatriisit saadaan suoraan vastaanotetuista pilottisignaaleista. Tämä tekee estimaateista vähemmän herkkiä häiriölle. Hajautetun yhteislähetyksen osoitetaan olevan mahdollista, jopa verrattain nopeasti muuttuvissa kanavissa sekä rajallisella verkkoyhteydellä lähettimien välillä. Viimeisessä osassa tutkitaan välittäjä-avusteisia järjestelmiä, joissa käyttäjiä palvellaan joko suoraan tukiasemasta tai välittäjä-aseman kautta. Optimointikriteereinä käytetään siirtonopeuden maksimointia sekä lähetystehon minimointia siirtonopeustakuilla. Nollaanpakottava sekä koordinoitu keilanmuodostus tarjoavat valinna laskennallisen kompleksisuuden, ohjaussignaloinnin sekä suorituskyvyn välillä. Välittäjä-avusteisen lähetyksen osoitetaan olevan hyödyllisiä useissa tilanteissa, kun radiorajanpinnan yli tapahtuvan signaloinnin tarve otetaan huomioon keilanmuodostuksessa. Tässä väitöskirjassa osoitetaan hajautetun keilanmuodostuksen olevan mahdollista verrattaen vähäisillä laskennallisilla resursseilla heterogeenisissä moniantennijärjestelmissä. Esitetyt menetelmät tarjoavat ratkaisuja järjestelmiin, joissa ohjaussignalointiresurssit ovat rajallisia ja radiokanava on jatkuvasti muuttuva.

Multi-antenna wireless communication systems that employ a large number of antennas have recently stirred a lot of research interest. This is mainly due to the possibility of achieving very high spectral efficiency, power efficiency, and link reliability in such large-scale multiple-input multiple-output (MIMO) systems. An emerging architecture for large-scale multiuser MIMO communications is one where each base station (BS) is equipped with a large number of antennas (tens to hundreds of antennas) and the user terminals are equipped with fewer antennas (one to four antennas) each. The backhaul communication between base stations is also carried out using large number of antennas. Because of the high dimensionality of large-scale MIMO signals, the computational complexity of various transceiver operations can be prohibitively large. Therefore, low complexity techniques that scale well for transceiver signal processing in such large-scale MIMO systems are crucial. The transceiver operations of interest include signal encoding at the transmitter, and channel estimation, detection and decoding at the receiver. This thesis focuses on the design and analysis of novel low-complexity transceiver signal processing schemes for large-scale MIMO systems. In this thesis, we consider two types of large-scale MIMO systems, namely, massive MIMO systems and generalized spatial modulation MIMO (GSM-MIMO) systems. In massive MIMO, the mapping of information bits to modulation symbols is done using conventional modulation alphabets (e.g., QAM, PSK). In GSM-MIMO, few of the avail-able transmit antennas are activated in a given channel use, and information bits are conveyed through the indices of these active antennas, in addition to the bits conveyed through conventional modulation symbols. We also propose a novel modulation scheme named as precoder index modulation, where information bits are conveyed through the index of the chosen precoder matrix as well as the modulation symbols transmitted. Massive MIMO: In this part of the thesis, we propose a novel MIMO receiver which exploits channel hardening that occurs in large-scale MIMO channels. Channel hardening refers to the phenomenon where the off-diagonal terms of HH H become much weaker compared to the diagonal terms as the size of the channel gain matrix H increases. We exploit this phenomenon to devise a low-complexity channel estimation scheme and a message passing algorithm for signal detection at the BS receiver in massive MIMO systems. We refer to the proposed receiver as the channel hardening-exploiting message passing (CHEMP) receiver. The key novelties in the proposed CHEMP receiver are: (i) operation on the matched filtered system model, (ii) Gaussian approximation on the off-diagonal terms of the HH H matrix, and (iii) direct estimation of HH H instead of H and use of this estimate of HH H for detection The performance and complexity results show that the proposed CHEMP receiver achieves near-optimal performance in large-scale MIMO systems at complexities less than those of linear receivers like minimum mean squared error (MMSE) receiver. We also present a log-likelihood ratio (LLR) analysis that provides an analytical reasoning for this better performance of the CHEMP receiver. Further, the proposed message passing based detection algorithm enables us to combine it with low density parity check (LDPC) decoder to formulate a joint message passing based detector-decoder. For this joint detector-decoder, we design optimized irregular binary LDPC codes specific to the massive MIMO channel and the proposed receiver through EXIT chart matching. The LDPC codes thus obtained are shown to achieve improved coded bit error rate (BER) performance compared to off-the-shelf irregular LDPC codes. The performance of the CHEMP receiver degrades when the system loading factor (ratio of the number of users to the number of BS antennas) and the modulation alpha-bet size are large. It is of interest to devise receiver algorithms that work well for high system loading factors and modulation alphabet sizes. For this purpose, we propose a low-complexity factor-graph based vector message passing algorithm for signal detection. This algorithm uses a scalar Gaussian approximation of interference on the basic sys-tem model. The performance results show that this algorithm performs well for large modulation alphabets and high loading factors. We combine this detection algorithm with a non-binary LDPC decoder to obtain a joint detector-decoder, where the field size of the non-binary LDPC code is same as the size of the modulation alphabet. For this joint message passing based detector-decoder, we design optimized non-binary irregular LDPC codes tailored to the massive MIMO channel and the proposed detector. GSM-MIMO: In this part of the thesis, we consider GSM-MIMO systems in point-to-point as well as multiuser communication settings. GSM-MIMO has the advantage of requiring only fewer transmit radio frequency (RF) chains than the number of transmit antennas. We analyze the capacity of point-to-point GSM-MIMO, and obtain lower and upper bounds on the GSM-MIMO system capacity. We also derive an upper bound on the BER performance of maximum likelihood detection in GSM-MIMO systems. This bound is shown to be tight at moderate to high signal-to-noise ratios. When the number of transmit and receive antennas are large, the complexity of en-coding and decoding of GSM-MIMO signals can be prohibitively high. To alleviate this problem, we propose a low complexity GSM-MIMO encoding technique that utilizes com-binatorial number system for bits-to-symbol mapping. We also propose a novel layered message passing (LaMP) algorithm for decoding GSM-MIMO signals. Low computational complexity is achieved in the LaMP algorithm by detecting the modulation bits and the antenna index bits in two deferent layers. We then consider large-scale multiuser GSM-MIMO systems, where multiple users employ GSM at their transmitters to communicate with a BS having a large number of receive antennas. For this system, we develop computationally efficient message passing algorithms for signal detection using vector Gaussian approximation of interference. The performance results of these algorithms show that the GSM-MIMO system outperforms the massive MIMO system by several dBs for the same spectral efficiency. Precoder index modulation: It is known that the performance of a communication link can be enhanced by exploiting time diversity without reducing the rate of transmission using pseudo random phase preceding (PRPP). In order to further improve the performance of GSM-MIMO, we apply PRPP technique to GSM-MIMO systems. PRPP provides additional diversity advantage at the receiver and further improves the performance of GSM-MIMO systems. For PRPP-GSM systems, we propose methods to simultaneously precode both the antenna index bits and the modulation symbols using rectangular precoder matrices. Finally, we extend the idea of index modulation to pre-coding and propose a new modulation scheme referred to as precoder index modulation (PIM). In PIM, information bits are conveyed through the index of a prehared PRPP matrix, in addition to the information bits conveyed through the modulation symbols. PIM is shown to increase the achieved spectral efficiency, in addition to providing diver-sity advantages.

Abstract This thesis focuses on the design of coordinated downlink beamforming techniques for wireless multi-cell multi-user multi-antenna systems. In particular, cellular and cognitive radio networks are considered. In general, coordinated beamforming schemes aim to improve system performance, especially at the cell-edge area, by controlling inter-cell interference. In this work, special emphasis is put on practical coordinated beamforming designs that can be implemented in a decentralized manner by relying on local channel state information (CSI) and low-rate backhaul signaling. The network design objective is the sum power minimization (SPMin) of base stations (BSs) while providing the guaranteed minimum rate for each user. Decentralized coordinated beamforming techniques are developed for cellular multi-user multiple-input single-output (MISO) systems. The proposed iterative algorithms are based on classical primal and dual decomposition methods. The SPMin problem is decomposed into two optimization levels, i.e., BS-specific subproblems for the beamforming design and a network-wide master problem for the inter-cell interference coordination. After the acquisition of local CSI, each BS can independently compute its transmit beamformers by solving the subproblem via standard convex optimization techniques. Interference coordination is managed by solving the master problem via a traditional subgradient method that requires scalar information exchange between the BSs. The algorithms make it possible to satisfy the user-specific rate constraints for any iteration. Hence, delay and signaling overhead can be reduced by limiting the number of performed iterations. In this respect, the proposed algorithms are applicable to practical implementations unlike most of the existing decentralized approaches. The numerical results demonstrate that the algorithms provide significant performance gains over zero-forcing beamforming strategies. Coordinated beamforming is also studied in cellular multi-user multiple-input multiple-output (MIMO) systems. The corresponding non-convex SPMin problem is divided into transmit and receive beamforming optimization steps that are alternately solved via successive convex approximation method and the linear minimum mean square error criterion, respectively, until the desired level of convergence is attained. In addition to centralized design, two decentralized primal decomposition-based algorithms are proposed wherein the transmit and receive beamforming designs are facilitated by a combination of pilot and backhaul signaling. The results show that the proposed MIMO algorithms notably outperform the MISO ones. Finally, cellular coordinated beamforming strategies are extended to multi-user MISO cognitive radio systems, where primary and secondary networks share the same spectrum. Here, network optimization is performed for the secondary system with additional interference constraints imposed for the primary users. Decentralized algorithms are proposed based on primal decomposition and an alternating direction method of multipliers. / Tiivistelmä Tämä väitöskirja keskittyy yhteistoiminnallisten keilanmuodostustekniikoiden suunnitteluun langattomissa monisolu- ja moniantennijärjestelmissä, erityisesti solukko- ja kognitiiviradioverkoissa. Yhteistoiminnalliset keilanmuodostustekniikat pyrkivät parantamaan verkkojen suorituskykyä kontrolloimalla monisoluhäiriötä, erityisesti tukiasemasolujen reuna-alueilla. Tässä työssä painotetaan erityisesti käytännöllisten yhteistoiminnallisten keilanmuodostustekniikoiden suunnittelua, joka voidaan toteuttaa hajautetusti perustuen paikalliseen kanavatietoon ja tukiasemien väliseen informaationvaihtoon. Verkon suunnittelutavoite on minimoida tukiasemien kokonaislähetysteho samalla, kun jokaiselle käyttäjälle taataan tietty vähimmäistiedonsiirtonopeus. Hajautettuja yhteistoiminnallisia keilanmuodostustekniikoita kehitetään moni-tulo yksi-lähtö -solukkoverkoille. Oletuksena on, että tukiasemat ovat varustettuja monilla lähetysantenneilla, kun taas päätelaitteissa on vain yksi vastaanotinantenni. Ehdotetut iteratiiviset algoritmit perustuvat klassisiin primaali- ja duaalihajotelmiin. Lähetystehon minimointiongelma hajotetaan kahteen optimointitasoon: tukiasemakohtaisiin aliongelmiin keilanmuodostusta varten ja verkkotason pääongelmaan monisoluhäiriön hallintaa varten. Paikallisen kanavatiedon hankkimisen jälkeen jokainen tukiasema laskee itsenäisesti lähetyskeilansa ratkaisemalla aliongelmansa käyttäen apunaan standardeja konveksioptimointitekniikoita. Monisoluhäiriötä kontrolloidaan ratkaisemalla pääongelma käyttäen perinteistä aligradienttimenetelmää. Tämä vaatii tukiasemien välistä informaationvaihtoa. Ehdotetut algoritmit takaavat käyttäjäkohtaiset tiedonsiirtonopeustavoitteet jokaisella iterointikierroksella. Tämä mahdollistaa viiveen pienentämisen ja tukiasemien välisen informaatiovaihdon kontrolloimisen. Tästä syystä ehdotetut algoritmit soveltuvat käytännön toteutuksiin toisin kuin useimmat aiemmin ehdotetut hajautetut algoritmit. Numeeriset tulokset osoittavat, että väitöskirjassa ehdotetut algoritmit tuovat merkittävää verkon suorituskyvyn parannusta verrattaessa aiempiin nollaanpakotus -menetelmiin. Yhteistoiminnallista keilanmuodostusta tutkitaan myös moni-tulo moni-lähtö -solukkoverkoissa, joissa tukiasemat sekä päätelaitteet ovat varustettuja monilla antenneilla. Tällaisessa verkossa lähetystehon minimointiongelma on ei-konveksi. Optimointiongelma jaetaan lähetys- ja vastaanottokeilanmuodostukseen, jotka toistetaan vuorotellen, kunnes algoritmi konvergoituu. Lähetyskeilanmuodostusongelma ratkaistaan peräkkäisillä konvekseilla approksimaatioilla. Vastaanottimen keilanmuodostus toteutetaan summaneliövirheen minimoinnin kautta. Keskitetyn algoritmin lisäksi tässä työssä kehitetään myös kaksi hajautettua algoritmia, jotka perustuvat primaalihajotelmaan. Hajautettua toteutusta helpotetaan pilottisignaloinnilla ja tukiasemien välisellä informaationvaihdolla. Numeeriset tulokset osoittavat, että moni-tulo moni-lähtö -tekniikoilla on merkittävästi parempi suorituskyky kuin moni-tulo yksi-lähtö -tekniikoilla. Lopuksi yhteistoiminnallista keilanmuodostusta tarkastellaan kognitiiviradioverkoissa, joissa primaari- ja sekundaarijärjestelmät jakavat saman taajuuskaistan. Lähetystehon optimointi suoritetaan sekundaariverkolle samalla minimoiden primaarikäyttäjille aiheuttamaa häiriötä. Väitöskirjassa kehitetään kaksi hajautettua algoritmia, joista toinen perustuu primaalihajotelmaan ja toinen kerrointen vaihtelevan suunnan menetelmään.