Abstract This thesis considers data transmission in a full-duplex (FD) multiuser multiple-input multiple-output (MU-MIMO) system, where a FD capable base station (BS) bidirectionally communicates with multiple half-duplex (HD) users in downlink (DL) and uplink (UL) channels using the same radio resources. The main challenge in FD communications is how to deal with the self-interference (SI) between transmit and receive antennas at the BS. The work carried out in the thesis is motivated by recent advanced techniques in hardware design demonstrating that the SI can be suppressed to a degree that possibly allows for FD transmission in cellular networks. In particular, this thesis attempts to explore the potential gains in terms of the spectral efficiency (SE) and energy efficiency (EE) that can be brought by the FD MU-MIMO model. As the first of its kinds, the thesis aims to present a solid mathematical framework and report interesting results that foster research on wireless communications in general and FD communications in particular. For the FD system of interest the major challenge is due to the SI and co-channel interference from users in the UL channel to the ones in the DL channel, resulting in the coupling between the two channels. As a result we are concerned with the problem of joint transmit processing design to maximize the SE and EE subject to certain power constraints. Since the design problems are natually non-convex, it is difficult to find the globally optimal solutions or even when possible it is not practically appealing. Our contributions to solving these design problems are on the development of several iterative algorithms that can obtain locally optimal solutions. The proposed algorithms are built upon a framework of local optimization strategies such as the sequential parametric convex approximation and the Frank-Wolfe methods. In special cases closed-form designs are also presented. The reported results show that when the SI is sufficiently suppressed the considered FD MU-MIMO system with the proposed SE designs achieves a significantly better SE but consumes more energy, compared to the HD counterpart. In terms of EE the proposed EE scheme is superior to the proposed SE design. Moreover, in the low transmit power region, the EE design achieves a worse EE than the HD system but a better one in the high trasmit power regime when the SI power is low. / Tiivistelmä Tämä väitöskirja käsittelee datansiirtoa samanaikaisesti kaksisuuntaisessa (full-duplex, FD) usean käyttäjän moniantennijärjestelmässä (MU-MIMO), jossa FD-kykyinen tukiasema on yhtä aikaa yhteydessä vuorosuuntaisten (half-duplex, HD) käyttäjien kanssa laskevalla (DL) ja nousevalla (UL) siirtotiellä käyttäen samoja radioresursseja. FD-kommunikaation suurin haaste liittyy lähetys- ja vastaanottoantennien välisen omahäiriön (SI) hallintaan. Tässä työssä hyödynnetään tuoreita tutkimustuloksia, joissa edistyneillä häiriönvaimennustekniikoilla on kyetty vaimentamaan omahäiriö tasolle, jolla FD-lähetys solukkoverkoissa on toteutuskelpoista. Tässä työssä tutkitaan etenkin mahdollisia FD MU-MIMO –järjestelmän tuomia suorituskykyparannuksia spektrinkäytön tehokkuudessa (SE) ja energiatehokkuudessa (EE). Väitöskirjalla on uutuusarvoa matemaattisessa suorituskykyarvioinnissa ja työn mielenkiintoiset tulokset edistävät jatkotutkimusta aiheen ympärillä. Tutkittavan FD-järjestelmän merkittävänä haasteena on omahäiriön ja muiden käyttäjien siirtosuuntien välisen samankanavan häiriön yhteisvaikutus, jonka johdosta siirtosuunnat kytkeytyvät toisiinsa. Tämä johtaa lähetysprosessoinnin yhteisoptimointiin, jossa spektri- ja energiatehokkuus pyritään maksimoimaan määritetyillä tehorajoituksilla. Nämä suunnitteluongelmat eivät ole luonteeltaan konvekseja, joten niihin on vaikeaa löytää globaalisti optimaalisia ratkaisuja ja vaikka onnistuisikin niin ne eivät yleensä ole käytännöllisiä. Työssä esitetään useita iteratiivisia algoritmejä, joilla saavutetaan paikallisesti optimaalisia ratkaisuja. Ehdotetut algoritmit pohjautuvat paikallisten optimointistrategioiden viitekehykseen, jossa käytetään esimerkiksi peräkkäistä parametristä konveksiapproksimaatiota ja Frank-Wolfe –menetelmiä. Erityistapauksissa suljetun muodon ratkaisut on myös esitetty. Raportoidut tulokset osoittavat, että omahäiriön ollessa riittävästi vaimennettu mallinnetulla järjestelmällä saavutetaan spektrinkäytön optimointimielessä huomattavaa etua HD-verrokkiin lisääntyneen energian kulutuksen kustannuksella. Energiatehokkuuden optimointiin pohjautuvalla strategialla puolestaan päästään suurempiin suorituskykyetuihin. Pienillä lähetystehoilla energiatehokkuus voi kuitenkin olla HD-järjestelmää alempi, mutta vastaavasti suurten lähetystehojen alueella tilanne on päinvastainen kunhan omahäiriön teho on tarpeeksi alhainen.