Abstract With the unprecedented growth in mobile data traffic and network densification, the emerging fifth-generation (5G) wireless network warrants a paradigm shift with respect to system design and technological enablers. In this regard, the prime motivation of this thesis is to propose an integrated access-backhaul (IAB) framework to dynamically schedule users, while efficiently providing a wireless backhaul to dense small cells and mitigating interference. In addition, joint resource allocation and interference mitigation solutions are proposed for two-hop and multi-hop self-backhauled millimeter wave (mmWave) networks. The first contribution of this thesis focuses on a multi-user two-hop relay cellular system in which a massive antenna array enabled macro base station (BS) simultaneously provides high beamforming gains to outdoor users, and wireless backhauling to outdoor small cells. Moreover, a hierarchical interference mitigation scheme is applied to efficiently mitigate cross-tier and co-tier interference. In the second contribution, a multi-hop self-backhauled mmWave communication scenario is studied whereby a joint multi-hop multi-path selection and rate allocation framework is proposed to enable Gbps data rates with reliable communications. Using reinforcement learning techniques, a dynamic and efficient re-routing solution is proposed to cope with blockage and latency constraints. Finally, a risk-sensitive learning solution is leveraged to provide high-reliability and low-latency communications. In summary, the dissertation analyses key trade-offs between (i) capacity and latency, (ii) reliability and network density. Extensive simulation results were carried out to verify the performance gains of the proposed algorithms compared to several baselines and for different network settings. Key findings show significant improvements in terms of higher data rates, lower latency, and reliable communications with some trade-offs. / Tiivistelmä Liikkuvan dataliikenteen ennennäkemättömän kasvun ja verkkojen tihentymisen seurauksena pian käyttöön tulevien viidennen sukupolven (5G) langattomien verkkojen järjestelmäsuunnittelua ja teknologisten mahdollistajien käyttöä on täytynyt lähestyä kokonaan uudesta näkökulmasta. Niinpä tämän väitöstyön johtavana ajatuksena on ehdottaa integroitua verkkoon pääsyn ja runkoverkkoyhteyden muodostamismallia, jossa käyttäjät resursoidaan dynaamisesti ja samalla muodostetaan tehokkaat runkoverkkoyhteydet piensoluille. Tätä varten tutkitaan resurssiallokaation ja häiriöiden lieventämisen yhteisratkaisuja, jotka tukevat kahden tai useamman hypyn yhteyksiä ja samanaikaista runkoverkkoyhteyden luomista millimetriaaltoalueen verkoissa. Työn alkuosa keskittyy usean käyttäjän välitinavusteiseen kahden hypyn solukkoverkkoon, jossa makrotukiasemassa käytetään suurta antenniryhmää muodostamaan samanaikaisesti suuren vahvistuksen antennikeiloja käyttäjälinkeille ja langattomalle runkoyhteysosuudelle. Lisäksi sovelletaan hierarkkista häiriönvaimennusmenetelmää saman kerroksen ja kerrosten välisen häiriön tehokkaaseen vähentämiseen. Työn seuraavassa osassa arvioidaan usean hypyn runkoverkkoyhteyden muodostuksen tutkimusongelmaa millimetrialueen kommunikaatiossa kehittämällä yhdistetty menetelmä usean hypyn monipolkuvalinnalle ja tiedonsiirtoresurssien allokoinnille. Tällä tähdätään gigabittiluokan datanopeuksiin ja luotettavaan tietoliikenteeseen millimetrialueella. Vahvistavan oppimisen tekniikan avulla esitellään dynaaminen ja tehokas uudelleenreitityskonsepti toimimaan esto- ja viiverajoitusten kanssa. Lopuksi hyödynnetään riskisensitiivistä oppimista ja antennidiversiteettitekniikoita suuren luotettavuuden ja pienen latenssin saavuttamiseksi millimetrialueen tiedonsiirrossa. Näiden avulla analysoidaan kaupankäyntiä esimerkiksi (i) kapasiteetin ja latenssin sekä (ii) luotettavuuden ja verkon tiheyden/kuormituksen välillä. Mittavien suoritettujen simulointien avulla osoitetaan ehdotettujen algoritmien suorituskykyedut suhteessa tunnettuihin verrokkeihin useissa eri skenaarioissa. Tulosten perusteella saavutetaan merkittäviä kustannussäästöjä infrastruktuurin ja runkoverkon osalta sekä päästään suuriin datanopeuksiin ja parannuksiin pienen latenssin luotettavassa tietoliikenteessä.