Channel estimation is a fundamental task for exploiting the advantages of massive Multiple-Input Multiple-Output (MIMO) systems in fifth generation (5G) wireless technology. Channel estimates require solving sparse linear inverse problems that is usually performed with the Least Squares method, which brings low complexity but high mean squared error values. Thus other methods are usually needed to obtain better results, on top of Least Squares. Approximate Message Passing (AMP) is an efficient method for solving sparse linear inverse problems and recently a deep neural network approach to quickly solving such problems has been proposed, called Learned Approximate Message Passing (LAMP) [1], which estimates AMP with a fixed number iterations and learnable parameters. We formalize the channel estimation problem as a dictionary-based sparse linear inverse problem and investigate the applicability of LAMP to the task. We build upon the work of Borgerding et al. [1], providing a new loss function to minimize for our dictionary-based problem, we investigate empirically LAMP’s capabilities in various conditions: varying the dataset size, number of subcarriers, depth of network, and signal-to-noise ratio (SNR). We also propose a new network called Adaptive-LAMP which differs from LAMP for the introduction of a small neural network in each layer for estimating certain parameters instead of learning them. Experiments show that LAMP performs significantly better than AMP in terms of NMSE at low signal-to-noise ratio (SNR) levels and worse at high SNR levels. Interestingly, both proposed networks perform well at discovering active paths in cellular networks, paving the way for new approaches to the Channel Estimation problem. / Kanalbedömning är en grundläggande uppgift för att utnyttja fördelarna med massiva MIMO-system (Multiple-Input Multiple-Output) i femte generationens (5G) trådlösa teknik. Kanalskattningar kräver att man löser glesa linjära inversa problem som vanligtvis utförs med Least Squares-metoden, som ger låg komplexitet men höga medelvärden för det kvadratiska felet. Därför behövs vanligtvis andra metoder för att få bättre resultat, utöver Least Squares. Approximate Message Passing (AMP) är en effektiv metod för att lösa sparsamma linjära inversa problem, och nyligen har det föreslagits ett djupt neuralt nätverk för att snabbt lösa sådana problem, kallat Learned Approximate Message Passing (LAMP) [1], som uppskattar AMP med ett fast antal iterationer och inlärningsbara parametrar. Vi formaliserar kanalskattningsproblemet som ett ordboksbaserat sparse linjärt inversproblem och undersöker LAMP:s tillämplighet på uppgiften. Vi bygger på Borgerding et al. [1], som tillhandahåller en ny förlustfunktion att minimera för vårt ordboksbaserade problem, och vi undersöker empiriskt LAMP:s kapacitet under olika förhållanden: vi varierar datasetets storlek, antalet underbärare, nätverkets djup och signal-brusförhållandet (SNR). Vi föreslår också ett nytt nätverk kallat Adaptive-LAMP som skiljer sig från LAMP genom att det införs ett litet neuralt nätverk i varje lager för att uppskatta vissa parametrar i stället för att lära sig dem. Experiment visar att LAMP presterar betydligt bättre än AMP när det gäller NMSE vid låga signal-brusförhållande (SNR) och sämre vid höga SNR-nivåer. Intressant nog presterar båda de föreslagna nätverken bra när det gäller att upptäcka aktiva vägar i cellulära nätverk, vilket banar väg för nya metoder för kanalskattningsproblemet.

Diese Dissertation ist ein Beitrag zum Forschungsfeld Early stopping im Kontext iterativer Schätzverfahren. Wir betrachten Early stopping dabei sowohl aus der Perspektive impliziter Regularisierungsverfahren als auch aus der Perspektive adaptiver Methoden Analog zu expliziter Regularisierung reduziert das Stoppen eines Schätzverfahrens den stochastischen Fehler/die Varianz des endgültigen Schätzers auf Kosten eines zusätzlichen Approximationsfehlers/Bias. In diesem Forschungsbereich präsentieren wir eine neue Analyse des Gradientenabstiegsverfahrens für konvexe Lernprobleme in einem abstrakten Hilbert-Raum. Aus der Perspektive adaptiver Methoden müssen iterative Schätzerverfahren immer mit einer datengetriebenen letzten Iteration m kombiniert werden, die sowohl under- als auch over-fitting verhindert. In diesem Forschungsbereichpräsentieren wir zwei Beiträge: In einem statistischen inversen Problem, das durch iteratives Trunkieren der Singulärwertzerlegung regularisiert wird, untersuchen wir, unter welchen Umständen optimale Adaptiertheit erreicht werden kann, wenn wir an der ersten Iteration m stoppen, an der die geglätteten Residuen kleiner sind als ein kritischer Wert. Für L2-Boosting mittels Orthogonal Matching Pursuit (OMP) in hochdimensionalen linearen Modellen beweisen wir, dass sequenzielle Stoppverfahren statistische Optimalität garantieren können. Die Beweise beinhalten eine subtile punktweise Analyse einer stochastischen Bias-Varianz-Zerlegung, die durch den Greedy-Algorithmus, der OMP unterliegt, induziert wird. Simulationsstudien zeigen, dass sequentielle Methoden zu deutlich reduzierten Rechenkosten die Leistung von Standardalgorithmen wie dem kreuzvalidierten Lasso oder der nicht-sequentiellen Modellwahl über ein hochdimensionales Akaike- Kriterium erbringen können. / This dissertation contributes to the growing literature on early stopping in modern statistics and machine learning. We consider early stopping from the perspective of both implicit regularization and adaptive estimation. From the former, analogous to an explicit regularization method, halting an iterative estimation procedure reduces the stochastic error/variance of the final estimator at the cost of some bias. In this area, we present a novel analysis of gradient descent learning for convex loss functions in an abstract Hilbert space setting, which combines techniques from inexact optimization and concentration of measure. From the perspective of adaptive estimation, iterative estimation procedures have to be combined with a data-driven choice m of the effectively selected iteration in order to avoid under- as well as over-fitting. In this area, we present two contributions: For truncated SVD estimation in statistical inverse problems, we examine under what circumstances optimal adaptation can be achieved by early stopping at the first iteration at which the smoothed residuals are smaller than a critical value. For L2-boosting via orthogonal matching pursuit (OMP) in high dimensional linear models, we prove that sequential early stopping rules can preserve statistical optimality in terms of a general oracle inequality for the empirical risk and recently established optimal convergence rates for the population risk.