[pt] Na primeira parte desta tese, são desenvolvidos dois esquemas de detecção por listas para sistemas MIMO multiusuário. As técnicas propostas usam uma única transformação de redução de reticulado (LR) para modificar a matriz de canal entre os usuários e a estação base (BS). Após a transformação LR, um candidato confiável do sinal transmitido é obtido usando um detector de cancelamento sucessivo de interferências (SIC). No detector em múltiplos ramos com redução de reticulado e cancelamento sucessivo de interferências (MB-LR-SIC) proposto, um número fixo de diferentes ordenamentos para o detector SIC gera uma lista de possíveis candidatos para a informação transmitida. O melhor candidato é escolhido usando o critério maximum likelihood (ML). No detector por listas de tamanho variável (VLD) proposto, um algoritmo que decide se o candidato atual tem uma boa qualidade ou se é necessário continuar procurando por um candidato melhor nos ordenamentos restantes é utilizado. Os resultados numéricos mostram que os esquemas propostos têm um desempenho quase ótimo com uma complexidade computacional bem abaixo do detector ML. Um esquema de detecção e decodificação iterativa (IDD) baseado no algoritmo VLD é também desenvolvido, produzindo um desempenho próximo a um sistema mono usuário (SU) livre de interferências. Na segunda parte desta tese, uma técnica de detecção desacoplada de sinais (DSD) para sistemas MIMO massivo é proposta. Esta técnica permite que o sinal composto recebido na BS seja separado em sinais independentes, correspondentes a diferentes classes de usuários, viabilizando assim o uso dos procedimentos de detecção propostos na primeira parte desta tese em sistemas MIMO massivos. Um modelo de sinais para sistemas MIMO massivo com antenas centralizadas e/ou antenas distribuídas operando em redes heterogêneas de quinta geração é proposto. Uma análise baseada na soma das taxas e um estudo de custo computacional para DSD são apresentados. Os resultados numéricos ilustram o excelente compromisso desempenho versus complexidade obtido com a técnica DSD quando comparada com o esquema de detecção conjunta tradicional. / [en] In the first part of this thesis, we introduce two list detection schemes for the uplink scenario of multiuser multiple-input multiple-output (MUMIMO) systems. The proposed techniques employ a single lattice reduction (LR) transformation to modify the channel matrix between the users and the base station (BS). After the LR transformation, a reliable candidate for the transmitted signal vector, provided by successive interference cancellation (SIC) detection is obtained. In the proposed multi-branch lattice reduction SIC (MB-LR-SIC) detector, a fixed number of different orderings, generates a list of SIC detection candidates. The best candidate is chosen according to the maximum likelihood (ML) selection criterion. For the proposed variable list detection (VLD) scheme, an algorithm to decide if the current candidate has good quality or if it is necessary to further explore different orderings to improve the detection performance is employed. Simulation results indicate that the proposed schemes have a near-optimal performance while keeping its computational complexity well below that of the ML detector. An iterative detection and decoding (IDD) scheme based on the VLD algorithm is also developed, producing an excellent performance that approaches the single user (SU) scenario. In the second part of this thesis, a decoupled signal detection (DSD) technique which allows the separation of uplink signals, for each user class, at the base station (BS) for massive MIMO systems is proposed. The proposed DSD allows to implement the detection procedures proposed in the first part of this thesis in massive MIMO scenarios. A mathematical signal model for massive MIMO systems with centralized and distributed antennas in the future fifth generation (5G) heterogeneous cellular networks is also developed. A sum-rate analysis and a study of computational cost for DSD are also presented. Simulation results show excellent performance of the proposed DSD algorithm when combined with linear and SIC-based detectors.