Quantum spin liquids (QSLs) are strongly correlated systems displaying fascinating phenomena like long-range entanglement and fractionalized excitations. The research on these states has since its beginning followed trends generated by the synthesis of new compounds and the construction of new theoretical tools. In coherence with this history, a manifold of new results about QSLs were established during the past decade due to studies on the integrable Kitaev model on the honeycomb lattice. This j = 1/2 model displays bond-dependent and anisotropic exchanges that are essential to stabilize its QSL ground state with Majorana fermion excitations and emergent Z2 gauge field. Even more interestingly, this model is relevant to understand the magnetism of a certain class of 4/5d5 Mott insulators with specific lattice constraints, t2g orbital degeneracy and strong spin-orbit coupling (SOC). This mechanism defining these so-called Kitaev materials can be applied to similar compounds based on transition metal ions in different electronic configurations. In this thesis, I investigate minimal models for two types of 4/5d1 Mott insulators: the ones on the ordered double perovskite structure (ODP) and the ones isostructural to the Kitaev materials. Their effective models generically show bond-dependent and anisotropic interactions involving multipoles of an effective j = 3/2 angular momentum. Such degrees of freedom are conveniently written in terms of pseudospin s and pseudo-orbital τ operators resembling spin and orbital operators of Kugel-Khomskii models with twofold orbital degeneracy. Despite their anisotropy, the two realistic models display continuous global symmetries in the limit of vanishing Hund\'s coupling enhancing quantum fluctuations and possibly stabilizing a QSL phase. Parton mean-field theory was used to propose fermionic QSLs that will be called quantum spin-orbital liquids (QSOLs) due their dependence with s and τ. On ODPs, I studied a chiral QSOL with Majorana fermion excitations and a gapless spectrum characterized by nodal lines along the edges of the Brillouin zone. These nodal lines are topological defects of a non-Abelian Berry connection and the system exhibits dispersing surface states. Several experimental responses of the chiral QSOL within the mean-field approximation are compared with the experimental data available for the spin liquid candidate Ba2YMoO6. Moreover, based on a symmetry analysis, I discuss the operators involved in resonant inelastic X-ray scattering (RIXS) amplitudes for 4/5d1 Mott insulators and show that the RIXS cross sections allow one to selectively probe pseudospin and pseudo-orbital degrees of freedom. For the chiral spin-orbital liquid in particular, these cross sections provide information about the spectrum for different flavors of Majorana fermions. The model for materials isostructural to the Kitaev materials has an emergent SU(4) symmetry that is made explicit by means of a Klein transformation on pseudospin degrees of freedom. The model is known to stabilize a QSOL on the honeycomb lattice and instigated the investigation of QSOLs on a generalization of this lattice to three dimensions. Parton mean-field theory was used once again to propose the liquid states, and a variational Monte Carlo (VMC) method was used to compute the energies of the projected wave functions. The numerical results show that the lowest-energy QSOL corresponds to a zero-flux state with a Fermi surface of four-color fermionic partons. Further VMC computations also revealed that this state is stable against formation of plaquette ordering (tetramerization). The energy of this QSOL is highly competitive even when Hund\'s coupling induced perturbations are included, as shown by comparison with simple ordered states. Extensions and perspectives for future work are discussed in the end of this thesis. / Líquidos de spin quânticos (QSLs) são sistemas fortemente correlacionados que apresentam fenômenos fascinantes como emaranhamento de longo alcance e excitações fracionárias. A pesquisa a respeito destes estados seguiu tendências geradas pela síntese de novos compostos e construção de novas técnicas teóricas desde seu princípio. Coerentemente com essa história, uma variedade de novos resultados a respeito de líquidos de spin foram estabelecidos na última década graças a estudos feitos sobre o modelo integrável de Kitaev na rede colmeia. Este modelo de spins j = 1/2 apresenta interações de troca anisotrópicas e direcionalmente dependentes que são essenciais para estabilizar um estado fundamental do tipo QSL com férmions de Majorana e campo de gauge Z2 emergente. Ainda mais interessante, este modelo é relevante para se entender o magnetismo de uma certa classe de isolantes de Mott baseados em metais de transição na configuração 4/5d5 em redes específicas, degenerescência orbital t2g e acoplamento spin-órbita forte (SOC). Esse mecanismo que define os chamados materiais do tipo Kitaev podem ser aplicados a compostos baseados em metais de transição em configurações eletrônicas diferentes. Nesta tese, eu investigo modelos mínimos para dois tipos de isolantes de Mott do tipo 4/5d1: os que se apresentam na estrutura perovskita dupla ordenada (ODP) e os isostruturais aos materiais do tipo Kitaev. Seus modelos efetivos genericamente apresentam interações multipolares anisotrópicas e direcionalmente dependentes de um momento angular efetivo j = 3/2. Estes graus de liberdade são convenientemente escritos em termos de operadores de pseudospin s e pseudo-orbital τ semelhantes a operadores de spin e orbital de modelos do tipo Kugel-Khomskii com orbitais duplamente degenerados. A despeito da anisotropia, esses dois modelos realísticos apresentam simetrias globais contínuas no limite de acoplamento de Hund nulo que incrementam flutuações quânticas e possivelmente estabilizam uma fase do tipo QSL. A teoria de campo médio com partons foi usada para propor QSLs fermiônicos que serão chamados de líquidos spin-orbitais quânticos (QSOLs) devido à dependência deles com s e τ. Em ODPs, eu estudei um líquido de spin quiral com excitações do tipo férmion de Majorana e um espectro sem gap caracterizado por linhas nodais ao longo das arestas da zona de Brillouin. Essas linhas nodais são defeitos topológicos de uma conexão de Berry não-abeliana e o sistema apresenta estados de superfície dispersivos. Várias respostas experimentais foram calculadas para o QSOL quiral dentro da aproximação de campo médio e comparadas com os dados experimentais disponíveis para o candidato a líquido de spin Ba2YMoO6. Além disso, baseado em uma análise de simetria, discuto os operadores envolvidos nas amplitudes de espalhamento de raios-x ressonante para isolantes de Mott na configuração 4/5d1 e mostro que seções de choque de RIXS permitem estudar seletivamente os graus de liberdade de pseudospins e pseudo-orbitais. Para o caso particular do líquido spin-orbital quiral, essas seções de choque nos fornecem informações sobre o espectro de diferentes sabores de férmions de Majorana. Esse modelo possui uma simetria SU(4) emergente que é tornada explícita através de uma transformações de Klein nos graus de liberdade de pseudospin. Sabe-se que este modelo estabiliza um QSOL na rede colmeia, o que instigou uma investigação de QSOLs na generalização desta rede em três dimensões. A teoria de campo médio com partons foi usada novamente para propor estes líquidos quânticos, e o método de Monte Carlo Variacional (VMC) foi usado para calcular as energias das funções de onda projetadas. Os resultados numéricos mostraram que o QSOL de menor energia corresponde a um estado de fluxo-zero com superfície de Fermi envolvendo partons fermiônicos de quatro cores. Cálculos adicionais com VMC também demonstraram que este estado é estável à formação de ordem de plaquetas (tetramerização). A energia deste QSOL é altamente competitiva mesmo quando perturbações induzidas pelo acoplamento de Hund são incluídas, o que é mostrado através da comparação com estados ordenados simples. Extensões e perspectivas para trabalhos futuros são discutidas no final desta tese.

Quantum spin liquids (QSLs) are strongly correlated systems displaying fascinating phenomena like long-range entanglement and fractionalized excitations. The research on these states has since its beginning followed trends generated by the synthesis of new compounds and the construction of new theoretical tools. In coherence with this history, a manifold of new results about QSLs were established during the past decade due to studies on the integrable Kitaev model on the honeycomb lattice. This j = 1/2 model displays bond-dependent and anisotropic exchanges that are essential to stabilize its QSL ground state with Majorana fermion excitations and emergent Z2 gauge field. Even more interestingly, this model is relevant to understand the magnetism of a certain class of 4/5d5 Mott insulators with specific lattice constraints, t2g orbital degeneracy and strong spin-orbit coupling (SOC). This mechanism defining these so-called Kitaev materials can be applied to similar compounds based on transition metal ions in different electronic configurations. In this thesis, I investigate minimal models for two types of 4/5d1 Mott insulators: the ones on the ordered double perovskite structure (ODP) and the ones isostructural to the Kitaev materials. Their effective models generically show bond-dependent and anisotropic interactions involving multipoles of an effective j = 3/2 angular momentum. Such degrees of freedom are conveniently written in terms of pseudospin s and pseudo-orbital τ operators resembling spin and orbital operators of Kugel-Khomskii models with twofold orbital degeneracy. Despite their anisotropy, the two realistic models display continuous global symmetries in the limit of vanishing Hund\'s coupling enhancing quantum fluctuations and possibly stabilizing a QSL phase. Parton mean-field theory was used to propose fermionic QSLs that will be called quantum spin-orbital liquids (QSOLs) due their dependence with s and τ. On ODPs, I studied a chiral QSOL with Majorana fermion excitations and a gapless spectrum characterized by nodal lines along the edges of the Brillouin zone. These nodal lines are topological defects of a non-Abelian Berry connection and the system exhibits dispersing surface states. Several experimental responses of the chiral QSOL within the mean-field approximation are compared with the experimental data available for the spin liquid candidate Ba2YMoO6. Moreover, based on a symmetry analysis, I discuss the operators involved in resonant inelastic X-ray scattering (RIXS) amplitudes for 4/5d1 Mott insulators and show that the RIXS cross sections allow one to selectively probe pseudospin and pseudo-orbital degrees of freedom. For the chiral spin-orbital liquid in particular, these cross sections provide information about the spectrum for different flavors of Majorana fermions. The model for materials isostructural to the Kitaev materials has an emergent SU(4) symmetry that is made explicit by means of a Klein transformation on pseudospin degrees of freedom. The model is known to stabilize a QSOL on the honeycomb lattice and instigated the investigation of QSOLs on a generalization of this lattice to three dimensions. Parton mean-field theory was used once again to propose the liquid states, and a variational Monte Carlo (VMC) method was used to compute the energies of the projected wave functions. The numerical results show that the lowest-energy QSOL corresponds to a zero-flux state with a Fermi surface of four-color fermionic partons. Further VMC computations also revealed that this state is stable against formation of plaquette ordering (tetramerization). The energy of this QSOL is highly competitive even when Hund\'s coupling induced perturbations are included, as shown by comparison with simple ordered states. Extensions and perspectives for future work are discussed in the end of this thesis. / Líquidos de spin quânticos (QSLs) são sistemas fortemente correlacionados que apresentam fenômenos fascinantes como emaranhamento de longo alcance e excitações fracionárias. A pesquisa a respeito destes estados seguiu tendências geradas pela síntese de novos compostos e construção de novas técnicas teóricas desde seu princípio. Coerentemente com essa história, uma variedade de novos resultados a respeito de líquidos de spin foram estabelecidos na última década graças a estudos feitos sobre o modelo integrável de Kitaev na rede colmeia. Este modelo de spins j = 1/2 apresenta interações de troca anisotrópicas e direcionalmente dependentes que são essenciais para estabilizar um estado fundamental do tipo QSL com férmions de Majorana e campo de gauge Z2 emergente. Ainda mais interessante, este modelo é relevante para se entender o magnetismo de uma certa classe de isolantes de Mott baseados em metais de transição na configuração 4/5d5 em redes específicas, degenerescência orbital t2g e acoplamento spin-órbita forte (SOC). Esse mecanismo que define os chamados materiais do tipo Kitaev podem ser aplicados a compostos baseados em metais de transição em configurações eletrônicas diferentes. Nesta tese, eu investigo modelos mínimos para dois tipos de isolantes de Mott do tipo 4/5d1: os que se apresentam na estrutura perovskita dupla ordenada (ODP) e os isostruturais aos materiais do tipo Kitaev. Seus modelos efetivos genericamente apresentam interações multipolares anisotrópicas e direcionalmente dependentes de um momento angular efetivo j = 3/2. Estes graus de liberdade são convenientemente escritos em termos de operadores de pseudospin s e pseudo-orbital τ semelhantes a operadores de spin e orbital de modelos do tipo Kugel-Khomskii com orbitais duplamente degenerados. A despeito da anisotropia, esses dois modelos realísticos apresentam simetrias globais contínuas no limite de acoplamento de Hund nulo que incrementam flutuações quânticas e possivelmente estabilizam uma fase do tipo QSL. A teoria de campo médio com partons foi usada para propor QSLs fermiônicos que serão chamados de líquidos spin-orbitais quânticos (QSOLs) devido à dependência deles com s e τ. Em ODPs, eu estudei um líquido de spin quiral com excitações do tipo férmion de Majorana e um espectro sem gap caracterizado por linhas nodais ao longo das arestas da zona de Brillouin. Essas linhas nodais são defeitos topológicos de uma conexão de Berry não-abeliana e o sistema apresenta estados de superfície dispersivos. Várias respostas experimentais foram calculadas para o QSOL quiral dentro da aproximação de campo médio e comparadas com os dados experimentais disponíveis para o candidato a líquido de spin Ba2YMoO6. Além disso, baseado em uma análise de simetria, discuto os operadores envolvidos nas amplitudes de espalhamento de raios-x ressonante para isolantes de Mott na configuração 4/5d1 e mostro que seções de choque de RIXS permitem estudar seletivamente os graus de liberdade de pseudospins e pseudo-orbitais. Para o caso particular do líquido spin-orbital quiral, essas seções de choque nos fornecem informações sobre o espectro de diferentes sabores de férmions de Majorana. Esse modelo possui uma simetria SU(4) emergente que é tornada explícita através de uma transformações de Klein nos graus de liberdade de pseudospin. Sabe-se que este modelo estabiliza um QSOL na rede colmeia, o que instigou uma investigação de QSOLs na generalização desta rede em três dimensões. A teoria de campo médio com partons foi usada novamente para propor estes líquidos quânticos, e o método de Monte Carlo Variacional (VMC) foi usado para calcular as energias das funções de onda projetadas. Os resultados numéricos mostraram que o QSOL de menor energia corresponde a um estado de fluxo-zero com superfície de Fermi envolvendo partons fermiônicos de quatro cores. Cálculos adicionais com VMC também demonstraram que este estado é estável à formação de ordem de plaquetas (tetramerização). A energia deste QSOL é altamente competitiva mesmo quando perturbações induzidas pelo acoplamento de Hund são incluídas, o que é mostrado através da comparação com estados ordenados simples. Extensões e perspectivas para trabalhos futuros são discutidas no final desta tese.