Artificial Neural Networks are successfully solving a wide range of problems with impressive performance. Nevertheless, often very little or nothing is understood in the workings behind these black-box solutions as they are hard to interpret, let alone to explain. This thesis proposes a set of complementary interpretable visualization models of neural activity, developed through prototyping, to answer the research question ”How may neural activity of Recurrent Neural Networks for text sequence prediction be represented, transformed and visualized during the inference process to explain interpretable functionality with respect to the text domain of some individual hidden neurons, as well as automatically detect these?”. Specifically, a Vanilla and a Long Short-Term Memory architecture are utilized for character respectively word prediction as testbeds. The research method is experimental; causalities between text features triggering neurons and detected patterns of corresponding nerve impulses are investigated. The result reveals not only that there exist neurons with clear and consistent feature-specific patterns of activity, but also that the proposed models of visualization successfully may automatically detect and interpretably present some of these. / Artificiella Neurala Nätverk löser framgångsrikt ett brett spektrum av problem med imponerande prestanda. Ändå är det ofta mycket lite eller ingenting som går att förstå bakom dessa svart-låda-lösningar, eftersom de är svåra att tolka och desto svårare att förklara. Den här uppsatsen föreslår en uppsättning komplementerande tolkningsbara visualiseringsmodeller av neural aktivitet, utvecklad genom prototypering, för att besvara forskningsfrågan ”Hur kan användningsprocessen av Rekurrenta Neurala Nätverk för textgenerering visualiseras på ett sätt för att automatiskt detektera och förklara tolkningsbar funktionalitet hos några enskilda dolda neuroner?”. Specifikt används en standardoch en LSTM (långt korttidsminne)-arkitektur för teckenrespektive ordprediktering som testbäddar. Forskningsmetoden är experimentell; orsakssamband mellan specifika typer av tecken/ord i texten som triggar neuroner, och detekterade mönster av motsvarande nervimpulser undersöks. Resultatet avslöjar inte bara att neuroner med tydliga och konsekventa tecken/ord-specifika aktivitetsmönster existerar, men också att de utvecklade modellerna för visualisering framgångsrikt kan automatiskt upptäcka och tolkningsbart presentera några av dessa.