The applications of differential equations are many. However, many differential equations modelling real-world scenarios are very complex and it can be of great difficulty to find an exact solution if one even exists. Thus, it is of importance to be able to approximate solutions of differential equations. Here, a method using neural networks is explored and its performance is compared to that of a numerical method. To illustrate the method, two first order, two second order and two first order systems of ordinary differential equations are explored. The systems are the Lotka-Volterra system and the SEIR (Susceptible, Exposed, Infected, Removed) epidemiological model. The first four examples have exact solutions to compare to and the observations are then used as a basis when discussing the results of the systems. The results of the thesis show that while the neural network method takes longer to deliver an approximation, it continuously gives better approximations than the implicit Euler method used for comparison. The main contribution of this thesis is the comparison done of the performances of the neural network method and the implicit Euler method. / Det finns många användningsområden för differentialekvationer. Däremot är många differentialekvationer som modellerar verkligheten komplexa och det kan vara svårt, om inte omöjligt, att hitta en exakt lösning. På grund av detta är det viktigt att ha metoder som kan approximera lösningar till differentialekvationer. Därför undersöks här en metod som använder sig av neurala nätverk. Dess resultat blir sedan jämförda med en numerisk metod. För att illustrera metoden presenteras två ekvationer av första ordningen, två ekvationer av andra ordningen och två system av differentialekvationer. Systemen som undersöks är Lotka-Volterra ekvationerna samt SEIR (Susceptible, Exposed, Infected, Removed) modellen. De första fyra exemplen som undersöks har exakta lösningar att jämföra med och dessa observationer används sedan vid diskussionerna gällande systemen. Resultaten visar att medan metoden som använder neurala nätverkar tar längre tid att exekvera, så ger metoden bättre approximationer än den implicita Euler metoden som användes som jämförelse. Det huvudsakliga bidraget med det här examensarbetet är jämförelsen av hur de två metoderna presterar.