Manual investigation of railway infrastructure is a labor-intensive and time-consuming task, and automating it has become a high priority for railway operators to reduce unexpected infrastructure expenditure. In this thesis, we propose a new image classification approach for classifying defect and non-defective rail joints in image data, based on previous fault detection algorithms using object detection. The rail joints model is to our knowledge a world first, with the vast majority of research into applying computer vision for rail defect detection focusing mainly on the rail tracks and sleepers. Our new image classification models are based on the widely popular Inception ResNet V2, which we fine-tune and compare against a counterpart trained using self-supervision. Additional comparisons are performed against the Faster R-CNN object detector that has had successes with rail tracks and sleepers at the Swiss Federal Railways, as well as against the novel transformer-based DETR architecture. The research has used an in-house object detection annotated dataset from the Swiss railways, recorded in the context of predictive rail maintanance, with rail joints labeled as either defective, or non-defective. Our proposed image classification approach, using either a pre-trained and then fine-tuned, or self-supervised CNN, uses the bounding boxes in a dataset originally intended for object detection, to perform an expanded crop of the images around the rail joint before feeding it to the neural network. Our new image classification approach significantly outperforms object detection neural networks for the task of classifying defective and non-defective rail joints, albeit with the requirement that the rail joint has to be identified prior to classification. Furthermore, our results suggest that the trained models classify defective joints in the test set more consistently than human rail inspectors. The results show that our proposed method can achieve practical performance on unseen data, and can practically be applied to real-life defect detection with high precision and recall, notably on the railways operated by Swiss Federal Railways, SBB CFF FFS. / Manuell inspektion av järnvägsinfrastruktur är en tids- och arbetskrävande uppgift, och automatisering av inspektionerna har på senare tid blivit mer prioriterat av järnvägsoperatörer i syfte att minska oväntade utgifter som uppkommer till följd av undermålig infrastruktur. I det här examensarbetet presenterar vi en ny bildklassificeringsmetod för att klassificera defekta och icke-defekta järnvägsskarvar i bilder tagna från diagnostiska tåg. Modelleringen av järnvägsskarvar som vi har utfört är till vår kännedom något som aldrig gjorts förut för järnvägsinfrastruktur, då majoriteten av forskning inom datorseende för inspektion av järnvägsinfrastruktur historiskt mest har fokuserat på räls och sliprar. Den nya bildklassificeringsmodellen som vi har utvecklat använder den populära arkitekturen Inception ResNet V2, som vi finjusterar och jämför med ett dito som har tränats med självövervakad inlärning. Vidare jämförelser görs mot objektigenkänningsmetoden Faster R-CNN som fungerat väl för sliprar på den schweiziska järnvägen, samt mot den nya transformer-baserade arkitekturen DETR. Forskningen har använt ett dataset annoterat för objektigenkänning från den schweiziska järnvägen, med järnvägsskarvar märkta som defekta, eller icke-defekta. Vår föreslagna bildklassificeringsmetod, med antingen en förtränad och sedan finjusterad CNN, eller en CNN tränad med sjävövervakad inlärning, använder de annoterade boxarna från datasetet för att beskära bilderna runt skarvarna, och sedan klassificera dem. Vår nya metod baserad på bildklassificering presterar väsentligt bättre än neurala nätverk för objektigenkänning, dock med kravet att järnvägsskarven måste ha identifierats i bilden före klassificering. Vidare visar våra resultat att de tränade bildklassificeringsmodellerna klassificerar defekta skarvar i test-setet mer konsekvent än mänskliga järnvägsinspektörer. Resultaten visar att vår nya metod kan användas praktiskt för att upptäcka defekter i verkligheten, med hög precision och recall i data som inte setts under träningen. Specifikt visar vi att de nya modellerna är praktiskt användbara för järnvägen som drivs av Schweiziska Federala Järnvägarna, SBB CFF FFS.