The application of Image Processing to Autonomous driving has drawn significant attention in recently. However, the demanding nature of the image processing algorithms conveys a considerable burden to any conventional realtime implementation. On the other hand, the emergence of FPGAs has brought numerous facilities toward fast prototyping and implementation of ASICs so that an image processing algorithm can be designed, tested and synthesized in a relatively short period in comparison to traditional approaches. This thesis investigates the best combination of current algorithms to reach an optimum solution to the problem of lane detection and tracking, while aiming to fit the design to a minimal system. The proposed structure realizes three algorithms, namely Edge Detector, Hough Transform, and Kalman filter. For each module, the theoretical background is investigated and a detailed description of the realization is given followed by an analysis of both achievements and shortages of the design. It is concluded by describing the advantages of implementing this architecture and the use of these kinds of systems. / Tillämpningen av bildbehandling inom autonoma fordon har fått stor uppmärksamhet den senaste tiden. Emellertid förmedlar den krävande karaktären hos bildbehandlingsalgoritmerna en stor belastning på vilken konventionell realtidsimplementering som helst. Å andra sidan har framväxten av FPGAer medfört många möjligheter till snabb prototypering och implementering av ASICar så att en bildbehandlingsalgoritm kan utformas, testas och syntetiseras på relativt kort tid jämfört med traditionella tillvägagångssätt. Denna avhandling undersöker den bästa kombinationen av nuvarande algoritmer för att uppnå en optimal lösning på problemet med spårning och fildetektering, med målet att krympa designen till ett minimalt system. Den föreslagna strukturen realiserar tre algoritmer, nämligen Edge Detector, Hough Transform och Kalman filter. För varje modul undersöks den teoretiska bakgrunden och en detaljerad beskrivning av realiseringen ges följd av en analys av både fördelar och brister i konstruktionen. Avhandlingen avslutas med en beskrivning av fördelarna med att implementera lösningen på det sätt den görs och hur dessa system kan användas.