Autonomous Driving Systems (ADS), a subcategory of Cyber-Physical Systems (CPS) are becoming increasingly popular with ubiquitous deployment. They provide advanced operational functions for perception and control, but this also raises the question of their safety capability. Such questions include if the vehicle can stay within its lane, keep a safe distance from the leading vehicle, or avoid obstacles, especially under the presence of uncertainties. In this master thesis, the operational safety of ADS will be addressed, more specifically on the Adaptive Cruise Control (ACC) system by modeling an optimal control problem based on Control Barrier Function (CBF) unified with Model Predictive Control (MPC). The corresponding optimal control problem is robust against measurement uncertainties for an Autonomous Vehicle (AV) driving on a highway, where the measurement uncertainties will represent the common faults in the perception system of the AV. A Kalman Filter (KF) is also added to the system to investigate the performance difference. The resulting framework is implemented and evaluated on a simulation scenario created in the open-source autonomous driving simulator CARLA. Simulations show that MPC-CBF is indeed robust against measurement uncertainties for well-selected horizon and slack variable values. The simulations also show that adding a KF improves the overall performance. The higher the horizon, the more confident the system becomes as the distance to the leading vehicle decreases. However, this may cause infeasibility where there are no solutions to the optimal control problem during sudden braking as the AV cannot brake fast enough before it crashes. Meanwhile, the smaller the slack variable, the more restrictive becomes CBF where it impacts more on the control input than desired which could also cause infeasibility. The results of this thesis will help to facilitate safety-critical CPS development to be deployed in real-world applications. / Autonoma körsystem (ADS), som är en del av cyberfysiska system (CPS), har blivit alltmer populär med allestädes närvarande användning. Det bidra med avancerade operativa funktioner för perception och styrning, men samtidig väcker detta också frågan om dess säkerhetsförmåga. Sådana frågor inkluderar om fordonet kan hålla sig inom sitt körfält, om det kan hålla ett säkert avstånd till det ledande fordonet eller om det kan undvika hinder, speciellt under osäkerheter hos systemet. I detta examensarbete kommer driftsäkerheten hos ADS att behandlas, mer specifik på adaptiv farthållare (ACC) genom att modellera ett optimalt kontrollproblem baserat på kontrollbarriärfunktion (CBF) förenat med modellförutsägande styrning (MPC). Motsvarande optimalt kontrollproblem är robust mot mätosäkerheter för ett autonomt fordon som kör på en motorväg, där mätosäkerheterna representerar vanliga fel i AV:s perceptionssystem. Ett Kalmanfilter (KF) läggs också till i systemet för att undersöka skillnaden i prestanda. Det resulterande ramverket implementeras och utvärderas på ett simuleringsscenario som skapats i den öppna källkodssimulatorn för autonom körning CARLA. Simulationer visar att MPC-CBF är robust mot mätosäkerheter för väl valda värden för horisont och slackvariabler. Det visar också att systemets prestanda förbättrats ännu mer om ett KF läggs till. Ju större horisont, desto mer självsäkert blir systemet när avståndet till det ledande fordonet minskar. Detta kan dock leda till att det inte finns några lösningar på det optimala kontrollproblemet vid plötslig inbromsning, eftersom fordonet inte hinner bromsa tillräckligt snabbt innan det kraschar. Ju mindre slackvariabeln är, desto mer restriktiv blir CBF som påverkar styrningen mer än vad som är önskvärt vilket också kan leda till olösbart optimalt kontrollproblem. Resultatet från detta examensarbete bär syftet att gynna utvecklingen av säkerhetkritisk CPS som ska användas i praktiska tillämpningar.