Den snabbt växande utvecklingen av AI-baserade applikationer och den stora mängden data dessa applikationer behandlar ställer ökade krav på prestanda och optimering av datorsystemen. För att tillfredsställa de växande datorbehoven används hårdvaruacceleratorer som förbättrar databehandlingshastigheten genom att avlasta den befintliga utrustningen genom att hjälpa till med uppgifter och komplexa beräkningar. De befintliga lösningarna som används i dagsläget är kostsamma och MT-FoU på Umeå Universitetssjukhus efterfrågar därför en alternativ lösning i form av att kombinera mindre integrerande acceleratorer på ett större PCIe-kort. I detta examensarbete designas och implementeras en AI-accelerator bestående av fyra Google Coral Dual Edge TPU M.2 på ett 16x PCIe-kort. Arbetet genomfördes på MT-FoU och målet med examensarbetet var att undersöka om den tilltänkta konstruktionen kan förbättra prestandan hos AI-baserade system och fungera som ett billigare alternativ i verksamheten. Schemaritning och PCB-design utfördes i KiCad och information om gränssnitt och komponenter hämtades främst från tillverkares hemsidor och datablad. Kretsen består i huvudsak av fyra stycken M.2 E key kontaktdon, en 16port/16lane packetswitch och en 16x PCIe-anslutning. Switchen delar upp banorna från PCIe porten så att Edge TPU’erna kan anslutas parallellt i M.2 kontakterna. Edge TPU’erna använder pipelineparallellism för att fördela arbetsuppgifter på varje TPU så att större, mer komplexa program kan exekveras. Vid monteringen av kretskortet uppstod problem med fastlödningen av vissa komponenter. För att undvika att dessa problem uppstår och möjliggöra avlägsnandet av dessa felkällor bör montering istället beställas av fabrik där lödrobot finns tillgängligt. På grund av att tiden för kursen tog slut hann en sådan beställning inte göras och evaluering av den framtagna designen var därför inte möjlig att genomföra. Den design som togs fram var dock betydligt billigare än de existerande lösningarna och med pipelineparallellism förväntas designen kunna utföra komplexa beräkningar och därmed förbättra prestandan i befintliga system. / The rapidly growing development of AI-based applications and the large amount of data these applications process place increased demands on the performance and optimization of conventional computer systems. To satisfy these growing computing requirements, hardware accelerators are used to improve the data processing speed by offloading the existing equipment by executing models and complex calculations. The existing solutions currently used are costly and MT-R&D at Umeå University Hospital is therefore requesting an alternative solution by combining smaller integrating accelerators on a larger PCIe card. In this thesis, an AI accelerator using four Google Coral Dual Edge TPU M.2 on a 16x PCIe card is designed and implemented. The work was carried out at MT-R&D and the goal of the thesis was to investigate whether the intended design can improve the performance of AI-based systems and serve as a cheaper alternative in the institution. Schematic and PCB were designed in KiCad and information on interfaces and components was obtained from manufacturers' websites and data sheets. The circuit’s main components are four M.2 E key connectors, a 16port/16lane packet switch and a 16x PCIe connection. The switch divides the lanes from the PCIe port so that the Edge TPUs can be connected in parallel in the M.2 connectors. The Edge TPUs use pipeline parallelism to distribute models across each TPU so that larger, more complex programs can be executed. When assembling the circuit board, problems arose with the soldering of certain components. In order to avoid these sources of error, assembly should instead be ordered from a factory where a soldering robot is available. Due to the fact that the time for the course ran out, such an order could not be placed and evaluation of the design was therefore not possible to carry out. However, the design that was produced was significantly cheaper than the existing solutions and by using pipeline parallelism, the design is expected to be able to perform complex calculations and thus improve the performance of existing systems.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:umu-210581 |
| Date | January 2023 |
| Creators | Burwall, Oscar |
| Publisher | Umeå universitet, Institutionen för tillämpad fysik och elektronik |
| Source Sets | DiVA Archive at Upsalla University |
| Language | Swedish |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0039 seconds