Quantization of Neural Networks is popular technique for adopting computation intensive Deep Learning applications to edge devices. In this work, low bit mixed precision quantization of FPN-Resnet18 model trained for the task of semantic segmentation is explored using Cityscapes and Arriver datasets. The Hessian information of each layer in the model is used to determine the bit precision for each layer and in some experiments the bit precision for the layers are determined randomly. The networks are quantization-aware trained with bit combinations 2, 4 and 8. The results obtained for both Cityscapes and Arriver datasets show that the quantization-aware trained networks with the low bit mixed precision technique offer a performance at par with the 8-bit quantization-aware trained networks and the segmentation performance degrades when the network activations are quantized below 8 bits. Also, it was found that the usage of the Hessian information had little effect on the network’s performance. / Kvantisering av Neurala nätverk är populär teknik för att införa beräknings-intensiva Deep Learning -applikationer till edge-enheter. I detta arbete utforskas låg bitmixad precisionskvantisering av FPN-Resnet18-modellen som är utbildad för uppgiften för semantisk segmentering med hjälp av Cityscapes och Arriverdatauppsättningar. Hessisk information från varje lager i modellen, används för att bestämma bitprecisionen för respektive lager. I vissa experiment bestäms bitprecision för skikten slumpmässigt. Nätverken är kvantiserings medvetna utbildade med bitkombinationer 2, 4 och 8. Resultaten som erhållits för både Cityscapes och Arriver datauppsättningar visar att de kvantiserings medvetna utbildade nätverken med lågbit blandad precisionsteknik erbjuder en prestanda i nivå med 8-bitars kvantiseringsmedvetna utbildade nätverk och segmenteringens prestationsgrader när nätverksaktiveringarna kvantiseras under 8 bitar. Det visade sig också att användningen av hessisk information hade liten effekt på nätets prestanda.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-312264 |
| Date | January 2022 |
| Creators | Rengarajan, Sri Janani |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:87 |
Page generated in 0.0021 seconds