Powerful Deep learning algorithms today allow us to solve many difficult classification and regression tasks. However, running them on memory constrained and low power devices for efficient inference at the edge is a challenge. The goal is to develop a highly generalizable and low complexity compression algorithm that can compress deep neural networks. In this thesis, we propose two novel approaches to this end. The first approach involves learning a new network with L1 norm regularized parameters from the original trained model. This new model is trained with only a fraction of the original dataset. The second approach involves using information about second order derivative of loss to find solutions that are robust to quantization. Combining these approaches allows us to achieve significant compression of the trained model, with only marginal loss in performance,measured using test set classification accuracy. / Kraftfulla djupinlärningsalgoritmer gör det idag möjligt för oss att lösa många svåra klassificerings- och regressionsproblem. Att köra dessa algoritmer på minnesbegränsade och energisnåla enheter för effektiv inferens är en stor utmaning. Målet är att utveckla generaliserbara kompressionsalgoritmer med låg komplexitet som kan komprimera djupa neurala nätverk. I det här examensarbetet föreslår vi två nya tillvägagångssätt för att uppnå målet. Den första metoden bygger på att träna upp ett nytt nätverk med L1-normregulariserade parametrar från den ursprungliga modellen. Den nya modellen kan tränas med bara en bråkdel av den ursprungliga datan. Det andra tillvägagångssättet använder sig av information om andraderivatan av förlustfunktionen för att hitta lösningar som är robusta mot kvantifiering. Genom att kombinera dessa metoder uppnår vi markant komprimering av den tränade modellen, med endast marginell prestationsförlust uppmätt genom klassificering av separattestdata.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-271640 |
| Date | January 2019 |
| Creators | Vaishnav, Ashutosh |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2019:812 |
Page generated in 0.0024 seconds