Return to search

Deep Learning Model Compression for Edge Deployment

Powerful Deep learning algorithms today allow us to solve many difficult classification  and  regression  tasks.   However,  running  them  on  memory constrained and low power devices for efficient inference at the edge is a challenge.  The goal is to develop a highly generalizable and low complexity compression  algorithm  that  can  compress  deep  neural  networks.   In  this thesis,  we  propose  two  novel  approaches  to  this  end.   The  first  approach involves learning a new network with L1 norm regularized parameters from the original trained model.  This new model is trained with only a fraction of  the  original  dataset.   The  second  approach  involves  using  information about  second  order  derivative  of  loss  to  find  solutions  that  are  robust  to quantization.  Combining these approaches allows us to achieve significant compression of the trained model, with only marginal loss in performance,measured using test set classification accuracy. / Kraftfulla  djupinlärningsalgoritmer  gör  det  idag  möjligt  för  oss  att  lösa många                           svåra                           klassificerings-                           och regressionsproblem.   Att köra dessa algoritmer på minnesbegränsade och energisnåla enheter för effektiv inferens är en stor utmaning.  Målet är att utveckla generaliserbara kompressionsalgoritmer med låg komplexitet som kan komprimera djupa neurala nätverk.  I det här examensarbetet föreslår vi två nya tillvägagångssätt för att uppnå målet. Den första metoden bygger på  att  träna  upp  ett  nytt  nätverk  med  L1-normregulariserade  parametrar från den ursprungliga modellen. Den nya modellen kan tränas med bara en bråkdel av den ursprungliga datan.  Det andra tillvägagångssättet använder sig  av  information  om  andraderivatan  av  förlustfunktionen  för  att  hitta lösningar som är robusta mot kvantifiering.   Genom att kombinera dessa metoder uppnår vi markant komprimering av den tränade modellen, med endast marginell prestationsförlust uppmätt genom klassificering av separattestdata.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-271640
Date January 2019
CreatorsVaishnav, Ashutosh
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2019:812

Page generated in 0.0024 seconds