Deep neural networks (DNN) have been widely demonstrated to be more powerful than their shallower counterparts in a variety of computer vision tasks and remote sensing applications. However, as many techniques are based on trial-and-error experiments as opposed to systematic evaluation, scientific evidence for the superiority of DNN needs more theoretical and experimental foundations. Recent work has shown that the neural network expressivity, measured by the number of linear regions, is independent of the network structure, suggesting that the success of deep neural networks is attributed to its ease of training. Inspired by this, this project aims to investigate novel approaches to train neural networks and obtain desired properties of the regional properties of linear regions. In particular, it highlights the regional structure of linear regions in different decision regions and seeks to initialize the network in a better position that makes it easier to have this regional structure. By counting the total number of linear regions in the input space, we validated that the shallow wider networks and the deep narrow networks share the same upper-bound expressivity in different synthetic datasets. We also discovered that the linear regions along the decision boundary are larger in shape and fewer in number, while being denser and fitted to the data manifold when close to the data. Our experiments indicate that the proposed initialization method can generate more linear regions at initialization, make the training converge faster, and finally generate linear regions that better fit the data manifold on synthetic data. On the EuroSAT satellite dataset, the proposed initialization method does not facilitate the convergence of ResNet-18, but achieves better performance with an average increase of 0.14% on accuracy compared to pre-trained weights and 0.19% compared to He uniform initialization. / Djupa neurala nätverk (Deep Neural Networks, DNN) har i stor utsträckning visat sig vara mer kraftfulla än sina grunda motsvarigheter i en mängd olika datorseendeuppgifter och fjärranalystillämpningar. Många tekniker är dock baserade på försök och misstag snarare än systematisk utvärdering, och vetenskapliga bevis för DNN:s överlägsenhet behöver mer teoretiska och experimentella grunder. Nyligen utförda arbeten har visat att det neurala nätverkets uttrycksförmåga, mätt som antalet linjära regioner, är oberoende av nätverksstrukturen, vilket tyder på att framgången för djupa neurala nätverk beror på att de är lätta att träna. Inspirerat av detta syftar detta projekt till att undersöka nya metoder för att träna neurala nätverk och få önskade egenskaper hos de regionala egenskaperna hos linjära regioner. I synnerhet belyser det den regionala strukturen hos linjära regioner i olika beslutsregioner och försöker initiera nätverket i ett bättre läge som gör det lättare att få denna regionala struktur. Genom att räkna det totala antalet linjära regioner i ingångsutrymmet validerade vi att de grunda bredare nätverken och de djupa smala nätverken har samma övre gräns för uttrycklighet i olika syntetiska dataset. Vi upptäckte också att de linjära regionerna längs beslutsgränsen är större till formen och färre till antalet, samtidigt som de är tätare och anpassade till datamångfalden när de ligger nära data. Våra experiment visar att den föreslagna initialiseringsmetoden kan generera fler linjära regioner vid initialiseringen, få träningen att konvergera snabbare och slutligen generera linjära regioner som bättre passar datamångfalden på syntetiska data. På EuroSAT-satellitdatamängden underlättar den föreslagna initialiseringsmetoden inte konvergensen för ResNet-18, men uppnår bättre prestanda med en genomsnittlig ökning av noggrannheten med 0,14% jämfört med förtränade vikter och 0,19% jämfört med He uniform initialisering.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-321922 |
| Date | January 2022 |
| Creators | Zhang, Hui |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:772 |
Page generated in 0.0022 seconds