Deep neural networks have been a leading research topic within the machine learning field for the past few years. The introduction of graphical processing units (GPUs) and hardware advances made possible the training of deep neural networks. Previously the training procedure was impossible due to the huge amount of training samples required. The new trained introduced architectures have outperformed the classical methods in different classification and regression problems. With the introduction of 5G technology, related to low-latency and online applications, the research on decreasing the computational cost of deep learning architectures while maintaining state-of-art performance has gained huge interest. This thesis focuses on the use of Self Size-estimating Feedforward Network (SSFN), a feedforward multilayer network. SSFN presents low complexity on the training procedure due to a random matrix instance used in its weights. Its weight matrices are trained using a layer-wise convex optimization approach (a supervised training) combined with a random matrix instance (an unsupervised training). The use of deterministic transforms is explored to replace random matrix instances on the SSFN weight matrices. The use of deterministic transforms automatically reduces the computational complexity, as its structure allows to compute them by fast algorithms. Several deterministic transforms such as discrete cosine transform, Hadamard transform and wavelet transform, among others, are investigated. To this end, two methods based on features’ statistical parameters are developed. The proposed methods are implemented on each layer to decide the deterministic transform to use. The effectiveness of the proposed approach is illustrated by SSFN for object classification tasks using several benchmark datasets. The results show a proper performance, similar to the original SSFN, and also consistency across the different datasets. Therefore, the possibility of introducing deterministic transformations in machine learning research is demonstrated. / Under de senaste åren har djupa neurala nätverk varit det huvudsakliga forskningsområdet inom maskininlärning. Införandet av grafiska processorenheter (GPU:er) och hårdvaruutveckling möjliggjorde träning av djupa neurala nätverk. Tidigare var träningsförfarandet omöjligt på grund av den enorma mängd datapunkter som krävs. De nya tränade arkitekturerna har överträffat de klassiska metoderna i olika klassificerings- och regressionsproblem. Med introduktionen av 5G-teknik, som hör samman med låg fördröjning och onlineapplikationer, har forskning om att minska beräkningskostnaderna för djupinlärningsarkitekturer utan att tappa prestandan, fått ökat intresset. Denna avhandling fokuserar på användningen av Self Size Estimating Feedforward Network (SSFN), ett feedforward multilayer-nätverk. SSFN har låg komplexitet i träningsproceduren på grund av en slumpmässig matrisinstans som används i dess vikter. Dess viktmatriser tränas med hjälp av en lagervis konvex optimeringsstrategi (en övervakad träning) i kombination med en slumpmässig matrisinstans (en oövervakad träning). Användningen av deterministiska transformationer undersöks för att ersätta slumpmässiga matrisinstanser på SSFN-viktmatriserna. Användningen av deterministiska transformationer ger automatiskt en minskning av beräkningskomplexiteten, eftersom dess struktur gör det möjligt att beräkna dem med snabba algoritmer. Flera deterministiska transformationer som diskret cosinustransformation, Hadamardtransformation och wavelettransformation undersöks bland andra. För detta ändamål utvecklas två metoder som baseras på statistiska parametrar i indatans olika dimensioner. De föreslagna metoderna implementeras på varje lager för att bestämma den deterministiska transform som ska användas. Effektiviteten av det föreslagna tillvägagångssättet illustreras med SSFN för objektklassificering med hjälp av flera dataset. Resultatet visar ett korrekt beteende, likt den ursprungliga SSFN, och konsistenta resultat över de olika dataseten. Därmed demonstreras möjligheten att införa deterministiska transformationer i maskininlärningsforskning.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-308844 |
| Date | January 2021 |
| Creators | Grau Jurado, Pol |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2021:904 |
Page generated in 0.0029 seconds