Neural networks have been shown to have astounding performance on a variety of different machine learning tasks and data sets, both for synthetic and real-world data.However, in spite of their widespread usage and implementation, the convergence and the training dynamics of neural networks are neither trivial, nor completely understood. This project regards investigating what some researchers refer to as the Spectral Bias of neural networks. Neural networks have been seen during training to initially fit to data of lower complexity rather than high. That is, the network learns features of the target that in the Fourier domain corresponds to lower frequencies first, before it learns features that correspond to high frequencies. In this thesis, a quantitative way of measuring this bias is proposed, and empirical experiments are able to show the prevalence of the spectral bias with respect to this measure. The experiments compare how different network parameters, architectures, and optimizers affect the network's ability to find high frequency content during training. Both tailored experiments with synthetic target functions, and real-world data are considered. The machine learning problems investigated in this report are low dimensional regression problems. The real-world problem is natural image regression, and is performed on the DIV2K data set used in the NTIRE challenge on Single Image Super Resolution (SISR). The proposed measure shows that there exists a spectral bias in this task as well, indicating that it does not only occur in simulated data and controlled experiments, but also in data from real-world applications. / Neurala nätverk har påvisats prestera utomordentligt på flertalet olika sorters maskininlärningsproblem och dataset. Trots dess utbredda användning och implementation är likväl inte dess konvergens och träningsbeteende varken triviala, eller fullt förstådda. Den här uppsatsen undersöker vad vissa forskare benämner spectral bias hos neurala nätverk. Neurala nätverk har observerats att först anpassa sig till data med låg komplexitet, före hög. Med andra ord, nätverken lär sig de egenskaper hos målfunktionen som motsvarar låga frekvenser i Fourierdomänen först, innan de anpassar sig till de som motsvarar höga frekvenser. I den här rapporten föreslås ett kvantitativt sätt att mäta spectral bias, och empiriska experiment visar förekomsten av fenomenet med avseende på måttet. Experimenten jämför hur olika nätverksarkitekturer och träningsalgoritmer påverkar nätverkets förmåga att lära sig högfrekventa komponenter under träning. Både syntetiska experiment med konstgjorda målfunktioner, och problem med data från verkliga tillämpningar undersöks. Problemuppställningen som behandlas är lågdimensionell regression, och det verkliga problemet är bildregression applicerat data från datasetet DIV2K som används i NTIREs tävling för Single Image Super Resolution.Det föreslagna måttet påvisar spectral bias även för detta dataset, vilket indikerar att det inte bara uppkommer i konstruerade problem, utan även är något som bör tas hänsyn till i tillämpade problem.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-317583 |
| Date | January 2021 |
| Creators | Thor, Filip |
| Publisher | KTH, Matematik (Avd.) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-SCI-GRU ; 2021:220 |
Page generated in 0.0031 seconds