Diss. Stockholm : Stockholms universitet, 2008.

The Brachiopoda, a major group of the Lophotrochozoa, experienced a rapid early evolutionary diversification during the well-known Cambrian explosion and subsequently dominated the Palaeozoic benthos with its diversity and abundance. Even though the phylogeny of the Lophotrochozoa is still hotly debated, it is now known that the Brachiopoda are a monophyletic grouping. However, the early evolutionary rates for the Brachiopoda have never been studied in the framework of a study combining molecular data and fossil time calibration points. In order to investigate the expected higher evolutionary rates of the Phylum at its origin, we conducted phylogenetic studies combining different methodologies and datasets. This work has at its foundation Maximum Likelihood and Bayesian analyses of 18S and 28S rRNA datasets followed by analyses of phylogenomic sequences. All material was obtained from previously available sequences and from sequencing of genetic material from specimens from a concerted worldwide collection effort.       While the analyses of the phylogenomic dataset produced a robust phylogeny of the Brachiopoda with good support, both the results of the novel rRNA and phylogenomic dating analyses provided limited insights into the early rates of evolution of the Brachiopoda from a newly assembled dataset, demonstrating some limitations in calibration dating using the software package BEAST2. Future studies implementing fossil calibration, possibly incorporating morphological data, should be attempted to elucidate the early rates of evolution of Brachiopoda and the effect of the Push of the Past in this clade. / Det är ofta antaget att evolution (förändringar i arvsmassan hos en grupp organismer) sker i en konstant hastighet men i slutändan ändå osäkert om så är fallet. Stora grupper av organismer har ofta associerats med en högre evolutionär hastighet, speciellt nära deras uppkomst, vilket ökar sannolikheten för överlevnad.  Armfotingar (Brachiopoda) är marina ryggradslösa djur med skal som tidigare var allmänt spridd, idag är istället musslor (Bivalvia) betydligt mer spridda. Armfotingar har funnits och utvecklats under flera miljoner år med ursprung under tidigt kambrium. Genom år av forskning och många fossil har vi fått mer information om utseendet hos utdöda organismer vilket har bidragit till att antalet fossila arter som vi känner till har ökat tusenfalt. Under den senaste tiden har det också skett innovationer inom molekylära tekniker som gjort det möjligt att applicera dessa kunskaper även på utdöda arter. Dessa molekylära tekniker har nyligen hjälpt till att bestämma några av släktskapsförhållandena inom armfotingar som tidigare ansetts vara väldigt svåra att lösa.  Det finns fortfarande vissa släktskapsförhållanden inom armfotingar som inte är kända och man vet ännu inte hur fort de utvecklades. Genom att undersöka just evolutionens hastighet kan man börja förstå gruppens tidiga framgång under Kambrium och Ordovicium samt minskningen som följde. Syftet med den här studien var att beräkna evolutionshastigheten hos armfotingar med särskild fokus på den tidiga diversifieringen av gruppen. För att undersöka detta använde vi oss av molekylära data för att analysera släktskapsförhållandena inom armfotingar. Dessutom använde vi fossil för att datera stora händelser i armfotingarnas evolutionära historia. Med hjälp av statistiska analyser kunde vi beräkna evolutionshastighet och släktskapsförhållandena inom gruppen. Vi kom fram till att armfotingar härstammar från en gemensam förfader. Dateringen kring när detta skedde blev inte fastställd då det beräknades ske miljoner år före det äldsta djurfossilet. Det kommer behövas mer forskning för att ta reda på om armfotingar hade en högre evolutionär hastighet i tidigt skede.

The search for the sources of astrophysical neutrinos is a central open question in particle astrophysics. Thanks to substantial experimental efforts, we now have large-scale neutrino detectors in the oceans and polar ice. The neutrino sky seems mostly isotropic, but hints of possible source-neutrino associations have started to emerge, leading to much excitement within the astrophysics community. As more data are collected and future experiments planned, the question of how to statistically quantify point source detection in a robust way becomes increasingly pertinent. The standard approach to null-hypothesis testing leads to reporting the results in terms of a p-value, with detection typically corresponding to surpassing the coveted 5-sigma threshold. While widely used, p-values and significance thresholds are notorious in the statistical community as challenging to interpret and potentially misleading. We explore an alternative Bayesian approach to reporting point source detection and the connections and differences with the frequentist view. In this thesis, two methods for associating neutrino events to candidate sources are implemented on data from a simplified simulation of high-energy neutrino generation and detection. One is a maximum likelihood-based method that has been used in some high-profile articles, and the alternative uses Bayesian Hierarchical modelling with Hamiltonian Monte Carlo to sample the joint posterior of key parameters. Both methods are applied to a set of test cases to gauge their differences and similarities when applied on identical data. The comparisons suggest the applicability of this Bayesian approach as alternative or complement to the frequentist, and illustrate how the two approaches differ. A discussion is also conducted on the applicability and validity of the study itself as well as some potential benefits of incorporating a Bayesian framework, with suggestions for additional aspects to analyze. / Sökandet efter källorna till astrofysiska neutriner är en central öppen fråga i astropartikel- fysik. Tack vare omfattande experimentella ansträngningar har vi nu storskaliga neutrino-detektorer i haven och polarisen. Neutrinohimlen verkar mestadels isotropisk, men antydningar till möjliga källneutrinoföreningar har börjat antydas, vilket har lett till mycket spänning inom astrofysikgemenskapen. När mer data samlas in och framtida experiment planeras, blir frågan om hur man statistiskt kvantifierar punktkälledetektering på ett robust sätt alltmer relevant. Standardmetoden för nollhypotes-testning leder ofta till rapportering av resultat i termer av p-värden, då en specifik tröskel i signifikans eftertraktas. Samtidigt som att vara starkt utbredda, är p-värden och signifikansgränser mycket omdiskuterade i det statistiska samfundet angående deras tolkning. Vi utforskar en alternativ Bayesisk inställning till utvärderingen av punktkälldetektering och jämför denna med den frekvensentistiska utgångspunkten. I denna uppsats tillämpas två metoder för att associera neutrinohändelser till kandidatkällor på basis av simulerad data. Den första använder en maximum likelihood-metod anpassad från vissa uppmärksammade rapporter, medan den andra använder Hamiltonsk Monte Carlo till att approximera den gemensamma aposteriorifördelningen hos modellens parametrar. Båda metoderna tillämpas på en uppsättning testfall för att uppskatta deras skillnader och likheter tillämpade på identisk data. Jämförelserna antyder tillämpligheten av den Bayesianska som alternativ eller komplement till den klassiska, och illustrerar hur de två metoderna skiljer sig åt. En diskussion förs också om validiteten av studien i sig samt några potentiella fördelar med att använda ett Bayesiskt ramverk, med förslag på ytterligare aspekter att analysera.

Maximum-Likelihood Estimation (MLE) is a classic model-fitting method from probability theory. However, it has been argued repeatedly that MLE is inappropriate for synthesis applications, since its priorities are at odds with important principles of human perception, and that, e.g. Generative Adversarial Networks (GANs) are a more appropriate choice. In this thesis, we put these ideas to the test, and explore the effect of MLE in deep generative modelling, using image generation as our example application. Unlike previous studies, we apply a new methodology that allows us to isolate the effects of the training paradigm from several common confounding factors of variation, such as the model architecture and the properties of the true data distribution. The thesis addresses two main questions. First, we ask if models trained via Non-Saturating Generative Adversarial Networks (NSGANs) are capable of producing more realistic images than the exact same architecture trained by directly minimizing the Negative Log-Likelihood (NLL) loss function instead (which is equivalent to MLE). We compare the two training paradigms using the MNIST dataset and a normalizing-flow architecture known as Real NVP, which can explicitly represent a very broad family of density functions. We use the Fréchet Inception Distance (FID) as an algorithmic estimate of subjective image quality. Second, we also analyze how the NLL loss behaves in the presence of model misspecification, which is when the model architecture is not capable of representing the true data distribution, and compare the resulting training curves and performance to those produced by models without misspecification. In order to control for and study different degrees of model misspecification, we create a realistic-looking – but actually synthetic – toy version of the classic MNIST dataset. By this we mean that we create a machine-learning problem where the examples in the dataset look like MNIST, but in fact it have been generated by a Real NVP architecture with known weights, and therefore the true distribution that generated the image data is known. We are not aware of this type of large-scale, realistic-looking toy problem having been used in prior work. Our results show that, first, models trained via NLL perform unexpectedly well in terms of FID, and that a Real NVP trained via an NSGAN approach is unstable during training – even at the Nash equilibrium, which is the global optimum onto which the NSGAN training updates are supposed to converge. Second, the experiments on synthetic data show that models with different degrees of misspecification reach different NLL losses on the training set, but all of them exhibit qualitatively similar convergence behavior. However, looking at the validation NLL loss reveals an important overfitting effect due to the finite size of the synthetic dataset: The models that in theory are able to perfectly describe the true data distribution achieve worse validation NLL losses in practice than some misspecified models, whose reduced complexity acts as a regularizer that helps them generalize better. At the same time, we observe that overfitting has a much stronger negative effect on the validation NLL loss than on the image quality as measured by the FID score. We also conclude that models with too many parameters and degrees of freedom (overparameterized models) should be avoided, as they not only are slow and frequently unstable to train, even using the NLL loss, but they also overfit heavily and produce poorer images. Throughout the thesis, our results highlight the complex and non-intuitive relationship between the NLL loss and the perceptual image quality as measured by the FID score. / Maximum likelihood-metoden är en klassisk parameteruppskattningsmetod från sannolikhetsteori. Det hävdas dock ofta att maximum likelihood är ett olämpligt val för tillämpningar inom exempelvis ljud- och bildsyntes, eftersom metodens prioriteringar står i strid med viktiga principer inom mänsklig perception, och att t.ex. Generative Adversarial Networks (GANs) är ett mer perceptuellt lämpligt val. I den här avhandlingen testar vi dessa hypoteser och utforskar effekten av maximum likelihood i djupa generativa modeller, med bildsyntes som vår exempeltillämpning. Till skillnad från tidigare studier använder vi en ny metodik som gör att vi kan isolera effekterna av träningsparadigmen från flera vanliga störfaktorer, såsom modellarkitekturen och hur väl denna arkitektur svarar mot datats sanna fördelning. Avhandlingen tar upp två huvudfrågor. Först frågar vi oss huruvida modeller tränade via NSGAN (Non-Saturating Generative Adversarial Networks) producerar mer realistiska bilder än om exakt samma arkitektur istället tränas att direkt minimera målfunktionen Negativ Log-Likelihood (NLL). (Att minimera NLL är ekvivalent med maximum likelihood-metoden.) För att jämföra de två träningsparadigmerna använder vi datamängden MNIST samt en normalizing flow-arkitektur kallad Real NVP, vilken på ett explicit sätt kan representera en mycket bred familj av kontinuerliga fördelingsfunktioner. Vi använder också Fréchet Inception Distance (FID) som ett mått för att algoritmiskt uppskatta kvaliteten på syntetiserade bilder. För det andra analyserar vi också hur målfunktionen NLL beter sig för felspecificerade modeller, vilket är det fall när modellarkitekturen inte kan representera datas sanna sannolikhetsfördelning perfekt, och jämför resulterande träningskurvor och -prestanda med motsvarande resultat när vi tränar modeller utan felspecifikation. För att studera och utöva kontroll över olika grader av felspecificerade modeller skapar vi en realistisk – men i själva verket syntetisk – leksaksversion av MNIST. Med detta menar vi att vi skapar ett maskininlärningsproblem där exemplen i datamängden är visuellt mycket lika de i MNIST, men i själva verket alla är slumpgenererade från en Real NVP-arkitektur med kända modellparametrar (vikter), och således är den sanna fördelningen för detta syntetiska bilddatamaterialet känd. Vi är inte medvetna om att någon tidigare forskning använt ett realistiskt och storskaligt leksaksproblem enligt detta recept. Våra resultat visar, för det första, att modeller som tränats via NLL presterar oväntat bra i termer av FID, och att NSGAN-baserad träning av Real NVP-modeller är instabil – även om vi startar träningen vid Nashjämvikten, vilken är det globala optimum som NSGAN är tänkt att konvergera mot. För det andra visar experimenten på syntetiska data att modeller med olika grader av felspecifikation når olika NLL-värden på träningsmaterialet, men de uppvisar alla kvalitativt liknande konvergensbeteende. Om man tittar på NLL-värdena på valideringsdata syns dock en överanpassningseffekt, som härrör från den ändliga storleken på det syntetiska träningsdatamaterialet; specifikt ser vi att de modeller som i teorin perfekt kan beskriva den sanna datafördelningen i praktiken uppnår sämre NLL-värden på valideringsdata än vissa felspecificerade modeller. Den reducerade komplexiteten hos de senare regulariserar uppenbarligen modellerna och hjälper dem att generalisera bättre. Samtidigt noterar vi att överanpassning har en mycket mer uttalad negativ effekt på validerings-NLL än på bildkvalitetsmåttet FID. Vi drar också slutsatsen att modeller med alltför många parametrar och frihetsgrader (överparametriserade modeller) bör undvikas, eftersom de inte bara är långsamma och ofta instabila att träna, också om vi tränar baserat på NLL, men dessutom uppvisar kraftig överanpassning och sämre bildkvalitet. Som helhet belyser resultaten i detta examensarbete det komplexa och icke-intuitiva förhållandet mellan NLL/maximum likelihood och perceptuell bildkvalitet utvärderad med hjälp av FID.