Abstract Model selection is a necessary step for any practical modeling task. Since the true model behind a real-world process cannot be known, the goal of model selection is to find the best approximation among a set of candidate models. In this thesis, we discuss model selection in the context of time series machine learning applications. We cover four steps of the commonly followed machine learning process: data preparation, algorithm choice, feature selection and validation. We consider how the characteristics and the amount of data available should guide the selection of algorithms to be used, and how the data set at hand should be divided for model training, selection and validation to optimize the generalizability and future performance of the model. We also consider what are the special restrictions and requirements that need to be taken into account when applying regular machine learning algorithms to time series data. We especially aim to bring forth problems relating model over-fitting and over-selection that might occur due to careless or uninformed application of model selection methods. We present our results in three different time series machine learning application areas: resistance spot welding, exercise energy expenditure estimation and cognitive load modeling. Based on our findings in these studies, we draw general guidelines on which points to consider when starting to solve a new machine learning problem from the point of view of data characteristics, amount of data, computational resources and possible time series nature of the problem. We also discuss how the practical aspects and requirements set by the environment where the final model will be implemented affect the choice of algorithms to use. / Tiivistelmä Mallinvalinta on oleellinen osa minkä tahansa käytännön mallinnusongelman ratkaisua. Koska mallinnettavan ilmiön toiminnan taustalla olevaa todellista mallia ei voida tietää, on mallinvalinnan tarkoituksena valita malliehdokkaiden joukosta sitä lähimpänä oleva malli. Tässä väitöskirjassa käsitellään mallinvalintaa aikasarjamuotoista dataa sisältävissä sovelluksissa neljän koneoppimisprosessissa yleisesti noudatetun askeleen kautta: aineiston esikäsittely, algoritmin valinta, piirteiden valinta ja validointi. Väitöskirjassa tutkitaan, kuinka käytettävissä olevan aineiston ominaisuudet ja määrä tulisi ottaa huomioon algoritmin valinnassa, ja kuinka aineisto tulisi jakaa mallin opetusta, testausta ja validointia varten mallin yleistettävyyden ja tulevan suorituskyvyn optimoimiseksi. Myös erityisiä rajoitteita ja vaatimuksia tavanomaisten koneoppimismenetelmien soveltamiselle aikasarjadataan käsitellään. Työn tavoitteena on erityisesti tuoda esille mallin ylioppimiseen ja ylivalintaan liittyviä ongelmia, jotka voivat seurata mallinvalin- tamenetelmien huolimattomasta tai osaamattomasta käytöstä. Työn käytännön tulokset perustuvat koneoppimismenetelmien soveltamiseen aikasar- jadatan mallinnukseen kolmella eri tutkimusalueella: pistehitsaus, fyysisen harjoittelun aikasen energiankulutuksen arviointi sekä kognitiivisen kuormituksen mallintaminen. Väitöskirja tarjoaa näihin tuloksiin pohjautuen yleisiä suuntaviivoja, joita voidaan käyttää apuna lähdettäessä ratkaisemaan uutta koneoppimisongelmaa erityisesti aineiston ominaisuuksien ja määrän, laskennallisten resurssien sekä ongelman mahdollisen aikasar- jaluonteen näkökulmasta. Työssä pohditaan myös mallin lopullisen toimintaympäristön asettamien käytännön näkökohtien ja rajoitteiden vaikutusta algoritmin valintaan.

Abstract The context of the research was a project carried out by preparatory education teachers following a three-phased TriPod-model in their school instruction. The three phases of instruction were: orientation in the classroom, field trip outside school and thirdly, reflection on the acquired experiences back at school. The instruction carried out according to the TriPod model was mainly based on principles of experiential and collaborative learning. Authentic learning environments outside of school were utilized systematically 8–9 times per academic year during the project which lasted three and half years. The main purpose of the research was to study the development of preparatory education teachers’ practical knowledge during the project. Secondly, the aim was to investigate the preparatory education teachers’ views about the suitability of the TriPod model in migrant students’ instruction and integration into their new home country. The epistemological starting point was social constructivism. The methodological approach of the study was qualitative showing features of action research, ethnography and phenomenography. The empirical data consisted mainly of thematic interviews with nine preparatory education teachers and the data was analysed by applying abductive qualitative content analysis. To conclude the results of the study, it can be maintained that the preparatory education teachers created their own “learning environment” where their practical knowledge was developed through individual and collaborative reflection. During the project, didactics for preparatory education was developed with a strong focus on authentic learning environments. Preparatory education teachers found the curriculum supportive in the implementation of the project’s principles and practices, which in turn contributed to the integration of theory and practice. The study also suggests that teachers in school, and the experts outside school in particular should adjust their speech to better suit the students’ level of Finnish language skills. The preparatory education teachers are fully aware of the significance of their role in advancing their students’ integration into society through the means of education. As a further result of the study, an updated model of teachers’ practical theory was constructed; it offers a well-grounded perspective on the educational challenges caused by societal changes which raise the need to re-consider both pre- and in service teacher education. / Tiivistelmä Tutkimuksen konteksti on perusopetukseen valmistavan opetuksen projekti, jota opettajat toteuttivat kolmivaiheisen TriPod-mallin mukaisesti. Opetuksen kolme vaihetta olivat luokassa toteutettava orientaatio, opintovierailu koulun ulkopuolelle ja siinä saatujen kokemusten reflektointi koulussa. TriPod-mallin mukainen opetus perustui ensisijaisesti kokemuksellisen ja yhteisöllisen oppimisen periaatteille ja siinä hyödynnettiin systemaattisesti koulun ulkopuolisia autenttisia oppimisympäristöjä 8–9 kertaa lukuvuodessa kolmen ja puolen vuoden aikana. Tutkimukseni tavoitteena oli tutkia valmistavan opetuksen opettajien (valo-opettajien) osaamisen kehittymistä projektin aikana. Toisessa tutkimusongelmassa tutkittiin TriPod-mallin mukaisen opetuksen soveltuvuutta maahanmuuttajataustaisten valo-oppilaiden opetuksessa ja kotoutumisen edistämisessä. Tutkimukseni tietoteoreettisena lähtökohtana on sosiaalinen konstruktivismi. Tutkimus toteutettiin laadullisena tutkimuksena, jonka metodologinen viitekehys sisälsi piirteitä toimintatutkimuksesta sekä etnografisesta ja fenomenografisesta tutkimustraditiosta. Tutkimuksen aineisto hankittiin pääosin yhdeksältä valo-opettajalta teemahaastattelun avulla ja analysoitiin abduktiivisen laadullisen sisällönanalyysin avulla. Tutkimuksen perusteella voidaan todeta, että valo-opettajille muodostui oma ”oppimisympäristö”, jossa osaaminen kehittyi sekä subjektiivisen että yhteisöllisen reflektoinnin kautta. Projektin aikana kehitettiin valmistavan opetuksen didaktiikkaa, johon liittyi kiinteästi koulun ulkopuolisten oppimisympäristöjen hyödyntäminen. Valo-opettajat kokivat opetussuunnitelman tukevan projektissa toteutettuja periaatteita ja käytäntöjä, mikä puolestaan vahvisti käytännön ja teorian integroitumista. Tutkimuksessa nousi esille tarve sopeuttaa valo-opettajien ja erityisesti vierailukohteiden asiantuntijoiden opetuspuhetta vastaamaan valo-oppilaiden suomen kielen taitotasoa. Valo-opettajat tiedostivat työnsä yhteiskunnallisen merkityksen kotoutumista edistävien opetuskäytänteiden toteuttajina. Tutkimuksen tuloksena kehitettiin uusi sovellus opettajan käytännön teoriasta; se tarjoaa yhden perustellun näkökulman yhteiskunnallisten muutosten edellyttämiin opetuksellisiin haasteisiin, jotka tulisi ottaa huomioon opettajankoulutuksessa ja opettajien täydennyskoulutuksessa.