Molecular property prediction has the ability to improve many processes in molecular chemistry industry. One important application is the development of new drugs where molecular property prediction can decrease both the cost and time of finding new drugs. The current trend is to use graph neural networks or transformers which tend to need moderate and large amounts of data respectively to perform well. Because of the scarceness of molecular property data it is of great interest to find an effective method to transfer learning from other more data-abundant problems. In this thesis I present an approach to pre-train transformer encoders on reaction prediction in order to improve performance on downstream molecular property prediction tasks. I have built a model based on the full transformer architecture but modify it for the purpose of pre-training the encoder. Model performance and specifically the effect of pre-training is tested by predicting lipophilicity, HIV inhibition and hERG channel blocking using both pre-trained models and models without any pre-training. The results demonstrate a tendency for improvement of performance on all molecular property prediction tasks using the suggested pre-training but this tendency for improvement is not statistically significant. The major limitation with the conclusive evaluation stems from the limited simulations due to computational constraints

Abstract The subject of the thesis was to analyze by an engineering approach the global CO₂ balance and CO₂ utilisation. The aim was to apply methods and knowledge used in engineering sciences to describe the global CO₂ balance and the role of CO₂ in anthropogenic utilisation applications. Moreover barriers restricting commercialisation of new applications are discussed. These subjects were studied by literature reviews and calculations based on thermodynamics models. Engineering methods have shown to be applicable to describe the global balance of CO₂ and to define by a numerical way the Earth’s system carrying capacity. Direct and indirect actions, which mitigate the overload situation, were derived from the results. To screen out the attractive CO₂ properties in utilisation applications a mapping analysis was carried out. Properties, which enhance mass and heat transfer, are one of the most meaningful characteristics from the chemical engineering point of view. Attractive properties are often achieved at the supercritical state. Engineering thermodynamic methods were used in fluid phase determination of the case studies. Even simple methods are sufficient to advice experimental research work. The thermodynamic knowledge is the basement in creation of industrial scale chemical processes. If detailed information on system properties is needed, a model development due to the special requirements of high pressure systems and CO₂ features is required. This knowledge covers property information from all the components involved in chemical reactions. In addition to engineering knowledge successful technology transfer requires positive social structure as well. Finally, if the humankind is willing to mimic Nature and use light of the Sun as an energy source in engineering systems, development of thermodynamic methods is required also in this area. Especially the work terms, originally defined in classical mechanical thermodynamics and afterwards formulised also in other parts of the engineering fields, play a key role. If this development work is successful, we may see the shift from thermodynamics approach to ‘photodynamics’. Mitigation of global warming is a problem, which needs several kinds of activities. As a result of this study, there are listed a few engineering actions, which have a possibility to contribute to the work towards the carbon neutral society. / Tiivistelmä Väitöskirjatyössä sovelletaan insinööritieteissä käytettyjä metodeja ja tietämystä määriteltäessä ilmakehän CO₂-tase sekä antropogeenisten hyötykäyttökohteiden merkitys teollisissa prosesseissa ja globaaleissa CO₂-virroissa. Lisäksi pohditaan uusien CO₂-hyötykäyttösovellusten kaupallistamiseen liittyviä rajoitteita. Näitä aiheita on tutkittu käymällä läpi tieteellistä kirjallisuutta ja tekemällä laskelmia. Insinööritieteistä tutun taselaskennan avulla tarkastellaan ilmakehän CO₂-virtoja. Sen pohjalta määritetään numeerisesti maapallon CO₂-kantokyky. Tuloksista johdetaan suoria ja epäsuoria toimenpide-ehdotuksia, joiden avulla voidaan lieventää ilmakehän CO₂-ylikuormaa. Kartoitusmenetelmän avulla selvitetään hyötykäytön kannalta edulliset CO₂:n aineominaisuudet. Kemiantekniikan näkökulmasta ominaisuudet, jotka parantavat aineen- ja lämmönsiirtoa, ovat kiinnostavimpia. Nämä ominaisuudet tulevat esille silloin, kun fluidi on ylikriittisessä olomuodossa. Termodynaamisia laskentamenetelmiä sovelletaan esimerkkiseosten olomuodon eli faasin määrityksessä. Tulokset osoittavat, että jopa verraten yksinkertaiset menetelmät antavat tietoja, jotka auttavat ymmärtämään laboratoriokokeiden faasikäyttäytymistä. Teollisen mittakaavan kemiallisten prosessien kehityksessä ja suunnittelussa termodynamiikan hallitseminen on keskeinen edellytys. Jos CO₂:n kiinnostavia ominaisuuksia toivotaan hyödynnettävän teollisesti, korkeapaineisten systeemien termodynaamisen teorian hallinta sekä aineominaisuuksien määrittäminen kaikille systeemiin osallistuville komponenteille ja niiden seoksille nousee merkittävään asemaan. Läpikotainen teorian ja teknisten perusteiden hallitseminen ei vielä takaa menestyksellistä teknologiansiirtoa pienestä suureen mittakaavaan. Lisäksi tarvitaan myönteinen ja kannustava yhteiskuntajärjestelmä. Mikäli tavoitellaan vielä rohkeampaa kehitysnäkymää, tilannetta, jossa luonnon tavoin CO₂-prosessien energianlähteenä käytettäisiin auringonvaloa, havaitaan, että tämäkin askel edellyttäisi termodynaamista menetelmäkehitystä. Keskeinen termodynaaminen konsepti on työ. Työ siirtää energiaa ympäristön ja systeemin välillä. Tämä on määritelty jo klassisessa mekaniikassa; kappaleen siirto tietystä paikasta toiseen. Kemiantekniikassa työlle on kehitetty käyttökelpoisia kaavoja paine–tilavuus–lämpötila-systeemeihin. Mikäli työn elementit kyettäisiin määrittelemään auringonvalon fotoenergialle, avaisi se uusia näkymiä reaktiokemiaan. Silloin termodynamiikan sijaan voitaisiin ehkä mieluummin puhua 'photodynamiikasta'. Ilmaston lämpeneminen on ongelma, jonka lieventämiseen tarvitaan useanlaisia toimia. Etsittäessä tietä kohti hiilineutraalia yhteiskuntaa, insinöörit voivat avustaa suunnan löytämisessä hyödyntämällä tieteenalallaan käytettyjä metodeja ja teorioita sekä tarpeen vaatiessa kehittää niitä edelleen uusille alueille.