Abstract Breast cancer is the most common cancer among women, and inherited predisposition is one of the major recognized causes of increased breast cancer risk. Only about half of the hereditary cases are explained by mutations in the known susceptibility genes, including the DNA damage response genes BRCA1, BRCA2 and PALB2, leaving the majority still uncovered. Identification of the missing genetic predisposing factors is important for more effective diagnostics and counseling of the risk families, and also for better understanding of the etiology and cellular characteristics of breast cancer. The first aim of this study was to investigate the cancer associations of six rare germline copy number variant (CNV) deletions, which were previously identified in breast cancer patients by a genome-wide microarray approach. The second aim was to identify novel susceptibility alleles, both protein-truncating variants and missense mutations, by next-generation sequencing (NGS) of nearly 800 DNA damage response genes in 189 hereditary breast cancer patients. The cancer-associations of all selected candidate alleles (6 CNVs, 39 protein-truncating variants and 35 missense mutations) were studied by case-control approach using DNA samples from several hundred breast cancer patients and healthy controls. The prevalence of the studied CNVs did not significantly differ between the cases and controls, but when studying the associations with specific clinical parameters, deletion in the CYP2C19 gene showed enrichment in the breast cancer patients with hormonally triple-negative tumors (p=0.021). As CYP2C19 functions in estrogen metabolism, the results indicate that disturbance of hormonal balance due to enzyme defects may predispose specifically to the estrogen receptor-negative subtype of breast cancer. Two protein truncating-variants, TEX15 c.7253dupT and FANCD2 c.2715+1G>A showed significant breast cancer association in the Northern Finnish cohort (p=0.018 and p=0.036, respectively). Similarly, two of the studied missense variants, RECQL p.Ile156Met (p=0.043) and POLG p.Leu392Val (p=0.010), were enriched in the breast cancer cases. Thus, this study provided novel connections between increased breast cancer risk and inherited mutations in TEX15, FANCD2 and POLG genes, and further supported the recently established role of RECQL as a breast cancer susceptibility gene. / Tiivistelmä Rintasyöpä on naisten yleisin syöpä, ja perinnöllinen alttius on yksi merkittävimmistä sairastumisriskiin vaikuttavista tekijöistä. Tunnetuimpia alttiustekijöitä ovat mutaatiot BRCA1-, BRCA2- ja PALB2-DNA-vauriovastegeeneissä, mutta ne yhdessä muiden altistavien geenimutaatioiden kanssa selittävät kuitenkin vain noin puolet perinnöllisistä rintasyöpätapauksista. Uusien alttiusgeenien löytäminen mahdollistaa tehokkaamman diagnostiikan ja korkeassa syöpäriskissä olevien sukujen perinnöllisyysneuvonnan, sekä auttaa ymmärtämään syvemmin rintasyövän etiologiaa ja syntymekanismeja solutasolla. Tämän väitöskirjan ensimmäisenä päämääränä oli tutkia tarkemmin aiemmin genominlaajuisella mikrosirumenetelmällä rintasyöpäpotilailta tunnistettujen harvinaisten perinnöllisten DNA-kopiolukuvariaatioiden (CNV) yhteyttä rintasyöpäriskiin. Toisena tavoitteena oli tunnistaa uusia rintasyöpäalttiusalleeleja, sekä proteiinitrunkaatioita että missense-mutaatioita, hyödyntämällä uuden sukupolven sekvensointitekniikkaa, jonka avulla tutkittiin mutaatioita lähes 800 DNA-vauriovastegeenistä 189 pohjoissuomalaiselta rintasyöpäpotilaalta. Valittujen kandidaattialleelien (6 deleetion aiheuttavaa CNV:tä, 39 proteiinitrunkaatiota ja 35 missense-mutaatiota) yhteyttä rintasyöpään tutkittiin tapaus-verrokkimenetelmällä käyttäen DNA-näytteitä usealta sadalta rintasyöpäpotilaalta ja terveeltä kontrollihenkilöltä. Tutkittujen CNV:iden esiintyvyydessä ei ollut merkitseviä eroja potilaiden ja kontrollien välillä, mutta tarkasteltaessa yhteyttä potilaiden kasvaimista saatuihin kliinisiin parametreihin, deleetio CYP2C19-geenissä oli yleisempi hormonaalisesti kolmoisnegatiivisissa rintatuumoreissa kuin muissa tuumorityypeissä (p=0.021). Koska CYP2C19 on estrogeenimetaboliaan osallistuva entsyymi, sen viallinen toiminta voi mahdollisesti altistaa erityisesti estrogeenireseptorinegatiiviselle rintasyövälle. Kaksi tutkituista proteiinitrunkaatioista, TEX15 c.7253dupT ja FANCD2 c.2715+1G>A, olivat rikastuneet perinnöllisessä rintasyöpäpotilasaineistossa verrattuna kontrolleihin (p=0.018 ja p=0.036). Myös kaksi missense-alleelia, RECQL p.Ile156Met (p=0.043) ja POLG p.Leu392Val (p=0.010), olivat yleisempiä rintasyöpäpotilailla. Tulokset osoittivat uuden yhteyden kohonneen rintasyöpäriskin ja perinnöllisten muutosten TEX15-, FANCD2- ja POLG-geenien välillä, sekä tukivat aiempia tutkimustuloksia, joiden mukaan RECQL on kohtalaisen riskin rintasyöpäalttiusgeeni.

Genome-wide association studies have greatly improved our understanding of the contribution of common variants to the genetic architecture of complex traits. However, two major limitations have been highlighted. First, common variant associations typically do not identify the causal variant and/or the gene that it is exerting its effect on to influence a trait. Second, common variant associations usually consist of variants with small effects. As a consequence, it is more challenging to harness their translational impact. Association studies of rare variants and complex traits may be able to help address these limitations. Empirical population genetic data shows that deleterious variants are rare. More specifically, there is a very strong depletion of common protein truncating variants (PTVs, commonly referred to as loss-of-function variants) in the genome, a group of variants that have been shown to have large effect on gene function, are enriched for severe disease-causing mutations, but in other instances may actually be protective against disease. This thesis is divided into three parts dedicated to the study of protein truncating variants, their medical relevance, and their functional consequences. First, I present statistical, bioinformatic, and computational methods developed for the study of protein truncating variants and their association to complex traits, and their functional consequences. Second, I present application of the methods to a number of case-control and quantitative trait studies discovering new variants and genes associated to breast and ovarian cancer, type 1 diabetes, lipids, and metabolic traits measured with NMR spectroscopy. Third, I present work on improving annotation of protein truncating variants by studying their functional consequences. Taken together, these results highlight the utility of interrogating protein truncating variants in medical and functional genomic studies.