In order for the collaborations to be fruitful and sustainable between organisations and open source software (OSS) ecosystems, maintainers need to understand if, and how it is possible to evaluate OSS ecosystem health in an effective manner. Understanding how OSS maintainers characterise ecosystem health and how they evaluate these health characteristics using digital evaluation tools is interesting to analyse since it could give insight in how ecosystem health in practice is evaluated, which health aspects can be evaluated with the help of digital tools, and what barriers exists in the evaluation processes. This qualitative study is based on semi-structured interviews and was conducted in order to answer two research questions regarding this topic. The answers which were produced by the semi-structured interviews were transcribed and coded to later be analysed where conclusions could be drawn. The research attempts to broaden the academic perspective on how ecosystem maintainers view health and how health evaluation digital tools can help maintainers understand the state of their ecosystem health, and what barriers exist. It became clear during the research that answering how ecosystem health is to be characterized is incredibly difficult since the answer might differ in many ways depending on the nature of the project, where the project is in its life cycle, and who is asking the questions. Two views surrounding the definition of ecosystem health are presented, one revolving around longevity and the other revolving around an ecosystem life cycle perspective. Furthermore, Diversity, Governance, Activity and Licensing seem to be the health characteristics maintainers find to be the most important for ecosystem health evaluation. Out of these, tools such as the ones offered by CHAOSS, seem somewhat geared towards assessing Activity, Licensing and Diversity. Saving time and finding trends when evaluating health are examples of how tools help maintainers however, barriers exist for maintainers in smaller or younger projects who have not practiced health evaluation for a very long time. Finally, another barrier is the amount of additional context and human judgment which is needed when using tools for the health evaluation. / För att samarbetet mellan organisationer och öppen källkod (OSS) ekosystem ska vara gynnsamma och hållbara, måste ekosystemsunderhållare förstå om och hur det är möjligt att utvärdera OSS-ekosystemhälsa på ett effektivt sätt. Att förstå hur OSS-underhållare karaktäriserar ekosystemhälsa och hur de utvärderar dessa hälsoegenskaper med hjälp av digitala utvärderingsverktyg är intressant att analysera eftersom det skulle kunna ge insikt i hur ekosystemhälsa i praktiken utvärderas, vilka hälsoaspekter som kan utvärderas med hjälp av digitala verktyg, och vilka hinder som finns i utvärderingsprocesserna. Denna kvalitativa studie är baserad på semistrukturerade intervjuer och genomfördes för att besvara två forskningsfrågor inom detta ämne. Svaren som producerades av de semistrukturerade intervjuerna transkriberades och kodades för att senare analyseras där slutsatser kunde dras. Forskningen försöker vidga det akademiska perspektivet på hur ekosystemsunderhållare ser på hälsa och hur hälsoutvärderingsverktyg kan hjälpa underhållare att förstå hälsotillståndet för deras ekosystem, men också vilka hinder som finns i processerna. Det blev tydligt under forskningen att det är otroligt svårt att svara på hur ekosystemhälsa ska karakteriseras eftersom svaret kan skilja sig åt på många sätt beroende på projektets karaktär, var projektet befinner sig i sin livscykel och vem som ställer frågorna. Två synpunkter kring definitionen av ekosystemhälsa tas upp, en som kretsar kring livslängd, och den andra som kretsar kring ett ekosystemlivscykelperspektiv. Dessutom verkar Mångfald, Styrning, Aktivitet och Licensiering vara de hälsoegenskaper som underhållare anser vara de viktigaste för hälsoutvärdering av ekosystem. Av dessa verkar verktyg som de som erbjuds av CHAOSS något inriktade på att bedöma Aktivitet, licensiering och mångfald. Att spara tid och hitta trender när man utvärderar hälsa är exempel på hur verktyg hjälper underhållare, men hinder finns för underhållare i mindre eller yngre projekt som inte har praktiserat hälsoutvärdering under en längre period. Slutligen är en annan barriär den mängden ytterligare kontext och mänskligt omdöme som behövs när man använder verktyg för hälsoutvärderingen.