Title: IT Security in Biomedicine Author: Ing. Anna Schlenker Supervisor: Ing. Milan Šárek, CSc. Abstract: The aim of this work is to propose a solution to the biomedical data security strategy. The work provides an overview of the most commonly used biometric methods designed to identify or authenticate users. From these methods, the keystroke dynamics was chosen and used in the application solution. The reliability of this method has been tested by classical and modern classification methods. The greatest benefit of the work is the use of the created application in combination with the measurement using integrated electromyography to objectify the evaluation of the work related to keyboard typing in terms of local muscle load. Keywords: Biometrics, Data Security, Keystroke Dynamics, Local Muscle Load

The growing presence of the Internet in day-to-day tasks, along with the evolution of computational systems, contributed to increase data exposure. This scenario highlights the need for safer user authentication systems. An alternative to deal with this is by the use of biometric systems. However, biometric features may change over time, an issue that can affect the recognition performance due to an outdated biometric reference. This effect can be called as template ageing in the area of biometrics and as concept drift in machine learning. It raises the need to automatically adapt the biometric reference over time, a task performed by adaptive biometric systems. This thesis studied adaptive biometric systems considering biometrics in a data stream context. In this context, the test is performed on a biometric data stream, in which the query samples are presented one after another to the biometric system. An adaptive biometric system then has to classify each query and adapt the biometric reference. The decision to perform the adaptation is taken by the biometric system. Among the biometric modalities, this thesis focused on behavioural biometrics, particularly on keystroke dynamics and on accelerometer biometrics. Behavioural modalities tend to be subject to faster changes over time than physical modalities. Nevertheless, there were few studies dealing with adaptive biometric systems for behavioural modalities, highlighting a gap to be explored. Throughout the thesis, several aspects to enhance the design of adaptive biometric systems for behavioural modalities in a data stream context were discussed: proposal of adaptation strategies for the immune-based classification algorithm Self-Detector, combination of genuine and impostor models in the Enhanced Template Update framework and application of score normalization to adaptive biometric systems. Based on the investigation of these aspects, it was observed that the best choice for each studied aspect of the adaptive biometric systems can be different depending on the dataset and, furthermore, depending on the users in the dataset. The different user characteristics, including the way that the biometric features change over time, suggests that adaptation strategies should be chosen per user. This motivated the proposal of a modular adaptive biometric system, named ModBioS, which can choose each of these aspects per user. ModBioS is capable of generalizing several baselines and proposals into a single modular framework, along with the possibility of assigning different adaptation strategies per user. Experimental results showed that the modular adaptive biometric system can outperform several baseline systems, while opening a number of new opportunities for future work. / A crescente presença da Internet nas tarefas do dia a dia, juntamente com a evolução dos sistemas computacionais, contribuiu para aumentar a exposição dos dados. Esse cenário evidencia a necessidade de sistemas de autenticação de usuários mais seguros. Uma alternativa para lidar com isso é pelo uso de sistemas biométricos. Contudo, características biométricas podem mudar com o tempo, o que pode afetar o desempenho de reconhecimento devido a uma referência biométrica desatualizada. Esse efeito pode ser chamado de template ageing na área de sistemas biométricos adaptativos ou de mudança de conceito em aprendizado de máquina. Isso levanta a necessidade de adaptar automaticamente a referência biométrica com o tempo, uma tarefa executada por sistemas biométricos adaptativos. Esta tese estudou sistemas biométricos adaptativos considerando biometria em um contexto de fluxo de dados. Neste contexto, o teste é executado em um fluxo de dados biométrico, em que as amostras de consulta são apresentadas uma após a outra para o sistema biométrico. Um sistema biométrico adaptativo deve então classificar cada consulta e adaptar a referência biométrica. A decisão de executar a adaptação é tomada pelo sistema biométrico. Dentre as modalidades biométricas, esta tese foca em biometria comportamental, em particular em dinâmica da digitação e em biometria por acelerômetro. Modalidades comportamentais tendem a ser sujeitas a mudanças mais rápidas do que modalidades físicas. Entretanto, havia poucos estudos lidando com sistemas biométricos adaptativos para modalidades comportamentais, destacando uma lacuna para ser explorada. Ao longo da tese, diversos aspectos para aprimorar o projeto de sistemas biométricos adaptativos para modalidades comportamentais em um contexto de fluxo de dados foram discutidos: proposta de estratégias de adaptação para o algoritmo de classificação imunológico Self-Detector, combinação de modelos genuíno e impostor no framework do Enhanced Template Update e aplicação de normalização de scores em sistemas biométricos adaptativos. Com base na investigação desses aspectos, foi observado que a melhor escolha para cada aspecto estudado dos sistemas biométricos adaptativos pode ser diferente dependendo do conjunto de dados e, além disso, dependendo dos usuários no conjunto de dados. As diferentes características dos usuários, incluindo a forma como as características biométricas mudam com o tempo, sugerem que as estratégias de adaptação deveriam ser escolhidas por usuário. Isso motivou a proposta de um sistema biométrico adaptativo modular, chamado ModBioS, que pode escolher cada um desses aspectos por usuário. O ModBioS é capaz de generalizar diversos sistemas baseline e propostas apresentadas nesta tese em um framework modular, juntamente com a possibilidade de atribuir estratégias de adaptação diferentes por usuário. Resultados experimentais mostraram que o sistema biométrico adaptativo modular pode superar diversos sistemas baseline, enquanto que abre um grande número de oportunidades para trabalhos futuros.

The growing presence of the Internet in day-to-day tasks, along with the evolution of computational systems, contributed to increase data exposure. This scenario highlights the need for safer user authentication systems. An alternative to deal with this is by the use of biometric systems. However, biometric features may change over time, an issue that can affect the recognition performance due to an outdated biometric reference. This effect can be called as template ageing in the area of biometrics and as concept drift in machine learning. It raises the need to automatically adapt the biometric reference over time, a task performed by adaptive biometric systems. This thesis studied adaptive biometric systems considering biometrics in a data stream context. In this context, the test is performed on a biometric data stream, in which the query samples are presented one after another to the biometric system. An adaptive biometric system then has to classify each query and adapt the biometric reference. The decision to perform the adaptation is taken by the biometric system. Among the biometric modalities, this thesis focused on behavioural biometrics, particularly on keystroke dynamics and on accelerometer biometrics. Behavioural modalities tend to be subject to faster changes over time than physical modalities. Nevertheless, there were few studies dealing with adaptive biometric systems for behavioural modalities, highlighting a gap to be explored. Throughout the thesis, several aspects to enhance the design of adaptive biometric systems for behavioural modalities in a data stream context were discussed: proposal of adaptation strategies for the immune-based classification algorithm Self-Detector, combination of genuine and impostor models in the Enhanced Template Update framework and application of score normalization to adaptive biometric systems. Based on the investigation of these aspects, it was observed that the best choice for each studied aspect of the adaptive biometric systems can be different depending on the dataset and, furthermore, depending on the users in the dataset. The different user characteristics, including the way that the biometric features change over time, suggests that adaptation strategies should be chosen per user. This motivated the proposal of a modular adaptive biometric system, named ModBioS, which can choose each of these aspects per user. ModBioS is capable of generalizing several baselines and proposals into a single modular framework, along with the possibility of assigning different adaptation strategies per user. Experimental results showed that the modular adaptive biometric system can outperform several baseline systems, while opening a number of new opportunities for future work. / A crescente presença da Internet nas tarefas do dia a dia, juntamente com a evolução dos sistemas computacionais, contribuiu para aumentar a exposição dos dados. Esse cenário evidencia a necessidade de sistemas de autenticação de usuários mais seguros. Uma alternativa para lidar com isso é pelo uso de sistemas biométricos. Contudo, características biométricas podem mudar com o tempo, o que pode afetar o desempenho de reconhecimento devido a uma referência biométrica desatualizada. Esse efeito pode ser chamado de template ageing na área de sistemas biométricos adaptativos ou de mudança de conceito em aprendizado de máquina. Isso levanta a necessidade de adaptar automaticamente a referência biométrica com o tempo, uma tarefa executada por sistemas biométricos adaptativos. Esta tese estudou sistemas biométricos adaptativos considerando biometria em um contexto de fluxo de dados. Neste contexto, o teste é executado em um fluxo de dados biométrico, em que as amostras de consulta são apresentadas uma após a outra para o sistema biométrico. Um sistema biométrico adaptativo deve então classificar cada consulta e adaptar a referência biométrica. A decisão de executar a adaptação é tomada pelo sistema biométrico. Dentre as modalidades biométricas, esta tese foca em biometria comportamental, em particular em dinâmica da digitação e em biometria por acelerômetro. Modalidades comportamentais tendem a ser sujeitas a mudanças mais rápidas do que modalidades físicas. Entretanto, havia poucos estudos lidando com sistemas biométricos adaptativos para modalidades comportamentais, destacando uma lacuna para ser explorada. Ao longo da tese, diversos aspectos para aprimorar o projeto de sistemas biométricos adaptativos para modalidades comportamentais em um contexto de fluxo de dados foram discutidos: proposta de estratégias de adaptação para o algoritmo de classificação imunológico Self-Detector, combinação de modelos genuíno e impostor no framework do Enhanced Template Update e aplicação de normalização de scores em sistemas biométricos adaptativos. Com base na investigação desses aspectos, foi observado que a melhor escolha para cada aspecto estudado dos sistemas biométricos adaptativos pode ser diferente dependendo do conjunto de dados e, além disso, dependendo dos usuários no conjunto de dados. As diferentes características dos usuários, incluindo a forma como as características biométricas mudam com o tempo, sugerem que as estratégias de adaptação deveriam ser escolhidas por usuário. Isso motivou a proposta de um sistema biométrico adaptativo modular, chamado ModBioS, que pode escolher cada um desses aspectos por usuário. O ModBioS é capaz de generalizar diversos sistemas baseline e propostas apresentadas nesta tese em um framework modular, juntamente com a possibilidade de atribuir estratégias de adaptação diferentes por usuário. Resultados experimentais mostraram que o sistema biométrico adaptativo modular pode superar diversos sistemas baseline, enquanto que abre um grande número de oportunidades para trabalhos futuros.

Verifying the identity of a user logged into a secure system is an important task in the field of information security. In addition to a password, it may be appropriate to include behavioral biometrics in the authentication process. The biometrics-based system monitors the user's behavior, compares it with his usual actions, and can thus point out suspicious inconsistencies. The goal of this thesis is to explore the possibility of creating a user identity verification model based on his behavior (usage of mouse and keyboard) in a web application. The work includes creation of a new keystroke and mouse dynamics dataset. The main part of the thesis provides the analysis of features (user characteristics) which can be extracted from the obtained data. Subsequently, we report the authentication accuracy rates achieved by basic machine learning models using the selected set of features. 1

User authentication is vital in a secure system. Authentication is achieved through something a genuine user knows, has, or is. The latter is called biometrics, commonly attributed with fingerprint and face modalities. It is also possible to identify a user based on their behavior, called behavioral biometrics. In this study, keyboard and mouse behavior were considered. Previous research indicate promise for this authentication method. The research however is scarce, old and often not comprehensive. This study focus on two available data sets, the CMU keystroke dynamics dataset and the ReMouse data set. The data was used together with a comprehensive set of multi-class supervised classification machine learning algorithms from the scikit-learn library for Python. By performing hyperparameter optimization, two optimal algorithms with modified hyperparameters were found that improved results compared with previous research. For keystroke dynamics a classifier based on a neural network, multi-layer perceptron, achieved an Equal Error Rate (EER) of 1.26%. For mouse dynamics, a decision tree classifier achieved an EER of 0.43%. The findings indicate that the produced biometric classifiers can be used in an authentication model and importantly to strengthen existing authentication models such as password based login as a safe alternative to traditional Multi-Factor Authentication (MFA). / Användarautentisering är vitalt i ett säkert system. Autentisering genomförs med hjälp av något en genuin användare vet, har eller är. Det senare kallas biometri, ofta ihopkopplat med fingeravtryck och ansiktigenkänning. Det är även möjligt att identifiera en användare baserat på deras beteende, så kallad beteendemässig biometri. I denna studie används tangentbords- och musanvändning. Tidigare forskning tyder på att denna autentiseringsmetod är lovande. Forskningen är dock knapp, äldre och svårbegriplig. Denna studie använder två publika dataset, CMU keystroke dynamics dataset och ReMouse data set. Datan används tillsammans med en utförlig mängd maskininlärningsalgoritmer från scitkit-learn biblioteket för programmeringsspråket Python. Genom att optimera algoritmernas hyper parametrar kunde två stycken optimala klassificerare tas fram som åstadkom förbättrade resultat mot tidigare forskning. För tangentbordsbeteende producerades en klassificerare baserat på neurala nätverk, så kallad multi-layer perceptron som åstadkom en EER på 1.26%. För musrörelser kunde en modell baserat på beslutsträd åstadkomma en EER på 0.43%. Resultatet av dessa upptäckter är att liknande klassificerare kan användas i en autentiseringsmodell men också för att förbättra säkerheten hos etablerade inloggningssätt som exempelvis lösenord och därmed utgöra ett säkert alternativ till traditionell MFA.

No description available.

[ES] Recientemente, hay una fuerte y creciente influencia de aplicaciones en línea en nuestro día a día. Más concretamente las redes sociales se cuentan entre las plataformas en línea más usadas, que permiten a usuarios comunicarse e interactuar desde diferentes partes del mundo todos los días. Dado que estas interacciones conllevan diferentes riesgos, y además los adolescentes tienen características que los hacen más vulnerables a ciertos riesgos, es deseable que el sistema pueda guiar a los usuarios cuando se encuentren interactuando en línea, para intentar mitigar la probabilidad de que caigan en uno de estos riesgos. Esto conduce a una experiencia en línea más segura y satisfactoria para usuarios de este tipo de plataformas. El interés en aplicaciones de inteligencia artificial capaces de realizar análisis de sentimientos ha crecido recientemente. Los usos de la detección automática de sentimiento de usuarios en plataformas en línea son variados y útiles. Se pueden usar polaridades de sentimiento para realizar minería de opiniones en personas o productos, y así descubrir las inclinaciones y opiniones de usuarios acerca de ciertos productos (o ciertas características de ellos), para ayudar en campañas de marketing, y también opiniones acerca de personas como políticos, para descubrir la intención de voto en un periodo electoral, por ejemplo. En esta tesis, se presenta un Sistema Multi-Agente (SMA), el cual integra agentes que realizan diferentes análisis de sentimientos y de estrés usando texto y dinámicas de escritura (usando análisis unimodal y multimodal), y utiliza la respuesta de los analizadores para generar retroalimentación para los usuarios y potencialmente evitar que caigan en riesgos y difundan comentarios en plataformas sociales en línea que pudieran difundir polaridades de sentimiento negativas o niveles altos de estrés. El SMA implementa un análisis en paralelo de diferentes tipos de datos y generación de retroalimentación a través del uso de dos mecanismos diferentes. El primer mecanismo se trata de un agente que realiza generación de retroalimentación y guiado de usuarios basándose en un conjunto de reglas y la salida de los analizadores. El segundo mecanismo es un módulo de Razonamiento Basado en Casos (CBR) que usa no solo la salida de los analizadores en los mensajes del usuario interactuando para predecir si su interacción puede generar una futura repercusión negativa, sino también información de contexto de interacciones de usuarios como son los tópicos sobre los que hablan o información sobre predicciones previas en mensajes escritos por la gente que conforma la audiencia del usuario. Se han llevado a cabo experimentos con datos de una red social privada generada en laboratorio con gente real usando el sistema en tiempo real, y también con datos de Twitter.com para descubrir cuál es la eficacia de los diferentes analizadores implementados y del módulo CBR al detectar estados del usuario que se propagan más en la red social. Esto conlleva descubrir cuál de las técnicas puede prevenir mejor riesgos potenciales que los usuarios pueden sufrir cuando interactúan, y en qué casos. Se han encontrado diferencias estadísticamente significativas y la versión final del SMA incorpora los analizadores que mejores resultados obtuvieron, un agente asesor o guía basado en reglas y un módulo CBR. El trabajo de esta tesis pretende ayudar a futuros desarrolladores de sistemas inteligentes a crear sistemas que puedan detectar el estado de los usuarios interactuando en sitios en línea y prevenir riesgos que los usuarios pudiesen enfrentar. Esto propiciaría una experiencia de usuario más segura y satisfactoria. / [CA] Recentment, hi ha una forta i creixent influència d'aplicacions en línia en el nostre dia a dia, i concretament les xarxes socials es compten entre les plataformes en línia més utilitzades, que permeten a usuaris comunicar-se i interactuar des de diferents parts del món cada dia. Donat que aquestes interaccions comporten diferents riscos, i a més els adolescents tenen característiques que els fan més vulnerables a certs riscos, seria desitjable que el sistema poguera guiar als usuaris mentre es troben interactuant en línia, per així poder mitigar la probabilitat de caure en un d'aquests riscos. Açò comporta una experiència en línia més segura i satisfactòria per a usuaris d'aquest tipus de plataformes. L'interés en aplicacions d'intel·ligència artificial capaces de realitzar anàlisi de sentiments ha crescut recentment. Els usos de la detecció automàtica de sentiments en usuaris en plataformes en línia són variats i útils. Es poden utilitzar polaritats de sentiment per a realitzar mineria d'opinions en persones o productes, i així descobrir les inclinacions i opinions d'usuaris sobre certs productes (o certes característiques d'ells), per a ajudar en campanyes de màrqueting, i també opinions sobre persones com polítics, per a descobrir la intenció de vot en un període electoral, per exemple. En aquesta tesi, es presenta un Sistema Multi-Agent (SMA), que integra agents que implementen diferents anàlisis de sentiments i d'estrés utilitzant text i dinàmica d'escriptura (utilitzant anàlisi unimodal i multimodal), i utilitza la resposta dels analitzadors per a generar retroalimentació per als usuaris i potencialment evitar que caiguen en riscos i difonguen comentaris en plataformes socials en línia que pogueren difondre polaritats de sentiment negatives o nivells alts d'estrés. El SMA implementa una anàlisi en paral·lel de diferents tipus de dades i generació de retroalimentació a través de l'ús de dos mecanismes diferents. El primer mecanisme es tracta d'un agent que realitza generació de retroalimentació i guia d'usuaris basant-se en un conjunt de regles i l'eixida dels analitzadors. El segon mecanisme és un mòdul de Raonament Basat en Casos (CBR) que utilitza no solament l'eixida dels analitzadors en els missatges de l'usuari per a predir si la seua interacció pot generar una futura repercussió negativa, sinó també informació de context d'interaccions d'usuaris, com són els tòpics sobre els quals es parla o informació sobre prediccions prèvies en missatges escrits per la gent que forma part de l'audiència de l'usuari. S'han realitzat experiments amb dades d'una xarxa social privada generada al laboratori amb gent real utilitzant el sistema implementat en temps real, i també amb dades de Twitter.com per a descobrir quina és l'eficàcia dels diferents analitzadors implementats i del mòdul CBR en detectar estats de l'usuari que es propaguen més a la xarxa social. Açò comporta descobrir quina de les tècniques millor pot prevenir riscos potencials que els usuaris poden sofrir quan interactuen, i en quins casos. S'han trobat diferències estadísticament significatives i la versió final del SMA incorpora els analitzadors que millors resultats obtingueren, un agent assessor o guia basat en regles i un mòdul CBR. El treball d'aquesta tesi pretén ajudar a futurs dissenyadors de sistemes intel·ligents a crear sistemes que puguen detectar l'estat dels usuaris interactuant en llocs en línia i prevenir riscos que els usuaris poguessen enfrontar. Açò propiciaria una experiència d'usuari més segura i satisfactòria. / [EN] In the present days, there is a strong and growing influence of on-line applications in our daily lives, and concretely Social Network Sites (SNSs) are one of the most used on-line social platforms that allow users to communicate and interact from different parts of the world every day. Since this interaction poses several risks, and also teenagers have characteristics that make them more vulnerable to certain risks, it is desirable that the system could be able to guide users when interacting on-line, to try and mitigate the probability of incurring one of those risks. This would in the end lead to a more satisfactory and safe experience for the users of such on-line platforms. Recently, interest in artificial intelligence applications being able to perform sentiment analysis has risen. The uses of detecting the sentiment of users in on-line platforms or sites are variated and rewarding. Sentiment polarities can be used to perform opinion mining on people or products, and discover the inclinations and opinions of users on certain products (or certain features of them) to help marketing campaigns, and also on people such as politics, to discover the voting intention for example in electoral periods. In this thesis, a Multi-Agent System (MAS) is presented, which integrates agents that perform different sentiment and stress analyses using text and keystroke dynamics data (using both unimodal and multi-modal analysis). The MAS uses the output of the analyzers for generating feedback for users and potentially avoids them from incurring risks and spreading comments in on-line social platforms that could lead to the spread of negative sentiment or high-stress levels. Moreover, the MAS incorporates parallelized analyses of different data types and feedback generation via the use of two different mechanisms. On the one hand, a rule-based advisor agent has been implemented, that generates feedback or guiding for users based on the output of the analyzers and a set of rules. On the other hand, a Case-Based Reasoning (CBR) module that uses not only the output of the different analyzers on the messages of the user interacting, but also context information from user interactions such as the topics being talked about or information about the previous states detected on messages written by people in the audience of the user. Experiments with data from a private SNS generated in a laboratory with real people using the system in real-time, and also with data from Twitter.com have been performed to ascertain the efficacy of the different analyzers implemented and the CBR module on detecting states of the user that propagate more in the network, which leads to discovering which of the techniques is able to better prevent potential risks that users could face when interacting, and in which cases. Significant differences were found and the final version of the MAS incorporates the best-performing analyzer agents, a rule-based advisor agent, and a CBR module. In the end, this thesis aims to help intelligent systems developers to build systems that are able to detect the state of users interacting in on-line sites and prevent risks that they could face, leading to a more satisfactory and safe user experience. / This thesis was funded by the following research projects: Privacy in Social Educational Environments during Child-hood and Adolescence (PESEDIA), Ministerio de Economia y Empresa (TIN2014-55206-R) and Intelligent Agents for Privacy Advice in Social Networks (AI4PRI), Ministerio de Economia y Empresa (TIN2017-89156-R) / Aguado Sarrió, G. (2021). MAS-based affective state analysis for user guiding in on-line social environments [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/164902 / TESIS