1 |
Disparate treatments discovery : disparate treatments discovery algorithm framework with no access to protected attribute valuesRacicot, Taha 09 November 2022 (has links)
Les nouveaux algorithmes en intelligence artificielle offrent une opportunité d'améliorer la rapidité et l'efficacité de la prise de décision. Ceux-ci sont certainement bénéfique, lorsqu'ils permettent de prendre en compte plus de critères qu'un humain pourrait considérer et de prendre plus de décisions plus rapidement qu'un humain pourrait le faire. Cependant, l'utilisation d'algorithmes de décision mal conçus a un effet social majeur. En effet, ces algorithmes peuvent apprendre à baser leurs décisions sur des critères socialement inacceptables comme la race, le sexe, l'origine ethnique, ou l'orientation sexuelle, et ainsi formaliser et propager les discriminations du passé. Dans de tels cas, l'impact de ces algorithmes est de renforcer et propager à grande échelle les inégalités économiques, sociales, et d'opportunités, entre les diverses communautés composant notre société. On pourrait croire qu'il est facile d'examiner les règles de recommandation d'un algorithme pour vérifier quels critères sont considérés. Cependant, ce n'est pas le cas : plusieurs algorithmes d'intelligence artificielle, comme les réseaux de neurones profonds, sont des "boites noires" qui fournissent des résultats d'une manière incompréhensible aux humains. De plus, une discrimination sur un critère inacceptable n'a pas besoin de considérer explicitement ce critère dans ses facteurs de décision, mais peut être réalisée en utilisant uniquement des facteurs acceptables ou même anodins, mais qui sont corrélés au critère inacceptable. Ainsi à chaque fois que des systèmes intelligents sont utilisés, on se retrouve à se demander si le système va prendre la décision optimale sans discrimination malgré qu'aucun attribut sensible n'a été utilisé. Dans ce travail, nous explorons une nouvelles méthodes pour l'identification de la discrimination dans les décisions de systèmes intelligents sans avoir accès aux attributs sensibles. Nous commençons par explorer les métriques de mesures de discrimination utilisés communément et nous identifions leurs lacunes. Par la suite, étant donné ces lacunes, nous explorons de nouvelles méthodes émergeantes basés sur la causalité permettant de palier à celles-ci. Ensuite, nous étudions la possibilité d'utiliser des attributs corrélés avec les attributs sensibles manquants comme le nom et le prénom pour retrouver les attributs sensibles. Par la suite, nous explorons les méthodes de mesure d'incertitude dans les nouveaux algorithmes en IA afin d'évaluer à quel point nous pouvons être certain de la mesure de discrimination lors de l'utilisation d'attributs non protégés corrélés avec les attributs sensibles. Enfin, nous présentons notre méthode sur la discrimination raciale en utilisant le nom et de prénom comme proxy pour l'ethnicité et nous réalisons des tests à partir de données synthétiques. / New algorithms in artificial intelligence offer an opportunity to improve the speed and efficiency of decision-making. These are certainly beneficial, when they allow to take into account more criteria than a human could consider and to make more decisions more quickly than a human could. However, the use of poorly designed decision algorithms has a major social effect. Indeed, these algorithms can learn to base their decisions on socially unacceptable criteria such as race, gender, ethnic origin, or sexual orientation, and thus formalize and propagate the discriminations of the past. In such cases, the impact of these algorithms is to reinforce and propagate on a large scale economic, social and opportunity inequalities between the various communities that make up our society. One might think that it is easy to examine the recommendation rules of an algorithm to check which criteria are considered. However, this is not the case : many AI algorithms, such as deep neural networks, are "black boxes" that deliver results in ways that humans cannot understand. Moreover, discrimination on an unacceptable criterion does not need to explicitly consider this criterion in its decision factors, but can be achieved by using only acceptable or even innocuous factors, but which are correlated to the unacceptable criterion. So whenever intelligent systems are used, we find ourselves wondering if the system will make the optimal decision without discrimination despite the fact that no sensitive attribute has been used. In this work, we explore a new method for the identification of discrimination in decisions of intelligent systems without having access to sensitive attributes. We begin by exploring commonly used discrimination measurement metrics and identifying their shortcomings. Subsequently, given these shortcomings, we explore new emerging methods based on causality to overcome them. Then, we study the possibility of using attributes correlated with the missing sensitive attributes like the name and the first name to find the sensitive attributes. Subsequently, we explore methods for measuring uncertainty in new AI algorithms in order to assess how certain we can be of the discrimination measure when using unprotected attributes correlated with sensitive attributes. Finally, we present our method on racial discrimination using surname and first name as a proxy for ethnicity and we perform tests using synthetic data.
|
2 |
Disparate treatments discovery : disparate treatments discovery algorithm framework with no access to protected attribute valuesRacicot, Taha 13 December 2023 (has links)
Les nouveaux algorithmes en intelligence artificielle offrent une opportunité d'améliorer la rapidité et l'efficacité de la prise de décision. Ceux-ci sont certainement bénéfique, lorsqu'ils permettent de prendre en compte plus de critères qu'un humain pourrait considérer et de prendre plus de décisions plus rapidement qu'un humain pourrait le faire. Cependant, l'utilisation d'algorithmes de décision mal conçus a un effet social majeur. En effet, ces algorithmes peuvent apprendre à baser leurs décisions sur des critères socialement inacceptables comme la race, le sexe, l'origine ethnique, ou l'orientation sexuelle, et ainsi formaliser et propager les discriminations du passé. Dans de tels cas, l'impact de ces algorithmes est de renforcer et propager à grande échelle les inégalités économiques, sociales, et d'opportunités, entre les diverses communautés composant notre société. On pourrait croire qu'il est facile d'examiner les règles de recommandation d'un algorithme pour vérifier quels critères sont considérés. Cependant, ce n'est pas le cas : plusieurs algorithmes d'intelligence artificielle, comme les réseaux de neurones profonds, sont des "boites noires" qui fournissent des résultats d'une manière incompréhensible aux humains. De plus, une discrimination sur un critère inacceptable n'a pas besoin de considérer explicitement ce critère dans ses facteurs de décision, mais peut être réalisée en utilisant uniquement des facteurs acceptables ou même anodins, mais qui sont corrélés au critère inacceptable. Ainsi à chaque fois que des systèmes intelligents sont utilisés, on se retrouve à se demander si le système va prendre la décision optimale sans discrimination malgré qu'aucun attribut sensible n'a été utilisé. Dans ce travail, nous explorons une nouvelles méthodes pour l'identification de la discrimination dans les décisions de systèmes intelligents sans avoir accès aux attributs sensibles. Nous commençons par explorer les métriques de mesures de discrimination utilisés communément et nous identifions leurs lacunes. Par la suite, étant donné ces lacunes, nous explorons de nouvelles méthodes émergeantes basés sur la causalité permettant de palier à celles-ci. Ensuite, nous étudions la possibilité d'utiliser des attributs corrélés avec les attributs sensibles manquants comme le nom et le prénom pour retrouver les attributs sensibles. Par la suite, nous explorons les méthodes de mesure d'incertitude dans les nouveaux algorithmes en IA afin d'évaluer à quel point nous pouvons être certain de la mesure de discrimination lors de l'utilisation d'attributs non protégés corrélés avec les attributs sensibles. Enfin, nous présentons notre méthode sur la discrimination raciale en utilisant le nom et de prénom comme proxy pour l'ethnicité et nous réalisons des tests à partir de données synthétiques. / New algorithms in artificial intelligence offer an opportunity to improve the speed and efficiency of decision-making. These are certainly beneficial, when they allow to take into account more criteria than a human could consider and to make more decisions more quickly than a human could. However, the use of poorly designed decision algorithms has a major social effect. Indeed, these algorithms can learn to base their decisions on socially unacceptable criteria such as race, gender, ethnic origin, or sexual orientation, and thus formalize and propagate the discriminations of the past. In such cases, the impact of these algorithms is to reinforce and propagate on a large scale economic, social and opportunity inequalities between the various communities that make up our society. One might think that it is easy to examine the recommendation rules of an algorithm to check which criteria are considered. However, this is not the case : many AI algorithms, such as deep neural networks, are "black boxes" that deliver results in ways that humans cannot understand. Moreover, discrimination on an unacceptable criterion does not need to explicitly consider this criterion in its decision factors, but can be achieved by using only acceptable or even innocuous factors, but which are correlated to the unacceptable criterion. So whenever intelligent systems are used, we find ourselves wondering if the system will make the optimal decision without discrimination despite the fact that no sensitive attribute has been used. In this work, we explore a new method for the identification of discrimination in decisions of intelligent systems without having access to sensitive attributes. We begin by exploring commonly used discrimination measurement metrics and identifying their shortcomings. Subsequently, given these shortcomings, we explore new emerging methods based on causality to overcome them. Then, we study the possibility of using attributes correlated with the missing sensitive attributes like the name and the first name to find the sensitive attributes. Subsequently, we explore methods for measuring uncertainty in new AI algorithms in order to assess how certain we can be of the discrimination measure when using unprotected attributes correlated with sensitive attributes. Finally, we present our method on racial discrimination using surname and first name as a proxy for ethnicity and we perform tests using synthetic data.
|
Page generated in 0.1806 seconds