L’intelligence artificielle (IA) fait progressivement son entrée dans les organisations. Elle est par exemple utilisée dans le domaine du bien-être au travail pour évaluer les risques et gérer le personnel. Le danger est toutefois réel lorsque l’IA commence à prendre des décisions sans intervention ou interprétation humaine.
Dans un récent article paru dans Psychology Today, le professeur Matt Grawitch de l’université de Saint-Louis, aux États-Unis, souligne les risques involontaires et indésirables des prises de décision par l’IA. Il illustre son propos à l’aide de quelques exemples.
Bien sûr, note-t-il à juste titre, l’IA présente de grands avantages : elle peut traiter d’énormes quantités de données et faire des recommandations aux décideurs (la hiérarchie ou d’autres responsables) sur cette base. L’influence de l’IA n’est pas forcément toujours problématique. Pensez à la navigation GPS dans les voitures. Google Maps, Waze et d’autres applications de navigation se servent de l’IA, et nous les utilisons massivement.
En soi, ce n’est pas innocent, car l’utilisation du GPS dans des endroits que nous ne connaissons pas nous rend moins aptes à réapprendre à suivre le même itinéraire plus tard par nous-mêmes (sans GPS). En effet, sans GPS, nous mémoriserions certains points de repère dans notre cerveau, dessinant une carte mentale qui renforce nos capacités de navigation interne.
La personne qui utilise un GPS en devient donc plus dépendante et ses propres capacités de navigation diminuent.
Au bout du compte, c’est évidemment l’utilisateur qui choisit s’il utilise un GPS et suit l’itinéraire proposé. Le pouvoir déci
sionnel étant entre les mains de l’utilisateur et étant donné qu’il ne s’agit pas de décisions très importantes, notre dépendance vis-à-vis de l’IA ne pose pas problème pour la navigation. Mais il en va autrement pour des décisions plus essentielles.
Deux exemples problématiques
Le premier exemple porte sur une vague de licenciements chez Meta (la société mère de Facebook). Meta a eu recours à l’IA pour sélectionner 60 collaborateurs qui ont dû quitter l’entreprise. Elle a avancé comme arguments que cela lui a permis d’économiser beaucoup de temps et d’énergie. Dans ce cas de figure, l’IA a pris la décision finale, et cela a soulevé des questions, par exemple sur les données utilisées à cette fin.
Le professeur Grawitch cite un deuxième exemple problématique. Aux États-Unis, les docteurs, hôpitaux et pharmaciens utilisent NarxCare, un système permettant d’évaluer automatiquement le risque de consommation abusive d’analgésiques puissants ou d’opioïdes chez les patients. Il utilise des algorithmes d’apprentissage automatique qui s’appuient sur d’énormes quantités de données. Cela a débouché sur de beaux graphiques et des scores de risque. Néanmoins, la manière dont ces scores ont été obtenus n’est pas transparente, pas plus que les données utilisées à cette fin. Il n’existe par ailleurs aucune preuve de la validité des scores. Cela a abouti à des faux positifs (17,2 % des scores, le risque a été évalué à tort comme élevé) et des faux négatifs (13,4 % des scores pour lesquels le risque a été sous-évalué).
Computer says no
Le vrai problème est double :
- il est souvent difficile de savoir quelles données sont utilisées et comment la décision proposée a été prise (ce qui est particulièrement problématique avec l’IA « auto-adaptative ») ; cela peut conduire à ce que l’on appelle le word-of-machine bias, qui consiste à suivre simplement « le jugement du système d’IA ».
Les systèmes d’IA peuvent sembler très crédibles parce que leurs résultats sont également présentés de cette manière (pensez aux graphiques et aux scores de risque ou aux actions suggérées), ce qui incite rapidement les gens à suivre ces recommandations : c’est ce que nous appelons une « heuristique », une règle que notre cerveau aime suivre ; lorsque les résultats de l’IA semblent crédibles, nous avons fortement tendance à exécuter les actions suggérées, car nous économisons ainsi l’énergie cognitive de notre cerveau.
La conclusion est que l’IA est capable d’agir sur nos cerveaux et de changer notre façon de penser. Et cela va du GPS aux licenciements en passant par les risques sur le lieu de travail.
(photo: Unsplash - Owen Beard)
Recommandations
L’IA est également utilisée dans le domaine du bien-être au travail : par exemple, pour la gestion des salariés (suivi de l’efficacité et de la productivité) ou l’évaluation des risques.
C’est la raison pour laquelle l’article conseille de faire preuve de prudence et présente quelques recommandations brèves, mais importantes :
- assurez-vous que la conception, le développement et l’utilisation de systèmes d’IA soient centrés sur l’homme : ne laissez pas l’ordinateur outrepasser l’humain, surtout pas s’il s’agit de décisions cruciales
- impliquez les travailleurs dans les phases de conception, de développement et de test ainsi que dans les évaluations préalables et postérieures et lors de l’utilisation des systèmes fondés sur l’IA.
- veillez à ce que les systèmes basés sur l’IA restent transparents, explicables et compréhensibles.
Plus d’informations sur senTRAL :
Sources :
