De plus en plus, les travailleurs se voient présenter des algorithmes pour les aider à prendre de meilleures décisions. Mais les humains doivent faire confiance à ces algorithmes pour suivre leurs conseils.
La façon dont les humains perçoivent les recommandations algorithmiques varie en fonction de leurs connaissances sur le fonctionnement du modèle et sur la manière dont il a été créé, selon un nouveau document de recherche co-écrit par le professeur MIT Sloan
Des recherches antérieures ont supposé que les gens sont plus susceptibles de faire confiance aux modèles d’intelligence artificielle interprétables, dans lesquels ils sont capables de voir comment les modèles formulent leurs recommandations. Mais Kellogg et les co-chercheurs Tim DeStefano, Michael Menietti et Luca Vendraminelli, affiliés au Laboratoire pour la science de l’innovation à Harvard, ont découvert que ce n’est pas toujours vrai.
Dans une étude portant sur une grande entreprise de mode, les chercheurs ont constaté que les décideurs humains étaient plus susceptibles d’accepter les conseils d’un ininterprétable modèle algorithmique, plus difficile à questionner et à interroger. Contre toute attente, les chercheurs ont constaté que le fait de pouvoir examiner le fonctionnement du modèle entraînait une baisse des taux d’acceptation.
Cela conduit à quelques enseignements clés sur la manière dont les chefs d’entreprise devraient introduire des algorithmes sur le lieu de travail, écrivent les chercheurs. Premièrement, lorsque les gens peuvent voir comment fonctionne un algorithme, ils peuvent croire qu’ils comprennent mieux ces rouages qu’ils ne le font réellement – un problème dont les dirigeants doivent être conscients lors du déploiement d’initiatives d’IA.
Deuxièmement, l’inclusion de pairs respectés dans le processus de développement et de test de l’algorithme augmente la probabilité que les employés acceptent ses recommandations.
Lutter contre “l’aversion algorithmique”
Bien que les algorithmes surpassent souvent les humains, les décideurs humains peuvent être réticents à accepter leurs suggestions, consciemment ou inconsciemment. Les chercheurs appellent cela aversion algorithmiqueet il est particulièrement répandu lorsque les gens prennent des décisions dans des environnements très incertains tels que la médecine et l’investissement financier.
Les chercheurs ont étudié comment les algorithmes étaient reçus à TapisserieInc., une maison new-yorkaise de premier plan d’accessoires et de marques de style de vie bien connues composée de Coach, Kate Spade et Stuart Weitzman.
Comme d’autres entreprises, Tapestry essaie d’améliorer la répartition des produits en plaçant le bon nombre d’articles dans les bons magasins au bon moment pour maximiser les ventes. Ce processus est amélioré en utilisant des algorithmes de guidage.
Pour l’étude, la moitié des décisions des employés concernant les produits à envoyer aux magasins, et leur nombre, ont été prises avec les recommandations d’un algorithme interprétable, qui était une moyenne mobile pondérée des ventes historiques des trois semaines précédentes.
L’autre moitié a été faite avec des recommandations d’un algorithme d’apprentissage automatique qui était plus difficile à interpréter, à la fois parce qu’il était basé sur des modèles plutôt que sur des hypothèses et parce qu’il était plus complexe, comprenant des données des 16 dernières semaines ainsi que d’autres informations telles que que les promotions des ventes et les jours fériés. Les deux algorithmes ont formulé des recommandations qui étaient en contradiction avec les jugements initiaux des allocataires.
Dans l’ensemble, les répartiteurs humains faisaient davantage confiance au modèle ininterprétable qu’à celui qu’ils pouvaient plus facilement comprendre. Les chercheurs ont découvert que cela provenait de deux facteurs :
1. Dépannage trop confiant.
Lorsque les répartiteurs de produits ont reçu des recommandations contre-intuitives, ils ont essayé d’interroger le raisonnement derrière le modèle interprétable et de dépanner ses recommandations. Selon l’étude, le fait de pouvoir le faire, comme ils le pouvaient avec l’algorithme qui suivait des règles explicites, a entraîné une moindre acceptation des suggestions de l’algorithme interprétable.
Articles Liés
“Parce qu’ils croyaient comprendre les causes, les effets et le fonctionnement interne de l’algorithme, cela les a souvent amenés à annuler les recommandations de l’algorithme”, écrivent les chercheurs.
Les entretiens avec les employés ont montré que les répartiteurs créaient souvent des récits pour expliquer la relation entre les entrées et les sorties du modèle, ce qui les a amenés à ignorer les recommandations de l’algorithme interprétable.
Mais dans des situations où les modèles interprétables et non interprétables fonctionnaient à des niveaux similaires, les allocataires annulant l’algorithme interprétable entraînaient une baisse des performances sur la tâche (ruptures de stock plus fréquentes, quantité de ventes inférieure et revenus inférieurs).
2. Épreuvage social de l’algorithme.
Le modèle d’apprentissage automatique était moins intelligible, donc les employés ne l’ont pas remis en question. Mais ils savaient que leurs pairs avaient aidé à développer et à tester l’algorithme ininterprétable. Sachant cela a aidé à réduire leur incertitude, les chercheurs ont découvert, en se référant au concept de “la preuve sociale“ — lorsque les personnes dans des situations ambiguës s’inspirent de la façon dont d’autres personnes agissent, en supposant que les autres ont plus de connaissances sur la situation actuelle.
Le fait de savoir que des personnes ayant la même base de connaissances et la même expérience ont développé les outils a rendu les gens plus susceptibles de les accepter.
“C’est la combinaison de l’implication des pairs dans le développement et de l’impossibilité d’interroger le modèle ininterprétable qui a rendu les répartiteurs plus susceptibles d’accepter les recommandations du modèle ininterprétable que du modèle interprétable”, écrivent les chercheurs.
