Pouvez-vous faire confiance à l'IA? Devriez-vous accepter ses conclusions comme objectivement valables sans aucun doute? Le problème est que même remettre en question l'IA elle-même ne donnerait pas de réponses claires.
Les systèmes d'IA ont généralement fonctionné comme une boîte noire: les données sont entrées et les données sont sorties, mais les processus qui transforment ces données sont un mystère. Cela crée un double problème. L'une est qu'il n'est pas clair quels sont les performances des algorithmes les plus fiables. L'autre est que les résultats apparemment objectifs peuvent être faussés par les valeurs et les biais des humains qui programment les systèmes. C'est pourquoi il y a un besoin de transparence pour les processus de pensée virtuels que ces systèmes utilisent, ou «IA explicable».
L'impératif éthique est devenu légal pour toute personne soumise au RGPD, ce qui a un impact non seulement sur les entreprises basées dans l'UE mais également sur celles qui ont des relations avec des personnes ou des organisations. Il contient un certain nombre de dispositions sur la protection des données qui étendent aux citoyens de l'UE "le droit de ne pas être soumis uniquement à une prise de décision automatisée, sauf dans certaines situations" et "le droit de recevoir des informations significatives sur la logique impliquée dans la décision . "
