"L'erreur est humaine; pour vraiment souiller les choses, il faut un ordinateur. »William E. Vaughan a fait cette observation en 1969. Donner le contrôle à un système automatisé peut faire mal tourner le système et causer de graves dommages avant de le vérifier.
L'automatisation n'est pas nouvelle, mais elle devient de plus en plus répandue grâce à l'intégration des systèmes numériques et physiques. L'avantage de l'automatisation à grande échelle est une grande efficacité. Mais l'inconvénient de s'appuyer sur un système de définition et d'oubli est que quelqu'un peut ne pas le configurer correctement.
Avec un système qui suit simplement sans aucune intervention et aucun moyen d'arrêter la machine, vous pouvez avoir des effets destructeurs. En conséquence, la technologie peut créer le type de situation décrit dans «L'apprenti sorcier», lorsque ce qui semble rendre la vie plus facile devient réellement incontrôlable.
