Q:
Comment les ingénieurs peuvent-ils évaluer les ensembles de formation et les ensembles de tests pour repérer un possible surapprentissage dans l'apprentissage automatique?
UNE:Pour comprendre comment cela se fait, il est nécessaire d'avoir une compréhension de base des rôles des différents ensembles de données dans un projet d'apprentissage automatique typique. L'ensemble de formation est conçu pour donner à la technologie un cadre de référence - une base de données que le programme utilise pour prendre des décisions prédictives et probabilistes. L'ensemble de test est l'endroit où vous testez la machine sur les données.
Le sur-ajustement est un syndrome dans l'apprentissage automatique où le modèle ne correspond pas entièrement aux données ou à l'objectif.
| Téléchargement gratuit: apprentissage automatique et pourquoi c'est important |
L'un des principaux commandements de l'apprentissage automatique est que les données de formation et les données de test doivent être des ensembles de données distincts. Il existe un consensus assez large à ce sujet, au moins dans de nombreuses applications, en raison de certains problèmes spécifiques liés à l'utilisation du même ensemble que celui utilisé pour la formation pour tester un programme d'apprentissage automatique.
Lorsqu'un programme d'apprentissage automatique utilise un ensemble de formation, qui pourrait être appelé essentiellement un ensemble d'entrées, il travaille à partir de cet ensemble de formation pour prendre des décisions sur les résultats prédictifs. Une façon très simple de penser à cela est que l'ensemble de formation est la «nourriture» pour le processus informatique intellectuel.
Maintenant, lorsque ce même ensemble est utilisé pour les tests, la machine peut souvent retourner d'excellents résultats. C'est parce qu'il a déjà vu ces données auparavant. Mais l'objectif de l'apprentissage automatique dans de nombreux cas est de produire des résultats sur des données qui n'ont jamais été vues auparavant. Les programmes d'apprentissage automatique à usage général sont conçus pour fonctionner sur divers ensembles de données. En d'autres termes, le principe de l'apprentissage automatique est la découverte, et vous n'obtenez généralement pas autant de cela en utilisant un ensemble de formation initiale à des fins de test.
Lors de l'évaluation des ensembles de formation et des ensembles de test pour un éventuel sur-ajustement, les ingénieurs pourraient évaluer les résultats et comprendre pourquoi un programme pourrait le faire différemment sur les résultats comparatifs de ces deux ensembles, ou dans certains cas, comment la machine pourrait faire trop bien sur les données de formation elles-mêmes. .
En décrivant habilement certains de ces problèmes dans l'apprentissage automatique dans un article de 2014, Jason Brownlee de Machine Learning Mastery décrit le surapprentissage de cette façon:
"Un modèle qui est sélectionné pour sa précision sur le jeu de données d'apprentissage plutôt que sa précision sur un jeu de données de test invisible est très probablement moins précis sur un jeu de données de test invisible", écrit Brownlee. "La raison en est que le modèle n'est pas aussi généralisé. Il s'est spécialisé dans la structure de l'ensemble de données de formation (italique ajouté). C'est ce qu'on appelle le surajustement, et c'est plus insidieux que vous ne le pensez."
En termes simples, on pourrait dire qu'en se spécialisant dans l'ensemble de données de formation, le programme devient trop rigide. C'est une autre façon métaphorique de comprendre pourquoi un programme d'apprentissage automatique n'est pas servi de manière optimale en utilisant l'ensemble de formation pour l'ensemble de test. C'est également un bon moyen d'aborder l'évaluation de ces deux ensembles différents, car les résultats montreront beaucoup aux ingénieurs comment le programme fonctionne. Vous voulez un plus petit écart entre la précision pour les deux modèles. Vous voulez vous assurer que le système n'est pas suralimenté ou "fusionné avec précision" à un ensemble de données particulier, mais c'est plus général et capable de croître et d'évoluer sur commande.
