Q:
Pourquoi le «goulot d'étranglement de l'information» est une théorie importante dans l'apprentissage en profondeur?
UNE:L'idée d'un «goulot d'étranglement de l'information» dans les réseaux de neurones artificiels (RNA) fonctionne selon un principe spécial lié à la diffusion de divers types de signalisation. Il est considéré comme un outil pratique pour examiner les compromis qui permettent à ces systèmes d'intelligence artificielle de s'auto-optimiser. Un article Wired décrivant le concept de goulot d'étranglement de l'information présenté par Tishby et. Al. parle de «débarrasser les données d'entrée bruyantes des détails étrangers comme si en comprimant les informations à travers un goulot d'étranglement» et «de ne conserver que les fonctionnalités les plus pertinentes pour les concepts généraux».
En tant que concept relativement nouveau, l'idée de goulot d'étranglement de l'information peut aider à améliorer et à changer la façon dont nous utilisons les RNA et les systèmes connexes pour modéliser la fonction cognitive. Un moyen que cette théorie peut aider est de nous aider à mieux comprendre les paradigmes qui soutiennent les fonctions du réseau neuronal. Par exemple, si le principe illustre comment seul un certain ensemble de fonctionnalités est conservé par le système, nous commençons à voir comment cette «discrimination des données» fait qu'un réseau «singe» le cerveau humain, et les ingénieurs peuvent l'ajouter dans les modèles de réseau neuronal. L'idée ici est que, à terme, la technologie des réseaux de neurones deviendra davantage un concept «universel», et pas seulement le domaine de quelques privilégiés. Actuellement, les entreprises sont à la recherche de rares talents en IA; des théories comme la théorie du goulot d'étranglement de l'information peuvent aider à diffuser les connaissances sur les réseaux neuronaux aux profanes et aux «utilisateurs intermédiaires» - ceux qui ne sont peut-être pas des «experts», mais qui peuvent aider à l'émergence et à la diffusion de technologies de réseaux neuronaux.
Une autre valeur importante du goulot d'étranglement de l'information est que les ingénieurs peuvent commencer à former des systèmes pour qu'ils fonctionnent de manière plus précise. Avoir des directives de haut niveau pour l'architecture de système peut rationaliser l'évolution de ces types de technologies, et avoir une idée plus définie des principes du deep learning est donc précieux dans le monde informatique.
En général, l'avant-garde travaillant sur l'IA continuera à examiner spécifiquement le fonctionnement des réseaux de neurones, y compris l'idée d '«informations pertinentes» et la manière dont les systèmes discriminent pour effectuer des fonctions. Un exemple est dans le traitement de l'image ou de la parole, où les systèmes doivent apprendre à identifier de nombreuses variantes en tant qu '«objets». traitement de l'information.
