L'évolution du big data

Au début des années 2000, il était clair qu'il y avait un énorme besoin d'innovation en matière de données. Les limites de ce que les entreprises pouvaient faire avec leurs données frustraient les dirigeants et réduisaient considérablement l'efficacité. De nombreuses entreprises stockaient d'énormes quantités d'informations, mais n'étaient tout simplement pas en mesure de les gérer, de les analyser ou de les manipuler à leur avantage. C'est cette pression croissante qui a fait place à la frontière du big data.

En 2003, Google a créé MapReduce, une application de données qui a permis à l'entreprise de traiter et d'analyser des informations sur ses requêtes de recherche sur des milliers de serveurs dans un court laps de temps. À la fois évolutif et adaptable, le programme a permis à Google d'effectuer des milliers de tâches de données en quelques minutes, ce qui a amélioré la productivité et redéfini les limites perçues sur ce qui pouvait être fait avec les données. Près de 10 ans plus tard, les mégadonnées sont devenues un principe central des technologies de l'information. Son étendue et ses capacités étendues ont fondamentalement changé la gestion des données sur le lieu de travail. Mais qu'est-ce qui a provoqué cette évolution et comment exactement les mégadonnées auront-elles un impact sur l'avenir? Nous pensions que vous ne demanderiez jamais. (Pour une lecture de fond sur le Big Data, consultez Big Data: Comment il est capturé, croqué et utilisé pour prendre des décisions commerciales.)

Recherche de réponses aux questions du Big Data

La beauté de MapReduce était la façon dont il simplifiait les tâches très complexes. La communication pouvait être gérée sur plusieurs machines, les défaillances du système pouvaient être résolues et les données d'entrée pouvaient être organisées automatiquement, un processus qui pouvait être supervisé par des personnes qui n'avaient plus besoin de compétences hautement techniques. En rendant le traitement des données non seulement possible mais accessible, Google a inspiré un changement culturel dans la gestion des données. Il n'a pas fallu longtemps pour que des milliers de grandes entreprises utilisent MapReduce pour leurs données.

Mais il y avait un problème: MapReduce était simplement un modèle de programmation. S'il a facilité les bases du traitement des données, il n'a pas été en soi la réponse aux lacunes existantes dans les données; ce n'était qu'un pas indispensable dans la bonne direction. Les entreprises avaient toujours besoin d'un système capable de répondre à leurs besoins uniques en matière de données et d'aller au-delà du strict nécessaire de la gestion des données. Bref, la technologie devait évoluer.

Entrez Hadoop

Entrez Hadoop, un logiciel de framework open-source créé par plusieurs programmeurs, dont Doug Cutting. Là où MapReduce était basique et large, Hadoop a fourni une spécificité rafraîchissante. Les entreprises pouvaient concevoir leurs propres applications sur mesure qui répondaient aux besoins en données d'une manière qu'aucun autre logiciel ne pouvait, et il était généralement compatible avec d'autres systèmes de fichiers. Une entreprise avec des programmeurs talentueux pourrait concevoir un système de fichiers qui réaliserait des tâches uniques avec des données qui semblaient inaccessibles auparavant. Peut-être la meilleure partie à ce sujet était que les développeurs partageraient entre eux des applications et des programmes qui pourraient être développés et perfectionnés.

En démocratisant une ressource aussi importante, Hadoop est devenu une tendance. Après tout, de nombreuses grandes sociétés, en particulier des sociétés de moteurs de recherche, estimaient en avoir besoin depuis des décennies! Il n'a pas fallu longtemps avant que des géants des moteurs de recherche tels que Yahoo annoncent la mise en œuvre de grandes applications Hadoop qui généraient des données utilisées dans les requêtes de recherche Web. Dans ce qui semblait être une vague, plusieurs sociétés de premier plan ont annoncé l'adoption de cette technologie pour leurs bases de données massives, notamment Facebook, Amazon, Fox, Apple, eBay et FourSquare. Hadoop a établi la nouvelle norme pour le traitement des données.

Big Data, gros problèmes

Alors que les progrès de la technologie des données ont remodelé la façon dont les entreprises traitent les données, de nombreux dirigeants les trouvent encore non équipés pour la gamme complète des tâches requises. En juillet 2012, Oracle a publié une enquête auprès de plus de 300 cadres de niveau C, qui a révélé que si 36% des entreprises s'appuient sur l'informatique pour gérer et analyser les données, 29% d'entre elles estiment que leurs systèmes n'ont pas les capacités suffisantes pour répondre aux besoins de leurs entreprises. Besoins. La conclusion la plus frappante de l'étude est peut-être que 93% des personnes interrogées pensaient que leur entreprise perdait jusqu'à 14% de ses revenus en ne pouvant pas utiliser les données collectées. Ce sont des revenus qui pourraient être dépensés pour fabriquer de meilleurs produits et embaucher plus de travailleurs. À une époque où les entreprises ont du mal à rester rentables, l'amélioration des données afin que les entreprises puissent devenir plus rentables est une nécessité. L'enquête indique que malgré ceux qui croient que l'influence des mégadonnées sur le commerce est déjà passée, les opportunités de croissance et d'avancement qu'elle détient n'ont pas encore été pleinement réalisées.

Ce que l'avenir réserve au Big Data

La bonne nouvelle est que Hadoop et MapReduce ont inspiré de nombreux autres outils de gestion des données. De nombreuses nouvelles entreprises créent des plateformes de données étendues qui fonctionnent sur Hadoop, mais offrent un large éventail de fonctions analytiques et une intégration système plus facile. Il semble que les entreprises aient investi beaucoup de ressources pour résoudre les problèmes de données et le succès financier des entreprises de données en est la preuve. En 2010, les entreprises de données ont réalisé des ventes au détail estimées à 3, 2 milliards de dollars. De nombreux experts ont estimé que ce nombre atteindrait 17 milliards de dollars d'ici à 2015. C'est un fait qui n'a pas été perdu pour certaines des plus grandes entreprises technologiques. IBM et Oracle ont dépensé des milliards au cours des derniers mois pour acquérir des entreprises de données. De nombreuses autres entreprises prendront des mesures similaires dans les années à venir alors qu'elles continuent de se disputer une part de marché compétitive.

La frontière du Big Data

La quantité de données collectées continue de croître de façon exponentielle, ce qui inquiète certains et excite certains. L'avantage est que les êtres humains continueront à devenir plus productifs et adaptatifs à mesure que nous apprendrons de nouvelles choses sur notre monde grâce à l'analyse des données. L'inconvénient est qu'il existe une telle quantité de données que beaucoup craignent que nous ne soyons pas en mesure de les stocker correctement, et encore moins de les gérer correctement afin qu'elles puissent être utilisées par tous ceux qui en ont besoin.

Cela dit, les progrès du Big Data peuvent offrir des opportunités sans précédent de solutions aux problèmes urgents concernant les données. Par exemple, les experts ont suggéré que si les mégadonnées étaient correctement mises en œuvre en mettant l'accent sur l'efficacité et la qualité, elles auraient le potentiel d'économiser environ 300 milliards de dollars par an en dépenses de santé uniquement; les détaillants pourraient améliorer leurs marges d'exploitation, le secteur public pourrait fournir de meilleurs services et les grandes entreprises économiseraient des milliards. Et donc, il semble que la résolution de nos problèmes de données ne soit pas seulement nécessaire dans les conseils d'administration des entreprises, mais partout. Ce qui en dit long sur l'avenir du big data - et peut-être aussi sur le nôtre.