Q:
Quelles circonstances ont conduit à l'essor de l'écosystème du Big Data?
UNE:De nombreux facteurs ont contribué à l'émergence de l'écosystème actuel des mégadonnées, mais il existe un consensus général sur le fait que les mégadonnées sont nées en raison d'une gamme de conceptions matérielles et logicielles qui ont simplement permis aux mégadonnées d'exister.
| Webinaire: Big Iron, Meet Big Data: Libération des données mainframe avec Hadoop & Spark Inscrivez-vous ici |
Une définition conventionnelle du big data est la suivante: des ensembles de données suffisamment volumineux et complexes pour défier une gestion itérative facile ou une gestion manuelle. Les ensembles de Big Data sont souvent identifiés comme des ensembles de données qui ne peuvent pas s'intégrer dans un simple réseau de base de données, car leur analyse nécessite trop de travail de la part des serveurs qui manipulent les données.
Dans cet esprit, une grande partie de ce qui a créé les mégadonnées est l'idée que nous connaissons sous le nom de loi de Moore, ou le doublement des transistors sur un circuit tous les deux ans, créant des matériels et des dispositifs de stockage de données toujours plus petits (ainsi que des microprocesseurs plus puissants) . En conjonction avec la loi de Moore, et probablement à cause de cela, la capacité informatique des systèmes logiciels accessibles a continué d'augmenter, au point que même les ordinateurs personnels pouvaient gérer des quantités de données beaucoup plus importantes, et les systèmes commerciaux et d'avant-garde ont commencé à être en mesure de gérer la taille des données inconcevable seulement plusieurs années auparavant. Les systèmes personnels sont passés de kilo-octets à mégaoctets, puis à gigaoctets, dans un processus transparent pour les consommateurs. Les systèmes Vanguard sont passés de gigaoctets à téraoctets et pétaoctets, et à des ordres de grandeur comme les zétaoctets, de manière beaucoup moins transparente pour le citoyen moyen.
Une autre avancée dans la prise en charge des mégadonnées a été la modification de la manière dont les gestionnaires traitent les ensembles de données. Plutôt que le traitement linéaire via une conception de base de données relationnelle conventionnelle, les gestionnaires ont commencé à utiliser des outils comme Apache Hadoop et des éléments de gestion du matériel associés pour éliminer les goulots d'étranglement dans les processus de données.
Le résultat est le monde des mégadonnées dans lequel nous vivons, où d'énormes ensembles de données sont stockés et maintenus dans des centres de données, et de plus en plus accessibles par un large éventail de technologies pour un large éventail d'utilisations. Du commerce à l'écologie, de la planification publique à la médecine, le big data devient de plus en plus accessible. Pendant ce temps, les agences gouvernementales et d'autres grandes organisations repoussent toujours les limites des tailles de Big Data et mettent en œuvre des solutions encore plus avancées.
