En l'état, explique Mike Olson, PDG de Cloudera, la plate-forme d'analyse Hadoop présente des limites importantes concernant la vitesse et la complexité. Cependant, les leaders de l'industrie - y compris ceux de sa propre entreprise - travaillent à changer cela, confiants que cet outil de recherche évoluera de manière fondamentale dans les années à venir.
Lors de la conférence Strata de l'année dernière, Olson a demandé à un public d'imaginer comment, s'il était créé aujourd'hui, Hadoop serait conçu différemment, posant que certains changements spécifiques pourraient ouvrir de nouvelles passerelles pour la recherche dans des domaines comme l'éducation, l'énergie et l'agriculture. Citant le cosmologue et auteur scientifique Carl Sagan, Olson a souligné l'importance de décomposer les données de haut niveau pour un public plus large.
"Je pense que nous sommes sur le point de découvrir de grandes découvertes qui comptent pour les entreprises et la société", a déclaré Olson.
Un exemple, a-t-il noté, est la découverte scientifique rendue possible par le travail des professionnels scientifiques du Grand collisionneur de hadrons en Suisse. Selon Olson, c'est l'évaluation quotidienne de 37 téraoctets de données qui a conduit à des avancées clés comme la découverte du bassin versant Higgs-Boson, qui a révélé des aspects clés de la matière et de l'énergie. Olson a ajouté que Hadoop aide à soutenir ces projets de recherche fondamentale en capturant une énorme quantité de données dans un référentiel unique, mais qu'il est difficile d'interagir avec ces données en temps réel.
Expliquant comment Hadoop et des technologies similaires peuvent aider les scientifiques dans des domaines clés, tels que les soins de santé, Olson a également annoncé le projet Impala, sur lequel son entreprise travaille depuis deux ans, avec deux quarts de tests bêta en coordination avec les principaux clients. Le projet Impala, a déclaré Olson, est une technologie "100% open source" avec une licence Apache qui fonctionne avec Hadoop en tant que "moteur de requête en temps réel". Selon Olson, cela permet à ce qu'il appelle des «requêtes de vitesse», où les utilisateurs peuvent poser une question, obtenir une réponse et formuler une nouvelle question pour utiliser efficacement les principaux clusters de données.
"Cela vous donne une nouvelle façon d'accéder à vos données", a déclaré Olson, soulignant comment ce type d'avancement pourrait ouvrir de nouvelles opportunités pour résoudre des problèmes majeurs aux États-Unis et à l'étranger.
