Table des matières:
Définition - Que signifie Apache Avro?
Apache Avro est un cadre d'appel de sérialisation de données et de procédures distantes développé dans le cadre du projet Apache Hadoop où il fournit à la fois un format de sérialisation pour obtenir des données persistantes et un format de fil pour assurer la communication entre les nœuds Hadoop, ainsi que pour connecter des programmes clients à Hadoop. prestations de service.
Avro utilise le format JSON pour définir les protocoles et les types de données, ainsi que sérialiser les données dans un format binaire compact.
Techopedia explique Apache Avro
Apache Avro est un cadre de sérialisation de Big Data qui produit des données dans un format binaire compact qui ne nécessite pas de génération de code ou d'objets proxy.
Il est utilisé comme composant de sérialisation des données pour Apache Hadoop. Avro travaille sur le concept de schémas. Lors de la lecture de données Avro, le schéma utilisé lors de l'écriture de ces données spécifiques est toujours présent.
Cela permet à chaque ensemble de données sans surcharge par valeur, ce qui rend la sérialisation à la fois rapide et relativement petite. Et comme les données et leur schéma sont entièrement auto-descriptifs, cela facilite leur utilisation avec les langages de script dynamiques.
Lorsque les données Avro sont stockées dans un fichier spécifique, le schéma est également stocké avec elles pour être ensuite traité par un autre programme. Donc, si un programme qui lit les données attend un autre schéma, cela peut facilement être résolu car les deux schémas sont présents.
Avro fournit:
Un format de données binaires compact et rapide
Structures de données riches
Un fichier conteneur pour stocker des données persistantes
Appel de procédure à distance (RPC)
Intégration avec des langages dynamiques
La génération de code n'est pas une condition requise pour lire ou écrire des fichiers de données ou pour utiliser ou implémenter des protocoles RPC.
