Un peu d’histoire

Apache Hadoop® avait tout juste franchi l’atlantique… Synaltic a très vite compris qu’il se passait quelque chose, nous avons vu en Hadoop une possibilité pour toute organisation de prétendre à une plateforme de données unifiée et convergente pour gérer toutes ses données de A à Z ! Et c’est bien ce qui est arrivé !

C’est une plateforme dédiée à la donnée, qui traite la donnée de bout en bout et qui exécute tout type de traitements en apportant une gouvernance unifiée des données et des traitements.

Synaltic considère Apache Hadoop® pour son écosystème complet tant pour les projets qui le composent que pour les acteurs qui en offre une distribution tant sur une infrastructure propre que sur le cloud. Apache Hadoop® offre aussi une standardisation des formats de fichiers et de traitements.

Apache Hadoop® est devenue en quelques années un standard pour stocker et traiter la donnée. L’exploitation de ce standard a évolué pour connaître une utilisation où l’on exacerbe le découplage stockage et calcul que l’on retrouve sur l’ensemble des distributions du cloud.

A propos du Hadoop User Group France

Synaltic, sous l’impulsion de Charly Clairmont, a été l’un des tout premiers acteurs français à structurer une véritable communauté autour des technologies Big Data open source. Alors que Hadoop commençait à peine à émerger en France,  dès le début des années 2010, Charly initie la création du Hadoop User Group France (HUG France), un espace de partage, de veille et d’échanges techniques destiné à démocratiser les usages du Big Data.

Le groupe devient dès 2013 un point de ralliement pour les ingénieurs, architectes et entreprises cherchant à comprendre et adopter Hadoop. Les rencontres régulières, ateliers techniques et retours d’expérience contribuent à diffuser les bonnes pratiques, à accélérer l’adoption des frameworks de l’écosystème (Hive, HBase, Spark, Oozie…) et à structurer une véritable culture Big Data en France.

Au fil des années, le HUG France s’étend, fédère des centaines de membres et devient un lieu incontournable pour suivre l’évolution de l’écosystème. Les discussions s’ouvrent progressivement à Spark, puis aux architectures modernes, comme en témoigne la présence du groupe sur les plateformes communautaires et les meetups associés .

Cette dynamique communautaire a eu un impact direct sur l’évolution du paysage Hadoop en France :

• accélération de l’adoption des technologies distribuées,
• structuration d’un réseau d’experts,
• diffusion des pratiques open source,
• transition progressive vers les architectures modernes (Spark, Lakehouse, Iceberg)

Aujourd’hui encore, l’héritage du Hadoop User Group France se retrouve dans les communautés modernes comme Spark ou Modern Data Stack France.

Et maintenant ?

Néanmoins, une difficulté et non des moindres est de pouvoir exploiter simplement les nouveaux moteurs d’interrogation plus rapides que ceux qui sont embarqués dans Hadoop. Qui plus est, comme le stockage et le calcul sont quand même couplés… Il n’est point évident de faire évoluer l’un sans l’autre. C’est-à-dire que lorsque vous voulez faire évoluer HDFS, vous faire naturellement évoluer Hive. Et si vous voulez faire évoluer Yarn… Vous faites naturellement évoluer HDFS.

Il est aujourd’hui question d’avoir une stratégie pour pleinement exploiter vos données dans le but d’organiser vos décisions selon les données. Et c’est pourquoi nous vous conseillons d’impémenter Apache Iceberg™, le format de table open-source qui transforme votre lac de données en un véritable Data Lakehouse !