Construire et faire évoluer son open data lakehouse avec Synaltic !

Chez Synaltic, nous considérons l’Open Data Lakehouse comme une évolution naturelle, voire un certain aboutissement. Il y a déjà 20 ans, nous accompagnions nos clients dans la mise en place et l’évolution de leurs data warehouses. Nous parlions de qualité et de gouvernance… puis sont arrivés les projets Big Data et le Cloud. Nous avons vu l’architecture évoluer du data warehouse au data lake en 2011, puis au data lakehouse à partir de 2020.

Depuis 2004, Synaltic propose des alternatives Open Source — lorsqu’elles existent — pour mener à bien ces projets de données.

Aujourd’hui, les enjeux de gouvernance, de souveraineté et de coûts nous incitent plus que jamais à recommander l’Open Data Lakehouse : une plateforme de données fondée sur des solutions Open Source et des formats ouverts.

Qu’est-ce qu’un Open Data Lakehouse ?

Un data lakehouse est un nouveau modèle architectural de gestion des données qui combine le faible coût, l’évolutivité et la flexibilité d’un lac de données avec la gestion des données et la structure des données d’un entrepôt de données.

Il repose sur des formats de fichiers ouverts (comme Apache Iceberg™, Delta Lake, ou Hudi) et permet de traiter des données brutes, semi-structurées et structurées dans un même environnement.

Il est conçu pour répondre aux besoins des organisations modernes : flexibilité, scalabilité, interopérabilité, et intégration native avec les outils d’IA et de BI.

NOS SOLUTIONS

Caractéristiques Techniques

Pour allez plus loin en PDF :

Découvrez les solutions que nous proposons :

Dremio

Synaltic a fait le choix de Dremio depuis 2017. Cette solution facilite la mise en oeuvre d’une architecture data lakehouse en s’appuyant notamment sur Apache Iceberg™. Dremio permet de disposer d’un open data lakehouse « clef en main », directement utilisable.

L’open data lakehouse est une réponse pragmatique aux besoins actuels des organisations : conserver l’échelle et le coût des lacs de données tout en réintroduisant la gouvernance, la consistance et la performance attendues d’un entrepôt. Ce modèle permet de centraliser les données sans multiplier les copies, d’accélérer les requêtes et de garder la maîtrise des formats et des traitements.

Qlik Open Lakehouse

Qlik Open Lakehouse étend les capacités de Qlik Cloud avec une architecture ouverte et évolutive basée sur Apache Iceberg™. Pensée pour l’ingestion en temps réel, la gouvernance avancée et l’analyse augmentée par l’IA, cette solution permet de gérer efficacement des données massives et hétérogènes, tout en s’adaptant aux architectures distribuées et aux usages émergents.

Si vous êtes déjà utilisateurs de Qlik Cloud, nous vous conseillons sans tarder d’adopter le format Iceberg et d’embrasser Qlik Open Lakehouse afin de mieux profiter des avantages de votre plateforme de données !

Data Lakehouse « sur mesure »

Selon vos choix technologiques et votre contexte spécifique, nous vous accompagnons dans l’adoption d’Apache Iceberg™ et la mise en place progressive de votre open data lakehouse.

Que vous privilégiez Apache Spark™ pour le traitement distribué, Trino pour les requêtes interactives, Apache Airflow® pour l’orchestration ou Debezium pour la capture de données en temps réel, nous construisons avec vous une solution sur mesure. Les approches « clef en main » ont leurs atouts, mais l’investissement dans une architecture ouverte et maîtrisée se valorise rapidement par sa flexibilité et sa pérennité.

NOUS CONTACTER

ÊTES VOUS PRÊTS POUR L’OPEN DATA LAKEHOUSE ?

Ce guide d’auto-évaluation a été bâti à partir de nos derniers échanges avec nos clients. Nous l’avons organisé et le diffusons pour vous permettre :

d’identifier les acteurs clés que vous devez mobiliser pour répondre aux différentes questions et mener votre projet à bien.

d’identifier les personnes manquantes pour prendre en compte tout les aspects et enjeux du data lakeshouse.

Répondre à ces questions, ou simplement « chercher à y répondre » permet non seulement d’évaluer la maturité de son équipe, mais aussi d’identifier les compétences qui ne sont pas pleinement couvertes par votre équipe à ce jour.

Pour recevoir notre guide :

*champs obligatoires

Principales caractéristiques d’un open data lakehouse :

Gestion des données structurées et non structurées

La gestion des données structurées et non structurées permet la collecte de données allant des données de transaction traditionnelles aux images, vidéos et textes.

Si vous disposez de deux solutions distinctes pour gérer vos données structurées et non structurées, un Open Data Lakehouse vous offre un point d’accès unique et dans un format universel pour accéder à toutes vos données !

Open Source

L’Open source permet aux organisations de s’appuyer sur différents outils de fournisseurs variés, supprimant le blocage des fournisseurs qui se produit souvent avec les technologies de gestion des données.

Les formats de fichiers ouverts dans le lac de données, tels qu’Apache Iceberg™, Delta Lake, Apache Parquet™ et ORC, font partie de cette approche open source.

L’autre partie est constituée d’API ouvertes pour accéder aux données enregistrées dans la couche de stockage.

Prise en charge des transactions ACID

Prise en charge des transactions ACID, qui garantit la cohérence des données entre les lectures et les écritures simultanées, augmentant ainsi la fiabilité des données. Les propriétés ACID d’une transaction garantissent :

Atomicité : chaque transaction, qu’elle soit lue, écrite, mise à jour ou supprimée, est traitée comme une seule unité et doit s’exécuter dans son intégralité ou pas du tout. Cette propriété empêche la perte et la corruption de données, augmentant ainsi la confiance dans les données.
Cohérence : lorsqu’une transaction se produit, cela garantit que les tables changent de manière prévisible. La cohérence transactionnelle garantit que toute corruption qui se produit n’a pas d’effet involontaire sur la table ou d’autres données.

Isolement

Les transactions, qu’il s’agisse de lectures ou d’écritures, se produisent généralement simultanément avec de nombreux utilisateurs différents. L’isolement garantit que ces transactions n’interfèrent ni n’affectent aucune autre transaction. Du point de vue de l’utilisateur, on a l’impression que ces transactions se produisent une par une lorsqu’elles sont exécutées en même temps.

Durabilité

La durabilité garantit que lorsqu’une transaction est terminée, elle est enregistrée et non perdue en cas de défaillance du système.

Application du schéma et gouvernance des données

L’application du schéma et gouvernance des données garantit que les nouvelles données suivent le schéma de la table cible afin de réduire les problèmes de qualité des données. Cela comprend un audit robuste des données et un contrôle d’accès aux données.

Découplage du stockage et du calcul

Le découplage du stockage et du calcul permet une flexibilité dans les outils et garantit que le stockage et le calcul utilisent des clusters différents. Ces systèmes peuvent évoluer indépendamment les uns des autres en fonction des besoins de l’entreprise.

Prise en charge de l’informatique décisionnelle

La prise en charge de l’informatique décisionnelle permet aux outils de BI d’accéder directement aux données pour garantir la fraîcheur des données et facilite la préparation des données. Cela élimine également le besoin de duplication des données car il est possible d’y accéder à partir du même système que d’autres charges de travail analytiques avancées.

Prise en charge de la diffusion en continu

La prise en charge de la diffusion en continu permet de diffuser des données et de générer des rapports en temps réel.

Pour en savoir plus sur l’Open Data Lakehouse, découvrir les cas d’usages et les limites actuelles de cette architecture, nous vous conseillons la lecture de nos livres blancs :

Découvrez tous nos Livres Blancs