Migration Talend On-Premise vers Talend Cloud, un article de Yabir CANARIO DE LA MOTA, Data Engineer de la SynalTeam. Il va vous livrer les bénéfices, astuces et bonnes pratiques pour migrer vers le cloud !
Migration Talend On-Premise vers Talend Cloud
Une migration de données vers le cloud consiste à transférer un important volume de données depuis une source vers le cloud. Cela est un peu comme un déménagement physique, sauf qu’elle nécessite le transfert de données, d’applications et de processus informatiques de certains serveurs vers d’autres serveurs, au lieu d’emballer et de déplacer des biens physiques. Tout comme le passage d’un bureau plus petit à un plus grand ; la migration vers le cloud nécessite de la préparation et un travail préalable qu’il faut réaliser.
Grâce à cela, vous faites des économies et vous disposez d’une plus grande flexibilité. Le plus souvent, la « migration vers le cloud » décrit le passage d’une infrastructure sur site ou legacy vers le cloud. Cependant, le terme peut également s’appliquer à une migration d’un cloud vers un autre cloud.
Nous avons eu l’occasion de participer à la migration d’une infrastructure Talend on-premise vers la solution Talend Cloud chez l’un de nos clients, une société financière automobile reconnue. C’est lors de ce projet que nous avons identifié quelques astuces que nous aimerions vous partager.
A la fin de cet article, vous serez prêts à appréhender les obstacles possibles lors d’une migration vers le cloud. Nous vous présenterons les analyses à faire, les configurations moins connues à prendre en compte ainsi que les sujets à considérer dans les jobs. Et pour terminer les avantages de Talend Cloud par rapport à la version on-premise. Nous tenons à vous préciser que cet article n’est pas un manuel technique mais plutôt un ensemble de conseils qui complètent la migration afin de la rendre satisfaisante.
Que doit-on prendre en compte pour migrer vers le cloud ?
Avant de migrer vers le cloud, il faut vous poser deux questions : pourquoi le faisons-nous ? sommes-nous vraiment préparé à le faire ?
Voici quelques questions auxquelles il est bon de répondre pour se familiariser avec votre environnement et ainsi, prendre une meilleure décision :
- Document de validation : nous vous recommandons de créer un document pour certifier que la migration s’est terminée avec succès. Ces documents peuvent être aussi simples qu’une checklist et aussi complexes que des tests de vérification.
- Identifiez s’il s’agira d’une architecture totalement cloud ou hybride : localisez où vos données sont stockées et anticipez le stockage de données pour les projets futurs.
- Comprenez que la migration peut ralentir certains projets jusqu’à ce qu’elle soit terminée avec succès : nous vous conseillons de prévoir du temps pour que les jobs soient migrés correctement et soient testés.
- Il peut y avoir des installations complémentaires : En fonction de la licence achetée et du cas d’usage, les moteurs d’exécution supplémentaires peuvent avoir besoin d’être installés. C’est le cas lorsque nous utilisons l’outil Talend Data Pipeline.
- Le TAC n’est pas perdu ! : il a été remplacé par l’outil Talend Management Console (TMC) qui possède davantages de fonctionnalités telles que : Monitoring, capture d’écran des jobs, gestion d’utilisateurs, entre autres.
“Analyser ou ne pas analyser, telle est la question”
Avant de migrer les jobs, il est toujours bon de connaître leur complexité, les transformations qui sont effectuées, l’utilisation des composants et les variables de contexte utilisées. Talend Studio permet d’exporter la documentation des jobs. Avec ces rapports vous pouvez étudier les jobs et chiffrer le temps total de la migration.
Profitez de la migration pour améliorer vos jobs
Composants
Parfois, en développant des jobs, nous ne trouvons pas le moyen de faire ce que nous voulons avec le composant dédié à une tâche particulière ; nous adoptons alors une solution alternative ou de contournement. La migration peut alors devenir l’occasion de revoir le fonctionnement du composant non utilisé et, si ce dernier est corrigé, de le ré-implémenter dans votre job.
Variables de contexte
Une chose qui change dans Talend Cloud par rapport à Talend on-premise est qu’il existe de nombreux types de variables, qui sont :
- Paramètre
- Connexion
- Ressource
Vérifiez chacune de ces variables et utilisez-la en fonction de chaque flux.
Bénéfices du Cloud
En plus des avantages que promet le cloud, voici ceux de Talend Cloud :
D’après nous, ce sont les plus pratiques et intéressants.
- Mise à jour automatique : étant une application web, l’interface Talend Cloud se met à jour automatiquement afin de corriger les bugs, d’ajouter de nouvelles fonctionnalités, de nouveaux outils et surtout, est transparente pour les utilisateurs.
- Outils prêt à l’emploi : Talend Cloud offre tous ses outils en ligne. Il n’est plus nécessaire de les installer sur un serveur..
- Possibilité d’utiliser Cloud Engine : sur Talend Cloud la scalabilité horizontale est possible. En effet, nous utilisons des ressources dès que nous en avons réellement besoin.
- Gestion des utilisateurs : les droits de licence sont gérés par rôles et non par nombre d’utilisateurs (contrairement aux versions on-premise de Talend). Cela permet une plus grande granularité dans les assignations des responsabilités aux utilisateurs.
Besoin d’un conseil ?
Contactez-nous
Pour aller plus loin
La SynalTeam vous donne quelques conseils supplémentaires : si vous disposez de nombreux jobs à migrer, Talend vous propose l’outil Zero Install CI . Pour réaliser cette architecture il faut disposer d’un outil de déploiement continu compatible avec Maven comme Jenkins ou Azure DevOps.
Et vous? Qu’en pensez-vous? Quelle a été votre expérience lors d’une migration ? Que pensez-vous du cloud ?
N’hésitez pas à laisser votre avis dans la partie “Commentaires”.
Nous espérons que cela vous aidera pour votre migration. Si vous avez besoin d’aide ou de conseils, n’hésitez pas à nous contacter.
Sources :