in

Meilleures pratiques pour la migration des données : une stratégie et une compréhension –

Meilleures pratiques pour la migration des données : une stratégie et une compréhension - Trotons Tech Magazine

La majorité des organisations modernes sont pilotées par le Big Data, et le Big Data ne dort jamais. Ainsi, que les données soient transférées des entrées vers un lac de données, d’un référentiel à un autre, d’un entrepôt de données vers un magasin de données, ou dans ou sur le cloud, l’intégration des données et migration progressive des données doivent être des opérations bien établies et sans friction. Sans une stratégie efficace de transfert de données, les entreprises risquent de dépasser leur budget, de développer des procédures de données trop complexes ou de découvrir que leurs opérations de données fonctionnent en dessous de la moyenne.

Migration des données, qu’est-ce que c’est ?

Le processus de migration des données entre les systèmes est appelé migration des données. Cela peut sembler assez simple, mais cela nécessite des changements dans le stockage et les applications.

Tout transfert de données à l’intérieur du processus d’extraction/transformation/chargement (ETL) impliquera au moins les processus de transformation et de chargement. Cela signifie qu’avant de pouvoir être chargées à l’emplacement souhaité, les données extraites doivent d’abord subir un certain nombre de processus de préparation.

Il existe de nombreuses raisons pour lesquelles les entreprises migrent leurs données. Ils peuvent avoir besoin de remplacer des bases de données, de créer un nouvel entrepôt de données, de retravailler l’ensemble du système ou de combiner de nouvelles données provenant d’une acquisition ou d’une autre source. Lors de la mise en œuvre d’un nouveau système parallèlement à des applications déjà en cours d’exécution, la migration des données est également importante.

Importance des stratégies de migration des données

La performance et la compétitivité sont généralement les objectifs de la migration des données, quel que soit son objectif exact. Il est important de bien faire les choses, cependant.

Les migrations moins réussies peuvent produire des données erronées avec des informations redondantes et des inconnues. Même si les données d’origine sont adéquates et totalement utilisables, cela peut toujours se produire. De plus, tous les problèmes qui existaient dans les données sources peuvent s’aggraver lorsqu’ils sont introduits dans un nouveau système plus avancé.

Un vaste plan de migration des données évite une mauvaise expérience qui crée plus de problèmes qu’elle n’en résout. Une planification inadéquate peut finalement entraîner l’échec des projets de migration, ainsi que le non-respect des délais et le dépassement du budget. Au lieu de subordonner les migrations à un autre projet avec une vaste portée, les équipes doivent accorder toute leur attention aux migrations lors de la planification et de la stratégie de la tâche.

Ces facteurs doivent être pris en compte dans un plan stratégique de migration des données

Un audit complet des données source est nécessaire avant la migration. Ignorer cette étape peut entraîner des problèmes inattendus.

La première étape du nettoyage de vos données source consiste à identifier les problèmes et à les résoudre. En raison de l’ampleur du travail, des outils logiciels supplémentaires et des ressources tierces peuvent être nécessaires.

Les données se dégradent avec le temps, deviennent peu fiables, donc la maintenance et la protection sont nécessaires. Cela signifie que des contrôles doivent être en place pour maintenir la qualité des données.

Gouvernance de l’information Le suivi et le reporting de la qualité des données sont cruciaux pour une meilleure compréhension de l’intégrité des données. Les méthodes et l’équipement utilisés pour générer ces informations doivent être très compréhensibles et, si possible, automatisés.

Les plans de migration des données doivent également inclure un processus étape par étape pour intégrer les bons outils et logiciels.

Stratégies de migration des données

Une stratégie de migration de données peut être élaborée de plusieurs manières. La solution la plus appropriée dépendra des besoins et des exigences spécifiques de l’organisation. Il existe cependant essentiellement deux types de stratégies : les big bangs et les trickles.

“Migration du Big Bang”

L’ensemble du transfert est terminé dans un laps de temps limité lors d’une migration de données big bang. Au fur et à mesure que les données subissent un traitement ETL et sont transférées vers la nouvelle base de données, les systèmes en direct ne sont pas disponibles.

L’attrait de cette approche est, bien sûr, que tout se passe en un seul événement qui a une limite de temps et ne prend que peu de temps pour se terminer. Cependant, parce que l’entreprise fonctionne avec l’une de ses ressources indisponible, la pression peut être grande. Elle risque d’être mal mise en œuvre.

Pensez à exécuter le processus de migration avant l’événement réel si l’approche du big bang est la plus logique pour votre entreprise.

“Migrations au compte-gouttes”

La procédure de migration se termine par étapes avec des migrations de ruissellement. Il n’y aura pas de temps d’arrêt ou de problèmes opérationnels car le nouveau système et l’ancien sont mis en œuvre simultanément. Les données peuvent continuer à circuler grâce à des processus en temps réel.

Il peut être assez complexe de concevoir ces implémentations par rapport à l’approche du big bang. L’ajout de complexité réduit généralement plutôt qu’il n’augmente les risques, si cela est fait correctement.

Un guide des meilleures pratiques de migration de données

Les meilleures pratiques suivantes doivent être prises en compte quelle que soit la méthode de mise en œuvre :

Les données doivent être sauvegardées avant l’exécution. La perte de données n’est pas une option en cas de problème lors de l’installation. Avant de continuer, assurez-vous que les ressources de sauvegarde existent et ont été soigneusement testées.

Adhérez à votre plan. De nombreux gestionnaires de données créent des plans uniquement pour les abandonner lorsque les choses se passent « trop » en douceur ou deviennent incontrôlables. Préparez-vous à la possibilité que le processus de réinstallation soit difficile et parfois irritant, puis suivez votre stratégie par la suite.

Le tout est de tester. Pour vous assurer que vous obtiendrez les résultats souhaités, testez la migration des données pendant les phases de planification et de conception, ainsi que pendant la mise en œuvre et la maintenance.

Une stratégie de migration de données efficace peut être décomposée en six étapes clés

Bien que les stratégies de migration des données varient en fonction des besoins et des objectifs de l’organisation, elles suivent généralement un schéma similaire :

1. La source doit être explorée et évaluée

Avant de migrer des données, il est important de savoir ce qui est déplacé et comment il s’intégrera dans le système cible. Identifiez la quantité de données extraites et leur apparence.

Il peut être nécessaire de mapper certains champs au système cible sans en mapper d’autres. Pour combler les lacunes d’une source, des champs de données supplémentaires peuvent devoir être extraits d’un autre emplacement. Identifiez les éléments qui doivent être migrés, ceux qui peuvent être laissés de côté et ceux qui peuvent être manquants.

En plus de remplir les conditions pour que les champs de données soient transférés, effectuez un audit sur les données réelles qui y sont incluses. Vous pouvez vous demander si vous devez réellement migrer ces données en premier lieu s’il y a des champs sous-remplis, il y a beaucoup de données incomplètes, il y a des erreurs ou il y a d’autres problèmes.

Une organisation peut perdre du temps et de l’argent sur la migration si elle saute cette étape d’examen de la source et pense que tout le monde comprend les données. Pire encore, l’entreprise pourrait rencontrer un grave problème de cartographie des données qui empêcherait tout mouvement vers l’avant.

2. La migration doit être définie et conçue

Les organisations décident dans le processus de conception de migrer dans une énorme explosion ou au compte-gouttes. De plus, l’architecture technique du système doit être décrite, ainsi que les procédures de migration.

Vous pouvez commencer à définir les délais et tout problème de projet après avoir pris en compte la conception, les données à extraire et le système de destination. L’ensemble du projet doit être documenté au moment où cette étape est terminée.

Les plans de sécurité des données doivent être pris en compte lors de la planification. Tout au long du plan, la protection doit être enfilée pour toutes les données qui doivent être protégées.

3. Créer une solution pour la migration

La tentation d’utiliser une stratégie de développement « juste ce qu’il faut » lorsqu’il s’agit de migration existe. Mais il est important de l’obtenir correctement car vous ne ferez l’implémentation qu’une seule fois. La décomposition des données en petits groupes et le développement de chaque catégorie une par une, suivis de tests, est une stratégie fréquente. Il peut être judicieux de développer et de tester simultanément si une organisation travaille sur une très grande migration.

4. Un test en direct doit être effectué

Le processus de test ne se termine pas avec la phase de construction du test du code. Pour que la conception de la migration des données soit précise et complète, il est crucial de la tester avec des données réelles.

5. L’interrupteur est basculé

Le style du plan peut être mis en œuvre après les tests finaux.

6. Réalisation d’un audit

Établissez un système d’audit des données une fois la migration lancée pour garantir leur exactitude.

Une application qui migre les données

Il est difficile et chronophage de créer des outils de migration de données dès le départ et de les coder manuellement. Les technologies de données qui simplifient le transfert sont plus efficaces et économiques. Lorsque vous recherchez une solution logicielle, gardez à l’esprit les éléments suivants lors du choix d’un fournisseur :

  • Compatibilité de la solution — Peut-elle être utilisée avec le système d’exploitation et les logiciels actuels ?
  • Disponibilité — Les limites de données du logiciel dépassent-elles les besoins futurs en données ?
  • Sécurisez la plate-forme — Passez du temps à examiner les paramètres de sécurité d’une plate-forme logicielle. L’une de vos ressources les plus importantes est vos données, qui doivent être conservées en toute sécurité.
  • Affectant la vitesse — La plateforme peut-elle traiter les données rapidement ?

La migration des données vers le cloud

Pour accélérer la mise sur le marché, améliorer l’évolutivité et moins dépendre des ressources techniques, les entreprises transfèrent de plus en plus tout ou partie de leurs données vers le cloud.

Pour conserver les données sur site et au sein des ressources physiques de l’organisation, les architectes de données étaient autrefois chargés de mettre en place d’énormes fermes de serveurs. Une inquiétude concernant la sécurité du cloud a contribué à la décision d’aller de l’avant avec des serveurs sur site. Cette barrière à la migration a cependant été en grande partie supprimée, car les principales plates-formes adoptent des procédures de sécurité qui les placent au niveau de la sécurité informatique traditionnelle (et nécessairement en conformité avec le RGPD).

En utilisant une plate-forme d’intégration cloud hautement évolutive et sécurisée ainsi que les outils d’intégration cloud appropriés, les utilisateurs peuvent accélérer les initiatives de migration de données cloud (iPaaS). La fonctionnalité glisser-déposer permet de faciliter le mappage complexe, et les fondements open source de Talend rendent notre solution économique et efficace. Talend propose un ensemble de solutions d’intégration de données open source et natives du cloud.

Migration des données : un guide de démarrage

Lorsque vous mettez à niveau vos systèmes, passez au cloud ou consolidez des données, vous êtes susceptible de migrer vos données. Il y a beaucoup de travail à faire pour cet important projet, et il doit être fait correctement pour protéger l’intégrité des données.

La plate-forme de Talend fournit des outils de données gratuits et open source qui permettent d’accélérer chaque étape du transfert de données, y compris la préparation des données, l’intégration et la diffusion en continu des données. Recherchez le logiciel qui pourrait vous aider à démarrer votre procédure de migration de données. Testez Talend Data Fabric dès maintenant.