Construire la Data Factory du futur


Share Button
ORSYS

Construire la Data Factory du futur

 

 

 

Par Pascal MUCKENHIRN*, expert ORSYS

La valorisation des données devient de plus en plus vitale pour les entreprises. Avec le Big Data et le mode découverte de plus en plus fréquent, les méthodes de l’analyse de données ont profondément évolué depuis quelques années. En industrialisant leurs premiers essais, les entreprises découvrent le besoin de passer à la Data Factory et de comprendre comment la construire. Tout l’enjeu est une intégration cohérente qui assure industrialisation, qualité et sécurisation des données, tout en permettant liberté d’analyse, agilité et saisie d’opportunités.

 Un écosystème très riche

Depuis quelques années, le « Big Data » fait le buzz : impossible de passer à côté de ce phénomène né des nouveaux usages du Web, de l’explosion des données personnelles et des avancées technologiques dans le calcul distribué et prédictif.

Sur le plan technologique, le « Big Data » repose sur un écosystème d’outils très riche. Les entreprises s’en aperçoivent très vite dans leurs premiers essais. D’un côté, il y a profusion d’outils à gérer, une véritable explosion cambrienne.  De l’autre, les métiers rivalisent pour mettre au point le meilleur cas d’usage en testant de multiples modèles dont quelques rescapés aboutiront en production. Par conséquent, le risque est d’engendrer une cacophonie perpétuelle en lieu et place de l’agilité recherchée. Au niveau infra, des entreprises foncent sur le Cloud public type AWS. D’autres s’acharnent sur le maintien de cluster conséquent, voire basculent vers le Cloud privé.

En parallèle nous nous sommes tous lancés dans la construction de notre Data Lake, nouvelle pierre angulaire qui ingurgite tous les types de données (structurées ou non) au même endroit. Dans ce marécage, nous surnageons tous en tentant de ne pas nous embourber dans les méandres du Data Lake vaseux. Sans oublier tous les investissements réalisés dans la Business Intelligence pour répondre à l’analytique en mode découverte quelques années auparavant.

Réussir l’agilité industrielle

Aussi, de leurs premières expériences, les entreprises ont tiré des enseignements dont les principaux sont : la qualité des données influence le résultat des modèles statistiques prédictifs ; la sécurisation est primordiale en particulier pour le respect de la GDPR ; le besoin de prioriser les cas d’usage métier pour optimiser la valeur et le retour sur investissement ; la gestion de l’intégration de la chaîne des nouveaux outils dans un contexte d’industrialisation ; la réactivité ne peut s’abstraire de procédures solides.

Mais il existe un équilibre à fonder entre agilité et industrialisation. Les entreprises se rendent compte de la nécessité de construire des process robustes pour assurer cet ensemble. Cela ressemble à la construction d’une usine qui produit en flux tendus des données qui passent dans la chaîne de la valeur, enrichissant un peu plus l’entreprise à chaque étape. Pour la fin de cette décennie, nous aurons tous à élaborer notre Data Factory.

Les enjeux de la Data Factory

ORSYS

Construire la Data Factory du futur

Mais tout ne se résume pas à la construction et à l’aménagement du fameux Data Lake comme jadis pour le Datawarehouse. D’ailleurs sa construction peut s’avérer aussi complexe.

Les fondations de notre Data Factory doivent reposer sur un choix : lier ou fusionner son DATALAKE et son DATAWAREHOUSE. En effet, les deux stratégies sont possibles.

Le Big Data et toutes les technologies NoSQL associées ont :

  • ouvert la porte à des problématiques non gérables auparavant grâce entre autres aux traitements parallèles,
  • augmenté la puissance d’études des Data Scientist,
  • déplacé le moment où l’on transforme, intègre la donnée,
  • multiplié les manières de modéliser les données.

Cependant, ils n’ont pas révolutionné le domaine de l’analyse de données. Ainsi, les fondamentaux à adresser restent les mêmes.

Les moyens à mettre en œuvre

L’industrialisation des projets Big Data pose les bases de la construction de la Data Factory. Pour aller au bout de la démarche, il reste à intégrer la BI classique et le Big Data pour rentabiliser au mieux ses investissements et faire un unique Système d’Information (SI) analytique.

Pour cela, on va refondre plusieurs circuits et processus :

  • le circuit de la visualisation et de la découverte,
  • le processus d’industrialisation des applicatifs temps réel ou en streaming,
  • les circuits de fabrication des DATALAB et des DATAMART pour augmenter les cadences d’intégration et de transformation des données,
  • les procédés de « parallélisation » et de virtualisation pour démultiplier les capacités de production des modèles statistiques,
  • la gouvernance et la gestion globale de la cohérence des données,
  • le processus de la gestion de la qualité et de la sécurité des données.

Cette Data Factory impose aussi de renforcer le pilotage afin de :

  • définir les critères d’efficacité du SI analytique,
  • gérer la valeur des données, la valeur des usages pour assurer une utilisation optimale des données.

Notre bon vieux sponsor, dont on ne cessait de rabâcher l’importance, se transforme en Chief Data Officer, véritable chef d’orchestre de ce nouveau monde ou patron de cette future Data Factory !

 

Nos formations/séminaires associés :

Systèmes décisionnels, démarche et solutions (Réf. SID ) 

Data Mining : synthèse (Réf. DMI )

Modélisation en étoile, conception et mise en œuvre (Réf. AMT ) 

Construire un Data warehouse (Réf. DAW ) 

 

muckenhirn Pascal - Expert ORSYS

Muckenhirn Pascal

*Pascal MUCKENHIRN

Expert de la Business Intelligence, consultant en systèmes d’information depuis plus de vingt ans, spécialiste des migrations de SI Décisionnel (SID), il aide aujourd’hui les entreprises à intégrer le Big Data dans le SID pour profiter des opportunités tout en maîtrisant les coûts. Il est à l’origine de la mise en place récente de SID mélangeant bases de données classiques et NoSQL. Il est l’un des rares spécialistes français à avoir une double expérience d’exploitation métier et de construction des SID dans des secteurs variés, expertise qu’il met au service de l’animation de séminaires et de formations depuis plus de quinze ans notamment pour ORSYS.

 

 

Share Button

Laissez un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *