FR


> formation Technologies numériques > formation Big Data, Intelligence Artificielle > formation Big Data, NoSQL > formation Traitement de données Big Data en temps réel avec Spark et Storm
Toutes nos formations Big Data, NoSQL

Formation Traitement de données Big Data en temps réel avec Spark et Storm

4,5 / 5
Stage pratique
Durée : 3 jours
Réf : DSS
Prix  2021 : 2240 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis vérifiés
Programme

Le Big Data, connu pour sa capacité à traiter des données massives, intègre avec l'arrivée d'outils comme Spark et Storm la composante temps réel. Vous découvrirez dans ce cours les atouts de ces outils, leur système de calcul distribué temps réel ainsi que la notion de diffusion en continue (Streaming Big Data).

Objectifs pédagogiques

  • Comprendre les fondamentaux du développement d'applications Big Data en temps réel
  • Evaluer les outils Spark et Storm
  • Appliquer les systèmes de calcul distribué temps réel de Storm et de Spark
  • Traiter des grosses quantités de données en temps réel
PROGRAMME DE FORMATION

Introduction à l'architecture temps réel

  • Traitements temps réel.
  • Les architectures LAMDA.
  • Les architectures KAPPA.
  • Les architectures SMACK.

Travaux pratiques
Etude de l'implémentation d'une architecture KAPPA pour Spark et Strom.

L'architecture Kafka

  • L'aperçu de Kafka Producers, Brokers, Consumers.
  • Les fichiers journaux de Kafka.
  • Les schémas Avro. Utilisation de ZooKeeper.

Travaux pratiques
Étude de la configuration de Kafka dans l'architecture KAPPA.

L'architecture Apache Storm

  • Définition de l'environnement de développement.
  • Création de projets basés sur Storm.
  • Définition des composants Storm (Spout et Bolt).
  • Définition des flux Storm.
  • Modèle de données (clé, valeur).
  • Rôles des Nimbus et ZooKeeper.

Etude de cas
Étude de l'implémentation de l'architecture KAPPA pour Storm.

Le traitement des messages Storm

  • Programmation de services avec Clojure, Java, Python.
  • Cycle de vie d'un message.
  • L'API Storm pour la définition de la fiabilité.
  • Stratégie de mise en place de la fiabilité pour une application utilisant le Big Data.

Travaux pratiques
Mise en œuvre d'un projet de traitement des réseaux sociaux en temps réel dans l'architecture KAPPA.

L'architecture d'Apache Spark

  • Les différentes versions de Spark (Scala, Python, R et Java).
  • Comparaison avec l'environnement Storm.
  • Les différents modules de Spark.
  • Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.

Travaux pratiques
Etude de l'implémentation de l'architecture SMACK pour Spark.

Le temps réel avec Spark Streaming

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Principe de fonctionnement.
  • Les différents types de sources.
  • Comparaison avec Apache Storm.

Travaux pratiques
Mise en œuvre d'un projet de traitement des réseaux sociaux en temps réel.

Les autres acteurs du marché

  • Comparaison de tous les outils de streaming de l'écosystème (Storm, Spark Streaming, Flink, Samza).
  • Focus sur l'architecture Samza.

Travaux pratiques
Étude de l'implémentation de l'architecture KAPPA avec Samza.

Participants / Prérequis

» Participants

Concepteurs, développeurs, architectes.

» Prérequis

Bonnes connaissances en développement logiciel. Une compréhension des problèmes liés au Big Data est un plus.
Intra / sur-mesure

Demande de devis intra-entreprise
(réponse sous 48h)

Vos coordonnées

En cochant cette case, j’atteste avoir lu et accepté les conditions liées à l’usage de mes données dans le cadre de la réglementation sur la protection des données à caractère personnel (RGPD).
Vous pouvez à tout moment modifier l’usage de vos données et exercer vos droits en envoyant un email à l’adresse rgpd@orsys.fr
En cochant cette case, j’accepte de recevoir les communications à vocation commerciale et promotionnelle de la part d’ORSYS Formation*
Vous pouvez à tout moment vous désinscrire en utilisant le lien de désabonnement inclus dans nos communications.
* Les participants inscrits à nos sessions de formation sont également susceptibles de recevoir nos communications avec la possibilité de se désabonner à tout moment.
Avis vérifiés
picto avis vérifiés
Yoan H. 23/11/2020
4 / 5
Plateforme virtualisée fournie par le formateur très intéressante. Exercices pratiques pertinents. On aurait pu approfondir l'utilisation de Fink en pratique sur un exemple simple de la même manière que Storm et Spark Streaming. Les nom de le formation pourrait être plus générique (et donc plus attractif)
FONTAINE P. 23/11/2020
4 / 5
Cette formation permet de mettre en pratique de nombreux composants techniques et les exemples choisis sont pertinents. S'agissant de Spark, une présentation plus détaillée des notions de RDD et de Dataframe et des principes de parallélisation des traitements seraient appréciable.
Jacques A. 23/11/2020
5 / 5
Le formateur maitrise parfaitement son sujet, résout très vite les problèmes et explique très bien les différents éléments présentés.
Afficher plus d’avis
Mohamed M. 23/11/2020
5 / 5
Je pense que le contenu ainsi que la pédagogie était assez clair et concise.
Julien P. 23/11/2020
5 / 5
Un formateur vraiment très professionnel et une formation très pertinente.
Avis client 4,5 / 5

Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

CLASSE A DISTANCE

En inter et en intra-entreprise
Inscrivez-vous ou contactez-nous !

Pour vous inscrire

Cliquez sur la ville, puis sur la date de votre choix.
[+]
CLASSE A DISTANCE
[+]
PARIS

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.