S'INSCRIRE
Nos formations :
Formation Spark, développer des applications pour le Big Data
- Programme
- Participants / Prérequis
- Intra / sur-mesure
-
Vous développerez des applications en Java en vue de traiter en temps réel des données issues du Big Data. Vous collecterez, stockerez et traiterez avec Spark des données de formats hétérogènes afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.
Objectifs pédagogiques
- Maîtriser les concepts fondamentaux de Spark
- Développer des applications avec Spark Streaming
- Faire de la programmation parallèle avec Spark sur un cluster
- Exploiter des données avec Spark SQL
- Avoir une première approche du Machine Learning
Travaux pratiques
Présentation d'Apache Spark
- Historique du Framework.
- Les différentes versions de Spark (Scala, Python et Java).
- Comparaison avec l'environnement Apache Hadoop.
- Les différents modules de Spark.
Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.
Programmer avec les Resilient Distributed Dataset (RDD)
- Présentation des RDD.
- Créer, manipuler et réutiliser des RDD.
- Accumulateurs et variables broadcastées.
- Utiliser des partitions.
Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.
Manipuler des données structurées avec Spark SQL
- SQL, DataFrames et Datasets.
- Les différents types de sources de données.
- Interopérabilité avec les RDD.
- Performance de Spark SQL.
- JDBC/ODBC server et Spark SQL CLI.
Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.
Spark sur un cluster
- Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
- Configurer un cluster en mode Standalone.
- Packager une application avec ses dépendances.
- Déployer des applications avec Spark-submit.
- Dimensionner un cluster .
Travaux pratiques
Mise en place d'un cluster Spark.
Analyser en temps réel avec Spark Streaming
- Principe de fonctionnement.
- Présentation des Discretized Streams (DStreams).
- Les différents types de sources.
- Manipulation de l'API.
- Comparaison avec Apache Storm.
Travaux pratiques
Consommation de logs avec Spark Streaming.
» Participants
» Prérequis
| Marine T. 20/07/2020 |
4 / 5
|
| Hugo L. 20/07/2020 |
4 / 5
|
| Arnaud C. 20/07/2020 |
4 / 5
|
Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.
