Venez en toute sécurité dans nos centres ! Voir notre dispositif sanitaire

> Formations > Technologies numériques > Big Data, Intelligence Artificielle > Big Data, NoSQL > Formation Hadoop, installation et administration > Formations > Technologies numériques > Formation Hadoop, installation et administration

Hadoop, installation et administration

Hadoop, installation et administration

Télécharger au format pdf Partager cette formation par e-mail


La plateforme Apache Hadoop est la première solution a avoir réellement rendu possibles des traitements (distribués) sur d'énormes quantités de données. Ce cours vous montrera comment installer, configurer et administrer un cluster Hadoop ainsi que d'autres composants de l'écosystème (Hive, Pig, HBase, Flume...).


Inter
Intra
Sur mesure

Cours pratique en présentiel ou en classe à distance

Réf : HOD
Prix : 2690 € HT
  4j - 28h
Pauses-café et
déjeuners offerts




La plateforme Apache Hadoop est la première solution a avoir réellement rendu possibles des traitements (distribués) sur d'énormes quantités de données. Ce cours vous montrera comment installer, configurer et administrer un cluster Hadoop ainsi que d'autres composants de l'écosystème (Hive, Pig, HBase, Flume...).

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Découvrir les concepts et les enjeux liés à Hadoop
  • Comprendre le fonctionnement de la plateforme et de ses composants
  • Installer la plateforme et la gérer
  • Optimiser la plateforme

Public concerné
Administrateurs de cluster Hadoop, développeurs.

Prérequis
Bonnes connaissances de l'administration Linux. Expérience requise.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Modalités pratiques
Travaux pratiques
Installation du cluster Hadoop et paramétrage.
Méthodes pédagogiques
Méthode pédagogique de type "magistrale" avec des exercices pratiques à l'appui, après chaque notion ou groupe de notions exposées.

Programme de la formation

Présentation du framework Apache Hadoop

  • Enjeux du Big Data et apports du framework Hadoop.
  • Présentation de l'architecture Hadoop.
  • Description des principaux composants de la plateforme Hadoop.
  • Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku...).
  • Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop

  • Principes de fonctionnement de Hadoop Distributed File System (HDFS).
  • Principes de fonctionnement de MapReduce.
  • Design "type" du cluster.
  • Critères de choix du matériel.
Travaux pratiques
Configuration du cluster Hadoop.

Installation d'une plateforme Hadoop

  • Type de déploiement.
  • Installation d'Hadoop.
  • Installation d'autres composants (Hive, Pig, HBase, Flume...).
Travaux pratiques
Installation d'une plateforme Hadoop et des composants principaux.

Gestion d'un cluster Hadoop

  • Gestion des nœuds du cluster Hadoop.
  • Les TaskTracker, JobTracker pour MapReduce.
  • Gestion des tâches via les schedulers.
  • Gestion des logs.
  • Utiliser un manager.
Travaux pratiques
Lister les jobs, statut des queues, statut des jobs, gestion des tâches, accès à la Web UI.

Gestion des données dans HDFS

  • Import de données externes (fichiers, bases de données relationnelles) vers HDFS.
  • Manipulation des fichiers HDFS.
Travaux pratiques
Importer des données externes avec Flume, consulter des bases de données relationnelles avec Sqoop.

Configuration avancée

  • Gestion des autorisations et de la sécurité.
  • Reprise sur échec d'un name node (MRV1).
  • NameNode high availability (MRV2/YARN).
Travaux pratiques
Configuration d'un service-level authentication (SLA) et d'un Access Control List (ACL).

Monitoring et optimisation Tuning

  • Monitoring (Ambari, Ganglia...).
  • Benchmarking/profiling d'un cluster.
  • Les outils Apache GridMix, Vaaidya.
  • Choisir la taille des blocs.
  • Autres options de tuning (utilisation de la compression, configuration mémoire...).
Travaux pratiques
Appréhender les commandes au fil de l'eau de monitoring et d'optimisation de cluster.


Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.


Avis clients
4,2 / 5
Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.
JÉRÉMY F.
30/11/21
3 / 5

Bon contenu. Même en étant pas débutant ça m’a permis certains point je n’avais pas eu le temps de creuser (détails sur les format de données et le réseaux, architecture)
ERWANN M.
30/11/21
5 / 5

Très bonne formation avec des explications relativement claires. L’environnement HADOOP étant très fournit, il est compliqué de tout retenir immédiatement. Les supports de cours sont le bienvenu pour revenir dessus. Les TP sont très bien faits, et parfaitement fonctionnels.
THOMAS B.
30/11/21
5 / 5

Contenu très complet avec un formateur à l’écoute et une organisation théorie / pratique très bien




Horaires
En présentiel, les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
En classe à distance, la formation démarre à partir de 9h.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 15h30 le dernier jour.

Dates et lieux
Pour vous inscrire, sélectionnez la ville et la date de votre choix.
Du 29 mars au 1 avril 2022 *
Classe à distance
Session garantie
S’inscrire
Du 29 mars au 1 avril 2022
Paris La Défense
S’inscrire
Du 7 au 10 juin 2022
Paris La Défense
S’inscrire
Du 7 au 10 juin 2022
Classe à distance
S’inscrire
Du 23 au 26 août 2022
Classe à distance
S’inscrire
Du 23 au 26 août 2022
Paris La Défense
S’inscrire
Du 18 au 21 octobre 2022
Paris La Défense
S’inscrire
Du 18 au 21 octobre 2022
Classe à distance
S’inscrire