Formation Hadoop, installation et administration

Présentation du framework Apache Hadoop

• Enjeux du Big Data et apports du framework Hadoop.
• Présentation de l'architecture Hadoop.
• Description des principaux composants de la plateforme Hadoop.
• Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku...).
• Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop

• Principes de fonctionnement de Hadoop Distributed File System (HDFS).
• Principes de fonctionnement de MapReduce.
• Design "type" du cluster.
• Critères de choix du matériel.

Travaux pratiques
Configuration du cluster Hadoop.

Installation d'une plateforme Hadoop

• Type de déploiement.
• Installation d'Hadoop.
• Installation d'autres composants (Hive, Pig, HBase, Flume...).

Travaux pratiques
Installation d'une plateforme Hadoop et des composants principaux.

Gestion d'un cluster Hadoop

• Gestion des nœuds du cluster Hadoop.
• Les TaskTracker, JobTracker pour MapReduce.
• Gestion des tâches via les schedulers.
• Gestion des logs.
• Utiliser un manager.

Travaux pratiques
Lister les jobs, statut des queues, statut des jobs, gestion des tâches, accès à la Web UI.

Gestion des données dans HDFS

• Import de données externes (fichiers, bases de données relationnelles) vers HDFS.
• Manipulation des fichiers HDFS.

Travaux pratiques
Importer des données externes avec Flume, consulter des bases de données relationnelles avec Sqoop.

Configuration avancée

• Gestion des autorisations et de la sécurité.
• Reprise sur échec d'un name node (MRV1).
• NameNode high availability (MRV2/YARN).

Travaux pratiques
Configuration d'un service-level authentication (SLA) et d'un Access Control List (ACL).

Monitoring et optimisation Tuning

• Monitoring (Ambari, Ganglia...).
• Benchmarking/profiling d'un cluster.
• Les outils Apache GridMix, Vaaidya.
• Choisir la taille des blocs.
• Autres options de tuning (utilisation de la compression, configuration mémoire...).

Travaux pratiques
Appréhender les commandes au fil de l'eau de monitoring et d'optimisation de cluster.