Hadoop – Développement MapReduce

Description du cours

MapReduce : votre allié pour industrialiser le traitement des Big Data

Objectifs de la formation :

• Gérer et intégrer des données issues de sources diverses et non structurées

• Déployer et exploiter une distribution Hadoop adaptée à vos besoins

• Stocker efficacement les données en mode colonne grâce à HBase

• Concevoir des traitements distribués avec MapReduce en Java

• Comprendre le fonctionnement du système de fichiers distribué HDFS

• Accélérer le développement des traitements Big Data avec Pig et Hive

Contenu de la formation :

📚 Parcours Big Data – Maîtriser l’écosystème et les traitements massifs

🚀 Introduction au Big Data

• Comprendre l’émergence et les causes de l’explosion des données

• Explorer les usages actuels et les perspectives futures du Big Data

• Identifier les principaux acteurs de la chaîne de valeur

🛠️ Piloter un projet Big Data

• Cartographier les compétences clés et les rôles des intervenants

• Intégrer, analyser et visualiser des données massives

• Identifier les infrastructures réseau et les architectures matérielles adaptées

• Déployer une stratégie Big Data dans un environnement Cloud

💾 Stockage et gestion des données – Clés du NoSQL

• Gérer des sources de données variées et non structurées

• Maîtriser le système de fichiers distribué HDFS

• Comprendre le rôle des Nodes et NameNodes

• Implémenter le sharding et la réplication pour la haute disponibilité

• Utiliser HBase pour le stockage orienté colonnes

• Accéder aux données via les différents modes et APIs

• Découvrir d’autres solutions de stockage NoSQL

⚙️ Concevoir des traitements MapReduce

• Assimiler le paradigme MapReduce et ses principes de fonctionnement

• Développer des traitements en Java à l’aide de l’API Hadoop

• Définir les rôles des mappers, reducers, et du partitioner

• Optimiser les performances avec le cache distribué et les fonctions intégrées

• Exploiter le streaming et les scripts shell

• Appréhender les évolutions du framework avec YARN

🧩 Alternatives et compléments au MapReduce

• Interroger les données avec Hive (SQL-like)

• Automatiser les traitements avec Pig (scripting)

• Intégrer des bases relationnelles via Sqoop

• Planifier les workflows avec Oozie

• Assurer l’administration, la supervision et la gestion des logs

• Initier des traitements intelligents avec des algorithmes de machine learning

🧠 Focus sur Hadoop

• Revenir sur l’origine et la philosophie d’Hadoop

• Comprendre les composants clés du framework

• Comparer les distributions : Cloudera, Hortonworks, etc.

• Explorer les solutions propriétaires et offres Hadoop dans le Cloud