Big Data : maîtriser la complexité, exploiter le potentiel

Description du cours

Objectifs de la formation :

• Identifier les origines et les facteurs clés de l’essor du Big Data
• Découvrir Hadoop et son écosystème pour traiter des volumes massifs de données
• Établir des passerelles concrètes entre Big Data, bases NoSQL et solutions Cloud
• Appréhender la logique du traitement distribué avec MapReduce
• Comprendre comment le machine learning transforme les données en prédictions utiles

Contenu de la formation :

🔍 Enjeux et concepts clés du Big Data

📌 Les grands défis à relever

• Gérer le volume croissant des données générées en continu
• Traiter des données multiples, variées et non structurées
• Choisir entre montée en puissance (Scale Up) ou distribution (Scale Out)
• Optimiser les traitements grâce à la parallélisation
• Intégrer les apports de l’intelligence artificielle via le machine learning
• Explorer les usages métiers du data mining à grande échelle

🧠 Bases du Big Data et technologies associées

• Comprendre le théorème de CAP et ses implications
• Identifier les différents types de bases NoSQL et leurs cas
• Maîtriser des technologies comme Sharding, Redis, MongoDB, Neo4J
• Découvrir d’autres sources et formats de données adaptées au Big Data

⚙️ Écosystème Hadoop

• Revenir aux origines du projet Hadoop et à sa philosophie
• Utiliser HDFS pour le stockage distribué et HBase pour le NoSQL
• Déployer et administrer des clusters Hadoop
• Exploiter les traitements distribués via MapReduce, Pig et Hive
• Comparer les distributions majeures : Cloudera, Hortonworks, MapR
• Intégrer Hadoop avec des environnements Cloud (Amazon EMR, EC2, S3)

📊 Analyse avancée et restitution des données

• Exploiter les langages statistiques comme R
• Mettre en œuvre des algorithmes de machine learning avec Mahout
• Optimiser les recherches avec Solr et ElasticSearch
• Accélérer les traitements avec Spark et Processing
• Visualiser les données efficacement avec D3.js