1 – Les enjeux et les concepts du Big Data
– La réalité économique et l’histoire du Big Data
- Les enjeux du Big Data
- Les 3 V du Big Data
- Les chiffres clés
– Les concepts fondamentaux du Big Data
- Diviser (et distribuer) pour régner
- Le paradigme Map Reduce
TD/TP : Multiplication d’une matrice par un vecteur et jointure de tables (BDD) en MapReduce
2 – Les technologies du Big Data
– Le Framework Hadoop : Architecture et composants
- Hadoop MapReduce
- HDFS
- YARN
– Les principales distributions Hadoop du marché (Cloudera, MapR, Hortonworks, AWS)
– EMR: Le cluster Big Data d’Amazon
– L’ecosystème Hadoop (HUE, Oozie, …)
TD/TP : Installation d’une plateforme Big Data Hadoop et réalisation d’un WordCount en Map Reduce
3 – Manipuler et analyser des données structurées et semi-structurées avec Hive
– Créer des bases de données structurées dans Hive
– Manipuler des données en SQL avec Hive
– Guide des bonnes pratiques en Hive
TD/TP : Réalisation d’un ETL en Hive à partir de données stockées dans HDFS
4 – Le NoSQL & Architecture Big Data
– Les familles NoSQL
– Le théorème de CAP
– La Stack ELK
– Les architectures Big Data (Lambda, Data Lake, Kappa)
– Présentation d’un cas pratique d’architecture Lambda (Top 10 tendance Twitter)
– Temp réel : Introduction à Kafka
5 – Spark
– Courte Introduction à la Data Science
– Qu’est-ce que Spark ?
– Les modules de Spark
– Les grands concepts (RDD, DataFrame, DAG, …)
– Spark UI
TD/TP: Réalisation d’un ETL et d’un modèle de Machine Learning en Spark (API python
