Big Data
Etablissement : ECOLE DU NUMERIQUE
Langue : Français
Formation(s) dans laquelle/lesquelles le cours apparait :
- MASTER DATA ET IA [ECTS : 3,00]
Période : S4
Connaissance de base en algèbre linéaire, en programmation.
Dans la continuité de Big-Data 1, cette formation poursuivra la découverte de l’écosystème Big-Data, métiers, concepts méthodologiques et techniques. Ce semestre sera plus concentré sur l’utilisation de la technologie Spark et de son intégration par divers TD/TP et projet.
- Introduction et rappels
• Revue des concepts du big data (“5V”, map&reduce)
• Revue de l’historique des technologies (BDD, Hadoop –> Spark)
• Rappel sur le fonctionnement de Spark (RDD, DAG Lazyness)
TD : Installation locale de spark
- Spark “Advanced”
• Fonctionnement de Spark (Spark UI, pyspark)
• Machine Learning avec Spark (MLlib, scikit-learn)
• Deep Learning avec Spark (Tensorflow, pytorch)
TD : Machine Learning avec Spark (ETL, modèle, interprétation)
TD : Utilisation d’un framework de Deep Learning avec Spark.
TD : Utilisation avancée de Databricks.
- MLOPS
• Machine Learning Design Document
• Initiation au MLOPS
- Perspectives
• Ecosystème actuel & opensource
• LLM, ollama
