Spark, introduction

Connaissances de base en programmation Python, avoir des connaissances en SQL, avoir des connaissances en mathématiques et statistiques

Savoir improviser, accrocher, débattre, conquérir un public à l’oral comme à l’écrit
Savoir se faire Comprendre, faire partager ses id’es et faire participer ses auditeurs
Adapter son style à la variété des situations et des interlocuteurs
Savoir faire passer un message clair et convaincre dans la communication ascendante et descendante
Apprendre à mieux mobiliser par le verbe.

Accessible selon le nombre de places disponibles.
Les participants recevront leur convocation au plus tôt deux semaines avant le début de la formation.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Attestation de formation

Développeur
Data Analyst
Data Scientists
Architectes Big Data

Introduction à Hadoop

• L’ère du Big Data
• Architecture et composants de la plateforme Hadoop
• HDFS
• NameNode / DataNode / RessourceManager
• Paradigme MapReduce et YARN

Introduction à Spark

• Qu’est-ce que Spark ?
• Spark vs MapReduce
• Fonctionnement : RDD, DataFrames, Data Sets
• Comment interagir avec Spark
• PySpark : programmer avec Spark en Python

Manipulation des données

• Formats basiques (fichiers textes, JSON, CSV, SequencesFiles, fichiers compressés)
• Interagir avec des sources de données externes : connecteurs Hive, JDC, Hbase, ElasticSearch, …

Spark Streaming

• Introduction à Spark Streaming
• La notion de « DStream »
• Principales sources de données
• Utilisation de l’API
• Manipulation des données

Spark SQL

• Initiation à Spark SQL
• Création de DataFrames
• Manipulation des DataFrames (opérations basiques,  agrégations & Groupby, Missing Data)
• Chargement et stockage de données (avec Hive, JSON, etc…)

Spark ML avec MLlib

• Modélisation Statistique & Apprentissage
• Types de données (Vector / LabeledPoint / Model)
• Préparation des données
• Utilisation d’algorithme de MLlib (k-means / Régression logistique / arbre de discrimination / forêt aléatoire)
• Exemple de création d’un modèle et de son évaluation avec Spark MLlib sur un jeu de données

GraphX et GraphFrames

• Présentation de GraphX
• Principe de création des graphes
• API GraphX
• Présentation GraphFrames
• GraphX vs GraphFrames