01 87 58 00 00

Rechercher
Fermer ce champ de recherche.
Rechercher
Fermer ce champ de recherche.

Développement d’applications avec Spark

  • Formations
  • Développement d’applications avec Spark

Connaissances de base en programmation Python
Avoir des connaissances en SQL

Appréhender le fonctionnement et l’architecture de Spark
Développer des applications avec Apache Spark
Optimiser une application Spark
Utiliser Spark SQL, les dataframes et les datasets
Faire de l’analyse en temps réel avec Spark streaming

Accessible selon le nombre de places disponibles.
Les participants recevront leur convocation au plus tôt deux semaines avant le début de la formation.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

  • Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
  • Evaluations régulières et retour du formateur sur les points moins bien assimilés.
  • Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
  • Accès à notre plateforme à distance de Classe Virtuelle
    Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :

        • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
        • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
        • Suivi pédagogique et conseils personnalisés pendant toute la formation

     

    Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Attestation de formation

Développeur
Data Analyst
Data Scientists
Architectes Big Data

Introduction et motivations pour Apache Spark

  • L’écosystème Spark
  • Spark vs. Hadoop
  • Obtenir et installer Spark
  • La console Spark, et SparkContex

Mise en pratique

  • Mettre en place l’environnement de lab
  • Démarrer l’interpréteur Scala
  • Premiers pas avec Apache Spark
  • Premiers pas avec la console Spark

Introduction des RDDs

  • Les concepts de RDD, de cycle de
  • vie, et de  l’évaluation paresseuse.
  • Travailler avec des RDDs : création  et transformations (map, filter, etc.)
  • Partitionnement et transformation  des RDDs
  • Transformations avancées (flatMap,  explode, et split)

Introduction des DataFrames et Datasets

  • Le concept de SparkSession
  • Création et inférence de schéma
  • Identification des formats supportés  (dont JSON, CSV, Parquet, Text …)
  • Travailler avec l’API DataFrame
  • Travailler avec l’API DataSet
  • Transformations via des requêtes  SQL (Spark SQL)

Comparaison entre les DataSets, DataFrames et RDDS

Mise en pratique

  • Les bases des RDD
  • Opérations sur de multiples RDDs
  • Les formats de données
  • Les bases de  Spark SQL
  • Transformation de DataFrames
  • L’API typée des DataSets
  • Fractionner les données

Optimisations

 

  • Shuffling, dépendances larges et  étroites, et leur impact sur la  performance
  • L’optimiseur de requêtes Catalyst
  • L’optimiseur Spark Tungsten (format binaire, gestion du cache…)
  • Le caching Spark (concept, type de  cache, recommandations)
  • Minimiser le shuffling pour  améliorer la performance
  • Utilisation de  la diffusion de
  • variables et de l’accumulateu

Recommandations globales des performances

  • L’interface Spark UI
  • Les transformations efficaces
  • Stockage de données
  • Monitoring

Mise en pratique

  • Comprendre le Shuffling
  • Explorer l’optimiseur de requête
  • Catalyst
  • Explorer l’optimiseur Tungsten
  • Travailler avec la mise en cache, le  shuffling et la diffusion de variables
  • Recommandations générales sur le  broadcast

Les applications Spark

  • Configurer et créer une  SparkSession
  • Construire et lancer des applications
  • Cycle de vie des applications (Driver,  Executors, et Tasks)
  • Les modes d’executions  (Standalone, YARN, Mesos)
  • Logging et Debugging

Introduction au temps réel

  • Spark Streaming (Spark 1.0+)
  • *DStreams, Receivers, Batching
  • *transformations Stateless
  • *Transformations Windowed
  • *Transformations Stateful
  • Structured Streaming (Spark 2+)
  • *Applications en continue
  • *Le paradigme de Table, et de  Result Tables
  • *Les étapes du structured  streaming
  • *Les sources et puits
  • *Introduction de Kafka
  • *Consommer des données Kafka
  • *Le Structured Streaming au format  “kafka”
  • 3Traitement du Stream

Mise en pratique

  • Déclencher des jobs Spark
  • Capacités additionnelles de Spark
  • Spark Streaming
  • Spark Structured Streaming
  • Spark Structured Streaming avec  Kafka
Référence :
DATA-010
Formation :
Développement d’applications avec Spark
Lieu :

Classe à distance, Présentiel

Durée :
9 jours (63 heures)
Dates :
5295 € HT
Cette formation
sur-mesure

Ce cours est réalisable en intra-entreprise, dans vos locaux, dans nos salles ou à distance.

Conserver & partager e programme
Email
Imprimer

Cette formation vous intéresse ?

Découvrez les formations incontournables dans ce domaine disponibles en classe et à distance

- Accompagner les managers face aux risques psychosociaux clock 3 jours
Open source
Le langage VBscript
3 jours (21 heures)
1590 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 7 jours
Open source
Linux Embarqué
7 jours (49 heures)
3640 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 3 jours
Open source
Programmation r
3 jours (21 heures)
1590 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 7 jours
Open source
Programmation Transactionnelle
7 jours (49 heures)
3640 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 3 jours
Open source
XML & JSON
3 jours (21 heures)
1590 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 3 jours
Open source
Design Patterns
3 jours (21 heures)
1590 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 5 jours
Open source
développement d’applications Android
5 jours (35 heures)
2650 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 5 jours
Open source
iPhone / iPad – Développement d’application iOS avec Objective-C
5 jours (35 heures)
2650 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 5 jours
Open source
Langage C
5 jours (35 heures)
2650 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 9 jours
Open source / Open source
Développement d’applications avec Spark
9 jours (63 heures)
5295 € HT
S'inscrire
- Accompagner les managers face aux risques psychosociaux clock 2 jours
Open source / Open source
Programmation Procedurale PL/SQL
2 jours (14 heures)
1060 € HT
S'inscrire
FORMATION NODE REACT clock 12 jours
Open source /
FORMATION NODE REACT
12 jours (84h)
19080 € HT
S'inscrire

Demande de devis

Formation :
Développement d’applications avec Spark
Lieu :

Classe à distance, Présentiel

Durée :
9 jours (63 heures)
Prix :
5295 € HT

Laissez-nous un message et notre équipe commerciale vous répondra trés rapidement.
Vous pouvez également nous contacter par téléphone, du lundi au vendredi de 8h30 à 18h30.

1 Step 1
Vous êtes ?
keyboard_arrow_leftPrevious
Nextkeyboard_arrow_right
FormCraft - Générateur de formulaires WordPress
1 Step 1
Vous êtes ?
keyboard_arrow_leftPrevious
Nextkeyboard_arrow_right
FormCraft - Générateur de formulaires WordPress

S'inscrire et réserver vos dates

Dates :
Formation :
Développement d’applications avec Spark
Lieu :

Classe à distance, Présentiel

Durée :
9 jours (63 heures)
Prix :
5295 € HT

Laissez-nous un message et notre équipe commerciale vous répondra trés rapidement.
Vous pouvez également nous contacter par téléphone, du lundi au vendredi de 8h30 à 18h30.

Comment financer votre formation chez AJC

Entreprises/Salariés secteur privé

Actions collectives

Certaine de nos formations font partie des Actions Collectives campusAtlas. Elles sont accessibles à toutes les salariés des entreprises adhérentes à l’OPCO Atlas

Entreprises/Salariés secteur privé

POE

La Préparation Opérationnelle à l’Emploi est le dispositif qu’il vous faut si vous ne trouvez pas assez de «talents» pour combler vos besoins de recrutement sur le marché du travail (particulièrement sur les métiers en tension et les métiers émergents).

Salariés/Demandeurs d’emploi

CPF

Tout salarié ou demandeur d’emploi bénéficie d’un Compte Personnel de Formation depuis 2015 qu’il peut mobiliser directement. Il représente un montant en euro.