01 87 58 00 00

Spark, développer des applications pour le Big Data

  • Formations
  • Spark, développer des applications pour le Big Data

Introduction et motivations pour Apache Spark

  • L’écosystème Spark
  • Spark vs. Hadoop
  • Obtenir et installer Spark
  • La console Spark, et SparkContext

Travaux pratiques: 

  • Mettre en place l’environnement de lab
  • Démarrer l’interpréteur Scala
  • Premiers pas avec Apache Spark
  • Premiers pas avec la console Spark

Introduction des RDDs

  • Les concepts de RDD, de cycle de vie, et de l’évaluation paresseuse.
  • Travailler avec des RDDs: création et transformations (map, filter, etc.)
  • Partitionnement et transformation des RDDs
  • Transformations avancées (flatMap, explode, et split)

Introduction des DataFrames et DataSets

  • Le concept de SparkSession
  • Création et inférence de schéma
  • Identification des formats supportés (dont JSON, CSV, Parquet, Text …)
  • Travailler avec l’API DataFrame
  • Travailler avec l’API DataSet
  • Transformations via des requêtes SQL (Spark SQL)

Comparaison entre les DataSets, DataFrames et RDDs

  • Travaux pratiques:
  • Les bases des RDD
  • Opérations sur de multiples RDDs
  • Les formats de données
  • Les bases de Spark SQL
  • Transformation de DataFrames
  • L’API typée des DataSets
  • Fractionner les données

Optimisations

  • Shuffling, dépendances larges et étroites, et leur impact sur la performance
  • L’optimiseur de requêtes Catalyst
  • L’optimiseur Spark Tungsten (format binaire, gestion du cache…)
  • Le caching Spark (concept, type de cache, recommandations)
  • Minimiser le shuffling pour améliorer la performance
  • Utilisation de la diffusion de variables et de l’accumulateur

Recommandations globales de performances

  • L’interface Spark UI
  • Les transformations efficaces
  • Stockage de données
  • Monitoring

Avoir des connaissances de Java ou Python et des notions de calculs statistiques.

Maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

  • Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
  • Evaluations régulières et retour du formateur sur les points moins bien assimilés.
  • Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
  • Accès à notre plateforme à distance de Classe Virtuelle
    Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :

        • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
        • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
        • Suivi pédagogique et conseils personnalisés pendant toute la formation

     

    Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Une attestation de fin de stage sera remise à tous les participants à l’issue de leur parcours.

Chefs de projet, Data Scientists, Développeurs, Architectes…

Référence :
Formation :
Spark, développer des applications pour le Big Data
Lieu :

Classe à distance, Présentiel

Durée :
3 jours (21 heures)
Dates :

Actions Collectives ATLAS (100 % Pris en charge)

27/09/2023 au 29/09/2023

27/11/2023 au 29/11/2023

 

1650 € HT
Cette formation
sur-mesure

Ce cours est réalisable en intra-entreprise, dans vos locaux, dans nos salles ou à distance.

Conserver & partager e programme
Email
Imprimer

Cette formation vous intéresse ?

Découvrez les formations incontournables dans ce domaine disponibles en classe et à distance

Cursus métier : Technicien support de proximité clock 57 jours
Ingenierie
Technicien support de proximité
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Tests clock 54 jours
Test Logiciel et Automatisation /
Tests
54 jours (378 heures)
7049 € HT
S'inscrire
Cursus métier : Tests IVVQ clock 57 jours
Test Logiciel et Automatisation /
Tests IVVQ
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Test manuel et automatisé clock 57 jours
Test Logiciel et Automatisation /
Test manuel et automatisé
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Technicien support clock 57 jours
Support utilisateurs
Technicien support
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Sureté nucléaire clock 57 jours
Nucléaire
Sureté nucléaire
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Project manager clock 57 jours
Gestion de Projet /
Project manager
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Supply Chain clock 57 jours
Logistique
Supply Chain
57 jours (399h)
7049 € HT
S'inscrire
Formation Software developer C++ clock 57 jours
Langages Python, C, C++
Formation Software developer C++
57 jours (399h)
7049 € HT
S'inscrire
Formation Software developer C++ embarqué clock 57 jours
Langages Python, C, C++
Formation Software developer C++ embarqué
57 jours (399h)
7049 € HT
S'inscrire
Cursus métier : Sharepoint clock 57 jours
Support utilisateurs
Sharepoint
57 jours (399h)
7049 € HT
S'inscrire
Formation C C++ .NET DEVOPS clock 57 jours
Support utilisateurs
Retail Suite
57 jours (399h)
7049 € HT
S'inscrire

Demande de devis

Formation :
Spark, développer des applications pour le Big Data
Lieu :

Classe à distance, Présentiel

Durée :
3 jours (21 heures)
Prix :
1650 € HT

Laissez-nous un message et notre équipe commerciale vous répondra trés rapidement.
Vous pouvez également nous contacter par téléphone, du lundi au vendredi de 8h30 à 18h30.

1 Step 1
Vous êtes ?
keyboard_arrow_leftPrevious
Nextkeyboard_arrow_right
FormCraft - Générateur de formulaires WordPress
1 Step 1
Vous êtes ?
keyboard_arrow_leftPrevious
Nextkeyboard_arrow_right
FormCraft - Générateur de formulaires WordPress

S'inscrire et réserver vos dates

Dates :

Actions Collectives ATLAS (100 % Pris en charge)

27/09/2023 au 29/09/2023

27/11/2023 au 29/11/2023

 

Formation :
Spark, développer des applications pour le Big Data
Lieu :

Classe à distance, Présentiel

Durée :
3 jours (21 heures)
Prix :
1650 € HT

Laissez-nous un message et notre équipe commerciale vous répondra trés rapidement.
Vous pouvez également nous contacter par téléphone, du lundi au vendredi de 8h30 à 18h30.

Comment financer votre formation chez AJC

Entreprises/Salariés secteur privé

Actions collectives

Certaine de nos formations font partie des Actions Collectives campusAtlas. Elles sont accessibles à toutes les salariés des entreprises adhérentes à l’OPCO Atlas

Entreprises/Salariés secteur privé

POE

La Préparation Opérationnelle à l’Emploi est le dispositif qu’il vous faut si vous ne trouvez pas assez de «talents» pour combler vos besoins de recrutement sur le marché du travail (particulièrement sur les métiers en tension et les métiers émergents).

Salariés/Demandeurs d’emploi

CPF

Tout salarié ou demandeur d’emploi bénéficie d’un Compte Personnel de Formation depuis 2015 qu’il peut mobiliser directement. Il représente un montant en euro.