En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour vous proposer des services et offres adaptés à vos centres d’intérêts.
Pour en savoir plus et paramétrer les cookies, suivez ce lien
Développeur de compétences
  •  
  •  
  •  

Optimisation de Spark (Dag,Yarn,Tuning)


  • Objectifs
  • Profils
  • Pré-requis
  • Moyens pédagogiques
  • Certificat / Attestation
  • Comprendre et optimiser les dataframes
  • Appréhender le tuning sur Spark en production en utilisant les bonnes pratiques
Trouvez votre prochaine formation

Programme

  • 3 Jours, 21h
  • 2495 HT *
    Optimisation
    • L’analyse du DAG via Spark-UI
    • Pattern d’optimisation
    • Cache et persistance
    • Impact de la localité des données  sur les performances

    Spark Streaming
    • StreamingContext
    • Dstream
    • Continuous Aggregations
    • Analyse temps-réel depuis un  Apache Kafka
    • Les problématique des garanties de  livraison
    • lSpark vs Flink

    Spark en production
    • Spark en cluster : Yarn, Mesos,  Standalone
    • Yarn client vs Yarn cluster
    • Stockage (HDFS, S3, Cassandra 

    Architecture
    • Architecture Lambda
    • Architecture Kappa

    Introduction au machine Learning
    • Les classes d'algorithmes pour le  ML : supervisé et non supervisé
    • Les algorithmes de ML
    • Comment fonctionne l'algorithme de  la régression linéaire et / ou de la  régression logistique
    • Mise en pratique d’un algorithme de  régression linéaire ou la régression  logistique

    Cas pratique

* La durée et le prix de la formation sont donnés à titre indicatif pour une inscription en inter-entreprises. Toute demande intra-entreprise fait systématiquement l’objet d’un devis sur-mesure devant être approuvé pour acceptation.