Hadoop – Développement

Introduction

• Les fonctionnalités du framework Hadoop
• Le projet et les modules : HadoopCommon, HDFS, YARN, MapReduce
• Utilisation de yarn pour piloter les jobs mapreduce

MapReduce

• Principe et objectifs du modèle de programmation MapReduce
• Fonctions map() et reduce()Couples (clés, valeurs)
• Implémentation par le frameworkHadoop
• Etude de la collection d’exemples

Travaux pratiques : Création d’un traitement Hadoop MapReduce en traitant une collection de données

Programmation

• Configuration des jobs, notion deconfiguration
• Les interfaces principales : mapper,reducer,
• La chaîne de production : entrées, input splits, mapper, combiner,shuffle/sort, reducer, sortie
• Partitioner, outputcollector, codecs, compresseurs
• Format des entrées et sorties d’un job MapReduce : InputFormat etOutputFormat

Outils complémentaires

• Mise en oeuvre du cache distribué
• Paramétrage d’un job : ToolRunner,transmission de propriétés
• Accès à des systèmes externes : S3,hdfs, har, …

Travaux pratiques : Création d’un script permettant d’enregistrer des collections de données dans un système de fichier externe

Streaming

• Définition du streaming map/reduce
• Création d’un job map/reduce enPython
• Répartition sur la ferme
• Avantage et inconvénients
• Liaisons avec des systèmes externes
• Introduction au pont HadoopR

Travaux pratiques : Lancer et suivre l’exécution et le résultat d’un job en temps réel (Streaming)

Pig

• Pattern et best practices Map/reduce
• Introduction à Pig
• Caractéristiques du langage : latin
• Les fonctions de bases
• Ajouts de fonctions personnalisées
• Les UDF
• Mise en œuvre

Travaux pratiques : Création et exécution d’un traitement avec UDF

Hive

• Simplification du requêtage
• Syntaxe de base

Travaux pratiques : Création d’une table interne/externe avec Hive Alimentation des Tables avec des données avec vérification dans HDFS

Sécurité en environnement Hadoop

• Mécanisme de gestion de l’authentification

Avoir la connaissance d’un langage de programmation objet comme Java et du scripting.

Développer des applications compatibles avec la plateforme Hadoop d’Apache pour traiter des données Big Data.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Une attestation de fin de stage sera remise à tous les participants à l’issue de leur parcours.

Développeurs, Chefs de projets, Data-scientists, Architectes…