Big Data – Python pour l’analyse de données

Maîtrise de la programmation Python et connaissances de base en statistiques.

Manipuler des données statistiques grâce au langage Python.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Une attestation de fin de stage sera remise à tous les participants à l’issue de leur parcours.

Développeurs en Python, Responsables Infocentre, Développeurs de logiciels, programmeurs, Data analysts, Data scientists.

ECOSYSTEME SCIENTIFIQUE

Présentation de l’écosystème « Python scientifique »

• Les outils scientifiques de calcul
• Les librairies
  • Numpy
  • SciPy
  • Matplotlib
  • Pylab (les 3 précédentes en 1)
  • Pandas
  • Scikit-Learn…

Environnement de travail

• Les distributions Python (Enthought, Anaconda, WinPython, …)
• Les IDE de développement (Spyder, Eclipse, PyCharm, …)

CALCUL NUMERIQUE AVEC PYTHON

Représentation des nombres avec Python

• Les nombres avec Python
• Les nombres avec NumPy
• Les problèmes d’arrondi
• NumPy – Le socle de calcul numérique
• Les différents types de données avec Numpy
• Opérations matricielles
• Les fonctions incontournables
• Entrées/Sorties et formats de fichiers : natif Numpy, NetCDF, HDF5, Matlab

Travaux pratiques : Réalisation et mise en place d’une librairie et opérations sur les matrices

Pandas

• Séries et Matrices de données hétérogènes(DataFrame)
• Entrées/Sorties
• Sélection et indexation des données
• Manipulations de données (groupement, ajout, suppression, redimensionnement, pivots, …)
• Opérations et statistiques

Travaux pratiques : Importation, traitement et normalisation (Data Frame) dans le cadre d’opérations statistiques

Matplotlib

• Concepts des tracés
• Premiers graphiques : courbes, titres et légendes
• Axes, échelles de représentations
• Couleurs et styles

Travaux pratiques : Réalisation de tracés à partir de Data Frames

SciPy

• L’interpolation de données météorologiques
• Le traitement d’images
• DATAVIZ
• Quelques librairies : Seaborn, Altaïr
• Visualisation de données cartographiques
• Applications opensources pour la visualisation de larges jeux de données

Travaux pratiques : Réalisation de tracés à partir de Data Frames tracés à partir de Data Frames

LES ESSENTIELS DE LA PROGRAMMATION PARALELLE

• La parallélisation
• Principes de base de la parallélisation
• Python et la parallélisation
• Multi-threading
• Qu’est ce qu’un thread ?
• Accès concurrentiel aux données
• Les verrous
• Les sémaphores
• Deadlock
• File d’attente
• Limites du Multi-threading en Python
• Multi-processing
• Qu’est ce qu’un process ?
• Mémoire partagée
• Verrous et sémaphores
• File d’attente
• Communication
• Barrière
• Pool

Travaux pratiques : Introduction d’ opérations spécifiques sur des tâches interdépendantes et des systèmes de transformation basés sur des algorithmes parallèles