Spark avec Python - Pratique avec le Big Data pour Débutants
Spark avec Python - Pratique avec le Big Data pour Débutants
Last updated 12/2020
Created by Le nid IT Formation
MP4 | Video: h264, 1280x720 | Audio: AAC, 44.1 KHz, 2 Ch
Genre: eLearning | Language: French + srt | Duration: 50 Lectures ( 8h 26m ) | Size: 1.86 GB
Pyspark avec 70% de pratique et seulement avec votre localhost ! Pyspark ne sera plus un secret pour vous !
What you'll learn
Préparer un environnement de travail en créant une machine virtuelle avec les installations et les configurations.
Apprendre le langage de programmation Python.
Apprendre à utiliser Jupyter notebook
Se familiariser et comprendre le fonctionnement des RDDs avec des cas pratiques sous pyspark avec Jupyter notebook.
Découvrir les fonctions de transformation, d'action et comprendre le DAG.
Vous allez utiliser le Spark SQL avec les Dataframes en partant des entrées et produire des sorties dans chacun des formats csv, Json et Parquet.
Avec les Dataframes vous allez apprendre à connecter Apache Spark avec une Base données postgreSQL.
Créer les User-Defined Functions appelée aussi les fonctions UDF.
Effectuer des traitements avec le composant Spark Streaming afin de traiter des données en temps réel que vous allez générer vous-même.
Requirements
Connaissances des commandes Linux
Notion en programmation orienté objet
Notion en langage SQL
Description
Sans aucun doute Apache Spark est le framework open source qui a montré sa réussite auprès de plusieurs géant de l'informatique et de l'industrie. Apache Spark nous permet d'analyser et traiter des données massives structurées, semi structurées et non structurées.Apache Spark fonctionne avec de la programmation distribuée et en mémoire (in-memory) afin d'accélérer les traitements et en s'appuyant sur plusieurs machines d'un réseau ( Cluster ).Dans cette formation vous aurez besoin uniquement d'un PC connecté à internet. Vous allez apprendre à mettre en place un environnement local avec une machine Virtuelle Linux (VM), télécharger Spark, Jupyter Notebook et la configuration de Spark en utilisant Pyspark.Vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage Python.Apache Spark fonctionne en Java virtuel machines (JVM). Vous aurez une mise à niveau en douceur avec le langage de programmation Python avec une initiation à la programmation fonctionnelle.Manipuler un RDD (le cœur moteur de Apache Spark) avec des collections de données sera un jeux d'enfant.Vous allez découvrir dans la partie Spark SQL les DataFrame à partir :· d'une collection de données,· des fichiers en entrée tel que csv, Json, Parquet· de base de données PostgreSQLSurement vous avez entendu parler des traitements des données qui arrivent en temps réel, sous le nom Streaming. Une Partie de cette formation bien détaillée vous attend afin que vous puissiez monter en compétence rapidement avec Spark Streaming avec des cas pratiques.
Who this course is for
Ingénieur d'études et développement
Data Scientists
Data analysts (ou data miner)
Chef de projet technique
Architecte technique
Statisticiens
Consultants Big Data
HOMEPAGE
https://www.udemy.com/course/spark-avec-python-pratique-avec-le-big-data-pour-debutants/ DOWNLOAD
https://rapidgator.net/file/2416d757633b0447124430476d39fc1e/Spark.part1.rar.html
https://rapidgator.net/file/e7fb0acc6d07e1874cf2006b26896b10/Spark.part2.rar.html
https://uploadgig.com/file/download/552fd1c8646C6957/Spark.part1.rar
https://uploadgig.com/file/download/f59e383c925831d0/Spark.part2.rar
https://rapidgator.net/file/e7fb0acc6d07e1874cf2006b26896b10/Spark.part2.rar.html
https://uploadgig.com/file/download/552fd1c8646C6957/Spark.part1.rar
https://uploadgig.com/file/download/f59e383c925831d0/Spark.part2.rar
