ITESCIA

Hadoop : Développement

Certification / expertise

3 jour(s)

2020 € TTC

CFA

Consultez le site de l'organisme

Objectifs

Connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données.

Public visé

Chef de projet, développeur, data-scientist, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.

Programme

INTRODUCTION :
  • Les fonctionnalités du framework Hadoop.
  • Le projet et les modules : Hadoop Common, HDFS, YARN, MapReduce.
  • Utilisation de Yarn pour piloter les jobs Mapreduce.
MAPREDUCE :
  • Principe et objectifs du modèle de programmation MapReduce.
  • Fonctions map() et reduce().
  • Couples (clés. valeurs).
  • Implémentation par le framework Hadoop.
  • Etude de la collection d'exemples.
  • Travaux pratiques : Rédaction d'un premier programme et exécution avec Hadoop.
PROGRAMMATION :
  • Configuration des jobs, notion de configuration.
  • Les interfaces principales : Mapper, reducer. La chaîne de production : Entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
  • Partitioner, outputcollector, codecs, compresseurs.
  • Format des entrées et sorties d'un job MapReduce : InputFormat et OutputForrnat.
  • Travaux pratiques : Type personnalisés.
  • Création d'un writable spécifique - Utilisation - Contraintes.
OUTILS COMPLÉMENTAIRES :
  • Mise en œuvre du cache distribué.
  • Paramétrage d'un job : ToolRunner, transmission de propriétés.
  • Accès à des systèmes externes : S3. HDFS, HAR....
  • Travaux pratiques : Répartition du job sur la ferme au travers de Yarn.
STREAMING :
  • Définition du streaming Maa/Reduce.
  • Création d'un job Map/Reduce en python.
  • Répartition sur la ferme.
  • Avantage et inconvénients.
  • Liaisons avec des systèmes externes.
  • Introduction au pont KadoopR.
  • Travaux pratiques : Suivi d'un job en streaming.
PIG :
  • Présentation des Pattern et Best Practices Map/reduce.
  • Introduction à Pig.
  • Caractéristiques du langage : Latin.
  • Travaux pratiques : Installation /lancement de Pig.
  • Ecriture de scripts simples Pig.
  • Les fonctions de base.
  • Ajouts de fonctions personnalisées.
  • Les UDF : Mise en œuvre.
HIVE :
  • Simplification du requêtage.
  • Étude de la syntaxe de base.
  • Travaux pratiques : Création de tables.
  • Ecriture de requêtes - Comparaison Pig/Hive.
SECURITE EN ENVIRONNEMENT HADOOP :
  • Mécanisme de gestion de l'authentification.
  • Travaux pratiques : Configuration des ACLs.
 

La formation "Hadoop : Développement" vous intéresse ?

Recevez gratuitement le programme de la formation par ITESCIA.

Les données personnelles recueillies ci-dessus sont destinées à Figaro Classifieds ainsi qu’aux organismes que vous avez sélectionnés afin qu’ils vous contactent et vous adressent leurs informations relatives à votre demande en lien avec l’activité de l’organisme. Voir plus


Les internautes qui ont consulté cette annonce ont aussi consulté:

En résumé

Objectif

Certification / expertise

Durée

3 jour(s)

Coût

2020 € TTC

Modes d'enseignement

Dans mon entreprise, À distance / e-learning

Type d'établissement

CFA

Domaine

Programmation

Posez une question à notre responsable pédagogique

Recevez des formations similaires

Kelformation vous suggère des formations qui vous correspondent.

Inscrivez-vous et recevez directement les annonces par mail.

Les données personnelles recueillies ci-dessus sont destinées à Figaro Classifieds afin de vous fournir les services auxquels vous souscrivez et notamment vous envoyer des offres de formations correspondant à votre recherche. Voir plus