Big Data - Gestion et traitement des données massives - Avancé

Le monde de Hadoop et de Big Data peut être intimidant. Des centaines de technologies avec des noms cryptiques forment l’écosystème Hadoop. Avec ce cours, les participants comprendront non seulement ce que sont ces systèmes et comment ils vont ensemble, mais à les utiliser pour résoudre de vrais problèmes d’affaires. Voici quelques éléments de contenu traités dans la formation :

• Comprendre comment les clusters hadoop sont gérés par YARN, Tez, Mesos, Zookeeper, Zeppelin, Hue et Oozie.
• Choisir une technologie de stockage des données adaptée à l’application.
• Stocker et analyser des données volumineuses avec Sqoop, Hive, MySQl, HBase, Cassandra, MongoDB, Drill, Phoenix et Presto.
• Gérer et analyser des données en streaming en temps réel avec Kafka, Flume, Spark Streaming, Flink et Storm.
• Intégrer ElasticSearch, LogStash et Kibana sur l’écosystème Hadoop et créer des pipelines de données réelles pour des applications Big Data.

Analystes et administrateurs de bases de données, analystes et consultants en informatique, programmeurs et développeurs, ingénieurs informaticiens, techniciens de réseau informatique, ainsi que pour tout personne qui a des connaissances en informatique (Algorithmique, base de données).

Prérequis : Avoir suivi la formation Big Data - Gestion massive des données - de base

À l’issue du cours, les participants seront en mesure d’effectuer les tâches suivantes :

^{• Découvrir comment Apache Spark fonctionne sur un cluster.
• Configurer des flux de données avec Spark Streaming et les transformer. PLAN DE COURS Page 2 sur 2
• Connecter Spark Streaming à des sources de données hautement évolutives, notamment Kafka, Nifi, Flume et Kinesis.
• Former des modèles d’apprentissage machine en temps réel avec des données continues, et les utiliser pour faire des prédictions qui s’améliorent avec le temps.
• Empaqueter, déployer et exécuter le code Spark Streaming autonome vers un cluster Hadoop réel.
• Analyser et visualiser des données provenant des médias sociaux (Facebook, Twitter, etc.) en temps réel, dans un environnement Hadoop.
• Ingester de flux de données avec LogStash, Apache Hive et Apache Pig vers ElasticSearch.
• Visualiser des données à l’aide de Kibana et créer des tableaux de bord en temps réel.}

Amor Amani

Monsieur Amor Amami est un scientifique de données/ ingénieur Big Data comptant plus de 13 ans d'expérience dans les technologies de l'information. Il possède les certifications: MSCE (Data management and Analytics), MCSA Machine Learning and data science, CCA Hadoop Administration Certification, Analyzing and Visualizing Data with Microsoft Power BI certification.

Il est motivé par la conviction que les données peuvent être utilisées pour prendre de meilleures décisions. Il veut pouvoir faciliter aux gens la compréhension du code et l’utilisation efficace des données.

Ainsi, il se démarque à travers les multiples facettes d'un schéma décisionnel, telles que la gestion des processus d'affaires, la collecte d'information (ETL), le stockage des informations (DW, Data Lake avec Hadoop) et la restitution des informations (Visualisation, Reporting, Machine Learning, Deep Learning). Ses formations et ses expériences professionnelles lui ont permis de maîtriser le domaine Big data (Écosystème Hadoop, distribution Cloudera et Horton Works) et la science de données (machine Learning, Deep Learning, Tensorflow,H2O,..). Il a réalisé plusieurs projets où il a exploré diverses facettes d’internet des objets, Big data et de la science des données.

Par ailleurs, il a travaillé pour de grands comptes au Québec-Canada et ailleurs comme CGI, Montréal, Revenu Québec, Familiprix (siège social), Société Groupe Magasin Général, Compagnie des mines (CPG), Bureau de Poste.