Mongo DB - Web Scraping

Ce cours permet aux participants d’acquérir des connaissances en développement et administration de base de données NoSQL (MongoDB) ainsi que l’acquisition de compétences pour l’extraction, la transformation, le stockage et la visualisation des données web (web Scraping).

• Comprendre NOSQL-MongoDB;
• Administrer MongoDB;
• Utilisez différents types de requêtes et d'opérateurs de requête MongoDB;
• Gérer le stockage des données-MongoDB;
• Programmer un outil d’extraction de données avec Python;
• Comprendre et exploiter les techniques de grattage des données web en utilisant Python;
• Réaliser un projet intégrateur de collecte, transformation, stockage et visualisation des données des sites web en temps réel en utilisant Grafana, Python et MongoDB.

Analystes et administrateurs de bases de données, analystes et consultants en informatique, programmeurs et développeurs, ingénieurs informaticiens, techniciens de réseau informatique, ainsi que pour tout personne qui a des connaissances en informatique (algorithmique, base de données).

Module 1- Comprendre NoSQL-MongoDB
• Qu’est-ce que le NoSQL ?;
• Type de bases NoSQL;
• Modélisation d’un schéma d’une base de données NoSQL.

Module 2- Administrer et utiliser différents types de requêtes et d'opérateurs de requête MongoDB :

• MongoDB

– installation, configuration, outils :
- Installation et administration MongoDB;
- Notion de collections et documents;
- Installer et configurer MongoDB de production sur le serveur privé dédié ou virtuel;
- Installer des outils GUI pour la gestion MongoDB.

• MongoDB Shell, Robo 3T (Robomongo), MongoDB Compass:

- Apprenez à utiliser MongoDB Shell, Robo 3T (Robomongo), MongoDB Compass pour la gestion de base de données;
- Utilisez différents types de requêtes et d'opérateurs de requête tels que $in, $eq, $regex, $elemMatch, etc.

• Atlas MongoDB

- Lancer la base de données de production sur l'Atlas MongoDB
- base de données; - MongoDB gérée dans le cloud;
- Effectuer différents types d'opérations de mise à jour en utilisant les opérateurs $ set, $ rename, $ addToSet, $ push, $ inc etc.;
- Combiner différentes étapes d'agrégation comme $match, $group, $unwind.

• Mongoexport, mongoimport, mongodump et mongorestore :

- Utiliser les outils de sauvegarde et de restauration
- mongoexport, mongoimport, mongodump et mongorestore;
- Comprendre comment migrer un schéma relationnel classique vers MongoDB.

Module 3 - Programmer un outil d’extraction de données web avec Python
• Introduction à Python;
• Implémenter un algorithme d’extraction de données web;
• Compréhension des modèles d’extraction de données web;
• Capacité à récupérer les données pertinentes, tout en appliquant une méthodologie appropriée;
• Transformer les données afin d’assurer un stockage adéquat.

Module 4- Réaliser un projet intégrateur
• Réaliser un projet intégrateur de collecte, transformation, stockage et visualisation des données des sites web en temps réel en utilisant Grafana, Python et MongoDB.

Amor Amani

Monsieur Amor Amami est un scientifique de données/ ingénieur Big Data comptant plus de 13 ans d'expérience dans les technologies de l'information. Il possède les certifications: MSCE (Data management and Analytics), MCSA Machine Learning and data science, CCA Hadoop Administration Certification, Analyzing and Visualizing Data with Microsoft Power BI certification.

Il est motivé par la conviction que les données peuvent être utilisées pour prendre de meilleures décisions. Il veut pouvoir faciliter aux gens la compréhension du code et l’utilisation efficace des données.

Ainsi, il se démarque à travers les multiples facettes d'un schéma décisionnel, telles que la gestion des processus d'affaires, la collecte d'information (ETL), le stockage des informations (DW, Data Lake avec Hadoop) et la restitution des informations (Visualisation, Reporting, Machine Learning, Deep Learning). Ses formations et ses expériences professionnelles lui ont permis de maîtriser le domaine Big data (Écosystème Hadoop, distribution Cloudera et Horton Works) et la science de données (machine Learning, Deep Learning, Tensorflow,H2O,..). Il a réalisé plusieurs projets où il a exploré diverses facettes d’internet des objets, Big data et de la science des données.

Par ailleurs, il a travaillé pour de grands comptes au Québec-Canada et ailleurs comme CGI, Montréal, Revenu Québec, Familiprix (siège social), Société Groupe Magasin Général, Compagnie des mines (CPG), Bureau de Poste.