Description
- Automatiser l¿extraction de données depuis un service web, une page web (scraping), un fichier de données, une base de données et un système big data en programmant le script adapté afin de pérenniser la collecte des données nécessaires au projet.
- Développer des requêtes de type SQL d¿extraction des données depuis un système de gestion de base de données et un système big data en appliquant le langage de requête propre au système afin de préparer la collecte des données nécessaires au projet.
- Développer des règles d'agrégation de données issues de différentes sources en programmant, sous forme de script, la suppression des entrées corrompues et en programmant l¿homogénéisation des formats des données afin de préparer le stockage du jeu de données final.
- Créer une base de données dans le respect du RGPD en élaborant les modèles conceptuels et physiques des données à partir des données préparées et en programmant leur import afin de stocker le jeu de données du projet.
- Développer une API mettant à disposition le jeu de données en utilisant l¿architecture REST afin de permettre l¿exploitation du jeu de données par les autres composants du projet.
Objectifs
Réaliser la collecte, le stockage et la mise à disposition des données d¿un projet en intelligence artificielle.
Résultats
L¿évaluation doit se faire dans un contexte de réalisation d¿un service numérique réel ou fictif basé sur l¿usage de données, à partir du cadrage pour la réalisation d¿un service numérique (spécifications fonctionnelles et techniques par exemple). Le projet évalué a pour but d¿optimiser, d¿automatiser, de pérenniser et de mettre à disposition les flux de données et les données, utiles et nécessaires à la réalisation du service numérique, par les équipes techniques (par exemple en analyse statistique, en business intelligence, en machine learning ou encore en intelligence artificielle).