Portrait de fabien escrive

Stage Big Data / Data Science F/H

Zone géographique : 
TOULOUSE
Type de profil : 
Stage Big Data / Data Science
LinkedIn Google Plus Twitter Email
Votre mission

Contexte

Pour notre client, un acteur majeur du transport aérien, nous avons mis en oeuvre et industrialisé un
algorithme de rapprochement de données complexes et volumineuses. Celui-ci s’appuie sur les
techniques standards du « record linkage » telles que l’indexation par clés multiples, le « matching »
déterministe et probabiliste, les algorithmes de comparaison (Distance de Levenshtein, Jaro Winkler).
Ce traitement de rapprochement s’appuie sur des technologies Big Data : Hadoop, Spark.
C’est dans ce contexte que l’étudiant(e) rejoindra l’équipe VISEO afin de réaliser son stage de fin
d’études.

 

Sujet de Stage

Le périmètre du stage concerne la phase d’indexation sur laquelle nous souhaitons apporter des
améliorations tant en termes de performance que de qualité. Cette étape consiste à regrouper des
individus possédants des caractéristiques proches.
Plusieurs tâches ont été identifiées :
• Evaluer la capacité de la librairie Spark GraphX (résolution de graphes) à remplacer
l’algorithme existant (traitement récursif). Cette première phase a pour objectif de faire
monter en compétence le stagiaire sur les technologies et les données utilisées.
• Proposer et évaluer des méthodes alternatives (clustering) susceptibles de remplacer ou
compléter la solution existante et éventuellement la mettre en oeuvre.
Dans le cadre de son stage, l’étudiant(e) devra :
• Proposer des méthodes de classifications adaptées à la problématique.
• Les évaluer et éventuellement les mettre en oeuvre en s’appuyant sur les outils à sa
disposition (Spark ML, Scikit-learn).

Votre profil

Le stagiaire doit posséder de bonnes connaissances sur les méthodes de clustering les plus courantes
et être capable de les implémenter sur des données réelles. La connaissance des technologies Big
Data est un plus.
Rigoureux, le stagiaire sera capable d’appliquer les connaissances acquises lors de sa formation.
Curieux, il sera force de proposition pour soumettre différentes solutions et en mettre en oeuvre une
ou plusieurs.

Votre contrat
Stage