H/F STAGE BIG DATA

Zone géographique : 
TOULOUSE
Type de profil : 
H/F STAGE BIG DATA
LinkedIn Google Plus Twitter Email
Votre mission

L’offre BI de VISEO est portée par un réseau de consultants qui assurent la conduite des projets décisionnels de bout en bout, en outillant la démarche de supports méthodologiques et de prototypes. Ils se distinguent à la fois par une solide expertise et une triple compétence technique, fonctionnelle et organisationnelle.

VISEO BI, c’est :

-      Des consultants spécialistes de la Data

-      Des projets multiples, adressant des secteurs d’activités et des métiers variés

-      De la diversité technologique

-      Du travail en équipe

-      Un management de proximité

-      De nombreuses formations/certifications

 

 

Contexte

Notre client, un acteur majeur du transport aérien, a mis en œuvre et industrialisé un algorithme de rapprochement de données complexes et volumineuses. Celui-ci s’appuie sur les techniques standards du « record linkage » telles que l’indexation par clés multiples, le « Matching » déterministe et probabiliste, les algorithmes de comparaison (Distance de Levenshtein, Jaro Winkler). Les traitements existants s’appuient sur une architecture Hadoop, map reduce, avro (format de données).

 

Sujet du stage

Plusieurs améliorations ont été identifiées :

-          Améliorer la reconnaissance en affinant les règles de rapprochement et en proposant des algorithmes complémentaires.

-          Compléter la classification actuelle en ajoutant de nouvelles techniques de classifications en s’appuyant sur la librairie de machine learning de Spark.

-          Optimiser la phase d’indexation en s’appuyant sur le Framework Spark GraphX.

 

Dans le cadre de son stage, l’étudiant(e) devra :

-          Être force de proposition pour améliorer l’algorithme et proposer des méthodes de classifications adaptées.

-          Les mettre en œuvre en s’appuyant de préférence sur le Framework Spark.

-          Proposer de nouvelles approches et les évaluer (deep Learning par exemple).

 

 

Votre profil

Le stagiaire doit posséder une bonne connaissance en mathématiques, statistiques et d’un langage de programmation objet. La connaissance du Framework Spark est un plus.

Rigoureux et doté de qualités relationnelles, le stagiaire sera capable de travailler en équipe (mode agile) et d’appliquer les connaissances acquises lors de sa formation. Curieux, il sera force de proposition pour proposer différentes solutions et la/les mettre en œuvre.

 

Votre contrat
STAGE