Meet Up AZUG: API Management & Big Data avec Azure Databricks

VISEO a ouvert ses locaux à la communauté AZUGFR - le Groupe d’Utilisateurs Azure en France – pour l’un de leur meetup mensuel, sur l’API Management & Big Data avec Azure Databricks. Retrouvez toutes leurs activités ici.
 

C’est Jean-Luc Boucho, notre Practice Manager Cloud & DevOps, qui ouvre le bal avec un petit bilan de l’évènement MVP Global Summit organisé par Microsoft près de Seattle. Un évènement fédérateur puisque pas moins de 2000 experts, MVP et Regional Director venant de 70 pays, étaient réunis sur le campus Microsoft à Redmond pour apprendre et échanger sur les nouveautés et les perspectives du Cloud Microsoft. Près de 800 sessions techniques étaient organisées, tous produits Microsoft confondus.
 

VISEO était particulièrement présent à cet événement avec la participation de :

• Jean-Luc Boucho, MVP Azure, Practice Manager Cloud & DevOps

• Igor Leontiev, MVP Azure, Chief Cloud Solution Architect

• Vincent Thavonekam, Microsoft Regional Director | MVP Azure, Cloud Azure strategy Manager

• Jean-Philippe Encausse, MVP AI, CTO VISEO Innovation

Ils ont notamment suivi les sujets autour d’Azure, la sécurité, l'IoT, l’IA et la data. A noter une rencontre impromptue entre nos équipes et Scott Guthrie, le vice-président exécutif de Microsoft Cloud + AI !

Les nouveautés Azure pour ce premier semestre

Voici un petit récapitulatif de ce qui a été présenté :
 

Côté infrastructure :

• Les managed disks ont été agrandis pour avoir plus de performance sur les Input / output

• De nouvelles possibilités sont désormais explorées sur le Cloud hybride, grâce à l'Hyper Converged Infrastructure, qui permet de rattacher des clusters on-premise à Azure Stack, afin de bénéficier de ses avantages

• On peut désormais rattacher Azure Container Registry à un virtual network / firewall, pour plus de sécurité

• On va pouvoir utiliser des containers construits sur Windows Containers grâce à Azure App Service

Coté data :

• Azure Data Box permet d’avoir chez soi un rack contenant du CPU, de la mémoire, afin d’héberger des workloads Azure : c’est une offre de location

• Sur la partie gaming, Microsoft commence à se muscler et va proposer des services dédiés pour permettre la création de jeux web directement dans Azure : Microsoft Game Stack

Cas d'usage : créer une architecture API-oriented

Notre expert des architectures Cloud, Chief Cloud Solution Architect Igor Leontiev, nous propose ensuite une session technique qui, à travers un cas d'usage client, explore l'utilité des architectures orientées API. Il s'agit ici de réaliser une architecture Cloud dédiée à un système de réservation de billets. Ces systèmes sont souvent construits sur plusieurs back-ends, dans ce cas le choix et la structuration de l'API est déterminante afin de faire converger les différents back-ends et de les faire dialoguer. 
 

On peut résumer ainsi les gains obtenus grâce aux Apis, ainsi que leur valeur ajoutée :

• Traçabilité / possibilité de monétiser / vitesse de déploiement

• Possibilité de rajouter une couche de sécurité

• Avoir une vision centralisée de la sécurité

• Aucun impact sur la base de données

• Un portail pour les développeurs est ainsi généré, avec toutes les commutations nécessaires

• Niveau d’abstraction adapté pour Java ou .NET

Construire une architecture autour de Azure Data Bricks

Artem Sheiko, Data Engineer/Data Scientiste de notre équipe Cloud, a piloté un projet d’étudiants de l’université Lyon II relative à la collecte des données par les taxis new-yorkais. Il s’agissait de prédire le montant d’une course de taxi en réunissant divers facteurs. Grâce à Azure DevOps, une approche facilement implémentable a été appréhendée : il s’agit de croiser une approche de Business Intelligence avec une approche ciblée de data storage. En effet, stocker l’information et la mettre à disposition est un des enjeux majeurs de la data science.
 

Azure Databricks permet de résoudre des problèmes de data engineering, et de réaliser le processus suivant : captation de données (ingest) > stockage (store) > émulation (prep & train) > accès au service (serve).
 

C'est ici que le Machine Learning entre parfaitement en commutation avec les spécificités du Cloud telles que le propose Microsoft à travers un outil comme Azure Databricks, en utilisant les mathématiques statistiques afin d’extraire des insights obtenus pendant une activité business, puis en les entraînant à reproduire des cas de figure et à les extrapoler.
 

C'est une technique qui prévaut encore aujourd'hui, car si les réseaux de neurones peuvent résoudre n’importe quel problème, cette approche reste trop dispendieuse :  c’est pourquoi le Machine Learning classique, couplée à une solution Azure ad hoc, reste la meilleure option pour créer une architecture Cloud.