main_about_bg_image

Microsoft


Falcon Consulting a été sollicité par Microsoft pour son expertise en .NET et reporting pour mettre en place des outils d'analyse des produits des catalogues des médias présents (musiques, vidéos et ebooks) sur le Windows Store en utilisant les dernières technologies Azure.



main image here




NOTRE CONTRIBUTION

•           Implémentations des évolutions des projets et contrôle de la qualité de production

•           Développement en U-SQL sous Azure Data Lake Analytics de scripts de contrôle de qualité des données émanant du catalogue des ebooks avec une librairie de classes contenant le code behind en C# des scripts (génération d’extracts, compteurs et vérification de cohérence des données, création de procédures stockées, archivage des données)

•           Migration des projets développés en Scope et SQL Server vers Azure Data Lake Analytics et développement en U-SQL sous Azure de scripts de contrôle de qualité des données émanant du catalogue des vidéos avec une librairie de classes contenant le code behind en C# des scripts (génération d’extracts, compteurs et vérification de cohérence des données, création de procédures stockées, archivage des données)

•           Administration des souscriptions de l’équipe sur le portail Azure, création des comptes application, gestion des droits, ajout et configuration des composants Azure (Azure Data Lake Analytics, Azure Data Lake Store, Azure Blob Storage, Azure Batch, Azure SQL, Azure Machine Learning, Azure Data Factory) avec des commandes et scripting en PowerShell

•           Mise en place des Data Factory sous Azure pour l’automatisation du process du contrôle de qualité des données pour les catalogues des ebooks et des vidéos

•           Développement en C# 4.6 d’une Custom Activity pour automatiser le nettoyage des Azure Data Lake Stores

•           Développement en C# 4.6 des Custom Activities pour automatiser l’import des données depuis les fichiers OPF et depuis les logs d’imports des fichiers PDF

•           Création et mise en place des rapports sous PowerBI (visualisation des extracts, mise en forme des compteurs et des graphiques pour la vérification de cohérence des données)

•           Administration du portail PowerBI, gestion des droits, gestion des planifications

•           Participation à la formation de l’équipe au développement sous U-SQL

•           Prise en main de nouvelles technologies en Azure Machine Learning et Azure Cosmos DB pour adapter aux différents projets

•           Tests de migration des projets d’Azure Data Factory vers Azure Data Factory v2

TECHNOLOGIES

C# 4.6.2, U-SQL, T-SQL, Azure (Azure Data Lake Analytics, Azure Data Lake Storage, Azure Data Factory, Azure Blob Storage, Azure SQL, Azure APIs, Azure Machine Learning, Azure Cosmos DB), PowerShell, notions de Scope, notions de R

Outils utilisés : SQL Server 2017, Visual Studio 2017, Portail Azure, PowerBI, Cosmos Scope Studio

Travail sous: Windows 10, Azure



CHALLENGES ET SOLUTIONS

La totalité du projet from scratch, incluant la mise en place de l'architecture, le développement, la mise en place d'un process de R&D, la rédaction des spécifications fonctionnelles et techniques, la formation des collaborateurs Microsoft et le tranfert de compétence, a été réalisé par Falcon Consulting. Falcon Consulting a pu prendre en main très rapidement un environnement inconnu : Azure (Azure Data Lake Analytics, Azure Data Lake Storage, Azure Data Factory, Azure Blob Storage, Azure SQL, Azure APIs, Azure Machine Learning, Azure Cosmos DB)et aggrandir son périmètre d'expertise en incluant la partie Big Data.