Stagiaire R&D - collaboration avec le LIP6

craft ai recrute !

À propos

craft ai est une API qui permet aux équipes métiers & produit de déployer et d'opérer des Intelligences Artificielles explicables (XAI). craft ai décode les flux de données pour propulser des services auto-apprenants.

craft ai apprend comment chaque utilisateur, capteur ou système se comporte, dans son contexte pour automatiser des processus métiers, personnaliser la relation client, ou faire de la maintenance prédictive.

craft ai est utilisé par des acteurs de divers marchés: Energie (Dalkia, Total Direct Énergie), Utilities (Mairie de Paris), Santé (Medclinik), Défenses (Dassault Aviation), Education (Dauphine)... en étant intégré dans des dashboards métiers, des applications mobiles, des objets connectés ou bien des bots.

Fondée en Juin 2015, l'équipe de craft ai se compose aujourd'hui de 18 spécialistes en Intelligence Artificielle (IA), Machine Learning (ML) et API qui travaillent main dans la main pour faire que l'IA explicable soit adoptée et déployée à grande échelle par les entreprises dont c'est devenu un enjeu majeur de compétitivité.

Rejoindre craft ai c’est se retrouver acteur et moteur d'une équipe enthousiaste, fun et passionnée dont l'ambition est de faire avancer le sujet de l’explicabilité, opérationnaliser des IAs qui changent les entreprises et soutenir le développement d’une IA éthique & responsable. Mais c'est aussi et surtout être plongé au cœur de l’écosystème IA ! Nous sommes co-fondateurs de l’AI Factory avec Microsoft & INRIA et co-fondateurs d’Impact IA. Et tout ça... depuis les bureaux les plus cools de Paris : WeWork, avenue de France !

Descriptif du poste

Évaluation de la qualité d’une explication extraite d’une application basée sur de l’apprentissage machine

Le stage sera encadré par Christophe Denis, Maitre de Conférences (HDR), au sein du Laboratoire d’Informatique de Paris 6 (Sorbonne Université), le LIP6. Il se déroulera au sein du LIP6 pendant 6 mois, des échanges fréquents auront lieu avec l'équipe de craft ai.

Contexte du stage

Le stage s’inscrit dans le cadre d’une collaboration entre craft ai et le LIP6.

La thématique de cette collaboration porte sur l’évaluation de la forme et de la qualité d’explications extraites de méthodes d’apprentissage. Les travaux des informaticiens sur l’explicabilité de l’Intelligence Artificielle sélectionnent généralement la forme d’une explication de manière intuitive [1]. La forme de l’explication doit pourtant être évaluée et choisie pour minimiser le biais cognitif du destinataire. Au niveau de la transparence des algorithmes d’apprentissage machine, Adrian Weller argumente dans [2] que « The motivations and benefits of different types of transparency can vary significantly depending on context, and objective criteria are difficult to identify ». L’argumentation est identique pour l’explication de méthodes d’apprentissage machine.
En effet, la qualité d’une explication doit être mesurée en fonction de son usage et de son destinataire, en s’inspirant des travaux de recherche en psychologie cognitive [3][4]:

  • pour un développeur, l’explication doit lui permettre de comprendre le fonctionnement de l’application afin de le débogguer ou de l’améliorer;
  • pour un utilisateur, l’explication doit lui permettre de comprendre le périmètre d’utilisation et les hypothèses sous-jacentes pour lui donner des clés de lecture sur les résultats obtenus;
  • pour un expert, l’explication doit lui permettre de statuer un audit lors d’un incident.

Une explication d’une méthode d’apprentissage machine peut être évaluée selon sa capacité à :

  • interpréter ses mécanismes de manière compréhensibles à ses utilisateurs,
  • décrire précisément et de manière exhaustive ses mécanismes internes.

Il est toutefois difficile de générer des explications qui sont à la fois interprétables et complètes [5].

Ceci pose également un problème éthique sur la possible dérive de produire des explications davantage persuasives que transparentes. L’évaluation devra donc tenir compte de la gestion du compromis entre la nécessité de transparence et le besoin d’intelligibilité. Un protocole d’évaluation qualitative, s’inspirant de [5], d’explications d’une application basée sur de l’apprentissage machine, développée par craft ai, sera défini et testé sur un panel d’utilisateurs.

Objectif et planning prévisionnel

L’objectif du stage est de concevoir, en se basant sur la littérature scientifique récente, des indicateurs permettant d’évaluer la qualité d’une explication. Ces indicateurs seront testés tout d’abord sur des cas tests canoniques développés durant le stage et un cas métier dans le domaine médical fourni par craft ai, sur un panel d’utilisateurs après avoir préalablement défini un protocole.

Le programme prévisionnel du stage est le suivant :

  1. Bibliographie ;
  2. Mise au point d’une stratégie de tests déclinée sous la forme d’indicateurs ;
  3. Création de cas tests canoniques ;
  4. Test des indicateurs sur les cas tests canoniques et sur un cas métier fourni par craft ai ;
  5. Si possible, évaluation qualitatif des explications fournies à un panel d’utilisateurs ;
  6. Rédaction du mémoire de stage et préparation de la soutenance.

Références

[1] T. Miller. Explanation in artificial intelligence: Insights from the social sciences, Artifical
Intelligence, 267: 1-38. February 2019.
[2] A .Weller. Challenges for transparency. 16 ICML Workshop on Human Interpretability in
Machine Learning (WHI 2016), New York, NY, 2016.
[3] T. Lombrozo. The structure and function of explanations., Trends in Cognitive Sciences, 10, 2006.
[4] T. Lombrozo., Explanation and Abductive Inference, The Oxford Handbook of Thinking and
Reasoning, Edited by Keith J. Holyoak and Robert G. Morrison, 2012.
[5] F. Poursabzi-Sangdeh, D. G. Goldstein, J. M. Hofman, J. W. Vaughan, H. M. Wallach,
Manipulating and Measuring Model Interpretability, CoRR, http://arxiv.org/abs/1802.07810, 2018.

Profil recherché

  • Étudiant en Master 2 ou Diplôme d'ingénieur en informatique,
  • Connaissances en Machine Learning et appétence pour les aspects sciences humaines & cognitives,
  • Solides compétences socle en mathématiques et science des données,
  • Capacité à travailler en itérations courtes et à prendre en compte les retours,
  • Excellence à l'écrit et à l'oral, au moins en Anglais et en Français.

Informations complémentaires

  • Type de contrat : Stage (6 mois)
  • Lieu : Paris, France (75013)
  • Niveau d'études : Bac +5 / Master
  • Expérience : < 6 mois