Intelligence artificielle - weave
IA Lab

Un nouveau chantier pour la sécurité IT : le Machine Learning

28 août 2017

Résumé


L’objectif de cet article est d’expliquer en termes non-techniques quelques-uns des enjeux de sécurité posé par le Machine Learning (ML) lorsqu’il est appliqué à des systèmes critiques. Certains de ces problèmes pourraient être des symptômes d’insuffisances fondamentales du ML qu’il faudra de dépasser pour accéder à des formes plus avancées d’IA, un sujet qui sera développé dans un prochain article.

  1. Les malveillances contre-nature
  2. Le Machine Learning pour les nuls (lisible indépendamment)
  3. Esquisse d’une taxonomie des risques du ML
  4. Pourquoi les idées (trop) simples ne marchent pas
  5. Le ML – une forme encore très rudimentaire d’IA

1. Les malveillances contre-nature

Quand Siri comprend votre question « Indique-moi les pizzerias du quartier ? », lorsque Google Translate traduit pour vous une page web rédigée en serbo-croate, quand Spotify vous propose une liste de lecture ou lorsque votre logiciel de retouche photo classe vos clichés par type de paysage, une même technologie est à l’œuvre en coulisses : le machine learning (ML) ou l’apprentissage automatique si l’on souhaite préserver la langue de Molière.

Depuis quelques années le ML a littéralement envahi notre quotidien et ceci bien souvent à notre insu. On peut concevoir le ML comme une forme très rudimentaire d’Intelligence Artificielle (IA) qui, à partir d’un volume suffisant de données, est capable d’extraire des relations prédictives utiles. Ainsi, ayant examiné 10 millions de photos rangées par catégorie (lacs, forêts, châteaux etc.) certains algorithmes sont désormais capables de classer une nouvelle photo. D’autres algorithmes, ayant ingurgité des milliards de phrases correctement traduites, peuvent traduire approximativement une phrase pas trop longue. Voilà pour le présent.

Dans un futur proche ces mêmes technologies devraient permettre l’élaboration de voitures autonomes ou la création de systèmes d’aide au diagnostic médical. Cette omniprésence ne va toutefois pas sans poser des risques de sécurité inédits face aux intentions malveillantes. Peu significatif lorsqu’il s’agit de recommander un morceau de musique ou de classer des photos de vacances, ce risque revêt un caractère vital lorsqu’il impacte un système critique comme un pilote automatique ou un système d’assistance à des décisions stratégiques.

Rappelons que le ML est une technologie de traitement de l’information et qu’à ce titre elle sujette aux contraintes de sécurité usuelles des systèmes d’information. Il s’agit :

  • De préserver l’intégrité des données utilisées
  • De garantir la confidentialité des échanges de données entre sous-systèmes
  • D’assurer la disponibilité des systèmes

Le ML apporte cependant son lot de problèmes spécifiques dont certains sont encore ouverts, aussi bien d’un point de vue pratique que d’un point de vue théorique.

L’objet du présent article est d’en décrire quelques-uns et d’expliquer en quoi ils sont à la fois ardus et passionnants car ils nous poussent à regarder au-delà de l’apprentissage statistique.

D’une phrase, on pourrait résumer la situation ainsi : le ML fonctionne bien à condition de n’exploiter que des données « naturelles » qui n’ont pas été altérées par des esprits malveillants, nous y reviendrons dans la section 4. En ce sens, le ML est donc une technologie fragile car facile à induire en erreur. Une illustration classique de ce phénomène est celui d’un système de classification d’images d’animaux que l’on peut induire en erreur en bruitant l’image à classer comme l’illustre la figure 1.

Figure 1 : une image d’un panda, correctement identifiée par un algorithme de ML, peut être altérée en ajoutant un léger bruit, imperceptible à l’œil humain, pour que le système classe avec un niveau élevé de confiance comme un gibbon !
Figure 1 : une image d’un panda, correctement identifiée par un algorithme de ML, peut être altérée en ajoutant un léger bruit, imperceptible à l’œil humain, pour que le système classe avec un niveau élevé de confiance comme un gibbon !

La suite de cet article est organisée comme suit. La section 2 rappelle les principaux concepts du ML. La section 3 esquisse une classification des problèmes de sécurité propres au ML. La section 4 décrit deux problèmes spécifiques : les « Adversarial Examples » et la confidentialité différentielle. Enfin, la section 5 propose une conclusion en forme de questionnement sur le statut du ML au sein des technologies d’IA.

2. Le Machine Learning pour les nuls

Avant d’élucider la nature des difficultés liées à la sécurité du ML, il n’est peut-être pas inutile de rappeler comment fonctionne le ML sur un plan purement conceptuel.

Le lecteur familier avec ces idées pourra poursuivre la lecture à la section Esquisse d’une taxonomie des menaces du ML.

Nous choisissons pour illustrer notre propos un exemple excessivement schématique qui n’a d’autre vocation que d’être pédagogique. Imaginons donc que nous souhaitions prédire si un client qui sollicite un prêt bancaire appartient ou non à une population à risque en fonction du montant m du prêt qu’il souhaite obtenir et de son taux d’endettement t. Ces variables m et t sont appelées les variables prédictives du problème. La prédiction souhaitée, que l’on appelle aussi la cible, est en l’occurrence binaire : « oui le client présente un risque de non remboursement » (r = 1), ou « non » (r = 0).

Pour répondre à cette question il nous faut disposer d’un échantillon S significatif de clients de référence dont on sait s’ils ont remboursé leur prêt et donc on connaît les deux variables prédictives m et t. On peut représenter chacun de ces clients par un point dans le plan (m, t). La figure 2 rend compte du fait que le risque est plus important si le montant m et le taux d’endettement t sont élevés. Savoir à quelle catégorie appartient un nouveau client revient alors à déterminer une courbe qui sépare au mieux les deux types de population.

Figure 2 : (a) La courbe idéale qui sépare au mieux la population a risque (triangles orange) de la population sans risque (disques verts). Les 2 erreurs commises sont encerclées en rouge. (b) Une courbe ajustée de manière trop serrée aux données de l’échantillon. (c) Une courbe qui approxime la courbe idéale au prix d’une seule erreur supplémentaire par rapport à (a).
Figure 2 : (a) La courbe idéale qui sépare au mieux la population a risque (triangles orange) de la population sans risque (disques verts). Les 2 erreurs commises sont encerclées en rouge. (b) Une courbe ajustée de manière trop serrée aux données de l’échantillon. (c) Une courbe qui approxime la courbe idéale au prix d’une seule erreur supplémentaire par rapport à (a).

La courbe séparatrice idéale f en (a) est celle qui conduirait à commettre le moins d’erreurs de classification s’il était possible d’examiner toute la population. Comme l’échantillon S de clients dont on dispose est en pratique bien plus restreint, nous devrons nous contenter d’une approximation fapprox de cette courbe théorique f. Une première approximation est représentée sur la figure (b). On constate cependant que celle-ci fait beaucoup de « contorsions » pour éviter les erreurs de classification. En d’autres termes la séparatrice est ajustée de manière très serrée au jeu de données S si bien qu’un autre jeu de données S’, tiré de la même population, conduirait vraisemblablement à une courbe fapprox’ très différente et introduirait une part d’arbitraire non souhaitable dans les prédictions. En d’autres termes les prédictions de notre modèle ne doivent pas trop dépendre de l’ensemble d’entraînement utilisé. Tout l’art du ML consiste dès lors à choisir un ensemble de courbes séparatrices qui ne soit ni trop « flexible », pour éviter le phénomène des contorsions (b), ni trop « rigide » faute d’être incapable d’approximer correctement la courbe idéale (a). La figure (c) illustre la meilleure séparatrice sélectionnée parmi l’ensemble des droites.

En bref : un modèle ML de classification binaire est un ensemble de courbes séparatrices, pas trop flexible, parmi lesquelles on va en choisir une, fapprox, qui minimise les erreurs de classification sur un ensemble S de référence appelé l’ensemble d’entraînement. Un exemple d’ensemble très rigide est l’ensemble des droites du plan, c’est l’ensemble choisi pour l’illustration (c). Un autre exemple, un peu moins rigide, est constitué des courbes de degré 2 etc. De manière plus générale, plus un modèle comporte de paramètres ajustables, plus il est flexible, plus il pourra modéliser des phénomènes complexes mais en revanche plus l’ensemble d’entrainement devra être dense. En termes intuitifs :

Le ML présuppose que l’on dispose d’un ensemble de données représentatif assez dense du phénomène pour lequel on souhaite faire des prédictions.

La recherche d’une courbe fapprox est ce que l’on appelle l’entrainement du modèle, une tâche pour laquelle il existe aujourd’hui une bonne dizaine algorithmes(1).

Pour déterminer si un nouveau client est à risque, on regarde simplement de quel côté de la courbe fapprox se trouve son point représentatif. Le modèle fait donc des prédictions.

Une fois entrainé, la précision des prédictions doit être optimisée. Pour cela on demande au modèle de classer les clients d’un ensemble de validation V distinct de l’ensemble S utilisé pour l’entrainement et l’on calcule la proportion des clients dans V qui sont mal classés. On ajuste la rigidité(2) du modèle, en répétant ces deux opérations d’entraînement et d’évaluation, jusqu’à parvenir à une erreur de validation acceptable. On dit alors que le modèle est capable de généralisation puisqu’il peut classer des exemples qu’il n’a jamais vu auparavant. Pour terminer on évalue la précision du modèle ainsi optimisé en utilisant un jeu de test, différent à la fois des données d’entraînement et de validation. Et voilà, le ML (supervisé) ce n’est rien de plus que cela !

3. Esquisse d’une taxonomie des risques du ML

Se prémunir contre les attaques d’un système informatique revient en définitive à faire preuve d’une paranoïa suffisante pour anticiper tout ce qu’un esprit bien informé, imaginatif et malicieux est susceptible d’entreprendre pour compromettre la sécurité ! Pour tenter de mettre bon ordre dans ce foisonnement nous poserons trois questions dans le cadre de systèmes prédictifs basés sur le ML : (1) Quelles ressources peut-on attaquer ? (2), avec quels moyens ? et (3) dans quels buts ?

Quelles ressources sont attaquées ?

Un système prédictif basé sur le ML comporte typiquement 4 parties comme l’illustre la figure 3.

Figure 3 : (a) Des capteurs récupèrent des données physiques, (b) qui sont numérisées puis transformées pour (c) alimenter un modèle de ML pour l’entrainer ou pour fournir une prédiction qui (d) déclenche une action sur le monde physique – <a href="https://arxiv.org/abs/1611.03814" target="_blank" rel="noopener">source</a>.
Figure 3 : (a) Des capteurs récupèrent des données physiques, (b) qui sont numérisées puis transformées pour (c) alimenter un modèle de ML pour l’entrainer ou pour fournir une prédiction qui (d) déclenche une action sur le monde physique – source.

Un attaquant peut chercher à corrompre la récupération des données générées par les capteurs physiques ou à modifier leur transformation numérique. Il peut chercher à saboter le modèle prédictif. Enfin, il peut vouloir modifier le résultat en sortie du modèle pour déclencher une action malveillante autre que celle prévue à l’origine.

Quels moyens d’attaque sont utilisés ?

Au moment de la prédiction

Un attaquant peut chercher à induire en erreur un modèle de ML sans pour autant le modifier. Pour parvenir à ses fins il peut par exemple modifier les données en entrée du modèle pour qu’ainsi altérées elles ne ressemblent à aucune donnée utilisée durant l’entrainement. Face à une telle « fake data » le modèle est alors susceptible de prédire n’importe quoi ! Dans certains cas l’attaquant peut tirer parti de cette indétermination pour ajuster ses données empoisonnées et induire les fausses prédictions qu’il souhaite.

Le travail de l’attaquant sera facilité s’il peut récupérer une copie du modèle et étudier en détail son comportement face à des données intentionnellement corrompues. On parle alors d’attaque en boite blanche. Dans le cas contraire, celui d’une attaque en boite noire, l’attaquant devra se contenter d’étudier le comportement du modèle à partir des seules données en entrée et en sortie du modèle, qu’il s’agisse d’un historique qu’il aura pu récupérer ou de données qu’il concocte soigneusement et dont il observe secrètement les prédictions.

Au moment de l’entraînement

Il s’agit cette fois pour l’attaquant de modifier le modèle lui-même. Soit en modifiant directement le modèle original, on parle alors d’une attaque logique, soit indirectement, en modifiant les données d’entraînement. Ces modifications peuvent consister en des altérations des données d’entraînement originales ou en un empoisonnement par de fausses données que l’on rajoute.

Pour certains algorithmes élémentaires, l’ajout de quelques données empoisonnées judicieusement choisies peut modifier substantiellement les prédictions de l’algorithme comme l’illustre la figure 4.

Figure 4 : Les algorithmes de classification binaires SVM fonctionnent en séparant deux populations avec un couloir aussi large que possible. Il suffit par conséquent de rajouter quelques points (en jaune) dans la bande séparatrice pour fausser complètement les prédictions.
Figure 4 : Les algorithmes de classification binaires SVM fonctionnent en séparant deux populations avec un couloir aussi large que possible. Il suffit par conséquent de rajouter quelques points (en jaune) dans la bande séparatrice pour fausser complètement les prédictions.

Quels sont les buts de l’attaque ?

L’un des objectifs possibles pour un attaquant, on l’a déjà évoqué, est de compromettre l’intégrité d’un modèle (ou des données d’entraînement) pour induire de fausses prédictions.

Un autre objectif pourrait être de compromettre la confidentialité des données d’entraînement (penser à des données médicales par exemple) au moyen d’une forme de rétro-ingénierie astucieuse à partir des prédictions.

Enfin, si le modèle entraîné constitue un élément de propriété intellectuel important, c’est la confidentialité du modèle lui-même qui peut être visée par une attaque. Voler un modèle entraîné permet en effet à l’attaquant d’économiser le travail de conception du modèle, le coût souvent très important lié à la construction du jeu de données d’entraînement et le coût du calcul d’entraînement lui-même.

4. Pourquoi les idées (trop) simples ne marchent pas

Dans cette section nous décrirons brièvement deux problèmes de sécurité spécifiques au ML qui n’ont pas trouvé de solution satisfaisante à ce jour. Nous expliquerons également pourquoi les parades de simple bon sens ne peuvent suffire.

Le premier, désigné par le terme « Adversarial Examples » (AE), constitue un exemple de corruption intentionnelle des données en entrée d’un modèle de ML destinée à induire des prédictions erronées. L’exemple du panda subrepticement transformé en gibbon en constitue une bonne illustration. Ce problème est essentiellement ouvert pour l’instant, une compétition Kaggle lui a d’ailleurs a été consacrée récemment.

Le second, désigné par le terme « confidentialité différentielle » (CD), est un mécanisme qui vise à garantir une stricte confidentialité des données d’entraînement. Ce problème possède une solution théorique et est l’objet de recherches actives notamment de la part de Google et d’Apple, grand chantre de la protection de nos vies privées. Le caractère secret de ces travaux fait qu’il est toutefois difficile de savoir s’il existe d’ores et déjà des applications en production de la CD à grande échelle.

Un point commun à ces deux problèmes est l’asymétrie fondamentale qui existe entre une procédure de test et une démarche de vérification d’un modèle. En effet, un test quel qu’il soit ne pourra, au mieux, que révéler l’existence de bugs de sécurité d’un modèle mais en aucun cas il ne pourra garantir leur absence. Cette garantie est précisément l’objet d’une démarche de vérification. Voici donc un exemple où l’approche purement expérimentale tant prisée des data scientist ne pourra jamais suffire ! Seules des résultats mathématiques pourront à terme constituer un socle fiable d’authentiques garanties de sécurité(3).

Un problème ouvert – les « Adversarial Examples »

Un Adversarial Example (AE) est une fausse observation, obtenue par altération d’une vraie observation, qui est mal classée par un algorithme ML de classification.

Pour mieux comprendre la nature du problème des AE imaginons que notre algorithme de ML ait à classer des photos de chiens et de chats. Supposons que chaque photo ait une résolution de 1280 X 1024 pixels codés sur 8 bits si bien qu’il faudra 1’310’720 nombres compris entre 0 et 255 pour en décrire une. Notre algorithme doit par conséquent classer des objets que l’on peut concevoir comme des points d’un espace E à 1.3 millions de dimensions. Si l’on choisit au hasard l’un de ces points dans E, l’image correspondante ressemblera le plus souvent à ça :

Figure 5 : une image complètement aléatoire
Figure 5 : une image complètement aléatoire

et beaucoup plus rarement à un chat persan ou à un Rottweiler. Une image de chien ou de chat peut cependant être décrite de manière beaucoup plus économique qu’en spécifiant laborieusement chacun des 1.3 millions de pixels, probablement qu’une vingtaine de paramètres suffisent : le “type de poils”, le “rapport “longueur/hauteur”, la “taille des oreilles”, la “longueur des pattes” etc. Pour se représenter intuitivement où se trouvent ces images d’animaux dans notre espace E on peut donc imaginer qu’elles sont localisées sur une « surface » A de dimension très faible, correspondant à cette vingtaine de paramètres, immergée dans l’espace E de toutes les images, comme l’illustre la figure 6.

Les images avec lesquelles notre modèle a été entrainé sont donc toutes localisées sur A et ses prédictions ne seront fiables qu’à condition de nous restreindre aux points de A pour les images à classer. En dehors de A une majorité d’algorithmes (dont les réseaux de neurones) se contenteront de faire une extrapolation simple (souvent linéaire) mais totalement dépourvue de sens des prédictions qu’ils font sur A. Tout le problème est là !

Figure 6 : Les points qui correspondent à des images de chiens et de chats sont localisés sur une surface <em>A</em> de faible dimension immergée dans un espace <em>E</em> de très grande dimension.
Figure 6 : Les points qui correspondent à des images de chiens et de chats sont localisés sur une surface A de faible dimension immergée dans un espace E de très grande dimension.

Un algorithme de ML sait reconnaître un chien d’un chat parmi les vraies photos de chiens et de chats mais pas parmi n’importe quelle image !

Un attaquant peut donc mettre à profit cette indétermination en choisissant un point légèrement en dehors de A qui engendrera la prédiction qui l’arrange. En fait les prédicteurs m issus de l’entraînement de réseaux de neurones prédisent le plus souvent des probabilités : si l’image x représente un chien, le prédicteur m prédira par exemple m(x ; « chien ») = 0.98… et m(x ; « chat ») = 0.02… etc. Si l’attaquant possède une copie conforme du modèle et qu’il souhaite prédire « chat » plutôt que « chien », il peut examiner dans quelles directions v, pointant hors de A, la probabilité des chats augmente le plus rapidement jusqu’à ce que m(x + v ;« chat ») > 0.75 par exemple. On peut montrer que dans des espaces de très grandes dimensions comme E, de très faibles perturbations v suffisent.

Tentative de parade par masquage du gradient

On peut tenter de compliquer la vie d’un attaquant potentiel en construisant des modèles qui prédisent directement le nom de l’animal plutôt que des probabilités. Comme le label m(x) = « chien » ne variera pas dans tout un voisinage d’une vraie image de chien (on masque le gradient), un attaquant ne pourra plus déterminer aussi aisément dans quelle direction v se diriger pour obtenir m(x + v) = « chat ».

Hélas (pour les honnêtes gens) cette parade n’est qu’illusoire ! L’attaquant peut en effet se contenter d’entrainer un modèle probabiliste de substitution m’ qui reproduit les prédictions du modèle masqué m. Sur ce modèle m’ il peut alors examiner dans quelle direction v se diriger pour parvenir à ses sombres fins. Il utilise ensuite l’AE x + v pour tromper m. L’expérience montre que cette nouvelle attaque fonctionne le plus souvent.

Tentative de parade par l’Adversarial Training

On dispose aujourd’hui de mécanismes efficaces pour générer des AE en grande quantité. Une idée pourrait donc consister à utiliser ce surplus de données artificielles pour augmenter les données d’entraînement et améliorer la robustesse de notre modèle m en exigeant que tous les AE x’ situé dans un voisinage d’un point x authentique soient classés dans la même catégorie m(x’) = m(x) = « chien », par exemple. Cette augmentation des données s’appelle Adversarial Training. On augmente ainsi la robustesse de m vis-à-vis des perturbations artificielles que l’on a inclus explicitement parmi les données l’entraînement. Schématiquement on a épaissi la surface A des « animaux » à une A’ d’ « animaux perturbés » comme l’illustre la figure 7.

Figure 7 : En incluant les AE dans l’ensemble d’entraînement on a « épaissi » la surface originale A dans un certain nombre de directions (une seule ici) pour former A’.

Cette stratégie a été mise à l’épreuve sur plusieurs exemples et a démontré qu’il est effectivement possible d’augmenter la robustesse d’un classifieur face à certains AE. Malheureusement cette stratégie s’apparente à une fuite en avant car, même avec des générateurs efficaces d’AE, il ne sera jamais possible d’en générer un ensemble représentatif complet. Ils sont tout simplement trop nombreux, il restera toujours des trous dans la raquette ! Si un chien ou un chat sont probablement représentable avec quelques dizaines de paramètres, il faut se souvenir que les points qui correspondent aux AE dans l’espace E remplissent eux plus d’un million de dimensions !

Rappelons que l’hypothèse de base du ML est que l’on dispose pour l’entraiment du modèle d’un jeu de données assez dense des objets pour lesquels on souhaite faire des prédictions.

Une parade contre tous les AE exigerait donc de disposer, en plus des exemples d’objets à classer, d’un ensemble dense des « non-objets ».

Ces remarques spéculatives sont pour l’instant très loin d’un raisonnement scientifique dûment étayé. Elles devraient cependant nous inciter à nous préparer à l’idée que le ML dans sa forme actuelle possède peut-être des limites fondamentales qu’il est vain de vouloir contourner.

Un problème résolu en théorie – la confidentialité différentielle

Alors que les Adversarial Examples représentent un problème ouvert qui concerne la robustesse des modèles de ML, la confidentialité différentielle (CD) est une solution pour l’instant théorique à un autre problème : celui de la confidentialité des données d’entrainement.

Rappelons (voir la section 2) que plus une relation entre des variables prédictives et une cible à prédire est complexe, plus le volume de données nécessaires à l’entraînement du modèle est important. C’est le cas par exemple de données nécessaires à l’entraînement d’un modèle d’aide au diagnostic médical. Se pose alors la question de la confidentialité, comment en effet récupérer autant d’informations tout en garantissant de manière stricte l’anonymat des individus auxquels elles sont associées ?

Tentative de parade par anonymisation des données

La première solution qui vient spontanément à l’esprit est l’anonymisation des données d’entrainement. Cette parade s’avère cependant très inefficace car le croisement de données anonymisées avec d’autres données qui ne le sont pas permet trop souvent d’en désanonymiser une bonne partie. L’exemple classique est celui de Netflix qui a publié en 2007 un échantillon anonymisé de sa base clients pour la mettre à disposition de la communauté des data scientist dans le cadre d’un concours dont l’objectif était d’améliorer le système de recommandation existant. Pour démontrer la faiblesse de la procédure de cryptage utilisée par Netflix des chercheurs ont démontré qu’il était possible de retrouver les noms et même l’affiliation politique de 68% des clients en croisant les données anonymes avec celles, nominatives, de la base publique IMDb. Il leur a suffi pour cela de recouper les dates d’évaluation des films dans les deux bases et de dénicher des similitudes même partielles entre les notations de films. Suite à une plainte fédérale, Netflix décida de se rétracter et de mettre fin au concours pour cause d’atteinte à la vie privée.

Tentative de parade par confidentialité différentielle

La confidentialité différentielle (CD) est une technique cryptographique encore en phase de développement qui cherche à apporter une parade définitive aux faiblesses d’une simple anonymisation. Permettre une analyse statistique précise d’un ensemble de dans sa globalité (ce que fait le ML) tout en garantissant mathématiquement qu’aucune donnée individuelle ne puissent être révélée tel est l’objectif de la CD.

L’idée de base de la CD est aisée à saisir à l’aide d’un exemple. Supposons que l’on souhaite sonder une population sur un sujet délicat comme savoir si une personne a déjà commis un crime. Pour créer la confiance auprès des participants à une telle enquête la clé consiste à leur garantir la réfutabilité de leur réponse. Pour cela on procède de la façon suivante. On demande à chaque participant de jouer à pile ou face. A ceux qui ont tiré pile on demande de répondre en disant la vérité quant à leur participation à un crime. A ceux qui ont tiré face on demande en revanche de répondre au hasard en tirant à nouveau à pile ou face. Une personne ayant avoué un crime pourra par conséquent toujours prétendre qu’elle faisait partie du groupe à qui on a demandé de répondre au hasard : sa réponse est donc réfutable par construction. Si p représente la proportion de personnes ayant effectivement commis un crime et poui la proportion de personnes ayant répondu « oui » on voit que poui = 1/2 (1/2 + p) qui permet de calculer p à partir de poui.

Une définition plus rigoureuse de la CD formule des conditions sur le fait que l’appartenance ou non d’un individu à un échantillon a si peu d’influence sur le calcul des paramètres d’un modèle que l’on ne pourra jamais rien déduire à propos de cet individu.

En fait on démontre que toute technique de CD demande de choisir un compromis entre la précision de l’estimation statistique d’un paramètre et le risque de pouvoir récupérer des informations individuelles. Même si les fondements théoriques de la CD semblent aujourd’hui bien compris, le diable est dans le détail des implémentations. Sur ce sujet des informations contradictoires circulent sur les sociétés qui font déjà usage de la CD. Voici un article très critique et en voici un autre beaucoup plus positif.

5. Le ML – une forme encore très rudimentaire d’IA

La multiplication des usages du ML ces dernières années à faire apparaître des difficultés et des limitations potentielles dont certaines étaient jusque-là insoupçonnées. Tous les sujets que nous avons évoqués, qu’il s’agisse de garantir la robustesse des algorithmes de ML vis à vis de perturbations ou de la confidentialité des données d’entraînement, rien n’empêche à ce stade d’espérer que ces problèmes seront un jour surmontés, aussi bien d’un point de vue fondamental que dans les applications pratiques. Cependant on ne peut pas non plus exclure que certaines difficultés soient les symptômes d’impossibilités de principe qui sont des obstructions mathématiques et non pas de simples limitations technologiques. L’hypothèse n’a rien d’extravagante et des précédents existent dans d’autres secteurs de l’informatique. Ainsi sait-on par exemple qu’il n’existe aucune méthode pour vérifier si un programme informatique ne se termine jamais, une découverte faite en 1936 par le père de l’informatique Alan Turing.

Si tel devait être le cas il faudrait en tirer les conséquences sans trop d’atermoiements. L’une d’elles pourrait être que le ML, conçu comme une méthode d’apprentissage statistique, pourrait être inapproprié pour certaines applications critiques. A moins de parvenir à combler ses lacunes par d’autres mécanismes de sécurité. Une autre, plus enthousiasmante pour la recherche en IA, consisterait à reconnaître que le ML statistique n’est somme toute qu’une forme très rudimentaire d’IA capable au mieux de découvrir certaines associations ou de reconnaître certaines formes. Certaines de ces associations sont fort d’ailleurs fort complexes comme celles qui relient par exemple une image et sa description textuelle. Pourtant, l’on sent bien que l’intelligence au sens large possède d’autres attributs qui vont bien au-delà de cette simple reconnaissance de forme. Le fait, troublant, que le cerveau humain ne se laisse nullement duper par les fameux Adversarial Examples qui empoisonnent le ML suggère que notre cortex n’utilise pas de ML pour distinguer un chien d’un chat. À ce titre le terme « learning » est trompeur car selon toute vraisemblance nous n’apprenons pas à la manière d’un algorithme de ML statistique. Nous utilisons une forme de compréhension du monde et des phénomènes qui échappe complètement au ML dans sa formulation statistique actuelle. Nous n’avons pas besoin de voir 10’000 chats pour en comprendre ce concept, quelques exemplaires suffisent !

Un prochain article sera consacré à présenter quelques-unes des pistes que poursuivent aujourd’hui les chercheurs en IA pour tenter d’insuffler aux machines une compréhension du monde qui dépasse le simple pattern recognition du ML. So stay tuned!

Notes

  1. Le plus utilisé est la descente de gradient stochastique. Les progrès récents du ML et du Deep Learning en particulier sont dus, entre autres, à la découverte d’algorithmes capables de trouver rapidement une telle courbe optimale parmi des courbes définies par des centaines de millions de paramètres !
  2. En jouant sur le nombre de paramètres du modèle et sur les contraintes qu’ils doivent vérifier.
  3. Ce propos mérite cependant d’être nuancé. En effet une grande partie des mécanismes de cryptographie actuels reposent sur des conjectures (notamment sur la conjecture P≠NP) plus que sur des théorèmes démontrés. Mis dans le contexte du présent article, on peut cependant estimer qu’il s’agit là de garanties théoriques très solides qui font pour l’instant défaut au ML.

Références

L'Intelligence Artificielle,
au-delà des clichés

Livre blanc
Comprendre pour décider
Découvrez l'Intelligence Artificielle pour l'intégrer dès maintenant à vos enjeux stratégiques !
Téléchargez gratuitement

Les informations recueillies sur ce formulaire sont enregistrées dans un fichier informatisé de gestion des Clients et Prospects (CRM).

Le Responsable de traitement est la société weave, 37 rue du rocher 75008 Paris RCS Paris 802 396 085.

Elles sont destinées à l’activité marketing du groupe weave ainsi quà celle de ses filiales, à l’exclusion de tout transfert hors de l’UE. Elles sont conservées pour une durée conforme aux dispositions légales (par exemple 3 ans pour les données prospects).

Ce traitement nécessite votre consentement que vous pourrez retirer à tout moment sans que cela ne remette en cause sa licéité.

Conformément à la loi « Informatique et Libertés » et au règlement européen n°2016/679, vous bénéficiez d’un droit d’accès, de rectification ou d’effacement, ainsi que d’un droit à la portabilité de vos données ou de limitation du traitement. Vous pouvez également pour des raisons tenant à votre situation particulière, vous opposer au traitement de vos données et donner des directives relatives à la conservation, à l’effacement et à la communication de vos données après votre décès. Vous disposez également du droit d’introduire une réclamation auprès de la Commission Nationale de l’Informatique et des Libertés (www.cnil.fr).

Vous pouvez exercer vos droits en nous contactant à l’adresse vosdonnees@weave.eu.

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour mesurer notre audience, vous proposer des contenus et des offres personnalisées, ainsi que des fonctionnalités de partage sur les réseaux sociaux. En savoir plus sur notre politique de cookies et notre charte des données personnelles