Dans de nombreux contextes de sécurité, on ne dispose pas de données labellisées — ou pas en quantité suffisante pour entraîner un modèle supervisé classique. C’est précisément le terrain de l’apprentissage auto-supervisé : trouver des méthodes pour construire une supervision sans étiquettes humaines, en exploitant les régularités propres au domaine étudié.
Trois usages fréquents
L’apprentissage auto-supervisé et non supervisé se prête à trois usages récurrents : le clustering, qui regroupe des observations similaires sans connaître à l’avance leurs classes ; la réduction de dimension, qui compresse une représentation à haute dimension en préservant l’essentiel de sa structure ; et la représentation des données, qui vise à apprendre un espace vectoriel dans lequel des observations sémantiquement proches restent proches géométriquement.
Sur du texte, l’apprentissage auto-supervisé exploite la structure même du langage — prédire un mot masqué à partir de son contexte, par exemple, ne requiert aucune étiquette externe : le texte porte en lui-même sa propre supervision.
Distinguer l’outlier de la nouveauté
Un point de vocabulaire mérite d’être fixé avant d’aller plus loin : un outlier (valeur aberrante) et une novelty (nouveauté) ne relèvent pas de la même détection. La détection d’outliers s’appuie sur des algorithmes non supervisés, appliqués sur un jeu de données susceptible de contenir déjà des anomalies. La détection de nouveauté s’appuie plutôt sur des algorithmes semi-supervisés, entraînés sur un jeu de données réputé « propre », pour repérer ensuite ce qui s’en écarte à l’usage.
NOTE
En détection de nouveauté, les éléments nouveaux peuvent eux-mêmes former des clusters denses — une nouveauté n’est pas nécessairement un point isolé, elle peut être un phénomène émergent cohérent en lui-même (une nouvelle campagne d’attaque, par exemple, présente souvent une signature homogène).
Un cas d’usage : la détection de DDoS
La détection d’une attaque par déni de service distribué illustre bien l’intérêt de cette distinction. Le trafic réseau normal constitue la base d’apprentissage ; une attaque DDoS, en tant que phénomène nouveau et massif, se présente précisément comme une nouveauté à détecter — non comme un simple point aberrant isolé dans un flux par ailleurs inchangé.
Les modèles de référence
Plusieurs familles de modèles se prêtent à ces tâches : One-Class SVM, qui apprend la frontière d’une seule classe « normale » pour rejeter tout ce qui en dévie ; Local Outlier Factor (LOF), qui mesure la densité locale d’un point par rapport à ses voisins ; Isolation Forest, qui isole les anomalies en tirant parti du fait qu’elles se séparent plus rapidement du reste des données lors d’un partitionnement aléatoire récursif ; et les autoencodeurs, qui apprennent à reconstruire fidèlement les données normales, une erreur de reconstruction élevée trahissant alors une anomalie.
Les embeddings au service de l’auto-supervision
Le word embedding lui-même est un exemple paradigmatique d’apprentissage auto-supervisé : construire une représentation vectorielle des mots ne demande aucune annotation humaine, seulement l’exploitation de la co-occurrence textuelle. Le principe se généralise au-delà du texte : un AutoEmbedder entraîne une couche de plongement pour n’importe quelle tâche non supervisée, en tirant parti de la structure interne des données — qu’elles soient textuelles, tabulaires, ou binaires, comme dans l’approche de détection de malware par transformation en image.