Supprimer l'arrière-plan d'une photo

Supprimer un arrière-plan signifiait autrefois soit une sélection manuelle minutieuse dans un éditeur d'image, soit une installation en fond vert qui donnait au logiciel une couleur uniforme et facile à détourer — aucune de ces deux méthodes ne fonctionne pour une photo ordinaire avec un arrière-plan normal et encombré. L'approche utilisée par cet outil repose plutôt sur un réseau de neurones entraîné sur un très grand nombre de photos annotées manuellement pour indiquer précisément où le sujet se termine et où l'arrière-plan commence, jusqu'à ce que le réseau apprenne à reconnaître les motifs visuels — contours, indices de profondeur, formes typiques de sujets — qui séparent généralement un sujet au premier plan de ce qui se trouve derrière lui. Face à une nouvelle photo qu'il n'a jamais vue, le modèle produit un masque : une estimation, pixel par pixel, de la mesure dans laquelle chaque point appartient au sujet plutôt qu'à l'arrière-plan, qui sert ensuite à rendre l'arrière-plan transparent.

Il s'agit fondamentalement d'une prédiction statistique, pas d'un calcul géométrique, ce qui explique à la fois pourquoi cela fonctionne remarquablement bien sur des photos courantes et pourquoi un contour ambigu se trompe encore occasionnellement — le modèle estime une frontière qui ne lui a jamais été donnée explicitement, à partir de tout ce qu'il a appris de millions d'autres photos, sans jamais la mesurer avec certitude.

Jusqu'à récemment, une tâche aussi lourde en calcul — faire tourner un vrai réseau de neurones sur une photo en pleine résolution — signifiait envoyer l'image à un serveur doté d'un GPU et attendre une réponse, ce qui reste la façon dont fonctionnent la plupart des services de suppression d'arrière-plan aujourd'hui. Deux avancées techniques ont changé la donne : WebAssembly, qui permet à du code normalement compilé et exécuté nativement de tourner dans un navigateur à une vitesse proche du natif, et les modèles quantifiés — des versions du même réseau de neurones compressées pour utiliser des nombres internes plus petits et moins précis, échangeant une légère perte de précision contre une taille de fichier nettement plus petite et une exécution plus rapide. Ensemble, ils rendent réaliste l'idée de livrer un vrai modèle d'IA fonctionnel jusque dans un onglet de navigateur et de le faire tourner sur l'appareil qui se trouve devant l'utilisateur, plutôt que sur un serveur aux spécifications connues et maîtrisées à l'avance.

Exécuter le modèle localement implique un vrai téléchargement la première fois que cet outil est utilisé — plusieurs dizaines de mégaoctets pour le modèle et son environnement d'exécution — ce qui représente un profil de coût réellement différent d'un outil qui se contente de manipuler des pixels déjà présents dans votre navigateur avec quelques kilooctets de JavaScript. Ce coût achète un bénéfice réel et concret : la photo elle-même n'est jamais transmise nulle part, ce qui compte aussi bien pour une photo personnelle que pour une image produit sous embargo, et cela signifie que l'outil continue de fonctionner sans aucune connexion internet une fois le modèle chargé. Que cet échange — un téléchargement initial plus lourd contre une image qui ne quitte jamais l'appareil — en vaille la peine dépend de ce que coûterait autrement l'alternative en matière de vie privée, et pour la plupart des gens qui téléversent une photo vers un outil de suppression d'arrière-plan, c'est un échange qui mérite largement d'être fait.