Удаление фона

Раньше удаление фона означало либо кропотливое ручное выделение в графическом редакторе, либо съёмку на хромакее, которая давала программе простой однородный цвет для вырезания, — ни то ни другое не подходит для обычной фотографии с обычным, захламлённым фоном. Вместо этого используемый здесь подход — нейросеть, обученная на огромном количестве фотографий, на которых вручную было размечено, где именно заканчивается объект и начинается фон, пока сеть не научилась распознавать визуальные закономерности — края, признаки глубины, типичные формы объектов, — которые обычно отделяют объект переднего плана от того, что находится позади него. Получив новую, ранее не виденную фотографию, модель строит маску: для каждого пикселя оценку того, насколько он относится к объекту, а не к фону, — и эта оценка затем используется, чтобы сделать фон прозрачным.

По сути, это статистическое предсказание, а не геометрический расчёт, и именно поэтому модель на удивление хорошо справляется с типичными фотографиями, но иногда всё же ошибается на сложных участках границы — она оценивает границу, которую ей никогда не задавали явно, опираясь на всё, чему научилась на миллионах других фотографий, а не измеряет её с полной точностью.

Ещё сравнительно недавно такая вычислительно тяжёлая задача — прогон настоящей нейросети по фотографии в полном разрешении — означала отправку изображения на сервер с видеокартой и ожидание ответа, и именно так до сих пор работает большинство сервисов по удалению фона. Ситуацию изменили две технические разработки: WebAssembly, позволяющий коду, который обычно нужно компилировать и запускать нативно, выполняться в браузере почти с нативной скоростью, и квантованные модели — версии той же нейросети, сжатые за счёт использования внутри менее точных чисел меньшего размера, что позволяет обменять небольшую долю точности на значительно меньший размер файла и более быстрое выполнение. Вместе они делают практически осуществимой доставку настоящей рабочей ИИ-модели во вкладку браузера и её запуск на том устройстве, которое оказалось у пользователя под рукой, а не на сервере с заранее известными и контролируемыми характеристиками.

Запуск модели локально означает реальную загрузку при первом использовании инструмента — десятки мегабайт на саму модель и среду выполнения, — и это совсем другой профиль затрат по сравнению с инструментом, который просто обрабатывает уже находящиеся в браузере пиксели с помощью нескольких килобайт JavaScript. Эти затраты окупаются реальной и значимой выгодой: сама фотография никогда никуда не передаётся, а это важно для чего угодно — от личного снимка до изображения товара под эмбарго, — и это значит, что инструмент продолжает работать вообще без подключения к интернету, как только модель загрузилась хотя бы раз. Стоит ли этот обмен — более крупная разовая загрузка в обмен на то, что изображение никогда не покидает устройство, — того, зависит от того, во что обошлась бы альтернатива с точки зрения приватности, и для большинства людей, которым иначе пришлось бы загружать фото на сервер стороннего инструмента удаления фона, этот обмен явно того стоит.