背景透過ツール

背景を除去するには、これまで画像編集ソフトでの根気のいる手作業の選択か、均一な色をキーで抜けるグリーンスクリーン撮影のどちらかが必要でした — どちらも、雑然とした普通の背景を持つ通常の写真には通用しません。代わりにこのツールが使うのは、被写体がどこで終わり背景がどこで始まるかを人間が手作業でラベル付けした膨大な数の写真で学習させたニューラルネットワークです。ネットワークは、前景の被写体を背後にあるものから一般的に分離する視覚パターン — エッジ、奥行きの手がかり、典型的な被写体の形状など — を認識できるようになるまで学習を重ねています。見たことのない新しい写真を与えられると、モデルはマスクを生成します。これは各ピクセルがどれだけ被写体寄りか背景寄りかをピクセル単位で推定したもので、それを使って背景を透明にします。

これは根本的に統計的な予測であり、幾何学的な計算ではありません。だからこそ通常の写真では驚くほどうまく機能する一方、紛らわしい縁ではときどき間違えるのです — モデルは明示的に与えられたことのない境界線を、他の何百万枚もの写真から学んだすべての知識をもとに確実性なく推定しているのであって、測定しているわけではありません。

つい最近まで、フル解像度の写真に対して本物のニューラルネットワークを実行するというこれほど計算負荷の高い処理は、GPUを積んだサーバーに画像を送って応答を待つことを意味していました — 実際、今も多くの背景除去サービスはその方式のままです。それを変えたのが2つの技術です。1つはWebAssemblyで、本来ならネイティブにコンパイルして実行する必要のあるコードを、ネイティブに近い速度でブラウザ内で実行できるようにします。もう1つは量子化モデルで、同じニューラルネットワークを内部でより小さく精度の低い数値を使うよう圧縮したバージョンであり、わずかな精度と引き換えに劇的に小さいファイルサイズと高速な実行を実現します。この2つが揃うことで、本物の実用的なAIモデルをブラウザタブに配信し、スペックが事前に分かっているサーバーではなく、ユーザーの目の前にあるどんな端末上ででも実行することが現実的になったのです。

モデルをローカルで実行するということは、このツールを初めて使うときに本物のダウンロードが発生することを意味します — モデルとそのランタイムで数十メガバイトです。これは、ブラウザ内にすでにある画素を数キロバイトのJavaScriptで操作するだけのツールとは、根本的に異なるコスト構造です。そのコストは本物の意味あるメリットと引き換えです: 写真自体がどこにも送信されることは決してなく、これは個人的な写真から発表前の商品画像まで、あらゆるものにとって重要です。また、モデルを一度読み込んだ後はインターネット接続がまったくなくてもツールが動作し続けるということでもあります。この取引 — 画像が端末から出ない代わりに大きめの一度限りのダウンロードを受け入れる — が見合うかどうかは、代わりに写真を背景除去ツールにアップロードすることがプライバシー上どれだけのコストになるかによりますが、ほとんどの人にとっては十分に見合う取引です。