スタディ 03 · コンピュータービジョン・バーチャル試着

人物写真に服を着せて試せるバーチャル試着アプリ

2021年・学部研究生

Androidアプリで人物写真と着せたい衣服を選ぶと、サーバーがバーチャル試着画像を返す処理フローを実装しました。

ACGPNと人体解析、ポーズ推定公開モデルを結んだ統合実装

PyTorchVirtual try-onHuman parsingFlaskAndroid

担当した役割と成果

担当する役割: 公開されているバーチャル試着モデルに必要な入力前処理と衣類マスクを構築し、FlaskアップロードAPIとKotlin・Retrofit Androidクライアントを接続しました。
成果: 人物写真と選択した衣類を受け取り、前処理、試着画像の生成、そしてアプリへの結果の返却までの一連の統合フローを構築しました。生成モデル、ポーズ推定モデル、人体パースモデルは既存のものを再利用し、入力構成、マスク処理、サーバーとアプリ間の連携部分は独自に実装しました。

実験結果と試行錯誤

公開コードの実行・VITON-HDテスト画像（CC BY-NC 4.0）・顔はモザイク処理・以下の時間はCPUでの実験値

サーバーのアップロードAPIで試着画像を取得したところ、40着のうち13着でGrabCutの矩形が画像の外にはみ出し、マスクが背景まで広がりました。

問題バーチャル試着モデルでは、人物写真に加え、ポーズ、身体部位、衣類領域の情報を所定の形式で入力する必要があります。
解決公開されている人体パース（セグメンテーション）およびポーズ推定モデルの出力をACGPNの入力形式に合わせ、GrabCutを用いて衣類のマスクを作成する前処理を組み込みました。
問題複数のモデルのファイル入出力は、ユーザーが直接扱うには手順が複雑です。
解決Flask Upload APIは前処理と推論を実行し、結果の画像を返すように設定し、AndroidクライアントをRetrofitにリンクしました。
問題衣類のマスクに背景が混ざると、生成された服と胴体が一緒にぼやけてしまう可能性があります。
補完実験公開コードを実行する中で、GrabCutの初期矩形が画像の境界を越える問題を見つけました。矩形を画像内に収めた比較実験では、マスクIoUの中央値が0.929から0.957に上がりました。

GrabCut正方形エラー
矩形 (1, 1, w, h) が画像の境界を越えており、背景の手がかりが上と左の1列分しかなかったため、40件中13件でマスクが背景にまで広がってしまいました。
3種類の失敗パターン
マスクが背景にはみ出すと胴体がぼやけ、袖の長さを変えると腕に残像が生じ、丈が異なると元の服の模様が裾の下に残ってしまいます。
SSIMの読み方
同じ衣服を再度着せて、オリジナルと比較した値です。衣服の外側部分は入力がそのまま使用されるためスコアが高く、ACGPN論文の値とは比較できません。
データと重み
VITONデータは配布が妨げられ、VITON-HDテストイメージを書き、ACGPNとOpenPoseの重みは非商業研究用に公開されたものです。

最近のプロジェクトに関連する点

異なるモジュールの入出力を整合させて連結する作業は、サーバー側で作成した加工計画をFusion上で実行させる、現在のプロセスと似ています。