学部生時代には、強化学習とコンピュータビジョンに関する研究を数多く行いました。
その中から、コードを公開している3つのプロジェクトを集めました。
強化学習・グラフニューラルネットワーク
2018.09–2021.06・学部研究生経路探索の例
都市をグラフで表現し、経路へ追加する都市を強化学習で選ぶ探索プログラムを実装しました。
参考文献のグラフ表現とQ学習（Q-learning）のアイデアに基づき、TSP環境、モデル、学習ループ、挿入ルールを統合する実験用コードを実装しました。
都市の位置、距離、訪問状況をグラフとして入力し、モデルが選んだ都市を挿入ヒューリスティックで経路に追加する探索プログラムを作成しました。公開コードでベースラインと比較する実験を行い、学習がうまく機能しなかった原因も突き止めました。
コンピュータービジョン・画像分類
2021年・学部研究生Fashion-MNIST予測の例
K-Fashionの衣類写真をドレス・アウター・パンツ・トップスに分類するモデルを学習し、クラス別の誤りを分析しました。
事前学習済みのResNet50V2を用いた衣類分類の学習コードと、クラスごとのサンプリング・評価フローを実装し、混同行列（コンフュージョンマトリックス）を用いて誤分類を分析しました。
K-Fashionの写真をドレス・アウター・パンツ・トップスに分類する学習・分析パイプラインを作りました。その後、公開データFashion-MNISTで設定を一つずつ変え、データ拡張とショートカット接続が予測に与える影響を切り分けて確認しました。
コンピュータービジョン・バーチャル試着
2021年・学部研究生ポーズ・人体解析の前処理の例
Androidアプリで人物写真と着せたい衣服を選ぶと、サーバーがバーチャル試着画像を返す処理フローを実装しました。
公開されているバーチャル試着モデルに必要な入力前処理と衣類マスクを構築し、FlaskアップロードAPIとKotlin・Retrofit Androidクライアントを接続しました。
人物写真と選択した衣類を受け取り、前処理、試着画像の生成、そしてアプリへの結果の返却までの一連の統合フローを構築しました。生成モデル、ポーズ推定モデル、人体パースモデルは既存のものを再利用し、入力構成、マスク処理、サーバーとアプリ間の連携部分は独自に実装しました。
学部生時代に関心を持っていた「表現学習」と「エラー分析」について、
現在は3D形状データの加工フィーチャ認識やCAD/CAM自動化へと広げています。
