强化学习与计算机视觉研究.

在担任本科研究助理期间,我做了大量关于强化学习和计算机视觉的研究。
其中,已收集到三个具有公开代码的项目。

01

强化学习 · 图神经网络

2018.09–2021.06 · 本科生研究助理

路径搜索示例

使用强化学习创建TSP路径的图模型

我实现了基于图模型的 TSP 搜索程序,通过强化学习选择下一个插入路径的城市。

Reinforcement learningStructure2VecDeep Q-learningGraph neural networkTensorFlowNumPy

直接执行的工作

基于参考论文中的图表示和Q学习思想,我实现了连接TSP环境、模型、学习循环和插入规则的实验代码。

成果

我编写了一个搜索程序:把城市的位置、距离和访问状态作为图输入,并用插入启发式把模型选出的城市加入路线。用公开代码与基线进行对比实验时,我也找出了学习未能正常起作用的原因。

  • 步骤2 AI城市选择+启发式路线插入
查看研究
02

计算机视觉 · 图像分类

2021·本科生研究生

Fashion-MNIST 预测示例

使用 ResNet 对服装照片进行分类的模型

我训练了将 K-Fashion 服装照片分为连衣裙、外套、裤子和上衣的模型,并分析了各类别的错误。

TensorFlowResNet50V2Class imbalanceError analysis

直接执行的工作

使用 ResNet50V2 和特定类别的采样和评估流程实现了服装分类训练代码,并使用混淆矩阵分析了误分类情况。

成果

搭建了将 K-Fashion 照片分为连衣裙、外套、裤子和上衣的训练与分析流程。之后在公开数据集 Fashion-MNIST 上逐一调整设置,分别确认了数据增强和捷径连接对预测的影响。

  • 4种 分类:连衣裙 · 外套 · 裤子 · 上衣
查看研究
03

计算机视觉 · 虚拟穿戴

2021·本科生研究生

姿态/人体解析预处理示例

虚拟试穿应用,用于为肖像装扮

我实现了 Android 应用与服务器之间的流程:用户选择人物照片和服装后,服务器返回虚拟试衣图像。

PyTorchVirtual try-onHuman parsingFlaskAndroid

直接执行的工作

已配置虚拟穿戴模型所需的输入预处理和服装遮罩,并将 Flask 上传 API 与 Kotlin 和 Retrofit Android 客户端连接起来。

成果

我创建了一个集成工作流程,该流程接收人像照片和选定的服装,进行预处理,生成服装搭配图像,并将结果返回给应用程序。生成模型以及姿态和身体解析模型均已复用,而直接实现的部分包括输入配置、掩码处理以及服务器和应用程序之间的连接。

  • 步骤3 预处理 → 生成虚拟试衣图像 → 返回应用
查看研究

现在处理几何体和制造。

表征学习和误差,是我本科研究期间感兴趣的主题。分析
如今已扩展到三维形状数据的加工特征识别和 CAD/CAM 自动化。

最近研发项目