登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换

如下图:只要任意输入小姐姐的自拍,就能得到她在二次元的样子了:

登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


对比原图,感觉小姐姐还是那个小姐姐。


一个眼神,一个围笑,都是三次元时的样子没变。


当然,如果你有喜欢的二次元老婆,想看她穿越到现实会是什么样子,也没有问题。只要输入一张她的头像:


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


就生成了逼真的小姐姐。

是不是很神奇,这个算法叫U-GAT-IT,名字也令人神往。重要的是,它是用无监督方法训练的,连成对的数据都不需要。


现在,就一起来看看带给你丰盛福利的究竟是怎么样的吧?


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换

基于U-GAT-IT算法的图像转换



登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


一、项目介绍


U-GAT-IT是属于GAN的一种图像变换模型,图像变换可以应用在多种计算机视觉任务中:图像分割、图像修复、图像着色、图像风格(场景)转换等范畴。


图像到图像的转换到目前为止还是具有一定挑战性的,大多数的工作都围绕着局部纹理间的转换展开的,例如人脸属性变换、画作的风格变换、图像分割等,但是在图像差异性较大的情况下,在猫到狗或者是仅仅是语义联系的图像转换上的表现则不佳的。在这种背景下,实现一个在有多任务下鲁棒的图像转换模型是十分有意义的,因此U-GAT-IT应运而生,正是为了实现多任务下依然保持鲁棒性而设计的。


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


实验环境: Ubuntu18.04、Anaconda3.5.1(Python3.7)、TF1.14、GTX1070

  • 项目目录:


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换

 

二、数据集介绍


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


 Selfie2Anime有两个数据集TrainA、TestA和TrainB、TestB一个是自拍数据集,一个是二次元数据集,都是只选了女性图片。训练集都是3400张,测试集都是100张。数据之间没有配对出现。


三、UGATIT模型介绍


  • U-GAT-IT的亮点:


使用新的Attention机制,能够引导生成器G更关注能够区分源域与目标域的区域,从而使得G的性能能够更好发挥,并让G对图像整体的改变与目标形变有更好的处理能力。

登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


引入新的正则化方式AdaLIN(自适应图层实例归一化).


登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


四、模型训练

python main.py --save_freq 100000  --epoch 50   支持断点继续训练

登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换

 

五、模型测试

python main.py --dataset test100epoch   --phase test

登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换登顶GitHub大热项目 | 非监督GAN算法U-GAT-IT大幅改进图像转换


六、参考文献

U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation


上一篇:JAVA地址通过百度地图API转化为经纬度


下一篇:【Windows Server存储】MBR和GPT分区表