tensorflow 线稿上色_线稿自动上色

2020-10-06 07:55:35 标题分类:经典美文 关键词:tensorflow 线稿上色 阅读:8

    
                    

                    

                    
                    
                    

向AI转型的程序员都存眷了这个号????????????

机械练习AI算法工程? 公家号:?datayx


AI社区正式上线!

间接接见????

????????????????????????????????????????????????? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? AI图谱,一个全新的IT技巧分享社区


动漫线稿上色

当我们谈到「上色」时,在人工智能语境里这意味着将线稿的派头转换为彩色漫画派头,其关键之处在于:

1. 让我们间接在纯线稿上天生彩色草图。这意味着艺术家们没必要再在线稿上到场高亮或暗影。这一部份非常具有挑战性。近期的 paintschainer 专注于提高暗影部份的体现,我们给出了本身差别的解决方案,我们对新方式的机能非常有信念。

2.「上色」会将线稿派头迁徙为彩色丹青。丹青和上色的线稿图,当中的区分在于暗影和纹理。在高质量的彩色漫画中,女人脚色的眼镜应当像星光一样闪灼,面颊泛红,皮肤精致,我们尽最大的勤奋来提高这些部份——而不单单专注于添补色彩。

最大进献

1. 最高准确度

Stylepaints2 的开发者示意其推出的对象有着准确率最高的色彩提醒笔,这类被称为「神经提醒笔(neural hint pen)」的对象联合了色彩挑选器和简朴的钢笔对象。艺术家可以挑选色彩并在线稿的任何部位到场色彩提醒。绝大多数业内最好的神经收集上色对象都有类似的对象。纵观今朝的全部动漫上色对象(Paintschainer Tanpopo、Satsuki、Canna、Deepcolor、AutoPainter(存疑)),Stylepaints2 的笔对象具有最高的准确度。在最具挑战性的情况下,艺术家乃至能在 1024×2048 分辨率的丹青上利用 3×3 的提醒笔节制 13×13 地区的色彩。对于更大的区块,3×3 像素点的提醒乃至可以节制半张画幅的色彩。这是一个非常具有挑战性的设想,这也意味着该对象是面向专业用处的(与此同时,其他上色方式的提醒笔对象更偏向于喧闹的提醒,对于准确性掌握不佳)。

2. 最天然的派头

当提到「天然」的时分,我们的意义是在练习历程中不到场任何人工拟定的规矩,假如你认识 pix2pix 或 CycleGAN,你就会认识打听这些典范方式都会到场一些分外的规矩以确保天生图象的高质量。比方,pix2pix(或 HQ)会向练习目的到场一个 l1 丧失函数(或一些深度 l1 丧失),同时判别器领受 [input,training data] 和 [input, fake output] 对。尽管此前的版本中 Stylepaints 利用了这些方式,但新版本中练习是地道无监视,且完全无条件的。在练习时,开发者未到场强迫神经收集为草图上色的规矩,但神经收集自行从输入图片中练习到了上色的方式,如此的历程让判别器愈加难以辨认。终究的练习目的与典范的 DCGAN 完全雷同,没有其他任何物品,同时判别器也不会收到 pairs。在神经收集非常深的情况下,这类体式格局非常难以收敛。

3. 最和谐的派头

对我们大多数人来讲,绘画是非常难题的,这也就是为甚么我们会对照钦佩艺术家。一位良好艺术家的最关键妙技就是为绘画挑选和谐的色彩。大多数人都不晓得在绘画范畴中有十多种蓝色,而且尽管这些色彩被称为「蓝色」,但它们之间的差别会对绘画了局发生庞大的利用。设想一下,假如非专业用户运转着色软件,而软件向用户揭示 20×20=400 的庞大调色板,并向用户扣问「你需求哪种图象呢?」我很肯定这些非专业用户将不克不及挑选最好的色彩。可是这对 STYLE2PAINTS 来讲并不是甚么成绩,由于用户能上传参考图象(或称为派头图象),然后用户能间接在图象上挑选色彩,神经收集随后会依照这些图象和提醒的色彩主动为新图象上色。这类色彩和谐的着色对于非专业职员来讲是友爱的。在全部的人工智能动漫绘画智能体中,我们的方式是独一带有这类和谐特点的模子。

动漫派头迁徙

是的,这就是一种动漫派头迁徙。我不肯定我们是否是第一个做这类迁徙,可是我肯定假如你需求一种动漫绘画的迁徙方式,你在网上搜一圈后会终究发明我们的 STYLE2PAINTS 是最好的挑选,事实上它也是独一的挑选。很多来自亚洲的论文讲明他们曾经可以迁徙动漫绘画派头,可是假如你认真查阅他们的论文,你就会发明所谓的新方式实在就是对 VGG 实行调参。于是,上面我们展现了模子的实在情况:

全部基于 ImageNet VGG 的迁徙方式在动漫绘画中机能并不敷良好。

全部基于 Anime Classifier 的方式也都不敷良好,由于我们并没有像 ImageNet 那样的动漫数据集。假如你在 Illustration2vec 或别的一些动漫分类器上运转一些 gram 矩阵优化器,你能取得的只要一个完美的 Gaussian Blur Generator,由于全部当前的动漫分类器在特点练习上做得并欠好。

由于上面两条,当前全部基于 gram 矩阵、马尔科夫随机场、矩阵范数和深度特点 patchMatch 的方式在动漫上机能都不敷好。

由于上面三条,全部前馈的快速迁徙方式在动漫上都不敷良好。

GAN 也可以做派头迁徙,可是我们需求用户上传特定的派头,而不是挑选 Monet/VanGogh。

但荣幸的是,我们想法完成了当前版本的利用,而且对它也非常有信念。读者可以实验这个利用或检察该模子的源代码:

利用地点:

模子地点:

留意,有些预览的动漫线稿图并不是我们遴选的,我们间接利用了 Paintschainer 来提高线稿图结果。假如你们取得的了局不太好,那末你可以在 Reddit 上辩论。

Reddit地点:

说一点技巧上的工作:

不晓得是甚么时分可以的,对于图象处理产生了一个套路,就是用 ResNet 堆砌收集深度,然后就可以量产出论文,近来有很多类似的作品。Style2paints 的模子内里没有 ResBlock。研究职员利用的是非常合适线稿上色的一种 Inception 变体。

GitHub 链接:

间接利用:

教程视频:

tensorflow 线稿上色_线稿主动上色

tensorflow 线稿上色_线稿主动上色

tensorflow 线稿上色_线稿主动上色

tensorflow 线稿上色_线稿主动上色

我们需求 Python 3.5/3.6 的情况

pip install tensorflow_gpu

pip install keras

pip install bottle

pip install gevent

pip install h5py

pip install opencv-python

pip install scikit-image

git clone

(then download all pretrained models from 'release' page and then decompress them to 'style2paints/server')

cd style2paints/server

python

模子

练习数据集

1. 保举的练习数据集是来自 nico-opendata 的 400k 张图象:https://nico-

2. 保举的线稿图练习方式可以挑选 sketchKeras:


浏览过本文的人还看了以下:

持续更新资源

深度练习、机械练习、数据分析、python

?搜刮公家号添加:?datayx??

长按图片,辨认二维码,点存眷

tensorflow 线稿上色_线稿主动上色

linkad

联系电话:无 联系邮箱:1390477380@qq.com 客服QQ:1390477380

尊龙d88app官方下载 -尊龙d88现金o来就送38