NVIDIA的研究人员把开创性的神经网路训练技术,用於NVIDIA StyleGAN2模型上,以大都会艺术博物馆所提供不到 1,500 张图片的极小资料集,创造出新的 AI 艺术。
|
图为 StyleGAN2 与 ADA 以大都会艺术博物馆 Collection API 所提供不到 1,500 张图片资料集进行训练而生成的图像 |
NVIDIA的研究人员把开创性的神经网路训练技术用於热门的 NVIDIA StyleGAN2模型上,以大都会艺术博物馆所提供不到 1,500 张图片这麽小的资料集,用新的角度去审视艺术品。他们用 NVIDIA DGX系统来加快训练速度,取材自历史人物肖像,创造出新的 AI 艺术。
这项称为自我调整判别器增强 (adaptive discriminator augmentation; ADA) 的技术,将训练所需的影像数量减少了 10 到 20 倍,却依旧能获得良好的训练成果。
生成对抗网路跟大多数神经网路一样,长期以来始终遵循一个基本原则,也就是训练资料越多,模型品质越好。原因在於每个生成对抗网路都由两个合作的网路组成,一个负责建立合成影像的生成器,还有一个根据训练资料学习逼真影像外观相似程度的判别器。
判别器对生成器进行指导,对它生成的每个像素给予回??,以协助提高合成影像的真实感。然而可供学习的训练资料有限,判别器无法帮助生成器彻底发挥其潜力,就像是一个新手教练所经历过的比赛场次,比经验丰富的专家少得多。
通常要用上五万到十万张影像,才能训练出一个高品质的生成对抗网路。但在多数情况下,研究人员手边根本没有几万或几十万张样本影像可供使用。
如果只用几千张影像来进行训练,许多生成对抗网路会无法产生出极具逼真感的影像。判别器只是单纯记住训练影像,无法提供有用的回??给生成器时,就会出现这个称为过度拟合 (overfitting) 的问题。
NVIDIA Research的ADA方法,能够以自我调整的方式来增强资料,代表在训练过程中不同的时间点调整资料增强量,以避免过度拟合。此举让 StyleGAN2 这样的模型就算使用少一个数量级的训练影像,也能达到同样惊人的效果。
NVIDIA 绘图研究部门??总裁 David Luebke 表示:「这些结果代表人们可以使用生成对抗网路来解决问题,这些问题不是得耗费大量时间来取得海量资料,不然就是难以取得这麽大量的资料。我迫不及待地想看看艺术家、医学专家和研究人员,会把这项技术用在哪些领域。」
这项新方法是NVIDIA研究人员在生成对抗网路创新传统中的最新成果,这些研究人员开发出突破性的生成对抗网路模型,像是 AI 绘画应用程式 GauGAN、游戏引擎模仿程式 GameGAN 及宠物照片变脸程式 GANimal。这些应用程式可以在 NVIDIA AI Playground 上取得。