近年来,视频游戏开发人员和计算机科学家一直在尝试设计可以使游戏体验越来越身临其境,引人入胜且逼真的技术。这些方法包括自动创建受真实人物启发的视频游戏角色的方法。
现有的大多数创建和自定义视频游戏角色的方法都要求玩家手动调整其角色的脸部特征,以重现自己的面孔或其他人的面孔中国机械网okmao.com。最近,一些开发人员试图开发一种方法,该方法可以通过分析真实人物的面孔图像来自动自定义角色的面孔。但是,这些方法并不总是有效的,也不总是以逼真的方式重现他们分析的面孔。
Netease Fuxi AI Lab和密歇根大学的研究人员最近创建了MeInGame,这是一种深度学习技术,可以通过分析人脸的单幅肖像来自动生成人脸。在arXiv上预先发表的一篇论文中介绍的这项技术可以轻松地集成到大多数现有3D电子游戏中。
“我们提出了一种自动角色面部创建方法,该方法可以从单个肖像预测面部形状和纹理,并且可以集成到大多数现有的3D游戏中,”进行这项研究的三位研究人员林江科,袁毅和邹正霞说,在他们的论文中写道。
先前作品中介绍的某些自动字符自定义系统基于称为3D可变形人脸模型(3DMM)的计算技术。
尽管发现其中一些方法可以以较高的精确度再现人的面部特征,但是它们表示几何特性和空间关系(即拓扑)的方式通常不同于大多数3D电子游戏中使用的网格。
研究人员设计的技术与游戏中使用的其他方法的比较,例如:《江湖之梦》,《 Loomie,正义》(Shi等人,2020年),《 ZEPETO》。在最后一栏中:通过基于3DMM的方法获得的结果(Deng等人2019)。
为了使3DMM可靠地再现人脸的纹理,通常需要在大型图像数据集和相关纹理数据上对3DMM进行训练。
编译这些数据集可能会非常耗时。此外,这些数据集并不总是包含在野外收集的真实图像,这可能会阻止在其上训练的模型在提供新数据时始终表现良好。
为了克服这个限制,Lin,Yuan和Zou在野外捕获的图像数据集上训练了他们的技术。
研究人员在论文中解释说:“考虑到输入的人脸照片,我们首先基于3D可变形人脸模型(3DMM)和卷积神经网络(CNN)重建3D人脸,然后将3D人脸的形状转移到模板网格中。”纸。“拟议的网络将面部照片和未包裹的粗糙UV纹理图作为输入,然后预测照明系数和精致的纹理图。”
Lin,Yuan和Zou在一系列实验中评估了他们的深度学习技术,将其生成的游戏角色的质量与其他现有的用于自动角色定制的最新方法生成的角色面孔的质量进行了比较。他们的方法表现出色,生成的人物面孔与输入图像中的人物面孔非常相似。
研究人员在论文中写道:“所提出的方法不仅可以产生类似于输入肖像的详尽生动的游戏角色,而且还可以消除光照和遮挡的影响。” “实验表明,我们的方法优于游戏中使用的最新方法。”