【阅读前小贴士】
面部捕捉相关的技术部分的分析比较长(真的很长),想看脸模资料的可以直接下拉。
逻辑仍然不算梳理的最优,后续应该还会有调整。
多图/GIF,杀流量预警
绿色为超链接,点击即可跳转阅读文章/观看视频。
视频参考资料的UP主们收集不易,如果觉得不错可以去B站给他们三连支持。
文字资料来源:经纪公司官网、wiki、IMDb、媒体报道采访、技术科普文章(总之就是一大锅各种菜色打底)
DMC5脸模和配音(动作捕捉)演员是两拨人,他们各自的出演是如何完美地融合到一起的?
相信看完本篇,可以为您解答这个疑问。
CAPCOM这次DMC5的脸模人选是找了英国的模特经纪公司进行的合作,而脸模的资料之前都被福尔摩斯们翻了个底儿掉,大家肯定有相应的了解了。所以本次除了再汇总一下DMC模特队的资料外,更主要的一个方向是放在面部捕捉相关的技术分析上。
还记得在【这篇】里提到过的仔仔这件“袖子坏了也很贵”的大衣吗?
现在可以为您揭晓价格了↓75w円
在之前的【这篇】文章中,简单介绍了面部动作捕捉(Facial Motion Capture)技术理论的由来,它最早是解剖学家提出来的,由FACS——Facial Action Coding System (面部动作编码系统)延展而来。
图 | Paul Ekman group
最早的面部动作捕捉主要依靠机械装置跟踪测量面部运动状况。与人体动作捕捉设备类似,这些面部动作捕捉设备通常由多个关节和刚性连杆组成,关节中装有角度传感器,固定在人的嘴部、眼部等位置。运动产生时,角度传感器可以测的角度的变化,依据连杆的长度计算出固定点在空间中的位置和运动轨迹。
机械式设备的优点是成本低、精度高,可以实时测量。缺点是使用起来不方便,对表演者的表情限制较大。随着技术的发展,机械式面部动作捕捉设备已退出历史舞台。
目前几乎所有的面部动作捕捉设备都基于光学,从数据来源(即光学信息获取设备)上可以分为:
基于二维数据捕捉
面部二维数据及其变化的基础设备是光学镜头。通过算法标记、处理捕捉到的数据,理解人的面部表情及动作,完成虚拟形象的合成。
除数码相机之外,设备也可以是电脑摄像头、手机前置摄像头等移动设备上的摄像头,优点是成本低、易获取、使用方便,缺点是捕捉精度与其他方法相比较低。
FaceRig是一款使用摄像头就能完成虚拟角色构建的软件
基于三维数据
三维数据即在通过光学镜头获取二维数据的同时,通过一定的手段或设备,获取画面的深度。
相机阵列方法
阵列即以一定间距和规则摆放相机,为面部动作捕捉设计的相机阵列通常呈环形。演员需要居于中心点进行拍摄,目的是通过不同视角所获的不同人像,来获取人面部表情及运动的三维数据。
相机阵列的优点是精度高、效果好,缺点是拍摄难度大、设备成本高,演员不能移动,无法在演出的同时使用。
《黑客帝国(The Matrix)》中,Hugo被击打的镜头是由电脑合成的,为了捕捉他的面部表演,五个同步高清摄像机被摆放为环形阵列捕捉他的面部表情,再对皮肤表面、动作变形和环境进行修改和渲染。
结构光方法
结构光是最为常见的获取画面深度的方式。在光学镜头之外会配合红外镜头,有时也需要泛光照明灯、泛光感应元件、点阵投影器等辅助设备,来获取人脸的深度信息。
点阵投影器可以向人脸投射肉眼不可见的光点组成的点阵,脸部的凹凸不平会使点阵形状发生变化,红外镜头可以读取点阵图案,再与前置摄像头拍摄到的人脸通过算法相结合,以获得带有深度信息的面部信息。
iPhoneX的人脸识别使用的是点阵投影器
除了点阵投影,较为常用的方法是在面部绘制或粘贴标记点,帮助进行定位并根据这些点的变化反推动作。
在人脸拍摄条件上,可分为有标记点和面部无标记点两种方式:
有标记点
基于标记点的面部动作捕捉系统较为常见,标记点数量不定,由配套使用的设备及系统决定。面部标记数量最多可能达到350个,需要与高分辨率相机等设备配合使用。
设备通常为头戴式。这些设备可与姿态捕捉系统配合使用,演员的表演过程连贯不受影响。依拍摄场景、实现方式不同,有时也会改由他人辅助手持拍摄。
标记点可以是绘制的,也可以是粘贴的
电影《极地特快(The Polar Express)》及《贝奥武夫(Beowulf)》的拍摄合成,使用的就是这种方法。
无标记点
无标记点方法通常依靠鼻孔、眼角、唇部、酒窝等标志性位置,确定脸部的表情和运动状况,这种方法最早由CMU、IBM、曼彻斯特大学等机构通过使用主观表现模型(AAM)、主成分分析(PCA)等模型及技术实现。
无标记点面部动作捕捉系统也能追踪人的瞳孔、眼皮、牙齿咬合等细节,帮助完成动画合成。有时需要对拍摄到的图像进行人工处理,如对极限表情进行面部勾线等等。
Image Metrics推出的无标记点面部动作捕捉系统曾在《黑客帝国》、《本杰明·巴顿奇事(The Curious Case of Benjamin Button)》中使用。
此后出现的无标记点面部捕捉系统如MOVA、Dynamixyz,都是目前在用的无标记点商用面部动作捕捉系统。
需要注意的是,使用何种设备通常由使用场景决定,有无标记点与使用何种设备之间没有必然联系。
如Faceware的面部动作捕捉系统使用的是头盔式单个相机,没有红外功能,且不需要标记点;推出的Cara解决方案使用了多个相机,需要面部有标记点;Face/Off需要向人脸投影;MOVA系统虽然没有使用标记点,但需要在脸部涂抹特殊的荧光涂料。
MOVA使用的是一种特殊荧光染料,《古墓丽影:崛起》的拍摄时用的是该方法。
虽然随着近些年来数字技术的不断发展,游戏领域所采用的人物面部建模和动作捕捉的方法,早已迭代了不知道多少次。
小岛爸爸是真的牛批↓公费追星追到功成名就第一人(我墙都不扶就服他)
CAPCOM在《生化危机7》中首次使用了摄影测量法(PHOTOTGRAMMETRY)技术,一起来大致地看一下制作流程。
将照片转换为数据并使用软件生成3D数据↓
超高质量的3D模型就此完成,CAPCOM现在可以从照片中创建以前由3D艺术家手工制作的内容。
CAPCOM内部正式组建了3D扫描工作室,购入了150台单镜头反射式数码相机来完成《生化危机7》这个项目,其中的100台相机来制作角色身体、40台用来制作角色面部↓
布置“阵法”↓
用于3D扫描的房间一角
从某种意义上来说,这是一种可以制作出超越人类(手工)所制作的东西的技术。
但是,例如胡子和头发或是羽毛等部分,就是摄影测量法不能很好转换的内容,这种情况下就只能采用传统的手工对建模进行贴图。
摄影测量法还可以用来制作面部表情。“这样不依靠艺术家个人的技术也可以制作出高水准的人物面部表情”CAPCOM3D扫描工作室总监黑籔裕也曾这样评价道。
摄影测量法也适用于面部动画,即创建角色的面部表情。
这个表情以前是无法制作的,然而现在人物抿嘴、或是脸颊微微鼓起的表情,都可以用这个技术进行制作。
皱纹的精细细节是通过扫描产生的。
DMC5在技术上则更进一步,在角色表演上,CAPCOM使用了由塞尔维亚公司3Lateral开发的最新面部动画技术。游戏中的流畅动作均做了相应的动作捕捉,每个部分都会与CAPCOM的RE引擎相结合,最终成功地表现出角色外观、表情和动作的最真实细节。
此外DMC5还使用了一种全新的混合变形技术(Blend Shape)。之前的RE引擎中,脸部肌肉运动的时候,与其相连接的皮肤褶皱的变化是无法生成的。而这次导入了混合变形技术之后,人物脸部肌肉在运动的时候,皮肤就会自然产生褶皱效果。即使是嘴部一个微小的动作,也能细致的表现出整个面部的动态,人物的表情因此会变得非常自然和真实。RE引擎也在CAPCOM每一作游戏的开发过程中不断地迭代进化。
这里来重点看一下3Lateral这家公司的技术实力。许多3A级游戏的面部捕捉和动画背后都有这家公司的努力,例如漫威的《蜘蛛侠 (Spider-Man)》、动视的《使命召唤(Call of Duty)》和Rockstar Games的《侠盗猎车(Grand Theft Auto)》与《荒野大镖客(Red Dead Redemption)》。3Lateral在《Siren》、《地狱之刃(Hellblade)》和《Osiris Black with Andy Serkis》等项目中已经与Epic Games进行过实时数字人物方面的合作。
虽然视觉特效界早已使用FACS指导手动设置关键帧的面部动画,但3Lateral在此基础上又前进了一步。3Lateral的部分秘诀就是“骨架绑定逻辑”,它超越了传统的面部捕捉系统,在保留演员实时表演的精髓的同时,将它以符合实际的方式定向到数字角色上。当演员在摄像机前进行实况表演时,3Lateral的系统会将演员的面部动作实时转换为FACS,然后告诉目标面部骨架绑定该做什么。
为了将真人表演合理变换到完全不同的面部结构上,3Lateral引入了数字DNA的概念。“DNA是我们在特定的一副面孔上观察到的一组测量结果,”公司的创始人兼总监Vladimir Mastilovic曾在采访中这样解释。“DNA文件包含相对于通用模型的特定于某个人的偏移。然后这个DNA文件就会成为将几何数据转换为语义数据的钥匙。”
3Lateral在《Osiris Black》项目中展示了这种技术,将演员安迪·瑟金斯(Andy Serkis)的一段莎士比亚话剧独白表演实时定向到了一个异形角色上。
一个栩栩如生的蜥蜴般的外星人,名叫Osiris Black,由曾扮演《魔戒》中咕噜的男演员Andy Serkis参与表演。演员只要带着装有各种传感器的头盔,做出想要做的表情动作,新一代虚幻引擎就能将这些动作实时的渲染在屏幕上,惟妙惟肖。
【视频】展现了这种虚拟制片技术的威力,尽管Andy Serkis的面部特征与目标角色差异很大,但原版表演中的真实感、情感和感染力都被保留了下来。
可以说,3Lateral开辟了虚拟制片领域的实时面部表演捕捉的新天地。这无疑就是CAPCOM选择与他们合作的原因。
Epic Games同时与3Lateral、Cubic Motion、Tencent和Vicon合作研发了Siren,一个“基于中国演员姜冰洁外貌的高保真度、实时数字角色”,能够以超过每秒90帧的速度追踪超过200个面部特征,并自动将数据实时映射到超高质量的数字角色。
令人惊艳的Digital Human就出自3Lateral之手
整个过程是这样的:3Lateral完成了对女演员姜冰洁的3D和4D扫描;通过3Lateral扫描系统获得了相关数据。其团队制作了模型和纹理数据,构建了具有底层控制的数字双重面部结构,并应用了其结构逻辑技术以支持实时驱动面部动画。
Cubic Motion处理了所有在线和离线面部表演捕捉、跟踪、解析和动画。Cubic Motion的软件分析了表演者的头戴式摄像头拍摄的视频,然后将动画表演应用于3Lateral创建的面部结构。Cubic Motion还提供了实时解算器,使用女演员的实时表演视频来实时驱动该CG角色。
Epic Games主导了外观开发,包括对渲染方法和皮肤着色器的改进,并构建了该CG角色。Epic的虚幻引擎4拉取了Vicon的表演数据和Cubic Motion的面部数据,并将这些数据应用到角色并实时渲染场景。Epic还提供了工程资源来支持整个美术和创意团队。
真 ·所见即所得,效率高不说,同样能保证一定的拍摄质量↓
Tencent与Epic Games联合开发角色外观,并提供了高水平的创意和技术指导(主要是出钱哈哈)。
回到本篇开始的问题:DMC5脸模和配音(动作捕捉)演员是两拨人,他们各自的出演是如何完美地融合到一起的?
答案就是:由摄影测量法(PHOTOTGRAMMETRY)生成脸模的3D数据,完成角色的3D建模,再通过3Lateral的“骨架绑定逻辑”技术将配音(动作捕捉)演员的表演定向到数字角色上。
以上就是涉及到的面部捕捉技术的部分,之后应该还会做一些梳理优化和补充。
这篇写到一半的时候,无意中看到了 当英直 这位太太曾经发的【这篇】↓当时就给我笑精神了,正愁找不到一个合适的转场,那么人物具体介绍环节就以这个方向为重点喽。
再补另一张图↓当时看到吱吱发我笑得更大声,但这图真的没毛病,您往下看就知道了哈哈哈哈
简介:Maxim Nazarov(俄文名字:МаксимНазаров)是在伦敦工作的俄罗斯模特,身高1米85,深金发色,绿眼(来源:经纪公司Nevs资料,其他数据参见下图,看不清字的话请在新页面打开图哈)。
他在《鬼泣5(Devil May Cry 5)》中提供了Vergil的面部建模。
实际上Maxim曾出现在2018年的东京游戏展上,但当时还没有任何关于Vergil会在5代中现身的信息。
尽管Dante和Vergil是双胞胎兄弟,但他们在5代中并没有共用相同的面部模型。当被问到这一点时,导演伊津野英昭表示,Dante在人类世界中度过了大部分时间,但Vergil长期以来生存在恶魔世界中,不同的生存环境带来的影响是导致他们容貌看起来不一样的原因。
这几天写了一篇生化人物角色特饮的文,说实话觉得Maxim蛮像Vodka的,自己国家的酒,看起来不露锋芒不事张扬,翻翻照片发现回味“劲儿挺大”,很符合Vodka烈焰般刺激的定位,算得上“平静下暗藏杀机”。
【鬼泣5维吉尔脸模】Maxim Nazarov视频合集(已更新至9P)
下面的片子由摄影师Cameron McNee掌镜,造型Chris James Preston,模特Maxim Nazarov(选了2张)。
这个眉眼的角度就很像了,不过感觉游戏里把脸做肿了,本人脸部线条干净平直,下颌角位置低,唇型非常好看。
Maxim气质出众,整体感觉是偏硬朗、冷峻型的。
下面这组名为“I-Robot”的男装运动大片来自《Attitude》杂志2015年2月刊。由摄影师Simon J Taylor掌镜,Joseph Kocharian造型和撰文,Maxim Nazarov演绎,所有的服饰来自Björn Borg 2015春夏系列。
Maxim自己也是很热爱运动的,战斗民族这身体线条宛若雕塑。
通过上下图可见Maxim的头身比,标准的九头身,这腿,确实是瑰宝。
值得一提的是,Maxim拍摄的品牌创始人正是网坛传奇人物Björn Borg,他是瑞典的前世界排名第一的男子网球运动员,109周排名世界第一,曾6夺法网男单冠军及5夺温布尔登男单冠军。
那个年代打得好又长得帅真的很加分
老先生近些年也曾到过中国参加活动,如2017年作为Rolex代言人到上海观摩了大师赛。
想必选择Maxim拍摄正是看中了他与品牌的形象的契合感,V哥粉丝可以考虑入手这个品牌的服饰哈哈哈(穿个同款内裤也不错的说)。
以下进入堆图时间,先是黑白照↓
生活风格照↓(笑起来就很甜喔)
Polaroids照↓(青涩的眼神)
微妙的羞涩、放空感
品牌硬照↓
秀照&内衣照↓
我也不知道该怎么归的照↓
曾参与过的作品(部分)
游戏:
Devil May Cry 5(2019 - facial scan model: Vergil
简介:Adam Cowie,英国模特,身高1米88,棕发棕眼。他从2009年开始的职业模特生涯,现在属于英国bossmodels旗下的男模。Adam日常风格以熟男叔型为主,真人刚毅的轮廓配蓄须造型,可谓魅力十足了。
他在《鬼泣5(Devil May Cry 5)》中提供了Dante的面部建模。Adam本人很自豪在《鬼泣5》中扮演Dnte。
难得找到Adam有小表情的图,这就有Dante内味儿了。
Adam曾为Mercedes-Benz、JAGUAR、Ursus啤酒(罗马尼亚啤酒之王,2016年被日本Asahi朝日啤酒收购)等知名品牌拍摄过广告,代言过内裤品牌Schultz等。
【DMC5相关】Adam Cowie(但丁脸模)短片、广告、花絮合集(更新至P8)
不要小看下面这个摆姿势环节,要保持不同姿势的长时间静止状态,实际上模特很辛苦。对照前文可以发现一个细节,Adam在拍摄的时候是把胡子剃掉了的。
从Adam的介绍PPT里截了2张↓
无人可逃得过的CK内裤命运↓
穿衣显瘦环节Pass,以下进入脱衣有肉环节。
这组片子来自ADON,一个小发现,Adam拍摄的片子以黑白的居多。这组的主题与健身有关(选了2张)。
Adam健身的日常,壶铃都练得掉漆啦。
这图↓应该不会挂了吧。
再来一张↓
Roy Robson Spring/Summer 2015 ↓
气质一面↓
换个画风↓带娃
在线撩sao
曾参与过的作品(部分)
游戏:
Devil May Cry 5(2019) - facial scan model: Dante
简介:Karlo Baker,英国模特、健身私教,生活中他会蓄须。Karlo在《鬼泣5(Devil May Cry 5)》中提供了Nero的面部扫描模型。
网友们各个都是福尔摩斯,CAPCOM的制作人Matthew Walker曾在游戏发售前的采访中表示Nero的脸模取自一位叫做Karlo的英国模特,网友从后者的Twitter互关名单中定位了Matthew Walker的名字,由此最终确认了Karlo就是Nero的脸模。
Karlo的身材也很不错,毕竟第二职业是健身教练,同时私下里也有活泼逗趣的一面,他还曾在伦敦的漫展上自己cos自己(套娃)。不过据说他已经有自己的Kyrie了。
Karlo在2019年10月曾去过上海参加活动。
刮掉胡子就是奶油。
这个胸可能比一般妹子的都大↓
曾参与过的作品(部分)
游戏:
Devil May Cry 5(2019) - facial scan model: Nero
简介:Owen Hamze,爱尔兰模特,身高1米88,签约于法国Elite模特公司旗下。Owen在《鬼泣5(Devil May Cry 5)》中提供了V的面部扫描模型。
2019年Owen曾来过上海走秀,别看外貌看着高冷范儿,私下却是个对真空包装凤爪都会感兴趣的好奇宝宝。(“Griffon是你吗!Griffon!”)
Owen的“希腊鼻”很无敌↓
Owen身上的“欲”感并不强,两张图里都有抱臂动作,从心理学的角度来看,大概有点缺乏安全感。
曾参与过的作品(部分)
游戏:
Devil May Cry 5(2019) - facial scan model: V
简介:Ariana Diamant,波兰希腊混血,英国模特。跟Andrea Tivadar、Emily Bador属于同一家模特经纪公司。
她在《鬼泣5(Devil May Cry 5)》中提供了Trish/Eva的面部扫描模型。模特本人身材高挑,拥有傲人长腿,游戏里实际上把Trish建模的身高给改矮了。
这张真是又美又飒↑
曾参与过的作品(部分)
游戏:
Devil May Cry 5(2019) - facial scan model: Trish
简介:Andrea Tivadar,来自罗马尼亚的英国女演员、模特和歌手。
她在《鬼泣5(Devil May Cry 5)》中提供了Lady的面部扫描模型。在此之前,她还在《最终幻想15(Kingsglaive: Final Fantasy XV)》中扮演过Crowe Altius。
在QMUL获得口腔材料学学位后,23岁的她决定改变职业道路。作为模特,她曾与Kipling、Palacio del Hierro、El CorteInglés、Louis Vuitton等品牌合作。她还出现在Honda、Coca Cola、Disaronno、Sony、Hersheys等许多电视广告中。
Andrea精通英语、罗马尼亚语、西班牙语和法语。 她从7岁起就开始练习击剑。同时她6岁开始学习唱歌,2015年曾受邀与阿根廷Poncho乐队一起在巴塞罗那的音乐会上表演。
2012年她在西班牙电影《Las aventuras de Jesus Maria Maria CristobalPequeño》中扮演了角色,这是她首次接触大荧幕。
有一说一,眼部烟熏妆扮上有Keira Knightley内味儿。
曾参与过的作品(部分)
电影/电视剧/动漫:
One Fine Day(2017) - Eleonor
Bulletproof (2018) - Sabine
Snatch (2018) - Spanish Beauty
Killing Eve (2019) - Young Woman
Blood Metal Revenge(2019) - Brenda
Safe Inside(2019) - Ana
游戏:
Kingsglaive: Final Fantasy XV(2016) - motion capture: Crowe Altius
Devil May Cry 5(2019) - facial scan model: Lady
简介:Emily Badora在英国的布莱顿长大,父亲是英国人,妈妈是马来西亚人。从小就对模特行业感兴趣的Emily,并没有因为脸上的雀斑停下自己的脚步,18岁就投身于模特圈。和男模Ralph Souffrant相似,Emily的脸上也长满了雀斑。
她在《鬼泣5(Devil May Cry 5)》中提供了Nicoletta Goldstein的面部扫描模型。
Emily能轻松驾驭各种风格,无论是萌妹子还是御姐范儿。
除了对自己的雀斑很是自豪外,她对于对于女性形象与思想有着自己独特的个人见解。Emily曾在接受《i-D》采访时表示,时尚代表每个人应该更加多元化,并且可以接受一切新事物。不能将有缺点的人标签为“Token Models”,更不能去“嘲笑”模特的外貌、身高或体重,这是一种很恶劣的行为。
Emily认为女性有权利去决定,自己想爱的人以及自己想做的事。她的座右铭是:
“Remember, no one is perfect and you don’t have to change for anyone.”
Emily曾拍过Apple的广告↓
曾参与过的作品(部分)
电影/电视剧/动漫:
The Model Agency(2011) - Herself
游戏:
Devil May Cry 5(2019) - facial scan model: Nico
简介:Antony Fitzgerald是一位具有非洲血统的英国演员和模特。他在《鬼泣5(Devil May Cry 5)》中提供了J.D. Morrison的面部扫描模型。
Antony身上暂时没挖到什么故事可讲,曾参演过的影视作品也比较偏路人。
曾参与过的作品(部分)
电影/电视剧/动漫:
Open All Night(2016) - Mr. Carter
EastEnders(2016) - Market Stall Shopper
Crossword (2018) - Cleaner
Narcissus (2018) - Bar Guest
Avenue 5 (2020) - Spaceship Passenger
The New 22(2020) - Barman
游戏:
Devil May Cry 5(2019) - facial scan model: Morrison
感谢阅读到这里,本篇完结。
本系列另外三篇回顾↓
因为某些原因没赶上发售一周年的纪念日,不过想了想只要他们在,每天都是过节。
后续计划把全系列武器的盘点做了,以及还有一篇香评文(应该会主Vergil的视角)。