在美的直播间里,雪饼猴和小西梅同台出现,采用了真人和虚拟人共同直播的方式。直播画面中,真人主播与虚拟角色同时参与互动,而虚拟角色的动作并不是提前制作好的动画,而是由真人主播实时驱动完成的。

这套直播方案使用了虚拟动力的惯性动捕设备VDSuit-Full和AH面捕头盔。惯性动捕设备主要负责采集真人主播的身体动作,面捕头盔则负责采集主播的面部动作。两套设备分别获取身体和面部数据,再将这些数据传输到后续的软件系统中。
真人主播做出动作后,惯性动捕设备会实时记录身体姿态和肢体运动。比如抬手、转身、点头等动作,都可以通过动捕设备以及配套的系统转化成对应的数据。同时,面捕头盔会同步获取主播的面部动作,让虚拟角色不仅能够跟随身体运动,也能够同步呈现面部变化。

传统动画制作通常需要先完成动作设计,再进行角色绑定和动画制作,而实时动捕直播的方式则是让真人直接成为虚拟角色的动作来源。动捕设备负责采集动作,软件负责处理和映射,最终让动作出现在虚拟角色身上。
在软件部分,这次直播使用的是UELive。动捕设备和面捕头盔采集到的数据进入UELive后,可以用于驱动虚拟角色,并完成直播画面的处理。这样,真人主播和虚拟角色就能够被放在同一个直播场景中进行内容呈现。
完成角色驱动和直播画面处理之后,还需要通过直播推流进入平台。这次直播最终推流到视频号,观众看到的就是合成后的直播画面。整个过程可以简单理解为真人动作采集、面部数据采集、数据处理、虚拟角色驱动以及直播推流几个环节。
这种直播方式的一个特点,就是虚拟角色可以直接参与实时内容,而不需要提前把所有动作制作完成。真人主播负责实际操作,虚拟角色负责画面中的对应呈现,两者通过实时数据连接起来,也就形成了真人和虚拟人同台直播的完整技术链路。