DeWave的训练流程主要分为三个阶段:1)自监督编码器预训练(仅原始EEG脑磁波),这一阶段会先训练一个脑电波自编码模型,输入原始EEG波形,通过重建实现自监督。这样可以提取有用的时域和频域特征。
对平行数据的依赖性:DeWave方法在训练过程中需要使用平行的脑电波和文本对数据,以进行监督学习。
用户只需在通义千问APP内输入“通义舞王”或“全民舞王”等口令,然后按照提示要求上传自己的照片。系统会在十几分钟内生成一个神形兼备的舞蹈视频,保留原形象的面部表情、身材比例、服装以及背景等特征。
论文网址:https://arxiv.org/abs/2312.17234
我们大概就领先几个月,然后这个平台就公开,但是我们会开发更好的。