【MMD】用python解析VMD格式读取

Python016

【MMD】用python解析VMD格式读取,第1张

  MikuMikuDance(简称MMD)是一款动画软件,早期视为Vocaload角色制作动画的软件,现在还经常能在B站等视频网站,或一些动画网站(某I站)看到MMD作品。

  我在高中也简单学过操作这款软件以及PE、水杉等软件,学会了简单k帧、套动作、调渲染、加后期、压缩等技术,这与我学习计算机专业有很大的关系(虽然学校学的和这个八竿子打不着,或许我应该学美术去),现在已经分不清很多东西了,封面静画就是杂七杂八过气MME一锅扔的成果,得益于G渲的强大,还能看出一点效果。

  现在我想学一些3D的开发,包括用程序读取模型、动作等,很快我就想到之前用过的MMD。

  一些3D姿势估计(3D pose estimate)或许能得到骨骼位置以及PAF(骨骼间关系),但我需要知道3D动画是如何储存动作数据的,才能想到怎样将姿势估计得到的数据转化为动作数据。

  因此我找了一些资料解析MMD的动作数据VMD(Vocaload Mation Data)文件,并写下这篇记录。

  本文会用python解析vmd文件,并纠正上述文章的一点错误。

  根据MMD的规矩,上借物表:

封面静画:

  首先,vmd文件本身是一个二进制文件,里面装着类型不同的数据:uint8、uint32_t、float,甚至还有不同编码的字符串,因此我们需要二进制流读入这个文件。

  vmd格式很像计算机网络的协议格式,某某位是什么含义,区别是,vmd文件的长度 理论 上是无限的,让我们来看看。

  vmd的大致格式如下:

  最开始的就是 头部(header) ,看到这就有十分强烈的既视感:

  其中, 版本信息(VersionInformation) 长度为30,是ascii编码的字符串,翻译过来有两种,一为“Vocaloid Motion Data file”,二为“Vocaloid Motion Data 0002”,长度不足30后用\0(或者说b'\x00')填充。这是由于vmd版本有两种,大概是为了解决模型名称长度不足,因此后续只影响模型名称的占用长度。

   模型名称(ModelName) ,是动作数据保存时用的模型的模型名,通过这个我们可以获取到那个名称,我们知道,一个动作数据想要运作起来,只要套用模型的骨骼名称是标准的模板就可以,因此我想象不出这个名称有何用处,或许某些模型带有特殊骨骼,例如翅膀之类的,这样能方便回溯?模型名称的长度根据版本而决定,version1为10,version长度为20。编码原文写的是shift-JIS,是日语编码,这样想没错,然而我试验后发现并非如此,例如经常改模型的大神 神帝宇 的模型,他的模型名称用shift-JIS为乱码,用gb2312竟然能正常读出来;还有 机动牛肉 大神的模型,他的模型名称用gb2312无法解码,用shift-JIS解码竟然是正常的简体中文???怎么做到的?

  骨骼关键帧,分为两部分:骨骼关键帧数、骨骼关键帧记录:

  我们可以查一下,每个骨骼关键帧的数量为111字节。

  一开始还没发现,旋转坐标竟然有四个,分别为x, y, z, w,急的我去MMD里查看一下,发现和我印象中没有什么差别

  为何补间曲线的类型不确定呢?上面csdn博客的教程说 “uint8_t那里有冗余,每四个只读第一个就行” 。说的没有问题,首先我们要清楚这个补间曲线坐标的含义。

  我们打开MMD,读入模型,随意改变一个骨骼点,记录帧,就会发现左下角会出现补间曲线。

  后面的格式与这个格式大同小异。

  表情关键帧分为:表情关键帧数、表情关键帧记录:

  镜头关键帧分为:镜头关键帧数、镜头关键帧记录:

  距离是我们镜头与中心红点的距离,在MMD中,我们可以通过滑轮改变

  Orthographic似乎是一种特殊的相机,没有近大远小的透视关系(不确定),不过在我的实验中,它一直取值为0。和上面的已透视没有关系,当取消已透视时,透视值会强制为1。

  下面的骨骼追踪似乎没有记录,可能是强制转换成骨骼所在的坐标了。

  后面的格式与这个格式大同小异。

  表情关键帧分为:光线关键帧数、光线关键帧记录:

  rgb颜色空间之[0, 1]之间的数,类似html的RGB(50%, 20%, 30%)这种表示方法,转换方式就是把RGB值分别除以256。

  光线投射方向是[-1, 1]之间的小数。正所对的投射方向是坐标轴的负方向,例如将Y拉到1, 光线会从上向下投影。

  我依旧会使用面向对象的方式构建VMD类,不过构造方法无力,属性太多,我选择用静态方法添加属性的方式构建对象

  随意掰弯一些关节并注册、使用:

output:

  因为前面提到的编码模式,我选择用gb2312解码,在很多(也许是大部分)动作数据都会报错,可以去掉编码方式:

  我们没有移动方块骨骼,因此位置信息都是0。

  不喜欢看欧拉角的话,可以写一个转换方法:

  这样只要调用:

即可得到转换成欧拉角的结果,同样的方式还可以编写转换RGB、弧度、角度等

  python内置的json包可以很方便得将字典转换成json格式文档储存。

  我们也可以试着写一些将VMD转换成vmd文件的方法。

  通过学习VMD的文件结构,大致了解了储存动作数据的格式和一些方法,或许可以类比到一些主流的商业3D软件上。

  读取程序并不难,我写程序的很多时间都是查二进制操作消耗的,通过这个程序,还巩固了二进制操作的知识。

  我在google上找到了一个包 saba ,专门用于操控MMD的文件,包括模型、动作数据等

  现在学一下图形学,等学有所得再做出更多东西。

capture = cv2.VideoCapture(0)

while True:

#img = cv.QueryFrame(capture)

ret, frame = capture.read()

两种方法的区别在于得到的类型不同,img和frame的类型分别是lplimage和array。

在绘图中,matplotlib和opencv也有不同。

复制代码

plt.cla()

plt.gca().add_patch(plt.Rectangle((bbox[0], bbox[1]),

bbox[2] - bbox[0],

bbox[3] - bbox[1], fill=False,

edgecolor='g', linewidth=3))

plt.show()

im=im.copy()

size = im.shape[:2]

h,w=size

cv2.rectangle(im,(int(bbox[0]), int(bbox[3])),(int(bbox[2]), int(bbox[1])),(0,255,0),5)

cv2.imshow("im",im)

cv2.waitKey (0)

复制代码

plt.show必须手动关闭。如果是操作视频或者图像,还是推荐使用opencv。并且二者的参数不同。这个需要注意。

为了获取视频,应该创建一个 VideoCapture 对象。他的参数可以是设备的索引号,或者是一个视频文件。

设备索引号就是在指定要使用的摄像头。

一般的笔记本电脑都有内置摄像头。所以参数就是 0。你可以通过设置成 1 或者其他的来选择别的摄像头。之后,你就可以一帧一帧的捕获视频了。但是最后,别忘了停止捕获视频。