【连载】vinjn的Kinect互动开发记录

[vinjn]

第一回。helloworld

Kinect是微软xbox360的摄像头组件，淘宝售价在1000元左右，除了普通的摄像头功能外还支持深度感应，并能够获知摄像头前玩家的身体姿态，比wii高级无数倍。

vinjn的电脑是windows vista，因此mac和linux就不管了

快递大叔送来了Kinect，第一时间自然是插上电源连上usb口子，然后在互联网上寻找驱动（driver）。于是找到了CL NUI
http://codelaboratories.com/nui，这个作者是CCV(Core community vision)的作者之一AlexP ，著名的ps3摄像头驱动CL Eye也出自其手。于是下载，安装，搞定。自带的sample挺好用的，效果看页面中的截图即可，也能控制舵机上下动。再翻了下开发包，头文件非常简洁。

CL NUI也支持processing
http://forum.processing.org/topic/clnui-4-java-kinect

优点：上手方便，api设计得简洁明朗，带傻瓜安装包，小巧
缺点：只支持windows，没有骨骼跟踪功能

总结：
用CL NUI做类似《少数派报告》中的隔空多点触摸、舞台中身体舞蹈投影、地投等可以轻松搞定，再也不用担心背景移除的问题。但是想做xbox360上的游戏是完全不够的，因为对于玩家的姿态动作没有任何认知能力。

个么那怎么办呢，请听下回分解。

插播新闻

微软官方的SDK出了，各类山寨通通退散，我也将于近日写些教程

http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/download.aspx

[vinjn]

第二回。与微软的kinect开发包大战三个回合

事情是这样的，微软的开发包很好用，但是有几个致命伤
1.它只支持win7
2.它不能用于商业开发，现在可以商用了
3.不存在跨平台可能性

第2点第3点我们先不去管他，先搞定第1点。因为vinjn的电脑是vista的。
先用虚拟机装了个win7，安装后得到两个文件夹
Microsoft Research KinectSDK
Microsoft Research KinectSDK Samples

把这两个打包后，放到vista下就可以啦。
Microsoft Research KinectSDK/Drivers 下的是驱动，需要到设备管理器中手动安装，安装后还要重启。
mujimujimuji

老婆叫我吃饭了，未完待续

今天在xp下这么尝试了下，发现运行时会提示缺失dxgi.dll，是DirectX 10/11新增的组件，并且只在Vista/7下才能使用。所以XP是没办法使用了。

[vinjn]

开始正式开发
kinect这边的joint坐标通过osc发送给三维应用
卡在joint到骨骼模型的绑定这一块

[vinjn]

用processing将Kinect骨骼导出为gif动画
脚没有入画，所以显示不全
点击下图会出现动画

[vinjn]

微软公布 kinect driver beta2
http://kinectforwindows.org/
以及
一个专门介绍游戏以外kinect应用的站点
kinect.com

[vinjn]

[第三回] 控制水果忍者pc版

http://v.youku.com/v_show/id_XMzIwNzM2MzU2.html

说下细节，用的微软官方sdk，骨骼点转到屏幕坐标系后通过osc协议外送
中间层接收osc消息后生成mouse_event
客户端你们一定很好奇了,其实是水果忍者是有pc版的，就这么简单。
ps.感谢微软免费的movie maker软件。

[vinjn]

2011-11-30

加入
（1）双手乱舞模式
（2）双人合作模式

[vinjn]

[更新]双手玩水果忍者

我这边负责将手的坐标以 TUIO 形式进行广播
同时运行第三方的 BsqSimulator 将 TUIO 信号转换为 Win7 的 WM_TOUCH 多点触摸消息
而 Win7 上的水果忍者原生态支持 WM_TOUCH 消息

http://v.youku.com/v_show/id_XMzI4MTk1NTI4.html

[vinjn]

第四回。进军语音识别

想尝试Kinect上的语音识别，除了Kinect SDK以外需要安装的组件有
（1）语音识别的SDK
Microsoft Speech Platform - Software Development Kit, version 11
http://www.microsoft.com/download/en/details.aspx?id=27226

（2）Kinect专用语言包，这里面包含的是可以识别的语言（不包含中文的语言包，因此不能识别中文）
Kinect for Windows Runtime Language Pack, version 0.9 (acoustic model from Microsoft Speech Platform)
http://go.microsoft.com/fwlink/?LinkId=220942

补充：更多的语言（包含中文的语音识别\语音合成）
Microsoft Speech Platform - Runtime Languages
http://www.microsoft.com/download/en/details.aspx?id=27224

[vinjn]

[更新]
Kinect控制三维虚拟角色
http://v.youku.com/v_show/id_XMzM5Njc4MjAw.html

Kinect的开发到这步是一个分界点
接下去可以放开手脚做三维游戏了

[peter_wwj]

好东西，顶起来.....

[simplestonly]

第一回。helloworld

Kinect是微软xbox360的摄像头组件，淘宝售价在1000元左右，除了普通的摄像头功能外还支持深度感应，并能够获知摄像头前玩家的身体姿态，比wii高级无数倍。

vinjn的电脑是windows vista，因此mac和linux就不管了

快递大叔送来了Kinect，第一时间自然是插上电源连上usb口子，然后在互联网上寻找驱动（driver）。于是找到了CL NUI
http://codelaboratories.com/nui，这个作者是CCV(Core community vision)的作者之一AlexP ，著名的ps3摄像头驱动CL Eye也出自其手。于是下载，安装，搞定。自带的sample挺好用的，效果看页面中的截图即可，也能控制舵机上下动。再翻了下开发包，头文件非常简洁。

CL NUI也支持processing
http://forum.processing.org/topic/clnui-4-java-kinect

优点：上手方便，api设计得简洁明朗，带傻瓜安装包，小巧
缺点：只支持windows，没有骨骼跟踪功能

总结：
用CL NUI做类似《少数派报告》中的隔空多点触摸、舞台中身体舞蹈投影、地投等可以轻松搞定，再也不用担心背景移除的问题。但是想做xbox360上的游戏是完全不够的，因为对于玩家的姿态动作没有任何认知能力。

个么那怎么办呢，请听下回分解。

插播新闻

微软官方的SDK出了，各类山寨通通退散，我也将于近日写些教程

http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/download.aspx

hello vinjn ：
我想做个关于kinect的互动舞台
processing+kinect 可以动作识别吗 用与舞台 会不会因为灯光环境复杂而不稳定呢？

[vinjn]

Kinect的识别只依赖于红外光，舞台灯光不影响

[mmitang]

期待下文，v大加油

[但丁]

貌似楼主不会再继续下去了~~作为一个想折腾kinect的新手，还是果断顶个~~~谢分享！