基于视觉的智能电子宠物

发布时间：2020-07-21 18:18:14 阅读：次来源：松子厂家

摘要：本项目将当前热门的感知计算技术应用到电子玩具这一领域，开创性地设计了一个可以与主人进行丰富多样的感性交流的电子宠物。以Intel 3D摄像头和Baytrail平台为核心，侦测主人的表情、手势、语音等，实现了与主人进行感性互动的交流，为用户带来了简单方便、人性贴心的全新体验。

本文引用地址：创意来源

随着电子技术的进一步发展，电子宠物逐渐走入人们的家庭生活中，目前市面上相对成熟的电子宠物主要有两大类：一类是生活在电子设备中的虚拟宠物，没有任何的机械结构，纯粹通过电子设备与之进行交互;另一类是具有一定机械机构的电子宠物，具有触觉等功能，但由于其与逼真宠物外形想像的特性，交互方式也相对缺乏。

如今感知计算技术大为盛行，它重新定义了人与设备的沟通方式，通过更适合人类的沟通方式比如语言、表情、动作等，让设备感知人类的意图，智能分析人类的行为。

我们的作品，就是基于这一热门技术，将感知计算应用到电子宠物身上，充分利用了感知计算的先进特性，实现了一个通过手势、表情、语言与使用者进行感性互动的智能型电子宠物。具有如此丰富、生动交互方式的电子宠物，无疑会给使用者带来全新的体验。可以想象，一个比真实宠物更加方便、卫生、更加懂主人意思的智能电子宠物，无疑会引起广大宠物爱好者的极大兴趣，成为我们现代化家庭的重要一员。

2 关键技术

2.1 视觉处理程序

我们的项目采用的是Intel Creative Senz3D摄像头，Creative Senz3D是Intel公司为感知计算技术开发的3D景深摄像头。我们用3D摄像头作为宠物的眼睛，是整个系统最核心的部分，实现与周围环境的交互，支持人脸识别，表情识别和手势识别。我们借用了配套的Intel perceptual computing SDK中提供的一些表情识别、手势识别、人脸识别等模块，用线程来分别管理。当3D摄像头捕捉到图像数据后会分析然后开启线程执行上述三个模块中的一个，然后把识别结果返回给服务器，让服务器完成接下去的工作。

2.2 服务器

我们把服务器放在了Baytrail开发板上。服务器作为与每个子模块沟通的桥梁，它的主要作用是一个数据中枢，它接收摄像头的识别结果，然后根据情况选择通过socket发送给手机，或用串口发送给Arduino开发板，协调各个部分的工作。同时，服务器要求具有一定的鲁棒性，它需要能够检测各个部分是否正常工作并进行纠正。

2.3 Android移动应用

手机APP显示的是宠物的脸，它承载的是宠物向用户做出表情以及声音的输出，它会根据服务器发来的指令变换自己的表情，与用户所做的表情同步，与用户进行交互，同时用户做的表情会对宠物自身的心情值产生影响，当心情值足够高时，即使没有外界刺激，宠物也会做出开心的表情。这一部分的主要实现方式是Android套接字(Socket)编程和异步消息处理机制，实现与服务器Baytrail开发板的通信，接收服务器发来的控制命令并返回反馈数据。表情切换用Android活动的切换来实现，表情显示用Android Canvas类进行图片播放来实现。

摄像头相关文章:摄像头原理