账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
盛群杯MCU创意大赛-第八届盛群杯HOLTEK MCU创意大赛复赛报告
盛群半导体MCU系统设计与应用

【作者: 顏錦柱教授,李宗達,郭亮逞,許祐禎,張皓勛】2014年06月16日 星期一

浏览人次:【14189】

摘要

随着现代社会经济环境结构的关系,很多家庭为双薪家庭,导致家中经常无人在家,因此遭到有心人士闯入屋内的机会大增。同时,当屋主下班回到家后,经常疲惫且已无多余精力照顾家中琐事。因此,我们设计了居家防盗与服务系统解决上述问题。当小偷入侵时,系统会判定并立即传送简讯告知屋主家中遭可疑人士入侵;而屋主可随时透过手机监看家中的动态,并且将影像储存于电脑中,提供追查宵小影像资料,而屋内的警报器也会随之作响,来达到监视吓阻的作用。而当屋主在家中时,可利用特定的手势,来调整电器功率的大小、开启、关闭等等。另外随着现今环保意识逐渐抬头,节约用电的观念也是目前生活上的重要议题,故我们也设计了节能功能,当屋主离开房间经过一定时间后,系统便自动关闭家中所开启之电器,来达到节能的效果。而在整个系统的设计上,以HT66F50作为系统主控晶片,并且结合Kinect,首先我们提出创新的结构,来改善Kinect无法左右移动的缺点,有效扩展其应用,进一步来完成此居家防盗与服务系统,使屋主出门在外可随时注意家中安全,进屋后可藉由Kinect来控制家电,并能达到节能的效果。


1. 前言

1.1 创作动机

随着社会现代化的变迁,双薪家庭渐渐成为主流的家庭结构,男主外、女主内的观念渐渐转变,屋主在忙碌的工作回家后,通常已无其他精力做家中太繁琐的事。故我们以增进居家生活安全与便利性为出发点,将目前各项技术的整合,架构出一套居家服务系统,并且提出创新硬体结构,改善我们所使用设备技术上的缺点,希望能让使用者能透过我们的系统让生活的操作模式变得更方便,更无须去担忧家中的琐事。


1.2 创新性

本作品使用HT66F50作为主系统晶片,将Kinect所感测之骨架追踪、手势辨识,感测后存取数值,再利用UART传送数值给主系统晶片,并做出锁定追踪、居家服务、节能、防盗等功能,系统之服务流程如图1所示,本作品创新性功能为:


●锁定追踪─Kinect骨架追踪,跟随人体


●居家服务模式─手势辨识,控制家电


●防盗模式─紧急简讯通知、影像监视/录制储存


●节能模式─家电智慧节能


1.3 作品功能

如下图1为本系统功能流程图,以盛群晶片及Kinect为主体,在做出相对应之服务。



图一 : 系统流程图
图一 : 系统流程图

而下一章节开始介绍本系统各种功能。


1.3.1 锁定追踪

本作品首先设计创新结构,利用骨架追踪配合伺服马达,使得Kinect可以左右移动,改善原本Kinect侦测范围局限的问题,当屋主在家中移动时,可锁定并且追踪屋主,随时了解到屋主目前需要及提供适时之服务。


1.3.2 居家服务模式

锁定追踪屋主的同时,若屋主想控制屋内的家电,可利用骨架判断作特定手势,来开启/关闭所指定之家电,甚至是家电功率大小的调节,使在屋内控制家电可变得更直觉更方便。


1.3.3 居家保全模式

若判定进屋内的人士并非屋主时,主系统会自动发送紧急简讯至屋主手机,当屋主看到简讯后可即时利用手机监看屋内动态,并将所监视到的画面自动储存于自家中电脑,而在同时屋内警报器也随之作响。


1.3.4 节能模式

利用Kinect骨架的判断,侦测屋中是否还有人,若一段时间内都未侦测到骨架,系统便会判定屋主不在房间现场,接着会自动关闭屋主所开启之电器,来省下多余的电费达到节能的效果。


2 工作原理

2.1 系统设备

2.1.1 HT66F50


图二 : HT66F50
图二 : HT66F50

本作品利用盛群HT66F50晶片[1],如图2所示,作为整个系统的主控晶片,搭配Kinect进行居家的防盗与服务,系统透过Kinect本身的骨架判别,判断人体骨架的位置、动作,接着利用UART串列传输回传数据给盛群HT66F50作出相对应之功能与动作,而因为HT66F50没有内建UART串列传输的功能,所以需要再透过盛群另一颗晶片HT45B0F来完成串列传输的功能,主控晶片才能与Kinect作沟通。而我们系统运作时,HT66F50扮演了下列几项重点功能:


●系统流程判断与触发


●PWM脉波宽度调变


●SPI to UART


●红外线编码控制


2.1.2 Holtek HT45B0F

本系统为了实现UART串列传输的功能,必须藉由HT45B0F来解决当下所需的技术[3],这块晶片用来实现SPI转UART数据的功能,将Kinect所读取到的数值,运用UART传送至HT45B0F,数据经过SPI转换后再传送至HT66F50,最终完成双边通信的目的。


2.1.3 Kinect

我们使用之设备Kinect外观如下图3所示,透过Kinect镜头即时撷取使用者动作,接着再判断骨架作出相对应动作,利用内建红外线传感器,发射出红外光,藉由反射后接收数据的时间差异,建构出3D深度影像,判断使用者的骨架位置,手势动作等,根据判断在作出相关的应用[2]。



图三 : Kinect外观
图三 : Kinect外观

根据其特定骨架位置、动作,我们可实现锁定追踪人体,判断是否还有侦测到骨架,如下图4所示,若没有便关闭家电,若作特定手势可控制屋内电器。



图四 : 骨架侦测
图四 : 骨架侦测

2.2 锁定追踪

而我们对Kinect所提出创新结构,如图5所示,其动作原理如下:当Kinect侦测到的骨架座标超越我们所设定的左右基准点时,便判定人正在移动,骨架座标经计算后,运用UART串列传输回传数值给主系统晶片,计算后触发Kinect下的伺服马达,来调整Kinect侦测的角度范围,达到追踪人体的目的,改善原本Kinect因无法左右移动而导致丧失骨架判别的效应。



图五 : 创新结构构想设计图
图五 : 创新结构构想设计图

当Kinect锁定特定人士之后,即不理会其他骨架,避免Kinect同时侦测过多骨架导致当机的情况,直至锁定人解除锁定或离开Kinect侦测范围时其他人方可使用。


当Kinect锁定特定人士之后,即不理会其他骨架,避免Kinect同时侦测过多骨架导致当机的情况,直至锁定人解除锁定或离开Kinect侦测范围时其他人方可使用。


2.2.1 伺服马达(GWS S03T)

为了使Kinect达到追踪人体的目的,在底部安装了伺服马达,如下图6所示,而控制伺服马达转向的原理为:根据Kinect骨架侦测判断后,回传数据给HT66F50,接着根据骨架位置的不同,运用PWM脉波宽度调变调整Duty Cycle,伺服马达能转至不同的角度,致使Kinect侦测到更广的范围



图六 : 伺服马达GWS S03T
图六 : 伺服马达GWS S03T

2.3 居家服务模式

屋主被锁定追踪后,即可进行居家服务的模式,若屋主想控制家电,可利用特定的手势来开启/关闭电器以及控制电器功率的大小。


2.3.1 SM5021

当挥动手势经由Kinect判断后,主系统晶片接收到不同的命令,接着撰写及传送特定资料讯息至编码IC SM5021,最后由红外线LED发射出指令,完成手势遥控电器的功能[4]。


2.4 防盗模式

有人进入家中后,需在指定时间内做特定动作让系统判定是否为屋主,若在指定时间内没有做骨架验证的话,即判定为非屋主之人,紧接着再做出相对应防盗措施。


2.4.1 紧急简讯通知/WebCam影像监看储存

当小偷侵入家中,系统会利用骨架验证是否为屋主,判定是小偷时,透过紧急简讯功能传送简讯至屋主手机进行通知,当屋主查看到简讯后立即开启Web Cam监看到屋内状况,视情况可线上报案。若屋主没办法再第一时间接收到简讯,系统也会先将影像录制储存至家中电脑,以防未来若想看影像却没证据的窘境。


2.4.2 蜂鸣警报器

若小偷入侵家中,系统经判断后会开启警报器作响,达到声响吓阻的作用。此警报器工作电压为12V,而盛群晶片工作电压为5V,故无法直接传送讯号使用,所以我们利用继电器来实现此功能,当有小偷入侵家里时,系统晶片会接收到指令,传送电位差至继电器输入回路,供应电压后,继电器输出回路短路导通,警报器即便做动。


2.5 节能模式

屋主进行居家服务模式时,若突然离开房间忘记关闭家电时,经过一段时间后,系统会自动关闭屋主先前所开启之家电,达到节约用电的效果。


我们利用Kinect的骨架判别判断是否有持续侦测到骨架,若无侦测到骨架,即判定屋主离开房间了,透过主系统晶片的延迟等待以及Kinect的持续侦测,确认屋主不在后,再使用红外线将设定之电器关闭以达到节能的目的。


3. 作品结构

在一进家门,Kinect便会先侦测骨架验证是否为屋主,若不是屋主,即进入防盗模式,触发相对应动作。若验证为屋主时,进入居家服务模式,同时锁定追踪屋主,在判断作出相对应服务,当Kinect未侦测到骨架一段时间后立即关闭家电达到节能省电的效果。


图七 : 系统动作流程图
图七 : 系统动作流程图

下图8为主系统晶片与其他硬体结构关系说明,以主系统晶片出发,达到所有模组相互结合之应用,各项皆有所功能,进而完成居家防盗与服务系统。



图八 : 硬体架构图
图八 : 硬体架构图

4. 测试方法

在作品各个模式功能完成后,紧接着即是要将整个系统整合起来实际测试,我们的测试方法主要以从屋主进门开始,测试各个模式的使用情境以及动作。


下图9为本系统屋主进门后的使用情境图,当屋主一进门后,Kinect即转向门口,同时侦测骨架及手势,此时必须做出特定手势确认是否为屋主身份,若没有即判断为非屋主之人侵入,进入居家保全模式,将传送紧急简讯告知屋主,屋主看到讯息后可即时用监看屋内动态,同时将所监视到的画面自动储存于家中电脑,并且屋内警报器也会随之作响。



图九 : 进入屋内的使用情境图
图九 : 进入屋内的使用情境图

若使用者进入屋内后有做特定手势判定为屋主时,Kinect便锁定追踪屋主,屋主不管走到何处,系统皆会跟随侦测着屋主的骨架,随时等待屋主是否有使用要求,在触发做出相对应的动作及服务。


当进入屋内验证屋主身份除了锁定屋主以外,同时也会进入居家服务模式,如下图10为屋主在家中使用本系统的使用情境图,若屋主想控制家中电风扇,可利用特定手势,来开启/关闭电风扇以及功率大小的调节等,让使用者在屋内控制家电变得更直觉更方便。



图十 : 进入屋内的使用情境图
图十 : 进入屋内的使用情境图

若屋主在居家模式之下,突然离开房间并且忘记关闭电风扇时,经过一段时间后,系统便会自动关闭电风扇,来达到节能的效果。


而本作品于实作过程中,主要有两种必须进行仔细调整与测试之项目:


●伺服马达PWM控制


●Kinect手势设定与执行测试


4.1 伺服马达PWM控制

为了能够让系统完成锁定追踪的目的,控制伺服马达为最首要且重要的测试,利用Kinect骨架定位识别,当骨架座标超越我们所设定的左右基准点时,便判定人正在移动,骨架座标经计算后,回传数值给主系统,计算后触发伺服马达,来调整Kinect侦测的角度范围。


而为了使伺服马达做出相对应转向,我们运用STM PWM输出脉波,伺服马达接收的讯号为20ms的周期脉波,藉由控制高电位的长度(工作周期duty cycle),可让伺服马达运转到特定的角度。


当工作周期为0.75%(1.5ms高电位)时,伺服马达转至0度,此为Kinect归零之角度。


当工作周期为0.55%(1.1ms高电位)时,左转至-45度。


当工作周期为0.95%(1.9ms高电位)时,右转至45度。


4.2 Kinect手势设定与执行测试

本作品结合Kinect进行骨架侦测与动作辨识,骨架侦测应用于追踪模式与节能模式,手势辨识则应用于锁定功能以及家电控制功能,我们为了完成各个动作的功能,进而测试手势不同方向与动作。


●锁定功能:当屋主进入屋内后立刻举起左手使Kinect侦测到屋主手势便马上锁定。


●追踪功能:锁定到屋主后便自动启动追踪功能,当侦测到屋主骨架座标超越我们设定的左右基准时,伺服马达引导Kinect镜头来追踪屋主骨架,方便接下来家电控制的感测。


●家电控制功能:锁定人体骨架后,当屋主左手平举移动便控制家中灯具开/关;右手向上举设定为开启电器及控制家电功率大小;右手平举则设定为关闭家电。


●节能模式:当Kinect未侦测到骨架时,经过一段时间的延迟及继续判断是否有骨架进入,若无,便关闭家中电器已达到省电的效果。


(本文由盛群半导体提供 作者为树德科技大学 电脑与通讯系颜锦柱教授、李宗达、郭亮逞、许佑祯、张皓勋)


相关文章
ST以MCU创新应用技术潮流 打造多元解决方案
ST:精准度只是标配 感测器需执行简单运算的智慧功能
意法半导体持续专注永续发展 加速实现碳中和目标承诺
优化MCU SPI驱动程式实现高ADC吞吐率
ST:内部扩产与制造外包并进 全盘掌控半导体供应链
comments powered by Disqus
相关讨论
  相关新闻
» TI创新车用解决方案 加速实现智慧行车的安全未来
» 车电展欧特明以视觉AI实现交通事故归零愿景
» 多元事业引擎发威 友达揭示零售、教育、医疗高值化方案
» 富采深耕感测器事业 聚焦生物感测多元化应用
» 研华AIoV智慧车联网解决方案 打造智慧交通与商用车国家队


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84J7DWOFOSTACUKO
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw