Welcome二十一点游戏为梦而年轻!

人机交互的方法、设备及计算机可存储介质技术

技术编号:21059049 阅读:9 留言:0更新日期:2019-05-08 06:20
本发明专利技术公开了一种人机交互的方法,包括:在根据标识物识别出用户图像中的手时,提取手的特征信息;将所手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出虚拟手及虚拟坐标系;其中,实际坐标系为:以摄像头为基准的三维坐标系;虚拟坐标系为:以实际坐标系为基准缩小预设比例后的三维坐标系;虚拟手是由手的特征信息生成的;根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到手的形状变化对应的操作指令;根据操作指令对内容对象进行处理,并输出处理结果。本发明专利技术同时还公开了一种人机交互的设备及计算机可读存储介质。

Man-machine interaction methods, devices and computer storage media

【技术实现步骤摘要】

本专利技术涉及增强实现(AugmentedReality,AR)
,尤其涉及一种人机交互的方法、设备及计算机可存储介质。
技术介绍
随着AR市场的不断升温,AR技术逐渐走进大众视野,AR技术被用于游戏,文字识别等多项领域,强烈冲击传统的媒体;然而,AR技术一般用于手机或平板电脑上,屏幕小续航能力不足等这些弊端制约了AR技术的发展范围;目前机顶盒仍然是大多家庭的媒体中心,它承载着大众与广电的交互,并为用户提供了大量的高清高质量的节目。现有的机顶盒往往都是传统机顶盒,用户必须要通过遥控器或按键的方式来进行交互,这种操控方式单调乏味,无法实现触摸操控,因此,如何实现AR技术与机顶盒相互结合,是目前亟待解决的问题。
技术实现思路
有鉴于此,本专利技术实施例期望提供一种人机交互的方法、设备及计算机可存储介质,以实现接收用户的控制,利用AR技术与本地界面相互结合,能够达到触摸操控的效果,大大增强用户的体验效果。为达到上述目的,本专利技术的技术方案是这样实现的:本专利技术提供一种人机交互的方法,所述方法包括:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;其中,所述实际坐标系为:以摄像头为基准的三维坐标系;所述虚拟坐标系为:以所述实际坐标系为基准缩小预设比例后的三维坐标系;所述虚拟手是由所述手的特征信息生成的;根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到所述手的形状变化对应的操作指令;根据所述操作指令对内容对象进行处理,并输出处理结果。上述方案中,在所述提取所述手的特征信息之前,所述方法还包括:通过所述摄像头获取所述用户图像;判断根据所述标识物是否识别出所述用户图像中的所述手;其中,所述标识物包括:手在三维坐标系上的定位点,所述定位点分别位于所述手的五个手指头上以及手掌的周围。上述方案中,在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前,所述方法还包括:利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。上述方案中,在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前,所述方法还包括:根据所述摄像头获取到的所述手的每一帧的性能特征,预测所述手在所述实际坐标系中的形状变化及运动轨迹。上述方案中,所述性能特征包括:几何特征、统计特征、变换域特征及颜色特征;所述几何特征包括:周长、面积、扁率和高度;所述统计特征包括:灰度均值与方差、直方图、熵、矩和相对于背景的对比度;所述变换域特征包括:傅里叶Fourier变换域、Gabor函数变换域和小波Wavelet变换域。上述方案中,所述输出所述虚拟手及所述虚拟坐标系,包括:通过高清晰度多媒体接口HDMI或者复合视频广播信号CVBS向显示单元输出所述虚拟手及所述虚拟坐标系;所述输出处理结果,包括:通过HDMI或者CVBS向显示单元输出所述处理结果。本专利技术还提供一种人机交互的设备,所述设备包括:接口,总线,存储器,与处理器,所述接口、存储器与处理器通过所述总线相连接,所述存储器用于存储可执行程序,所述处理器被配置为运行所述可执行程序实现如下步骤:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;其中,所述实际坐标系为:以摄像头为基准的三维坐标系;所述虚拟坐标系为:以所述实际坐标系为基准缩小预设比例后的三维坐标系;所述虚拟手是由所述手的特征信息生成的;根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到所述手的形状变化对应的操作指令;根据所述操作指令对内容对象进行处理,并输出处理结果。上述方案中,所述处理器还被配置为运行所述可执行程序实现如下步骤:通过所述摄像头获取所述用户图像;判断根据所述标识物是否识别出所述用户图像中的所述手;其中,所述标识物包括:手在三维坐标系上的定位点,所述定位点分别位于所述手的五个手指头上以及手掌的周围。上述方案中,所述处理器还被配置为运行所述可执行程序实现如下步骤:利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。上述方案中,所述处理器还被配置为运行所述可执行程序实现如下步骤:根据所述摄像头获取到的所述手的每一帧的性能特征,预测所述手在所述实际坐标系中的形状变化及运动轨迹。上述方案中,所述性能特征包括:几何特征、统计特征、变换域特征及颜色特征;所述几何特征包括:周长、面积、扁率和高度;所述统计特征包括:灰度均值与方差、直方图、熵、矩和相对于背景的对比度;所述变换域特征包括:傅里叶Fourier变换域、Gabor函数变换域和小波Wavelet变换域。上述方案中,所述处理器被配置为运行所述可执行程序具体实现如下步骤:通过高清晰度多媒体接口HDMI或者复合视频广播信号CVBS向显示单元输出所述虚拟手及所述虚拟坐标系;所述处理器被配置为运行所述可执行程序具体实现如下步骤:通过HDMI或者CVBS向显示单元输出所述处理结果。本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序,所述程序可被处理器执行,以实现以下步骤:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;其中,所述实际坐标系为:以摄像头为基准的三维坐标系;所述虚拟坐标系为:以所述实际坐标系为基准缩小预设比例后的三维坐标系;所述虚拟手是由所述手的特征信息生成的;根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到所述手的形状变化对应的操作指令;根据所述操作指令对内容对象进行处理,并输出处理结果。本专利技术提供的人机交互的方法、设备及计算机可存储介质,通过在根据标识物识别出用户图像中的手时,提取手的特征信息;将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出虚拟手及虚拟坐标系;根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到手的形状变化对应的操作指令;根据操作指令对内容对象进行处理,并输出处理结果;利用本专利技术的方案,将用户的手及手的形状变化和运动轨迹实时呈现在显示单元上,并根据手的形状变化所对应的操作指令对内容对象进行处理,实现了接收用户的控制,利用AR技术与本地界面相互结合,能够达到触摸操控的效果,大大增强了用户的体验效果。附图说明图1为本专利技术人机交互的方法实施例一的流程图;图2为本专利技术人机交互的方法实施例二的流程图;图3为本专利技术人机交互的方法实施例二的识别出用本文档来自技高网...

【技术保护点】
1.一种人机交互的方法,其特征在于,所述方法包括:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;其中,所述实际坐标系为:以摄像头为基准的三维坐标系;所述虚拟坐标系为:以所述实际坐标系为基准缩小预设比例后的三维坐标系;所述虚拟手是由所述手的特征信息生成的;根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到所述手的形状变化对应的操作指令;根据所述操作指令对内容对象进行处理,并输出处理结果。

【技术特征摘要】
1.一种人机交互的方法,其特征在于,所述方法包括:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;其中,所述实际坐标系为:以摄像头为基准的三维坐标系;所述虚拟坐标系为:以所述实际坐标系为基准缩小预设比例后的三维坐标系;所述虚拟手是由所述手的特征信息生成的;根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹;根据预设手的形状变化与操作指令的对应关系,得到所述手的形状变化对应的操作指令;根据所述操作指令对内容对象进行处理,并输出处理结果。2.根据权利要求1所述的方法,其特征在于,在所述提取所述手的特征信息之前,所述方法还包括:通过所述摄像头获取所述用户图像;判断根据所述标识物是否识别出所述用户图像中的所述手;其中,所述标识物包括:手在三维坐标系上的定位点,所述定位点分别位于所述手的五个手指头上以及手掌的周围。3.根据权利要求1所述的方法,其特征在于,在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前,所述方法还包括:利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。4.根据权利要求1所述的方法,其特征在于,在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前,所述方法还包括:根据所述摄像头获取到的所述手的每一帧的性能特征,预测所述手在所述实际坐标系中的形状变化及运动轨迹。5.根据权利要求4所述的方法,其特征在于,所述性能特征包括:几何特征、统计特征、变换域特征及颜色特征;所述几何特征包括:周长、面积、扁率和高度;所述统计特征包括:灰度均值与方差、直方图、熵、矩和相对于背景的对比度;所述变换域特征包括:傅里叶Fourier变换域、Gabor函数变换域和小波Wavelet变换域。6.根据权利要求1所述的方法,其特征在于,所述输出所述虚拟手及所述虚拟坐标系,包括:通过高清晰度多媒体接口HDMI或者复合视频广播信号CVBS向显示单元输出所述虚拟手及所述虚拟坐标系;所述输出处理结果,包括:通过HDMI或者CVBS向显示单元输出所述处理结果。7.一种人机交互的设备,其特征在于,所述设备包括:接口,总线,存储器,与处理器,所述接口、存储器与处理器通过所述总线相连接,所述存储器用于存储可执行程序,所述处理器被配置为运行所述可执行程序实现如下步骤:在根据标识物识别出用户图像中的手时,提取所述手的特征信息;将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置,并输出所述虚拟手及所述虚拟坐标系;...

【专利技术属性】
技术研发人员:岳培锋,
申请(专利权)人:中兴通讯股份二十一点游戏,
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1