CN102314301A - 虚拟触控感应系统及方法 - Google Patents

虚拟触控感应系统及方法 Download PDF

Info

Publication number
CN102314301A
CN102314301A CN2010102590236A CN201010259023A CN102314301A CN 102314301 A CN102314301 A CN 102314301A CN 2010102590236 A CN2010102590236 A CN 2010102590236A CN 201010259023 A CN201010259023 A CN 201010259023A CN 102314301 A CN102314301 A CN 102314301A
Authority
CN
China
Prior art keywords
lens
pick
indicant
display screen
preset key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102590236A
Other languages
English (en)
Inventor
李子青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102314301A publication Critical patent/CN102314301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

本发明针对现在的移动设备的触控式屏幕面积比较细小的局限性，以立体计算机视觉技术为基础，描述了一种虚拟触控感应方法，其步骤包括使用一个以上感应器对位于虚拟受控区内的指示物的坐标进行检测，以及根据该指示物的坐标计算在显示屏幕中相应的屏幕坐标，而所述虚拟受控区的操作面的面积大于所述显示屏幕的面积。本发明还公开了一种相应的虚拟触控感应系统，提供了一种预测式的操控介面，该操控介面的面积大于实体屏幕的面积。

Description

虚拟触控感应系统及方法
技术领域
本发明涉及一种用户输入设备，特别是一种虚拟触控感应的系统及方法。
背景技术
现今移动电话大致从两个方向发展，一个方向是以语音为主的电话，另一个方向则为智能型电话，它在话音功能外，还配备了强大的运算能力，有如微型电脑般，融合通讯、个人数字助理、娱乐等于一身。
智能电话由于需要显视大量资讯而需要较大的屏幕，所以往往会取消按键键盘而使用触控键盘。这除了可以节省空间之外，还可以配合多元化的介面。以一般以手指触控设计的手机而言，为了减低误触率，屏幕上的虚拟按键也需要为了较大的手指触控面积而增大。如此一来，屏幕面积也要增大，而整个手机的机身比一般手机大20-30％，甚至一半。较大机身除了会不便于携带外，亦难以使用单手操作。
发明内容
因此，本发明的实施例提供了一种可在细小的屏幕上以手指准确触控的系统和方法，能大幅缩减移动设备的体积并大大增加输入介面的可用面积，令输入介面更容易使用。
相应地，本发明的第一个实施方案是一种虚拟触控感应方法，它包括下列步骤：使用一个以上感应器对位于虚拟受控区内的指示物的坐标进行检测、以及根据该指示物的坐标计算在显示屏幕中相应的屏幕坐标。所述虚拟受控区的操作面的面积大于所述显示屏幕的面积。
本发明的另一个实施方案是一种虚拟触控感应系统，包括处理器、显示屏幕以及一个以上感应器。感应器对位于虚拟受控区内的指示物的坐标进行检测。处理器根据该指示物的坐标计算在显示屏幕相应的屏幕坐标。所述虚拟受控区的操作面的面积大于所述显示屏幕的面积。
本发明针对现在的移动设备的触控式屏幕面积比较细小的局限性，以立体计算机视觉及动态侦测技术为基础，提供了一种预测式的操控介面，该操控介面的面积大于实体屏幕的面积。本发明以摄像镜头取得用户手指指尖的三维空间的位置，并将指尖投射在屏幕的位置以鼠标指针显示。当鼠标进入屏幕的某个选项/虚拟按键的范围时，便设置该选项(键)为预选项，并以不同颜色/形态显示。本发明有三种操作模式，分别将操控面投射在移动设备的上方或下方的任意角度，只要在虚拟操控面或触控屏上(配合有关操作模式)作点击动作，而无需准确点选有关选项，便可完成一个选项的输入。该设计可以多指尖(多点)同时操作，方便用户可以双手把持移动设备的机身，以两个拇指快速按键。本发明的设计提供了虚拟操控面，由于它没有被移动设备的实际的操控面大小所限制，可提供比原操控面更大的虚拟操控面，能大大提升按键的准确性，因而可将更多的按键放于更细的屏幕上以供用户输入。
附图说明
图1展示了一种根据本发明的一个实施例，在屏幕两个边缘角位装有摄像镜头的移动设备。
图2显示了用户在使用图1中的移动设备时，用手指在虚拟触控区内进行操作的侧视图。
图3是根据本发明的一个实施例，显示装有摄像镜头的移动设备的系统框图。
图4是根据本发明的一个实施例，显示虚拟触控方法工作流程的流程图。
图5是根据本发明的一个实施例，显示虚拟受控区的操作面与移动设备显示屏幕之间的空间关系的示意图。
图6是根据本发明的一个实施例，使用两个摄像镜头检测虚拟受控区内指示物的三维坐标的几何关系示意图。
图7展示了根据本发明的一个实施例，在手指上附加的方便摄像镜头检测的标记。
图8是根据本发明的一个实施例，在其机身背面装有摄像镜头的移动设备。
图9展示了用户在使用图5中的移动设备时其显示屏幕上显示的半透明手指指尖影像。
图10是根据本发明的一个实施例，在其机身下端的两个边缘角位装有摄像镜头的移动设备。
图11展示了用户在使用图7中的移动设备时其显示屏幕上显示的经过镜像翻转的半透明手指指尖影像。
图12是根据本发明的一个实施例，在其屏幕上端两个边缘角位装有摄像镜头，且该摄像镜头可以旋转的移动设备。
图13a-13c是图12中的移动设备的摄像镜头旋转到不同角度时产生的虚拟受控区的示意图。
具体实施方式
虽然在这里本发明是根据特定用途的示例性的实施例进行描述，但是应明白本发明并不仅限于此。所属领域的技术人员根据这里所提供的教导会认识到其它的修改、应用、所属范围内的实施例、以及本发明能具有显著效用的其它领域。
现在参见图1，本发明的第一个实施例是一个安装了分别位于可以触摸操作的显示屏幕26的左边和右边的边缘角位上的两个摄像镜头22、24的移动设备20。这两个摄像镜头22、24是用来检测指示物(例如用户的手指指尖)的感应器。摄像镜头22、24的水平可视范围32、34大体上分别朝向屏幕26的中心位置。
在图2中，可见摄像镜头22(摄像镜头24也是如此)具有一定的垂直可视范围36。然而，由于摄像镜头22和24的一部分可视范围被移动设备机身所遮挡，因此只有位于屏幕26之上的空间能够被用作虚拟受控区28。用户手指的指尖30可在该虚拟受控区28内移动并进行虚拟触控，而详细流程将会如下所述。
根据本发明的一个实施例的移动设备的系统结构显示在图3中。该移动设备20包括左摄像镜头22、右摄像镜头24、显示屏幕26、处理器60、存储器62、以及分别与左摄像镜头22和右摄像镜头24相连的两个影像存储器63。处理器60与其他各部件相连接，分别对它们进行控制，并负责移动设备20中安装的软件的指令运算。存储器62中储存了上述的软件以便移动设备20能够正常完成其功能。显示屏幕26根据处理器60的控制负责将用户介面显示给用户，并且在一个优选实施例中，显示屏幕26为触摸屏幕，也即接收用户的触摸控制。左摄像镜头22和右摄像镜头24所拍摄到的影像分别储存在两个影像存储器63中，然后处理器60会读取两个影像存储器63中储存的左摄像镜头22和右摄像镜头24所拍摄到的影像，以对指示物的坐标作出检测。在一个优选实施例中，左摄像镜头22和右摄像镜头24每秒钟会拍摄30幅图像。该检测过程会在下面作出详细描述。
图4展示了根据本发明的一个实施例的虚拟触控感应方法的流程图，其中的各项步骤将会在下面一一介绍。在这个实施例中，使用了如同图1和图2所示的移动设备进行虚拟触控感应。该方法中所用到的软件运算都在处理器60中完成。方法由起点79开始。第一步，是在步骤80中通过左摄像镜头22和右摄像镜头24分别获取指示物(用户指尖)的左镜头影像和右镜头影像。如图5所示，虚拟受控面28如同上面所说的是位于屏幕26之上的立体空间。指示物任意的在虚拟受控面28内作三维移动，而虚拟受控面的大小和位置与摄像镜头的可视角度有关。这里，虚拟受控区28的操作面40被定义为指示物所移动的表面，该表面不一定是二维平面，而可以是三维空间中的任意表面，例如一个弯曲的表面。指示物在该表面上的每一个位置都对应于屏幕26上一个相应的二维坐标。在图5所示的实施例中，操作面40是虚拟受控区28中一个与屏幕26大体平行的二维平面。可以看出，无论操作面40相对于屏幕26的垂直高度有多少(也就是坐标z的数值)，该操作面40的尺寸都是要大于屏幕26的面积的。这是由屏幕26与虚拟受控区28所组成的梯形关系所决定的。屏幕26为梯形的上底，而操作面40为梯形的下底。只要虚拟受控区在左右感应器(镜头)的可拍摄范围内，虚拟受控区可以动态地调整，而无须改变镜头的朝向方位和角度，可以调节图5中梯形的腰的倾斜程度(夹角θ42及夹角α41)，从而在特定的高度上，可以动态地调节操作操作面40的尺寸大小。
在分别获取指示物的左镜头影像和右镜头影像之后，则需要分别在左镜头影像和右镜头影像之中找出指示物，如步骤82所示。指示物一般是镜头前最近的物体。如果左、右镜头的坐标并非平行(即图6中的∠ZLZR≠0)，或者镜头导致了影像变形(如鱼眼镜的桶状变形)，则需要先作如图4中的步骤84进行旋转坐标转换及影像校正。旋转坐标转换及影像校正都是本领域技术人员所熟知的公知技术。
图6展示了分别位于左右两边的摄像镜头检测位于虚拟受控区内的指示物并计算三维坐标的坐标示意图。为了简化在左右两个镜头取得的指示物影像的相同点的配对问题，左右影像优选地会以指示物上的某个特征点做配对，而这个特征点就作为指示物的中心点。首先，在步骤86中分别在左右影像找出指示物中心点。假设用户指示物的特征点的影像的三维坐标为P(x，y，z)，而该点在左、右摄像镜头拍摄的影像中的相应位置分别为处于极线上的两点PL(x1，y1)及PR(xr，yr)，则在步骤88及90中，该特征点的世界坐标或称三维坐标P(x，y，z)可通过下列方程式计算：
x＝b(x1+xr)/[2(x1-xr)]
y＝b(y1+yr)/[2(y1-yr)]            (1)
z＝bf/(x1-xr)
其中f为摄像镜头22、24的镜头焦距，而b为摄像镜头22、24之间的直线距离。
上面提到了指示物上有一个特征点可以用来对左右两个镜头取得的指示物影像的相同点进行配对。在一个实施例中，指示物为用户指尖，则可以使用指甲的边缘搜索出的顶端作为特征点。在另一个实施例中，对于只配备了较低运算能力的移动装置，如果要迅速计算出指尖的特征点，还可在指尖加上标记。在一个实施例中，指尖上的标记即为特征图像，以简化图像辨识处理，从而可快速找出左右影像的配对点。该特征图像需要在不同方向/角度，甚至部份被遮蔽时仍能被识别。图7所示的即为一种示例特征图像，一条短的直线上有3个小圆点，其中的中心点51为左右影像的配对点。在一般的情况下，左右镜头取得的影像，最少都能拍摄到一个小圆点。然后，根据该图像的特征值(如点距)及图像方向，便能算出中心点的位置。除了一条直线上三个圆点之外，其它不同类型的图案/符号也可以被用于标记以方便处理器将左右影像进行配对。
现在回到图4，在计算了用户指尖的特征点的三维坐标之后，现在需要在步骤92中判断检测到的指尖中心点是否位于虚拟受控区中。根据预设的虚拟受控区范围的三维坐标，可以判断用户指尖的特征点的三维坐标是否属于预设的虚拟受控区范围内。如果用户指尖中心点并不在虚拟受控区内，则会前进到步骤94，在屏幕上使鼠标指针(如果已经出现了的话)淡出或被擦去。然后，在步骤96中会将鼠标的轨迹记录复位，也就是令Pn＝Null，而n＝1，2，...N。最后，回到系统最初状态的起点79等待下一次检测(Pn是鼠标轨迹的过往记录)。
如果用户指尖中心点处在虚拟受控区内，则会前进到步骤98，移动设备中安装的软件系统会使得指尖的中心点所对应的在屏幕中的位置上出现鼠标指针。如果指尖大致在前述的操作面里移动，则屏幕中的鼠标指针亦会随指尖作相应的移动(就好像指尖的影子投射在屏幕上一样)。同时，鼠标的轨迹记录也会更新，即令Pn-1＝Pn，而n＝1，2，...N，，且PN＝P(x，y，z)。记录鼠标轨迹的目的之一，在于在步骤100中判断用户的指尖是否作出了按键动作，也就是大约垂直击向移动设备屏幕的移动动作。如果根据鼠标轨迹记录判断出指尖正在作按键动作，则会前进到步骤110以等待用户的指尖点击移动设备的屏幕表面。如果指尖已经触摸到屏幕，则会继续前进到步骤112。
在图4所示的实施例中，移动设备的显示屏幕中可选地可以划分最少一个区域，这个区域为预设键的可点击元件范围。可点击元件在这里泛指屏幕上任何可以被用户选择而成为用户所输入的控制命令的元件，包括但不限于虚拟键盘的键位、下拉菜单、按钮、文本框、滚动条、链接、以及其它输入控件等。预设键可以是屏幕上的模拟实体键盘的一个虚拟按键，也可以是一个对话框或者菜单中的命令或者按钮。一个预设键可以被设定为预选项。在步骤112中，如果指尖触及屏幕，而这时已经存在一个预选项，则会进入步骤114。在步骤114中指尖对屏幕的触击将被视为用户对该预选项的选择。该选项就会被传回给系统作为该用户的输入。如果在步骤112中，当指尖触及屏幕时并没有预选项，则整个流程会返回到起点79，继续等待用户触摸控制。在步骤110中如果指尖并没有触动屏幕，则整个流程也会返回到起点79。
如果在步骤100中，鼠标轨迹记录显示用户指尖并没有作出按键动作时，则会进入步骤108。在步骤108中根据用户指尖的三维坐标继续显示并移动在屏幕中鼠标指针的位置，这个位置也可以看成指尖在下一个按键动作作出前(指尖在朝屏幕放下前)在屏幕上的投影位置。然后在步骤102中，如果鼠标指针此刻没有进入任何预设键/选项的键位范围的位置，那么会在步骤106中将系统的预选项设置为空，然后返回到整个流程的起点79。但是，如果步骤102中检测到鼠标指针进入了一个预设键/选项的键位范围的位置，或者说鼠标指针位于该预设键位/选项上，则会在步骤104中将这个预设键位/选项设置为系统的预选项，并将其在屏幕上的显示进行高亮，或者以不同的颜色或者形态突出显示。如果系统的预选项已经被设置，那么在下一次用户作按键动作时，可以如上所述直接确定用户触动该预选项并将其信息传送给系统。在这种情况下，用户并不需要准确地点击屏幕上突出显示的预选项，因为为了防止当指尖按下时指尖的动作被误定为鼠标移动，系统会忽略用户指尖在虚拟受控区中的预设键范围内的垂直移动。只要用户指尖在屏幕表面进行了点击操作，则该触摸屏幕会感应到用户的触控并作为对预选项的触动，而无需准确点选有关选项。
以上介绍了本发明的第一个实施例中的虚拟触控感应的装置和方法。在其它的实施例中，本发明的虚拟触控感应装置和方法也可以做出适当改变而不会偏离本发明的宗旨和精髓。例如，在图8中，移动设备上安装的摄像镜头可以装在该移动设备的背面，例如将两个摄像镜头分开一定距离安装在移动设备机身的背面。这样一来，类似图2中所定义的虚拟受控区将会从移动设备的屏幕上方转移到该移动设备背面的位置。这时，用户依然可以用类似于上面所述的虚拟触控感应方法对该移动设备进行控制。在这种操作模式中，系统会先追踪指尖的位置，然后算出它的空间位置，并对应出在屏幕的相应位置，当用户在相对于移动设备显示屏幕的垂直方向上作出提起指尖的动作时，对应的按键便被锁上，在特定时间内(如超过特定时间，则锁上的按键便被取消)，提起的指尖按下时，对应的按键便被触发。为了更好的提供用户操作体验，在如图9所示的一个优选实施例中移动设备还可以将摄像镜头捕捉到的用户手指的影像以半透明形式显示在所述显示屏幕中，并迭加在屏幕中虚拟键盘的图像上，从而使用户感觉如同真的用自己的手在点击实体键盘一般。
在另一个实施例中，如图10所示，移动设备上安装的摄像镜头可以装在该移动设备底端的两个边缘角位上。并且，两个摄像镜头的可视范围被调整到大体上朝向与移动设备屏幕垂直的一个空间。因此，形成的虚拟受控区也大体上与移动设备的屏幕垂直。这样一来，用户便可以如同使用传统笔记本电脑或者桌面计算机一般，抬头看移动设备的屏幕，而与此同时手在类似于传统键盘或触摸板的位置上进行虚拟触控感应操作。这样可以带给用户非常熟悉的操作体验，而使他们能够以和他们所熟悉的计算机操作姿势类似的方式操作移动设备。这时，用户依然可以用类似于上面所述的虚拟触控感应方法对该移动设备进行控制。而且这里也可以将摄像镜头捕捉到的用户手指的影像以半透明形式显示在所述显示屏幕中，并迭加在屏幕中虚拟键盘的图像上。不过这里由于指尖活动垂直于显视的屏幕，根据人的直觉理解，指尖向屏幕移动，指尖的影像应向上移动。但是，如果直接将镜头取得的影像显视在屏幕上，指尖的影像就会向下移动，给人以倒着走的感觉，因此，如图11所示，摄像镜头捕捉到的原始影像120需要进行水平翻转和垂直翻转才能得到正确的指尖影像122。
图12显示了本发明的另一个实施例，而这里的移动设备与图1中展示的移动设备基本类似，其不同点在于图12中的移动设备上的显示屏幕26的左边和右边的边缘角位上的两个摄像镜头22、24是可以旋转的。两个摄像镜头22、24被固定在一个旋转机构25上，因此可以朝着箭头23所示的方向旋转。在这里，旋转的角度可以是任意角度，从而使虚拟受控区的操作面与显示屏幕平面之间的角度为任意大小。在这个实施例中，用户可以自由调节移动设备的两个摄像镜头的角度和可视范围，如图13a、图13b及图13c中所示。在图13a中，摄像镜头22、24的可视范围大体上朝向屏幕26正上方的位置。在图13b中，摄像镜头22、24的可视范围大体上朝向移动设备背面的位置。在图13c中，摄像镜头22、24的可视范围大体位于屏幕26前方的位置。当两个摄像镜头的角度和可视范围分别如图13a、图13b及图13c中所示时，所形成的虚拟受控区的位置分别与图2、图8及图10中所示的虚拟受控区相类似，这里不再赘述。
在介绍了以上几个实施例之后，本领域的技术人员可以认识到，不同的改动、另外的结构、等同物，都可以被使用而不会背离本发明的本质。相应的，以上的描述不应该被视为对本权利要求所确定的本发明范围的限制。
例如，移动设备上装载的触摸屏幕可以是各种技术的触摸屏，例如电阻触摸屏或者电容触摸屏。本领域的技术人员应该认识到现在和将来出现的各种适合人手触摸控制的屏幕都可以用于本发明的虚拟触控感应系统和方法。
在图1至图10所介绍的移动设备和虚拟触控方法的实施例中，使用了两个分别位于屏幕两个边缘角位的摄像镜头进行指示物三维坐标的检测。但是，应该明白摄像镜头的数量可以不限于两个。为了增加辨识的准确度和实现更精确的定位，也可以使用三个或以上等的摄像头。
在上面所描述的几个实施例中，摄像镜头的安装位置可以是在移动设备顶端的两个边缘角位、屏幕底部的两个边缘角位、或者是移动设备机身背面。并且，摄像镜头的朝向也是可以进行更改的。本领域的普通技术人员会很容易联想到摄像镜头的位置还可以在其移动设备机身上的其它部位，甚至是与移动设备机身分离而单独作为一个部件存在，而且摄像镜头的朝向也可以任意调整，只要摄像镜头的可视范围内有足够大的空间作为虚拟受控区。
除了将本发明的虚拟触控感应方法应用在移动设备上，其它固定/大型设备也可以应用本发明的虚拟触控感应方法。例如，可以在教室电子白板的两个顶端安装摄像镜头，以实现虚拟触控方式的指点。或者，可以在投影机屏幕的两个顶端安装摄像镜头以实现大型屏幕上的虚拟触控感应。
本文描述的几个实施例中都是使用摄像镜头进行指示物三维坐标的检测。本领域普通技术人员应该认识到其它类型的感应器也可以用于进行三维坐标的检测，例如电磁波传感器，红外线传感器或超声波传感器等。这类传感器或须要另类计算方法(如triangulation)去计算该指示物在空间中的三维坐标(x，y，z)，及转换成屏幕上的二维坐标。但其运作原理都含盖在本发明之内。
上面的描述提到了虚拟触控感应方法主要可以作为鼠标或者虚拟键盘进行操作。其它的各种输入方式，包括鼠标轨迹、画图、手写输入、多点触摸等等，也都可以用本发明中的虚拟触控感应方法而不会偏离其宗旨。

Claims (20)

1.一种虚拟触控感应方法，包括下列步骤：
使用一个以上感应器对位于虚拟受控区内的指示物的坐标进行检测；以及
根据该指示物的坐标计算在显示屏幕中相应的屏幕坐标；
其特征在于，所述虚拟受控区的操作面的面积大于所述显示屏幕的面积。
2.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤：
根据所述指示物的屏幕坐标，在所述显示屏幕上显示鼠标指针；当所述指示物大致在所述虚拟受控区内的操作面移动时，鼠标指针根据所述指示物的移动在所述显示屏幕中移动。
3.如权利要求2所述的方法，其特征在于，该方法还包括以下步骤：
在所述显示屏幕中划分最少一个区域，所述区域为预设键的可点击元件范围，
根据所述鼠标指针在所述显示屏幕中的位置，判定该鼠标指针是否进入其中一个预设键的可点击元件范围；以及
当鼠标指针进入所述预设键的可点击元件范围时，所述指示物在所述虚拟受控区中的所述预设键范围内的点击动作不作为移动指针的命令，而指示物在所述显示屏幕表面的点击操作被所述显示屏幕感应并作为对所述预设键的输入操作。
4.如权利要求2所述的方法，其特征在于，该方法还包括以下步骤：
在所述显示屏幕中划分最少一个区域，所述区域为预设键的可点击元件范围，
根据所述鼠标指针在所述显示屏幕中的位置，判定该鼠标指针是否进入其中一个预设键的可点击元件范围；以及
当鼠标指针进入所述预设键的可点击元件范围时，所述指示物在所述虚拟受控区中的某个特定方向上的移动导致所述预设键被锁定；
如果在某个特定时间内，所述指示物大体朝上述特定方向的相反方向移动，则所述预设键被触发；
如果超过上述特定时间内，所述指示物未能大体朝上述特定方向的相反方向移动，则所述预设键被解除锁定。
5.如权利要求1所述的方法，其特征在于，所述感应器包括第一摄像镜头和第二摄像镜头，第一摄像镜头大体上位于所述显示屏幕的第一边缘角位，而第二摄像镜头大体上位于所述显示屏幕的第二边缘角位；所述指示物在第一摄像镜头的二维图像中的位置为PL(x1，y1)，而所述指示物在第二摄像镜头中的二维图像中的位置为PR(xr，yr)；所述指示物P(x，y，z)在所述虚拟受控区内的三维坐标格式用如下的方程式计算：
x＝b(x1+xr)/[2(x1-xr)]
x＝b(x1+xr)/[2(x1-xr)]
x＝b(x1+xr)/[2(x1-xr)]
其中b为第一摄像镜头和第二摄像镜头之间的直线距离，f为第一摄像镜头和第二摄像镜头的镜头焦距。
6.如权利要求1所述的方法，其特征在于，所述感应器位于所述显示屏幕的背面。
7.如权利要求6所述的方法，其特征在于，所述感应器为摄像镜头并捕捉所述指示物的影像；所述指示物的影像以半透明形式显示在所述显示屏幕中。
8.如权利要求1所述的方法，其特征在于，所述虚拟受控区的操作面与所述显示屏幕表面之间的角度为任意大小。
9.如权利要求1所述的方法，其特征在于，所述虚拟受控区的操作面的面积可根据用户的喜好进行动态调整。
10.如权利要求1所述的方法，其特征在于，所述感应器包括第一摄像镜头和第二摄像镜头，所述指示物表面具有特征点以供所述感应器感应；所述特征点作为第一摄像镜头的图像和第二摄像镜头的图像的配对点。
11.如权利要求10所述的方法，其特征在于，所述特征点是由一直线连接的三点，所述三点的中间一点作为第一摄像镜头的图像和第二摄像镜头的图像的配对点。
12.一种虚拟触控感应系统，包括处理器、显示屏幕以及一个以上感应器，感应器对位于虚拟受控区内的指示物的坐标进行检测；处理器根据该指示物的坐标计算在显示屏幕相应的屏幕坐标，其特征在于，所述虚拟受控区的操作面的面积大于所述显示屏幕的面积。
13.如权利要求12所述的系统，其特征在于，所述显示屏幕显示鼠标指针，当所述指示物大致在所述虚拟受控区内的操作面移动时，鼠标指针根据所述指示物的移动在所述显示屏幕中移动。
14.如权利要求13所述的系统，其特征在于，所述显示屏幕中划分了最少一个区域，该区域为预设键的可点击元件范围；所述处理器根据所述鼠标指针在所述显示屏幕中的位置，判定该鼠标指针是否进入其中一个预设键的可点击元件范围；当所述鼠标指针进入所述预设键的可点击元件范围时，所述指示物在所述虚拟受控区中的所述预设键范围内的点击动作不作为移动指针的指示，而指示物在所述显示屏幕表面的点击操作被所述显示屏幕感应并作为对所述预设键的输入操作。
15.如权利要求13所述的系统，其特征在于，所述显示屏幕中划分了最少一个区域，该区域为预设键的可点击元件范围；所述处理器根据所述鼠标指针在所述显示屏幕中的位置，判定该鼠标指针是否进入其中一个预设键的可点击元件范围；当鼠标指针进入所述预设键的可点击元件范围时，所述指示物在所述虚拟受控区中的某个特定方向上的移动导致所述预设键被锁定；如果在某个特定时间内，所述指示物大体朝上述特定方向的相反方向移动，则所述预设键被触发；如果超过上述特定时间内，所述指示物未能大体朝上述特定方向的相反方向移动，则所述预设键被解除锁定。
16.如权利要求12所述的系统，其特征在于，所述感应器包括第一摄像镜头和第二摄像镜头，第一摄像镜头大体上位于所述显示屏幕的第一边缘角位置，而第二摄像镜头大体上位于所述显示屏幕的第二边缘角位置；所述指示物在第一摄像镜头的图像中的位置为PL(x1，y1)，而所述指示物在第二摄像镜头中的图像中的位置为PR(xr，yr)；所述指示物P(x，y，z)在所述虚拟受控区内的三维坐标格式用如下的方程式计算：
x＝b(x1+xr)/[2(x1-xr)]
x＝b(x1+xr)/[2(x1-xr)]
x＝b(x1+xr)/[2(x1-xr)]
其中b为第一摄像镜头和第二摄像镜头之间的直线距离，f为所述第一摄像镜头和第二摄像镜头的镜头焦距。
17.如权利要求12所述的系统，其特征在于，所述虚拟受控区的操作面的面积可根据用户的喜好进行动态调整。
18.如权利要求12所述的系统，其特征在于，所述感应器包括第一摄像镜头和第二摄像镜头，所述指示物表面具有特征点以供所述感应器感应；所述特征点作为第一摄像镜头的图像和第二摄像镜头的图像的配对点。
19.如权利要求18所述的系统，其特征在于，所述特征点是由一直线连接的三点，所述三点的中间一点作为第一摄像镜头的图像和第二摄像镜头的图像的配对点。
20.如权利要求12所述的系统，其特征在于，所述系统包括移动装置，该移动装置中安装了所述处理器、显示屏幕以及一个以上感应器。
CN2010102590236A 2010-06-30 2010-08-18 虚拟触控感应系统及方法 Pending CN102314301A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
HK10106409.0A HK1147905A2 (en) 2010-06-30 2010-06-30 System and method for virtual touch sensing
HK10106409.0 2010-06-30

Publications (1)

Publication Number Publication Date
CN102314301A true CN102314301A (zh) 2012-01-11

Family

ID=45399318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102590236A Pending CN102314301A (zh) 2010-06-30 2010-08-18 虚拟触控感应系统及方法

Country Status (3)

Country Link
US (1) US8749502B2 (zh)
CN (1) CN102314301A (zh)
HK (1) HK1147905A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520830A (zh) * 2011-12-27 2012-06-27 华南理工大学 一种基于图像处理技术的虚拟触摸屏系统
CN106204623A (zh) * 2016-07-25 2016-12-07 深圳先进技术研究院 多对比度图像同步显示和定位标定的方法及装置
TWI635434B (zh) * 2017-07-25 2018-09-11 英業達股份有限公司 游標控制方法
CN110060318A (zh) * 2019-04-26 2019-07-26 网易（杭州）网络有限公司 信息处理方法、信息处理装置、处理器和存储介质
CN110989873A (zh) * 2019-11-07 2020-04-10 浙江工业大学 一种用于模拟触摸屏的光学成像系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5484109B2 (ja) * 2009-02-09 2014-05-07 三菱電機株式会社 電気光学装置
WO2010110550A1 (en) * 2009-03-23 2010-09-30 Core Logic Inc. Apparatus and method for providing virtual keyboard
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US9348466B2 (en) * 2011-06-24 2016-05-24 Hewlett-Packard Development Company, L.P. Touch discrimination using fisheye lens
CN103019391A (zh) * 2011-09-22 2013-04-03 纬创资通股份有限公司 利用所撷取键盘影像作为指令输入依据的输入装置及方法
DE112011105888T5 (de) * 2011-12-23 2014-09-11 Hewlett-Packard Development Company, L.P. Eingabebefehl, der auf Handgeste basiert
JP6028589B2 (ja) * 2013-01-23 2016-11-16 富士通株式会社 入力プログラム、入力装置および入力方法
JP6165485B2 (ja) * 2013-03-28 2017-07-19 国立大学法人埼玉大学 携帯端末向けａｒジェスチャユーザインタフェースシステム
US9319665B2 (en) 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
US9736461B2 (en) 2013-06-19 2017-08-15 TrackThings LLC Method and apparatus for an attachable unit for a portable wireless system
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
CN105955545A (zh) * 2016-06-16 2016-09-21 成都才智圣有科技有限责任公司 基于计算机技术的人机界面触摸装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322329A (zh) * 1998-10-07 2001-11-14 英特尔公司 采用扫描传感器的输入设备
CN1577235A (zh) * 2003-07-18 2005-02-09 国际商业机器公司 为计算设备提供投影用户界面的方法和设备
CN101033963A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于指端标记的视频手指定位系统及其定位方法
CN101162406A (zh) * 2006-10-09 2008-04-16 李嘉晃 一种虚拟输入装置及其输入方法
CN101335783A (zh) * 2008-07-30 2008-12-31 中兴通讯股份有限公司 一种全功能键盘手机及输入方法
US20100102941A1 (en) * 2007-03-26 2010-04-29 Wolfgang Richter Mobile communication device and input device for the same
CN101729628A (zh) * 2008-10-15 2010-06-09 Lg电子株式会社 具有图像投影的移动终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017415A (zh) 2006-02-06 2007-08-15 乐金电子（沈阳）有限公司 具备虚拟输入装置的家电设备
CN100449459C (zh) 2006-12-27 2009-01-07 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
WO2008103018A1 (en) 2007-02-23 2008-08-28 Tp-I Co., Ltd Virtual keyboard input system using pointing apparatus in digial device
CN101606120B (zh) 2007-12-07 2012-08-15 索尼株式会社 控制装置、输入装置、控制系统、控制方法和手持装置
JP5371371B2 (ja) 2008-10-29 2013-12-18 京セラ株式会社 携帯端末および文字表示プログラム
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业（深圳）有限公司 光学触控装置
CN101727181A (zh) 2009-12-30 2010-06-09 刘坤 利用3d立体技术实现电脑输入和输出的方法
US20110199335A1 (en) * 2010-02-12 2011-08-18 Bo Li Determining a Position of an Object Using a Single Camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322329A (zh) * 1998-10-07 2001-11-14 英特尔公司 采用扫描传感器的输入设备
CN1577235A (zh) * 2003-07-18 2005-02-09 国际商业机器公司 为计算设备提供投影用户界面的方法和设备
CN101162406A (zh) * 2006-10-09 2008-04-16 李嘉晃 一种虚拟输入装置及其输入方法
US20100102941A1 (en) * 2007-03-26 2010-04-29 Wolfgang Richter Mobile communication device and input device for the same
CN101033963A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于指端标记的视频手指定位系统及其定位方法
CN101335783A (zh) * 2008-07-30 2008-12-31 中兴通讯股份有限公司 一种全功能键盘手机及输入方法
CN101729628A (zh) * 2008-10-15 2010-06-09 Lg电子株式会社 具有图像投影的移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520830A (zh) * 2011-12-27 2012-06-27 华南理工大学 一种基于图像处理技术的虚拟触摸屏系统
CN106204623A (zh) * 2016-07-25 2016-12-07 深圳先进技术研究院 多对比度图像同步显示和定位标定的方法及装置
CN106204623B (zh) * 2016-07-25 2019-11-05 深圳先进技术研究院 多对比度图像同步显示和定位标定的方法及装置
TWI635434B (zh) * 2017-07-25 2018-09-11 英業達股份有限公司 游標控制方法
CN110060318A (zh) * 2019-04-26 2019-07-26 网易（杭州）网络有限公司 信息处理方法、信息处理装置、处理器和存储介质
CN110989873A (zh) * 2019-11-07 2020-04-10 浙江工业大学 一种用于模拟触摸屏的光学成像系统
CN110989873B (zh) * 2019-11-07 2023-06-27 浙江工业大学 一种用于模拟触摸屏的光学成像系统

Also Published As

Publication number Publication date
HK1147905A2 (en) 2011-08-19
US8749502B2 (en) 2014-06-10
US20120001845A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CN102314301A (zh) 虚拟触控感应系统及方法
EP2620849B1 (en) Operation input apparatus, operation input method, and program
CN101963848B (zh) 一种判断目标点是否属于平面的方法和鼠标及触摸屏
US8432362B2 (en) Keyboards and methods thereof
EP2263134B1 (en) Communication terminals with superimposed user interface
RU2541852C2 (ru) Устройство и способ для управления пользовательским интерфейсом на основе движений
US20090146968A1 (en) Input device, display device, input method, display method, and program
US20030174125A1 (en) Multiple input modes in overlapping physical space
WO2014050147A1 (ja) 表示制御装置、表示制御方法及びプログラム
US20140043265A1 (en) System and method for detecting and interpreting on and off-screen gestures
WO2006036069A1 (en) Information processing system and method
WO2006104132A1 (ja) ユーザインタフェイスシステム
JP2008210348A (ja) 画像表示装置
KR20100106203A (ko) 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
CN106155419A (zh) 选择性地拒绝触摸表面的边缘区域中的触摸接触
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
US9024895B2 (en) Touch pad operable with multi-objects and method of operating same
JP2009258946A (ja) 静電容量式タッチセンサ
US20140152603A1 (en) Remote Sensing Touchscreen
TW200807284A (en) Programmable touch system
JP6075193B2 (ja) 携帯端末装置
KR102145824B1 (ko) 스마트 터치패드 인터페이스 방법 및 그 장치
CN104423720B (zh) 一种基于摄像头的电脑输入设备和方法
CN104063046A (zh) 输入装置及切换输入方式的方法
KR20140083303A (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120111