CN102339205B - 用于从手持计算机化设备的背板进行用户输入的方法 - Google Patents

用于从手持计算机化设备的背板进行用户输入的方法 Download PDF

Info

Publication number
CN102339205B
CN102339205B CN201110113001.3A CN201110113001A CN102339205B CN 102339205 B CN102339205 B CN 102339205B CN 201110113001 A CN201110113001 A CN 201110113001A CN 102339205 B CN102339205 B CN 102339205B
Authority
CN
China
Prior art keywords
finger
user
handss
touch pad
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110113001.3A
Other languages
English (en)
Other versions
CN102339205A (zh
Inventor
罗彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hans Cape Limited by Share Ltd
Original Assignee
Hans Cape Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hans Cape Ltd By Share Ltd filed Critical Hans Cape Ltd By Share Ltd
Publication of CN102339205A publication Critical patent/CN102339205A/zh
Application granted granted Critical
Publication of CN102339205B publication Critical patent/CN102339205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本发明涉及一种具有前板上的位图显示屏和安装在背板上的触摸板的手持计算机化设备。更特别地，本发明涉及一种方法以及图形用户界面，使用户能够从附加于前板上的虚拟键盘布局上的设备的后面看见用户的手指位置和运动。这允许用户使用在设备的后面的触摸板键区来输入键击和鼠标动作，并且这些将作为“虚拟手指”或等同物反映在手持计算机化设备前面的显示屏上。

Description

用于从手持计算机化设备的背板进行用户输入的方法
技术领域
本发明涉及具有安装在背板上的触摸板的手持计算机化设备。更特别地，本发明涉及使用户能够从附加于前板屏幕上的键盘布局上的设备的后面看见用户的手指位置和运动的方法和图形用户界面。这使得用户从安装在手持设备的背板上的触摸板击键输入和鼠标动作更容易。
背景技术
手持计算机化设备(即配备有微处理器和精密显示器的设备)，例如蜂窝电话、个人数字助理(PDA)、游戏设备、平板电脑(例如iPad)等等，在日常生活中正在扮演越来越重要的角色，并且正在变得越来越不可或缺。随着技术的发展，以及手持计算机化设备的处理能力的提高，功能和存储空间正以惊人的速度增加。同时，手持计算机化设备的尺寸继续变得越来越小。
为了迎接这种挑战，手持计算机化设备的设计者通常使用两种方法。一种方法是使键盘的键越来越小，使键小型化。另外，键盘的键可以被赋予多项功能-即过载，并且也可以引入更加复杂的功能的键盘的键。
另一种方法是使用前板上的触摸屏键盘，或者所谓的“软键”。这种情况用户可以使用手写笔或者手指通过图形用户界面来选择软键。然而，由于显示屏所带来的光错觉，软键盘不能太小，因为否则单个手指的按压将激活多个键。因此，设计者可能不得不将键分成不同的组和层级，并且仅在屏幕上显示少量键。
当前的两种方法都具有某些严重的缺陷：用户输入区域占据了前板的重要部分，并且尽管需要用户大量的注意力以进行操作，用户输入过程仍非常容易出错。
通常，用户不得不使用一只手来握持手持计算机化设备，并且使用另一只手来输入数据，因而占用了两只手。为了完成十分简单的输入，通常用户将不得不进行一长串键击，并且在不同的用户界面屏幕之间来回切换。因此，为了有效地操作手持计算机化设备，对于用户而言有显著的学习曲线来学习过载的键、功能键、键组合、以及键层级。
发明内容
因此，期望有更有效的并且用户友好的方式来进行手持计算机化设备的用户输入。对于以上这些问题，本发明提供了一种有效的解决方案。本发明通过利用以前用户输入通常不使用的背板空间来释放应用程序在前板上的原始键盘空间。本发明能够处理键盘输入和鼠标输入。本发明提供了一种前板屏幕上的极好的图形用户界面，在该界面处用户能够看见他/她握持背板的手指在键盘布局(虚拟键盘)的显示上面的实时位置和运动。本发明的方法比当前的触摸屏键盘更精确，因为其去除了当前存在于手指和触摸板之间的显示层。对于较小的手持设备，例如蜂窝电话、iPhoneTM或者iPadTM，握持该设备的手现在还可以进行输入，从而空出了另外一只手用于其它活动。
因此本发明的一个目的是提供一种为手持计算机化设备提供更有效且用户友好的用户输入的方法。
本发明的另一个目的是释放当前被小型电子设备的前板上的键盘所占据的空间，并且为了用户输入的目的，利用手持设备的背板上通常不使用的空间。
本发明的又一个目的是提供一种视觉上引人注目的用户界面设计，其使握持该设备的手指的实时位置和运动能够与键盘布局(虚拟键盘)的显示一起作为“虚拟手指”显示在前板上，该实时位置和运动通常会被设备本身从视图中隐藏。用户的手指位置和键盘布局可以作为背景图像显示，或者作为当前运行在手持设备上的所有应用程序中的一些上面的透明层显示。用户的手指位置和虚拟键盘的这些半透明的显示使得用户易于输入数据，而同时仍允许用户无阻碍地使用运行在手持设备上的各种应用程序。因而，例如，起初为具有物理键盘的计算机设备编写的应用程序可以不修改代码就容易地运行在缺少物理键盘的平板计算机设备上。因此，这些虚拟的半透明键盘以及还给出用户的手指运动信息的方法会非常有用。
本发明的另一个目的是使握持设备的手也能够进行用户输入操作，从而空出另一只手用于其它输入或其它用途。
在一个实施例中，本发明包括具有前板上的显示屏(可以是位图显示屏)的设备和方法；嵌在背板上，能够感测用户的手指位置和运动的触摸板，以及图形用户界面。该图形用户界面通常包括软件和使复杂图形能够快速显示在显示屏上的可选的图形加速硬件。该设备还具有显示键盘布局，以及在实时基础上计算和显示用户手指位置的虚拟键盘处理器。从而用户的手指在背板的触摸板上的位置和运动会被计算并作为层显示在前显示屏上，其可以是在所有其它应用程序上面的半透明层。虚拟键盘处理器也可以解析手指运动(敲击)，并且基于键盘上手指位置的已知定位来调用相应的操作。
附图说明
图1是显示握持背板的手指的位置和运动的手持计算机化设备的前板视图。
图2是手持计算机化设备的背板视图。
图3是显示多组键的手持计算机化设备的前板视图。
图4是显示握持背板的手指的位置和运动并且同时显示多组键的手持计算机化设备的前板视图。
图5是显示与背板的触摸板接触的一个手指的位置和运动的更小的手持计算机化设备的前板视图。
图6是显示与背板的触摸板接触的一个手指的位置和运动并且同时显示多组键的更小的手持计算机化设备的前板视图。
图7是显示作为标准键盘的键布局的另一个实施例的手持计算机化设备的前板视图。
图8是示出主要部件以及在前板屏幕、背板触摸板、虚拟键盘处理器和设备存储器之间的数据流的框图。
图9示出手和手指移动的生物力学模型如何可以校准并且适于有助将原始的触摸板数据转换成用户的手和手指位置的精确模型。
图10示出当键入时预测的键入方法如何可以用于提高虚拟手和手指外形的精确性。
图11示出对于手指接近触摸板，当在虚拟键盘上键入时，触摸板灵敏性的动态变化可以如何帮助加亮即将被用户敲击的虚拟键。
图12示出在设备的图形显示屏上生成虚拟手和手指的图像的方法。
具体实施方式
本发明涉及一种手持计算机化设备，其具有在前板上的位图显示屏，以及安装在背板上的触摸板。更特别地，本发明涉及一种方法和图形用户界面，使用户能够从附加于前板上的虚拟键盘布局上的设备后面看见用户的手指位置和运动。
图1中示出从前面看见的此配置。如可以看到的，用户握持类似Apple iPadTM或者等同物的手持电子平板设备100。设备的前板被大的图形显示屏102占据，其可以是位图图形显示屏。甚至在一些实施例中，整个前板屏幕或者前板可以被该图形显示屏102占据。用户在用他或她的手104握持设备100，其中用户的拇指106在设备的前面，并且用户的其它手指108在设备的后面。尽管设备100不是透明的，但是图形显示屏102被示出代表用户的手指108以及用户的手指明显正在触摸不可见表面的区域110的图形表示。这110对应于用户的手指尖的实时指印图像。
图2示出手持计算机化设备100的背面。与之前在图1中示出的包含大的图形显示屏的设备100的前面相反，手持计算机化设备的背面不包含大的图形显示屏，而是包含大的触摸板200。如可以看见的，现在能够看到用户的手指208以接触触摸板的用户的手指尖210位于触摸板之上。
图3示出正显示在设备100的大的图形显示屏102上的一种可能的“虚拟键盘”的图。在该示例中，“虚拟键盘”具有符号键区300、数字键区302、以及QUERTY键区304。应注意，在许多实施例中，键可以绘制成轮廓形式或者半透明的形式，以便不让任何其它运行在图形显示屏102上的图形应用程序变得模糊。
此方案允许用户使用在设备背面上的触摸板键区输入键击和鼠标动作，并且这些将作为“虚拟手指”或者等同物反映在手持计算机化设备的前面的显示屏上。如之前讨论的，在前板上的此虚拟键盘布局可以是标准的或者变型的QUERTY键盘或者键区、数字键盘或者键区(数字输入键盘)、或者可替换地，某些更小的标准键盘或者键区，例如音乐键盘、Qwertz键盘、Azerty键盘、Dvorak键盘、Colemak键盘、Neo键盘、土耳其文键盘、阿拉伯文键盘、亚美尼亚文键盘、希腊文键盘、希伯来文键盘、俄文键盘、摩尔多瓦文键盘、乌克兰文键盘、保加利亚文键盘、梵文键盘、泰文键盘、高棉文键盘、藏文键盘、中文键盘、朝鲜语(韩语)键盘、日文键盘、或者其它类型的键盘。通常，为了使用户继续查看运行在虚拟键盘下面的显示屏上的各种应用程序，此键区是半透明键区。
图4示出当在电子设备的背面安装的触摸板上键入时，用户如何可以看见在设备100的图形屏幕102上的他或她的手指108的图形显示，以及虚拟键盘布局300、302、304，例如之前在图3中讨论的。因而用户输入数据的能力得以提高，因为用户能够直观判断他或她的手指108与感兴趣的键区的键300、302、以及304之间的距离，并且适当地移动他或她的手指以便击中期望的键。
因为前键盘不再是必需的，本发明释放了否则可能已经用于前板上的原始键盘空间的该设备上的空间，并且创建了用于附加显示和应用程序的空间。本发明利用当前通常不使用的背板空间，从而使前显示器能够显示明显更大的虚拟键或者在它们之间具有更多空间的虚拟键。
本发明能够创建引入注目的视觉效果以及有用的视觉效果，因为用户能够看见他或她的握持背板从而通常被从视图阻挡的手指，正与虚拟(计算机生成的)键盘布局显示一起虚拟地显示在面板上。因为用户的手指位置、手指运动以及虚拟键盘都是从前板可见的，用户手指在位于设备的背板上的触摸面板上的输入既直观又易于使用。这将没有学习曲线，也无需专门训练。本发明的用户输入方法比传统的触摸屏键盘更精确，因为这些方法去除了在手指和触摸板之间的模糊层。对于诸如蜂窝电话和iPhone的小型手持设备，当前的发明使握持设备的手能够完成文本输入以及其它命令，因此空出了另一只手用于其它活动。
应注意，尽管通常将提供虚拟键盘，但是根据这些方法也可以使用感兴趣的可替换的数据输入点，例如互联网浏览器上的超链接等等。
可替换地，包括数字、字母、以及符号的多组键的布局可以显示在与前板屏幕上的当前应用程序分开的区域上(很像通常用于软键的传统分开显示的区域)。
这种方法的一个显著优点是利用当前虚拟键盘和虚拟手指方法的设备不必具有物理QUERTY键区或者物理QUERTY键盘，或者诸如物理数字输入键区或者物理数字输入键盘的任意其它类型的物理键区。这有助于改善设备的人体工程学，允许有更大的图形显示屏，并且还可以降低成本。
图5是更小的手持计算机化设备500的正视图，其更可能是具有显示与背板的触摸板110接触的多个手指108的位置和运动的更小的图形显示屏502的蜂窝电话尺寸的设备(例如Apple iPhoneTM尺寸的设备)。
图6是相同的更小的手持计算机化设备500的正视图，其显示与背板的触摸板110接触的多个手指的位置和运动，并同时显示多组键300、302、304。
图7是手持计算机化设备100的图形显示器102的正视图，其显示作为标准键盘的键布局的另一个实施例(变型的QUERTY键盘或者键区)。
在一个方面，本发明是一种计算机实现的方法，包括：手持计算机化设备，具有在前面的能够显示图形用户界面的屏幕，以及触敏背板用户界面，例如二维触摸感应器。触摸感应器将实时确定手指的运动，并且设备的软件和处理器将使用触摸感应器数据来计算触摸背板上的触摸感应器的用户手指的实时位置和运动。然后这些“虚拟手指”将显示在静态背景上面的设备的图形用户界面上，在此处显示包括数字、字母、以及符号(例如虚拟键盘)或超链接的多组键。通过注视在虚拟键盘上的用户的虚拟手指的运动，用户能够容易地操作设备，并且精确地确定在哪敲击手指，以击中预期的虚拟键。
此处，背板用户界面(UI)可以以突出的而非阻碍性的颜色画出轮廓，并且显示为在当前应用程序上的透明层，因此当前应用程序以及背板UI的所有细节都显示给用户。
可替换地，握持背板的手指的实时位置和运动可以显示在前板的屏幕上。
可替换地，包括数字、字母、以及符号的多组键的布局可以显示在作为握持背板的手指的实时位置和运动的背景的前板的屏幕上。
可替换地，握持背板的手指的实时位置和运动可以显示在包括数字、字母、以及符号的多组键的静态背景上，使用户能够精确地将手指敲击在预期的键上。
在另一个方面，本发明是一种计算机实现的方法，包括手持计算机化设备，具有安装在背板上的触摸板，其中触摸板能够检测多个手指的触摸、移动、以及敲击运动。此处一个或多个手指的手指运动的信息，包括运动类型(例如触摸、移动、以及敲击模式等等)以及运动位置，传送至虚拟键盘处理器(例如计算机处理器)。虚拟键盘处理器将分析手指运动，将手指位置与键(虚拟键)的已注册位置、以及应用程序的超链接和其它触摸按钮(总称为“用户输入区域”)相比较，然后将决定用户输入区域中哪个项目被敲击。然后虚拟键盘处理器将调用相应的操作。虚拟键盘处理器还可以在每次手指运动后在前屏幕上更新手指、或者指垫、或者甚至是用户的手的实时图像。
此处，触摸板可以安装在手持计算机化设备的背板上，并且可以能够检测多个用户手指的触摸、移动、以及敲击运动。
可替换地，关于多个用户手指的手指运动的信息，包括运动类型(例如触摸、移动、以及敲击运动等等)以及运动位置，可以传送至虚拟键盘处理器。
可替换地，虚拟键盘处理器可以分析手指运动，将手指位置与键的已注册位置相比较，确定哪个键被敲击，并且调用相应的操作。
可替换地，虚拟键盘处理器可以更新握持背板的手指的实时位置和运动。
在另一个方面，本发明是一种用于手持计算机化设备的图形用户界面。该界面将包括包含数字、字母以及符号的多组键的显示。这些将显示在前板屏幕上的图形用户界面上，并且甚至此区域可以占据整个屏幕。此处，图形用户界面的内容不被应用程序阻挡，并且与应用程序一起显示。
在又一个方面，本发明是一种用于手持计算机化设备的图形用户界面。该界面包括握持背板的手指的实时位置和运动的显示。此处，该显示位于前板屏幕上，并且实际上可以占据整个屏幕。由于此方法的优点，用户的手指位置和运动的内容不被应用程序或者包括数字、字母以及符号的几组键的显示所阻挡。
在另一个方面，本发明是一种帮助用户数据进入手持计算机化设备的方法。该手持计算机化设备通常将包括至少一个触摸板(通常位于在支承图形显示屏的设备侧面的后方的手持计算机的一侧)、至少一个图形显示屏、至少一个处理器、存储器、以及软件。然而，通常手持计算机化设备缺少QUERTY键区或键盘，甚至也还可能缺少数字键区或键盘。该方法将通常包括在设备的所述至少一个图形显示屏上显示至少一个数据输入位置。通常，此至少一个数据输入位置将是可以由多个数据输入位置组成的键盘或键区的图形显示。此处，系统将使用触摸板来获得关于用户的手指和/或手的位置和移动的数据。系统可以根据人手的生物力学和解剖学模型来分析关于用户的手指和/或手的位置和移动的数据，并且将关于所述用户的手指和/或手的位置和移动的数据分配给该人手(通常为用户的手)的生物力学和解剖学模型上的特定手指。然后，系统可以使用该人手的生物力学和解剖学模型来计算至少用户的手指，并且常常是用户的手指和用户的手两者的图形表示。然后，系统将在设备的图形显示屏幕上显示至少用户的手指(并且也常常是用户的手指和手两者)的图形表示。因此，在图形显示屏上的用户的手指的图形表示与数据输入位置(例如虚拟键盘)之间的距离，将给出将有助于用户正确地将他或她的手指和/或手放置在触摸板上的信息，这又将便于数据输入。
图8示出可以用于实现本发明的一个实施例的软件和硬件的概观图。此处，手指的位置和运动数据首先从背板触摸板800收集，然后传送至虚拟键盘处理器802。虚拟键盘处理器(其通常将通过诸如微处理器、图形处理器、触摸板控制器以及存储器的软件和硬件的组合来实现)显示虚拟手指的位置和运动以及前板屏幕804上的键盘布局。虚拟键盘处理器还分析手指的位置和运动信息，将此与键的已注册位置(或超链接)相比较并且调用适合的操作806。键盘位置信息可以在虚拟键盘处理中编程，或者可替换地，可以保存在系统存储器808中。用户想要传达至应用程序的按键或超链接信息可以通过存储器或者可替换地通过中间处理通信工具传送至虚拟键盘控制器。
触摸板技术
原则上，多种不同类型的触摸板技术都可以用于此设备，包括电容检测(Gerpheide在美国专利5,305,017中示例的)、电导检测、电阻检测、表面声波检测、表面电容检测、投射电容检测、应变仪、光学成像、色散信号技术、声音脉冲识别、以及双向屏幕检测。然而在优选的实施例中，可以使用不需要很大量的手指压力的触摸板检测技术以及能够同时检测多个手指位置的触摸板技术。这种同时检测多个手指位置或姿势的能力通常称作多点触摸(multitouch)或者多点触控(multi-touch)检测技术。
适于本发明的适合的多点触控触摸板技术的一个好的示例是由加利福尼亚州圣何塞Cypress半导体公司制造的Cypress TrueTouchTM投射电容系列产品。该系列产品使用投射电容技术进行工作，并且非常适于多点触控应用。在白皮书“Cypress电容感应逐次逼近算法(Cypress’Capsense Successive Approximation Algorithm)”(Robert Jania，2007年1月17日(CSA RJO.doc))中描述的技术通过检测手指相对于电阻检测器的存在度或接近度来发挥作用。因为此触摸板系统检测手指的接近度，而不是手指的压力，其非常适用于多点触控应用，因为根据电容检测电路的调整以及触摸板的底层弹性，从轻到重各种程度的手指压力都能被分析。如Jania教导的，尽管通常使用在触摸屏上，但此方法实际上可以使用在广阔范围的基板。
虚拟手指和手的位置软件(虚拟键盘处理器)
适合的手指和手的位置的算法包括“多点触控表面上的手部追踪、手指识别和配合操控(HAND TRACKING，FINGERIDENTIFICATION，AND CHORDIC MANIPULATION ON AMULTI-TOUCH SURFACE”(Westerman，电子工程博士论文，特拉华大学，1999年春季)中的算法。这些算法使每只手上的所有手指都能从触摸板数据中非常精确地被识别。
如Westerman教导的，试图创建“虚拟手指”的一个问题是在最佳情况下，通常仅有手的某些区域，例如指尖或许手掌，通常能够由传统的多点触控感应器检测(Westerman的摘要、第xxix-xxx页)。Westerman教导如何通过从手的位置估计进行自举来解决该问题，其克服了将指尖链接至手掌的结构的不可见性。Westerman还发现可以通过使用各种近似图像构造的与上下文有关的分段，以及通过用参数表示对应于每个可辨别的表面接触的像素组来获得适合的算法。他还发现通过对跨越连续图像的链接进行路径跟踪，那些对应于相同的手部分的组可以被确定，并且当个别手指向下触摸以及从多点触控触摸板表面抬起时，可能进行可靠的检测。他还发现并且提出了多种不同组合的优化算法，其使用生物力学的约束条件和解剖学的特征将每条接触的路径与任意一只手的特定的指尖、拇指、或者手掌相关联。他的算法还通过将接触分配给手的局部吸引点的一个环，使用平方距离的成本度量，有效地相对于手的局部吸引点的环将接触特性分类。
Westerman还描述了用于可靠地检测同步的手指触摸、提取独立的手的转换、缩放比例、转速、以及手指和手的识别的方法。
图9示出此一般类型的方法如何可以适用于本发明的抽象概念。该方法可以仅使用手和手指的关系的标准化模型来进行足够精确的工作。此处，例如，该系统仅通过初始校准步骤就可以充分地执行，例如，系统邀请用户将他或她的手放在显示屏上，系统显示各种尺寸的手，并且用户被邀请以最适合他自己或她自己的手的标准化的手的尺寸进行输入。系统然后可以使用此数据进行它的各种计算。甚至更加简单地，系统可以默认以平均的手的尺寸用于初始使用，使得某些程度的功能性未经预先校准就可以实现。
然而，通常通过使用一个或多个主动的校准步骤来更好地校准系统是有用的。这些步骤可以在实际使用条件下改进初始的手的模型，并且对手的模型的各个部分进行适当调整，调整为将最适合在实际使用条件下已经获得的数据。
图9中示出了此主动校准过程的示例。此处，在步骤900，系统可以邀请用户执行主动校准的步骤，或者可替换地用户将自动地启动主动校准步骤。为了辅助此校准步骤，系统可以任选地在屏幕上显示一个或多个对象，其可以是键盘对象、或者可替换地可以是为主动校准步骤专门设计的专门设计校准对象。
为了降低复杂度，系统可以可选地要求用户一次校准一只手，甚至可以要求用户以不同于通常键入的方式操作他或她的手上的手指以便收集附加的数据。例如，可以要求用户首先以每次一个为基础可能通过所有的手指和拇指，将特定手指伸展至最大长度并且按压，然后伸展至最小长度并且按压，然后伸展至最左端并且按压，然后伸展至最右端并且按压等等。应该是明显的，这样的数据集然后可以自然地转换成特定用户的手的适度详细的模型并且其能够保持多个不同的构造。在该过程期间，系统将使用触摸板检测硬件和校准软件来积累触摸数据(902)。系统还将通过从各种手位置估计进行自举来做出预测以便定位用户的手和手指(904)。通常，系统将跟踪跨越连续的时间间隔的手和手指的位置来做这个，并且计算可能的手指路径(906)。通常系统将使用其内部的用户的手的生物力学特征以及解剖学特征的模型来做这个，并且帮助将各种投射路径与用户的指尖和拇指位置相关联，其至少在主动校准过程期间是已知的(908)。在步骤910中，然后系统将通过将预测的结果与实际数据相比较来改进其用户的手的生物力学和解剖学特征的模型，并且确定其用户的手的模型是否在以足够的精度工作。如果是，则此用户的手的模型然后将被采用并用于后续的用户虚拟键盘数据输入目的。如果用户的手的模型未以足够的精度进行工作，则系统将尝试通过改变一个或多个手的模型的参数来调整手的模型(912)，并且然后通常将继续校准过程直到得到令人满意的性能。
因此，此校准软件使人手的生物力学和解剖学模型能够被更精确地校准，以便匹配特定用户的手指和/或手的生物力学和解剖学特征。
在屏幕上被模拟的虚拟手指的真实性可以可选地通过使用预测的键入模型而易于实现。当用户在虚拟键盘上键入文本时，该方法将特别有用，因为系统能够扫描之前已经输入的文本，并且利用词典以及其它手段，例如在特定语言中的字母的统计分布，以做出关于接下来将键入什么字母的有根据的推测。这种有根据的推测然后可以用于补充关于上一个指尖位置和移动的触摸板数据，以尝试将被模拟手指的外形导向合理的下一个键。因为此系统将偶尔进行错误的推测，然而，用户或许发现根据用户和情况调整此预测的键入“提示”为不同的设置是有用的。因此，熟练地进行触摸键入以及倾向于十分迅速并且十分准确地键入的用户将易于发现预测键入提示是有用的，因为预测的方法将有助于这种类型的用户很好地工作。在另一方面，更多是缓慢的并且不确定的“看着键盘打字”的用户或许发现预测方法不是那么有用，并且或许希望降低提示的强度或者甚至可能希望完全关闭预测键入“提示”。
图10中示出这种预测键入“提示”方法的图。在预测键入系统中，软件将首先存取用户的手的生物力学和解剖学模型数据(1000)、以及来自触摸板检测器的最新的指尖和拇指位置数据(1002)。然后系统将使用此信息将用户的虚拟手和手指显示在设备的显示屏上(1004)。如果预测键入模式打开(1006)，则系统将尝试(基于键入速度以及键入速度中用户的连贯性，以及上下文)推导用户接下来可能键入的最可能是一个或多个什么字母。系统还将尝试预测用户将最可能使用的一个或多个手指来键入此最可能的字母(1008)。例如，如果用户在快速并且连贯地键入，并且单词或者句子的上下文指示可能是元音例如“e”，那么系统可以在其分析来自触摸感应器的稍微有噪声的手指位置数据时使用此要素，以增加用户的左食指(通常用于在键盘上键入“e”，并且其实际上可能未在触摸板上指示，因为用户已抬起左食指以移动来敲击“e”键)移向“e”键的可能性。当正确地使用时，这种预测键入算法能够帮助增加用户透过显示器观察并且看到显示器下面的他或她的手上的错觉。相反，如果预测键入模式关闭(或者设置成降低的强度)(1010)，则系统在其显示用户的手和手指时将不考虑可能的下一个字母。
预测键入的效率可以通过结合对于每个特定的键，用户所使用的手指的历史来进一步提高。例如，一个用户或许强烈地倾向于使用右食指来键入“H”和“J”，并且作为另一个示例，相同的用户或许倾向于使用他或她的左小手指来键入字母“A”和“Z”。此处系统可以随着时间观察单个用户的键入模式，作为初始校准步骤的一部分，或者在以后(甚至可能连续地)同时监视用户的键入模式，并且使用用户的个性化的手指与字母的关联习惯作为预测键入算法的一部分。
因此，这种预测键入软件使计算机化设备能够通过除使用触摸板获得的关于用户的手指和/或手的位置和移动的数据之外，附加使用键击预测，以更好的精度来计算至少用户的手指的图形表示(且通常是用户的手指和手)。
为了提高虚拟手指的真实性，还可以使用附加的“手指悬停”算法。如在本说明书中使用的，“手指悬停”意思是每当系统认为用户的手指是悬停在该虚拟键上或者将要敲击该虚拟键，就加亮或以其它方式在图形上改变在虚拟键盘上的虚拟键的外观。对于这种类型的算法，使用能够检测接近触摸板表面的相关手指的触摸板，例如投射电容技术触摸板，会特别地有用。
检测表面上方的相关手指高度的感应器和算法可以被调整用于各种程度的灵敏度，实际上这种灵敏度等级代表了重要的技术折衷。如果将触摸板调整至太高的灵敏度，则其将倾向于产生伪(错误)信号，并且也缺少关于在触摸板上手指将要到达的精确位置的精度。如果将触摸板调整至较低的灵敏度，则触摸板将仅倾向于检测在触摸板表面上施加相当大的压力的指尖。
尽管许多现有技术的触摸板倾向于一直使用持续水平的触摸板灵敏度，但是对于本说明书中描述的“手指悬停”选项，使用动态的或者可变化等级的触摸板灵敏度可能是有利的。例如，为了检测在键上方悬停的手指，触摸板或许首先以通常等级的灵敏度进行操作，直到其检测到在特定键的关键性敲击距离内的指尖已经离开了触摸板的表面。在此点上，为了检测在键上方的“手指悬停”，触摸板电路可能临时将其灵敏度重置到更高的等级，其设计为当用户的手指在键上方悬停时进行更精确地检测。如果更高等级的触摸板灵敏度检测到指尖接近，则键将被加亮。如果更高等级的触摸板灵敏度没有检测到悬停的指尖，则键将不被加亮。在短暂的一段时间之后，通常大概在十分之一秒的数量级，触摸板然后会被重置到通常等级的灵敏度，以更准确地确定手指是否已经确实接触到触摸板。
图11示出用于检测和指示“手指悬停”的算法的示例。此处，系统显示虚拟键盘(1100)，以及在此虚拟键盘上或者接近此虚拟键盘的用户的虚拟手指的覆盖(1102)。当系统检测到由于手指接近该键和或考虑预测键入而被怀疑为将要按键的手指离开触摸板时(最可能是因为用户准备敲击该虚拟键而已经在触摸板上抬起了手指)(1104)，系统将立即将触摸板手指接近检测器调至更高等级的灵敏度(1106)，并且软件将特别地查看一下在被怀疑的一个或多个键上方悬停的手指是否能被检测到(1108)。如果能，并且手指悬停信号能够被检测到在该被怀疑的键上方，则此键将被加亮以帮助引导用户(1110)。在一段时间之后，通常大约不超过十分之一秒，系统将再次将手指接近检测器的灵敏度调低至通常等级(1112)，以便准确地检测手指是否将要敲击键(1114)。如果现在正以通常的灵敏度操作的触摸板现在检测到虚拟键已经被用户敲击，系统将通过键的进一步的图形变化来适当地指示在虚拟键盘上的键击(1116)，并且可选地也可以发出听得见的按键或击键的声音，以给用户进一步的反馈。
更一般地，这种方法允许至少一个数据输入位置(键)在设备的图形显示屏上加亮，只要计算机化设备确定在所述用户的手上的至少一个手指已经离开触摸板，并且手指的位置和运动历史与该手指在触摸板上敲击位置的能力一致，该能力与在图形显示屏上数据输入位置(键)的位置一致。
用户的人手和手指的图形表示
一旦计算机化设备已经从触摸板获得数据，以及任何附加的预测键入数据、悬停检测方法数据、校准数据等等，并且已经更新了其内部的用户的一只或两只手(包括手指)的生物力学和解剖学模型以反映此新的数据，则系统可以利用用户的一只或两只手的此生物力学和解剖学模型来计算适于显示在设备的图形显示屏上的至少用户的手指，并且通常是用户的手和手指的图形表示。
此处不需要用户的手和手指的逼真的图形表示。通常，用户的手和手指的更类似阴影图或者类似动画的二维模型(或者表示)将都是必需的。如果有任何内部细节，通常用户的手和手指的这些二维表示不必包含很多。反而，例如这些表示可以看起来很像是在表面上的用户的手和手指的半透明的灰色或其它颜色的阴影投射。此处，用户的手和手指的锐度和对比度以及细节仅需要足够明显，并且具有与显示屏的其它区域足够显著的对比，以便使用户能够将他或她的手和手指精确地放在图形显示器中正显示的适当的虚拟按钮或虚拟键盘上。
许多以图形表示用户的手和手指，或者至少是用户的手指的方式都是可能的。图12中示出一种方式。此处，基于人手的生物力学和解剖学模型(1200)，以及关于基于触摸板数据的用户的手指和手的位置和移动的可选地特定数据(以及来自预测键入软件或悬停检测的任何附加数据)，可以在描绘用户的手和手指的设备的存储器中构造三维虚拟模型(1202)。
基于这种3D模型，可以在对应于触摸板表面的数学表面上建立用户的手和手指的大体轮廓的二维投射(1204)。该投射可以是手和/或手指的轮廓形式，或者可替代地可以产生虚拟的手和手指的影像。然后此投射可以与被发送至设备的显示屏的存储器缓冲器或图形显示器缓冲器的任何其它数据相结合，然后显示给用户(1206)。
因此在一个实施例中，通过之前将关于用户的手指和/或手的位置和移动的数据分配给在所述人手的生物力学和解剖学模型上的特定手指来在计算机化设备的存储器中创建用户的手和手指的三维模型，可以在图形显示屏上用图形来表示至少用户的手指(并且通常是用户的手和手指)。接下来，可以建立在存储器中的用户的手和手指的此三维模型的二维投射。此处，二维投射可以在与用户的手指的模型的距离和方向上均对应于触摸板的虚构的平面上。因此，例如如果实际用户的手指在触摸板上方1/4”，那么在用户的手指的三维模型与在距离和方向上对应于触摸板的虚构平面之间的距离也将是1/4”。在虚构的“触摸板”平面(虚拟触摸板)上的该二维投射可以用于在图形显示屏上生成至少用户的手指的图形表示，并且通常也是用户的手指和手。
可替换地，在计算密度较低的方案中，可以操纵用户的手和手指的二维模型以最适合之前讨论的手和手指的位置和运动数据，并且此二维模型随后用于图形表示。
触摸板的替换方式或补充
在可替换的实施例中，可以使用光学方法获得关于用户的手指位置的信息。因此在可替换的实施例中，触摸板感应器可以是诸如一个或多个相机的光学方式。这些相机可以保持跟踪用户的手和手指的位置，并且此数据随后可以被送入人手的生物力学和解剖学模型中，以计算如前所述的至少用户的手指的图形表示。
商标：iPADTM以及iPhoneTM是加利福尼亚州库珀蒂诺市苹果公司的商标。
相关申请的交叉引用
本申请要求2010年4月23日提交的、名称为“用于从手持电子设备的背板进行用户输入的方法、图形用户界面以及装置(METHOD，GRAPHICAL USER INTERFACE，ANDAPPRARATUSFOR USER INPUT FROM THE BACK PANEL OF A HANDHELDELECTRONICDEVICE)”、发明人为Tong Luo的美国临时申请No.61/327,102的优先权，其内容通过引用的方式并入于此。

Claims (20)

1.一种帮助将用户数据输入到手持计算机化设备的方法，所述手持计算机化设备包括至少一个触摸板、至少一个图形显示屏、至少一个处理器、存储器、以及软件，所述方法包括：
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少一个数据输入位置；
使用所述触摸板来获得关于用户的手指和/或手的位置和移动的数据，当所述用户的手指和/或手接触所述触摸板时，所述用户的手指和/或手相对于所述触摸板以从背板进行输入的方式放置；
所述触摸板位于所述手持计算机化设备与所述至少一个显示屏的位置不同的位置；
根据人手的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指和/或手的位置和移动的所述数据，并在不使用光学的用户手指位置上的信息的情况下，并将关于所述用户的手指和/或手的位置和移动的所述数据分配给所述人手的所述生物力学和解剖学模型上的特定手指，并做出预测以便定位用户的手和手指而不需要使用任何光学或者相机信息；
使用所述人手的所述生物力学和解剖学模型以及对所述用户的手和手指的定位的预测来计算至少所述用户的手指的图形表示；
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少所述用户的手指的所述图形表示；
其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示与所述至少一个数据输入位置之间的距离，为所述用户提供有助于所述用户将所述用户的手指和/或手定位在所述至少一个触摸板上的信息，以将用户数据输入到所述至少一个数据输入位置。
2.如权利要求1所述的方法，其中，所述至少一个数据输入位置是由多个数据输入位置组成的键盘或键区的图形显示，或者其中，所述至少一个数据输入位置是超链接。
3.如权利要求1所述的方法，其中，所述至少一个数据输入位置包括QUERTY键盘或键区的图形显示，并且所述手持计算机化设备缺少物理QUERTY键盘或键区。
4.如权利要求1所述的方法，其中，所述至少一个数据输入位置包括多个输入键盘或键区的图形显示，并且所述手持计算机化设备缺少物理数字输入键盘或键区。
5.如权利要求1所述的方法，其中，所述触摸板位于在支承所述至少一个图形显示屏的所述手持设备的侧面的后面的所述手持计算机化设备的一侧。
6.如权利要求1所述的方法，其中，所述触摸板能够检测在所述触摸板的表面上方的所述用户的手指的接近。
7.如权利要求6所述的方法，其中，所述触摸板能够辨别所述用户的手指和所述触摸板的表面之间的距离。
8.如权利要求1所述的方法，其中，所述软件包括校准软件，以使所述人手的生物力学和解剖学模型能够被校准为所述触摸板的数据，从而更精确地匹配所述用户的手指和/或手的生物力学和解剖学特征。
9.如权利要求1所述的方法，其中，所述至少一个数据输入位置在所述至少一个图像显示屏上被加亮，只要所述计算机化设备确定所述用户的手上的至少一个手指已经离开触摸板，并且所述至少一个手指的位置和运动历史与所述用户的手上的所述至少一个手指在所述触摸板上敲击位置的能力一致，该能力与所述至少一个图形显示屏上的所述至少一个数据输入位置的位置一致。
10.如权利要求1所述的方法，其中，所述软件包括预测键入软件，所述预测键入软件被构造成推导用户接下来可能键入的最可能的一个或多个字母，并且推导用户将最可能使用的一个或多个手指来键入所述最可能的一个或多个字母；
并且所述计算机化设备利用所述预测键入软件所进行的键击预测，连同关于使用触摸板的所述用户的手指和/或手的位置和移动的所述数据，来计算至少所述用户的手指的图形表示。
11.一种帮助将用户数据输入到手持计算机化设备的方法，所述手持计算机化设备包括至少一个触摸板、至少一个图形显示屏、至少一个处理器、存储器、以及软件，所述方法包括：
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少一个数据输入位置；
其中，所述至少一个数据输入位置是由多个数据输入位置组成的键盘或键区的图形显示；
使用所述触摸板获得关于用户的手指和/或手的位置和移动的数据，当所述用户的手指和/或手接触所述触摸板时，所述用户的手指和/或手相对于所述触摸板放置；
所述触摸板位于支承所述至少一个图形显示屏的所述手持设备的侧面的后面的所述手持计算机化设备的一侧；
根据人手的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指和/或手的位置和移动的所述数据，并在不使用光学的用户手指位置上的信息的情况下，并将关于所述用户的手指和/或手的位置和移动的所述数据分配给所述人手的所述生物力学和解剖学模型上的特定手指，并做出预测以便定位用户的手和手指而不需要使用任何光学或者相机信息；
使用所述人手的所述生物力学和解剖学模型以及对所述用户的手和手指的定位的预测来计算至少所述用户的手指的图形表示；
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少所述用户的手指的所述图形表示；
其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示与所述至少一个数据输入位置之间的距离，为所述用户提供有助于所述用户将所述用户的手指和/或手定位在所述至少一个触摸板上的信息，以将用户数据输入到所述至少一个数据输入位置，并且；
其中，所述手持计算机化设备缺少物理QUERTY键盘或键区。
12.如权利要求11所述的方法，其中，在所述至少一个图形显示屏上的至少所述用户的手指的图形表示是半透明的，以使得所述用户的手指下面的图形显示能够被观察到。
13.如权利要求11所述的方法，其中，所述至少一个数据输入位置是半透明键盘或半透明键区的图形显示，因此允许运行在所述图形显示上的当前应用程序的细节连同所述半透明键盘或半透明键区显现。
14.如权利要求11所述的方法，其中，多个手指的手指运动的信息，包括运动类型以及运动位置，被传送至虚拟键盘处理器，其中，所述虚拟键盘处理器分析手指运动，将手指位置与键的已知位置相比较，并决定哪个键被敲击并调用相应的操作，其中，虚拟键盘处理器还在每次手指运动后在前屏幕上更新实时的手指位置图像。
15.如权利要求11所述的方法，其中，图形显示是在所述设备的前板屏幕上，并且其中所述图形显示的区域可以占据达所述设备的整个前板屏幕，并且其中，所述图形显示的内容能够在所述用户的手指的半透明表示和所述键盘或键区的半透明表示下面显现。
16.如权利要求11所述的方法，其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示通过以下步骤执行：
使用来自所述触摸板的关于所述用户的手指和/或手的位置和移动的所述数据在所述人手的所述生物力学和解剖学模型上的特定手指的所述分配，在存储器中创建用户的手和手指的三维模型；
在存储器中创建所述用户的手和手指的所述三维模型的二维投射，其中，所述二维投射处于在距离和方向上都对应于所述触摸板的虚构平面上；
以及使用在所述虚构平面上的所述二维投射在所述至少一个图形显示屏上生成至少所述用户的手指的所述图形表示。
17.如权利要求11所述的方法，其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示通过以下步骤执行：
使用关于所述用户的手指和/或手的位置和移动的所述数据在所述人手的所述生物力学和解剖学模型上的特定手指的所述分配，来操纵在存储器中的用户的手和手指的二维模型；
以及使用所述二维模型在所述至少一个图形显示屏上生成至少所述用户的手指的所述图形表示。
18.一种帮助将用户数据输入到手持计算机化设备的方法，所述手持计算机化设备包括至少一个触摸板、至少一个图形显示屏、至少一个处理器、存储器、以及软件，所述方法包括：
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少一个数据输入位置；
其中，所述至少一个数据输入位置是由多个数据输入位置组成的键盘或键区的图形显示；
使用所述触摸板获得关于用户的手指和/或手的位置和移动的数据，当所述用户的手指和/或手接触所述触摸板时，所述用户的手指和/或手相对于所述触摸板放置；
所述触摸板位于支承所述至少一个图形显示屏的所述手持设备的侧面的后面的所述手持计算机化设备的一侧；
根据人手的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指和/或手的位置和移动的所述数据，并在不使用光学的用户手指位置上的信息的情况下，将关于所述用户的手指和/或手的位置和移动的所述数据分配给所述人手的所述生物力学和解剖学模型上的特定手指，并做出预测以便定位用户的手和手指而不需要使用任何光学或者相机信息；
使用所述人手的所述生物力学和解剖学模型以及对所述用户的手和手指的定位的预测来计算至少所述用户的手指的图形表示；
在所述手持计算机化设备的所述至少一个图形显示屏上显示至少所述用户的手指的所述图形表示；
其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示通过以下步骤执行：
使用关于所述用户的手指和/或手的位置和移动的所述数据在所述人手的所述生物力学和解剖学模型上的特定手指的所述分配，在存储器中创建用户的手和手指的三维模型；
在存储器中创建所述用户的手和手指的所述三维模型的二维投射，其中，所述二维投射处于在距离和方向上都对应于所述触摸板的虚构平面上；
以及使用在所述虚构平面上的所述二维投射在所述至少一个图形显示屏上生成至少所述用户的手指的所述图形表示；
其中，在所述至少一个图形显示屏上的至少所述用户的手指的所述图形表示与所述至少一个数据输入位置之间的距离，为所述用户提供有助于所述用户将所述用户的手指和/或手定位在所述至少一个触摸板上的信息，以将用户数据输入到所述至少一个数据输入位置；并且
其中，所述手持计算机化设备缺少物理QUERTY键盘或键区。
19.如权利要求18所述的方法，其中，在所述至少一个图形显示屏上的至少所述用户的手指的图形表示是半透明的，以使得所述用户的手指下面的图形显示能够被观察到。
20.如权利要求18所述的方法，其中所述软件包括校准软件，以使所述人手的生物力学和解剖学模型能够被校准为所述触摸板的数据，从而更精确地匹配所述用户的手指和/或手的生物力学和解剖学特征。
CN201110113001.3A 2010-04-23 2011-05-03 用于从手持计算机化设备的背板进行用户输入的方法 Expired - Fee Related CN102339205B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US32710210P 2010-04-23 2010-04-23
US12/773,075 US8384683B2 (en) 2010-04-23 2010-05-04 Method for user input from the back panel of a handheld computerized device
US12/773,075 2010-05-04
US12773075 2010-05-04

Publications (2)

Publication Number Publication Date
CN102339205A CN102339205A (zh) 2012-02-01
CN102339205B true CN102339205B (zh) 2017-03-01

Family

ID=44815434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110113001.3A Expired - Fee Related CN102339205B (zh) 2010-04-23 2011-05-03 用于从手持计算机化设备的背板进行用户输入的方法

Country Status (5)

Country Link
US (1) US8384683B2 (zh)
EP (1) EP2712434A4 (zh)
CN (1) CN102339205B (zh)
CA (1) CA2835509C (zh)
WO (1) WO2011133986A1 (zh)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US10203873B2 (en) * 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US9513705B2 (en) * 2008-06-19 2016-12-06 Tactile Displays, Llc Interactive display with tactile feedback
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
TWI401591B (zh) * 2010-02-11 2013-07-11 Asustek Comp Inc 可攜式電子裝置
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US20110227831A1 (en) * 2010-03-21 2011-09-22 Andrew Jesse Mills Determining Properties of Fingers via Keystroke Dynamics
US10719131B2 (en) 2010-04-05 2020-07-21 Tactile Displays, Llc Interactive display with tactile feedback
US20200393907A1 (en) * 2010-04-13 2020-12-17 Tactile Displays, Llc Interactive display with tactile feedback
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
CN102262464B (zh) * 2010-05-25 2014-10-29 深圳富泰宏精密工业有限公司 触控式透明键盘
US20110291946A1 (en) * 2010-05-26 2011-12-01 T-Mobile Usa, Inc. Touchpad interaction
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
US8698764B1 (en) * 2010-06-30 2014-04-15 Amazon Technologies, Inc. Dorsal touch input
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8781398B2 (en) * 2010-09-23 2014-07-15 Kyocera Corporation Method and apparatus to transfer files between two touch screen interfaces
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
US9244604B1 (en) 2010-11-05 2016-01-26 Amazon Technologies, Inc. Adaptive touch sensor interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
JP5691464B2 (ja) * 2010-12-09 2015-04-01 ソニー株式会社 情報処理装置
US9618972B2 (en) * 2011-01-20 2017-04-11 Blackberry Limited Three-dimensional, multi-depth presentation of icons in association with differing input components of a user interface
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
US8745024B2 (en) * 2011-04-29 2014-06-03 Logitech Europe S.A. Techniques for enhancing content
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
US8786561B2 (en) * 2011-05-18 2014-07-22 Microsoft Corporation Disambiguating intentional and incidental contact and motion in multi-touch pointing devices
CN103619243B (zh) * 2011-06-24 2016-05-04 株式会社村田制作所 移动设备
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
CN102881229B (zh) * 2011-07-12 2015-01-28 联想(北京)有限公司 显示模组及电子终端
US20130033421A1 (en) * 2011-08-04 2013-02-07 Ordo Group, LLC Changeable interactive surface with resizing, zooming, moving, rotating and other manipulation options/controls
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
TW201310293A (zh) * 2011-08-22 2013-03-01 Wistron Corp 手持式電子裝置
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20150277597A1 (en) * 2011-09-01 2015-10-01 Handscape Inc. Touchpad hand detector
US9360961B2 (en) * 2011-09-22 2016-06-07 Parade Technologies, Ltd. Methods and apparatus to associate a detected presence of a conductive object
CN102419691A (zh) * 2011-11-18 2012-04-18 聂清永 虚拟键盘上符号标识的显示方法及其显示装置
RU2658790C2 (ru) * 2011-11-21 2018-06-22 Никон Корпорейшн Устройство отображения и программа управления отображением
US8897836B2 (en) * 2011-12-07 2014-11-25 At&T Intellectual Property I, L.P. Extending the functionality of a mobile device
CN103164129A (zh) * 2011-12-12 2013-06-19 张家港市赫图阿拉信息技术有限公司 一种软键盘
US20130176202A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Menu selection using tangible interaction with mobile devices
US20130300668A1 (en) * 2012-01-17 2013-11-14 Microsoft Corporation Grip-Based Device Adaptations
US9519419B2 (en) 2012-01-17 2016-12-13 Microsoft Technology Licensing, Llc Skinnable touch device grip patterns
KR20130086422A (ko) 2012-01-25 2013-08-02 삼성전자주식회사 휴대단말기의 터치감도 조절장치 및 방법
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US20130234984A1 (en) * 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System for linking and controlling terminals and user terminal used in the same
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US20130293475A1 (en) * 2012-05-02 2013-11-07 Uriel Roy Brison Typing efficiency enhancement system and method
US9778742B2 (en) * 2012-06-12 2017-10-03 Parade Technologies, Ltd. Glove touch detection for touch devices
US9429997B2 (en) * 2012-06-12 2016-08-30 Apple Inc. Electronic device with wrapped display
JP6071107B2 (ja) * 2012-06-14 2017-02-01 裕行 池田 携帯端末
CN104380227A (zh) * 2012-06-15 2015-02-25 株式会社尼康 电子设备
US10712857B2 (en) * 2012-06-28 2020-07-14 Intel Corporation Thin screen frame tablet device
US20140062891A1 (en) * 2012-08-28 2014-03-06 Denso International America, Inc. Steering wheel with rotatable display and fixed/movable images
US9268364B2 (en) 2012-08-31 2016-02-23 Trewgrip, Llc Ergonomic data entry device
US9122328B2 (en) 2012-09-28 2015-09-01 International Business Machines Corporation Detecting and handling unintentional touching of a touch screen
US9547375B2 (en) * 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Split virtual keyboard on a mobile computing device
KR20140055047A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
EP2926236A1 (en) * 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
WO2014083368A1 (en) * 2012-11-27 2014-06-05 Thomson Licensing Adaptive virtual keyboard
WO2014107473A2 (en) * 2013-01-03 2014-07-10 Tibbitts Stephen Rear mounted virtual keyboard for a tablet computer
US9251396B2 (en) * 2013-01-29 2016-02-02 Diamond Fortress Technologies, Inc. Touchless fingerprinting acquisition and processing application for mobile devices
EP2767888A3 (en) * 2013-02-19 2014-10-01 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US20150378443A1 (en) * 2013-02-28 2015-12-31 Hewlett-Packard Development Company, L.P. Input for portable computing device based on predicted input
US10599328B2 (en) 2013-03-14 2020-03-24 Valve Corporation Variable user tactile input device with display feedback system
US20140267049A1 (en) * 2013-03-15 2014-09-18 Lenitra M. Durham Layered and split keyboard for full 3d interaction on mobile devices
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
WO2014176370A2 (en) * 2013-04-23 2014-10-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
WO2014182575A1 (en) * 2013-05-05 2014-11-13 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
WO2015013662A1 (en) * 2013-07-25 2015-01-29 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9170736B2 (en) 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
CN103543976B (zh) * 2013-10-15 2016-04-13 广东欧珀移动通信有限公司 编辑方法、编辑装置以及终端设备
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US10606476B2 (en) * 2013-12-04 2020-03-31 Autodesk, Inc. Techniques for interacting with handheld devices
CN103645840A (zh) * 2013-12-11 2014-03-19 广东步步高电子工业有限公司 一种移动终端上的拍摄系统及其方法
WO2015089451A1 (en) * 2013-12-14 2015-06-18 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
KR20150077075A (ko) * 2013-12-27 2015-07-07 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US9436295B2 (en) * 2014-03-28 2016-09-06 Intel Corporation Alternate dynamic keyboard for convertible tablet computers
KR20150117120A (ko) * 2014-04-09 2015-10-19 삼성전기주식회사 터치 입력 장치 및 이를 갖는 전자 장치
KR20150128303A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 복수의 디스플레이들을 제어하는 방법 및 장치
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
WO2016048313A1 (en) 2014-09-24 2016-03-31 Hewlett-Packard Development Company, L.P. Transforming received touch input
EP3201737B1 (en) * 2014-09-29 2021-10-27 Hewlett-Packard Development Company, L.P. Virtual keyboard
CN104363345A (zh) * 2014-11-17 2015-02-18 联想(北京)有限公司 一种显示方法和电子设备
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
CN106462264B (zh) * 2015-03-12 2019-07-12 华为技术有限公司 虚拟对象操作方法及装置
US9912364B2 (en) * 2015-06-25 2018-03-06 International Business Machines Corporation Mobile application interaction guide via tactile feedback
CN106814957A (zh) * 2015-11-30 2017-06-09 东莞酷派软件技术有限公司 输入方法、输入装置及智能终端
US20170220307A1 (en) * 2016-02-02 2017-08-03 Samsung Electronics Co., Ltd. Multi-screen mobile device and operation
CN107450822A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种输入字符的方法、装置以及终端设备
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
CN106502324B (zh) * 2016-10-21 2019-09-10 昆山龙腾光电有限公司 移动智能终端
US10140499B1 (en) * 2017-05-25 2018-11-27 Synaptics Incorporated Systems and methods for touch and press detection using a sensor
KR102363707B1 (ko) * 2017-08-03 2022-02-17 삼성전자주식회사 압력 센서를 포함하는 전자 장치 및 전자 장치 제어 방법
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113489819B (zh) * 2021-08-25 2023-06-30 深圳市科潮达科技有限公司 双面可操作的手机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN101573673A (zh) * 2007-01-05 2009-11-04 苹果公司 用于手持设备的背侧接口

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909424B2 (en) * 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
US7202851B2 (en) * 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US20030048205A1 (en) * 2001-08-10 2003-03-13 Junru He 3D electronic data input device with key mapping card
IL151255A0 (en) * 2002-08-14 2003-04-10 Ariel Yedidya System and method for interacting with computer using a video-camera image on screen and appurtenances useful therewith
US8334837B2 (en) * 2004-11-10 2012-12-18 Nokia Corporation Method for displaying approached interaction areas
CN101438218B (zh) * 2006-06-15 2011-11-23 诺基亚公司 具有虚拟小键盘的移动设备
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
CN101977796B (zh) * 2008-03-19 2013-05-08 株式会社电装 车辆操作输入设备
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US20100315266A1 (en) * 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN101573673A (zh) * 2007-01-05 2009-11-04 苹果公司 用于手持设备的背侧接口

Also Published As

Publication number Publication date
EP2712434A1 (en) 2014-04-02
CN102339205A (zh) 2012-02-01
US20110261058A1 (en) 2011-10-27
US8384683B2 (en) 2013-02-26
EP2712434A4 (en) 2014-12-10
CA2835509A1 (en) 2011-10-27
WO2011133986A1 (en) 2011-10-27
CA2835509C (en) 2017-07-25

Similar Documents

Publication Publication Date Title
CN102339205B (zh) 用于从手持计算机化设备的背板进行用户输入的方法
US9311724B2 (en) Method for user input from alternative touchpads of a handheld computerized device
US9891821B2 (en) Method for controlling a control region of a computerized device from a touchpad
US9678662B2 (en) Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9891820B2 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device
Kane et al. Usable gestures for blind people: understanding preference and performance
CN106155549B (zh) 触摸输入光标操控
CN106095215B (zh) 触摸输入光标操控
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
US9529523B2 (en) Method using a finger above a touchpad for controlling a computerized system
CN103049254B (zh) 用于语义缩放的编程接口
US20170017393A1 (en) Method for controlling interactive objects from a touchpad of a computerized device
Wigdor et al. Ripples: utilizing per-contact visualizations to improve user interaction with touch displays
US9542032B2 (en) Method using a predicted finger location above a touchpad for controlling a computerized system
CN107491181A (zh) 语言输入的动态短语扩展
CN103995610B (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
CN107491186A (zh) 用于屏幕的手写键盘
US20160034738A1 (en) Method using a touchpad for controlling a computerized system with epidermal print information
US20150363038A1 (en) Method for orienting a hand on a touchpad of a computerized system
CN104898879A (zh) 用于数据输入的方法及装置
CN102385475B (zh) 电子设备及其交互方法
Lee et al. From seen to unseen: Designing keyboard-less interfaces for text entry on the constrained screen real estate of Augmented Reality headsets
US20140253486A1 (en) Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
US9639195B2 (en) Method using finger force upon a touchpad for controlling a computerized system
CN104484117B (zh) 人机交互方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: HANS KEMP CO., LTD.

Free format text: FORMER OWNER: LUO TONG

Effective date: 20131122

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131122

Address after: Delaware

Applicant after: Hans Cape Limited by Share Ltd

Address before: American California

Applicant before: Luo Tong

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20180503

CF01 Termination of patent right due to non-payment of annual fee