DE202007018368U1

DE202007018368U1 - Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert

Info

Publication number: DE202007018368U1
Application number: DE202007018368U
Authority: DE
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2007-01-05
Filing date: 2007-10-05
Publication date: 2008-06-19
Anticipated expiration: 2017-10-06
Also published as: AU2007341930B2; AU2007100826B4; CN103631496B; EP2207086B1; AU2007100826C4; HK1105768A2; EP1942401A1; AU2007100826A4; US20080165141A1; US8686962B2; AU2007101053C4; TWM347623U; US20110239155A1; CN103631496A; WO2008083360A1; TWM341271U; US7956847B2; EP2207086A3; HK1108275A2; AU2007101053B4

Abstract

In der Hand haltbare mobile Kommunikationseinrichtung mit:
einem berührungsempfindlichen Anzeigebildschirm;
Mitteln, um den Anzeigebildschirm zur Anzeige eines Abschnitts einer Mediendatei zu veranlassen, wobei die Mediendatei wenigstens ein Textobjekt oder ein Graphikobjekt umfasst;
Mitteln zur Erfassung einer Berührungseingabe für einen Durchlauf auf der Oberfläche des Anzeigebildschirms, wobei die Berührungseingabe für einen Durchlauf einen Absetzpunkt eines menschlichen Fingers auf der Oberfläche des Anzeigebildschirms umfasst, wobei der Absetzpunkt einem Ort auf dem Anzeigebildschirm entspricht, an welchem der Abschnitt der Mediendatei angezeigt wird;
Mitteln zur Erfassung einer Ziehbewegung des Absetzpunktes des menschlichen Fingers auf dem Anzeigebildschirm, wobei die Ziehbewegung sich über einen Teil des Abschnitts der angezeigten Mediendatei erstreckt und eine senkrechte und eine waagerechte Vektorkomponente umfasst;
Mitteln, um die Ziehbewegung des Fingerabsetzpunktes festzustellen, umeine Durchlaufhandlung anzuzeigen;
Mitteln, um die Mediendatei zu veranlassen, auf dem Anzeigebildschirm durchzulaufen, wobei der Durchlauf auf eine senkrechte oder waagerechte Richtung beschränkt ist;...

Description

GEBIET DER ERFINDUNG
Dies bezieht sich auf ein System zum Verwalten, Manipulieren und Editieren von Medienobjekten, wie beispielsweise graphische Objekte auf einem Display, durch Einsatz von Handgesten auf einer berührungsempfindlichen Einrichtung.
HINTERGRUND DER ERFINDUNG
Es gibt heutzutage viele Arten von Eingabeeinrichtungen, um in einem Computersystem Vorgänge durchzuführen. Die Vorgänge entsprechen im Allgemeinen dem Bewegen eines Cursors und dem Vornehmen von Auswahlen auf einem Anzeigebildschirm. Die Vorgänge können auch ein Blättern, einen Bildlauf (scrolling), ein Mitführen, ein Zoomen usw. umfassen. Beispielhaft können die Eingabeeinrichtungen Knöpfe, Schalter, Tastaturen, Mäuse, Rollkugeln (trackballs), Berührungsfelder (touch pads), Steuerknüppel (joy sticks), Berührungsbildschirme (touch screens) und Ähnliches umfassen. Jede dieser Einrichtungen hat Vorteile und Nachteile, die beim Entwerfen eines Computersystems berücksichtigt werden.
Knöpfe und Schalter sind im Allgemeinen von mechanischer Art und bieten eine beschränkte Kontrolle bezüglich der Bewegung des Cursors und dem Vornehmen von Auswahlen. Zum Beispiel sind sie im Allgemeinen dafür vorgesehen, den Cursor in eine bestimmte Richtung zu bewegen (z. B. Pfeiltasten) oder bestimmte Auswahlen vorzunehmen (z. B. Eingabe, Löschen, Nummer, usw.).
Bei Verwendung eines Mausgeräts entspricht im Allgemeinen die Bewegung des Eingabezeigers auf einer Anzeige den relativen Bewegungen der Maus während der Nutzer die Maus entlang einer Oberfläche bewegt. Bei Verwendung eines Rollkugelgeräts entspricht im Allgemeinen die Bewegung des Eingabezeigers auf der Anzeige den relativen Bewegungen einer Rollkugel während der Nutzer die Kugel innerhalb eines Gehäuses bewegt. Maus- und Rollkugelgeräte umfassen typischerweise ebenso einen oder mehrere Knöpfe, um Auswahlen vorzunehmen. Ein Mausgerät kann auch Bildlaufräder (scroll wheels) umfassen, die es einen Nutzer erlauben, den angezeigten Inhalt durch Vorwärtsdrehen oder Rückwärtsdrehen des Rades zu durchlaufen.
Bei Einrichtungen in Form eines Berührungsfeldes, z. B. Berührungsfelder auf einem persönlichen Laptopcomputer, entspricht im Allgemeinen die Bewegung des Eingabezeigers auf einer Anzeige den relativen Bewegungen des Fingers (oder Stiftes) des Nutzers, während der Finger entlang einer Fläche des Berührungsfeldes bewegt wird. Andererseits können Berührungsbildschirme (touch screens) eine Art von Anzeigebildschirm sein, der typischerweise eine berührungsempfindliche durchsichtige Tafel (oder "Haut" (skin)) umfasst, welche den Anzeigebildschirm überdeckt. Wenn er einen Berührungsbildschirm bedient, nimmt ein Nutzer typischerweise eine Auswahl auf dem Anzeigebildschirm vor, indem er direkt auf auf dem Bildschirm angezeigte Objekte (wie z. B. Objekte einer graphischen Nutzeroberfläche) zeigt (üblicherweise mit einem Stift oder Finger).
Um eine zusätzliche Funktionalität bereitzustellen, wurden bei einigen dieser Eingabeeinrichtungen Handgesten umgesetzt. Zum Beispiel können bei Berührungsfeldern Auswahlen vorgenommen werden, wenn ein einfaches oder mehrfaches Antippen auf der Oberfläche des Berührungsfeldes erfasst werden kann. In manchen Fällen kann jeglicher Abschnitt des Berührungsfeldes angetippt werden, und in anderen Fällen kann ein vorgesehener Abschnitt des Berührungsfeldes angetippt werden. Zusätzlich zu Auswahlen kann ein Bildlauf ausgelöst werden, indem eine Fingerbewegung am Rande des Berührungsfeldes eingesetzt wird.
Die US Patente Nr. 5,612,719 und 5,590,219 , die an Apple Computer Inc. übertragen wurden, beschreiben einige andere Verwendungen für das Gestikulieren. Das US Patent Nr. 5,612,719 offenbart einen auf dem Bildschirm befindlichen Knopf, der auf wenigstens zwei verschiedene auf dem Bildschirm oder in der Nähe des Knopfes ausgeführte Knopfgesten reagiert. Das US Patent Nr. 5,590,219 offenbart ein Verfahren zur Erkennung einer ellipseartigen Gesteneingabe auf einen Anzeigebildschirm eines Computersystems.
In letzter Zeit wurden fortgeschrittenere Gesten umgesetzt. Zum Beispiel kann ein Bildlauf (scrolling) dadurch ausgelöst werden, dass man vier Finger auf dem Berührungsfeld platziert, so dass die Bildlaufgeste erkannt wird, und man anschließend diese Finger auf dem Berührungsfeld bewegt, um Bildlaufereignisse auszuführen. Die Verfahren zur Umsetzung dieser fortgeschrittenen Gesten können jedoch beschränkt und in vielen Fällen der Intuition gegenläufig sein. Bei bestimmten Anwendungen, insbesondere Anwendungen, die das Verwalten oder Editieren von Mediendateien unter Verwendung eines Computersystems involvieren, können Handgesten unter Einsatz von Berührungsbildschirmen es einem Nutzer erlauben, die beabsichtigten Vorgänge effizienter und genauer zu bewirken.
Auf der Grundlage des oben Gesagten besteht ein Bedürfnis für Verbesserungen in der Art, in welcher Gesten auf berührungsempfindlichen Einrichtungen ausgeführt werden können, insbesondere in Bezug auf das Verwalten und Editieren von Mediendateien.
ZUSAMMENFASSUNG DER ERFINDUNG
Dies bezieht sich auf ein System zum Umsetzen von Gesten mit berührungsempfindlichen Einrichtungen (wie z. B. eine berührungsempfindliche Anzeige) zum Verwalten und Editieren von Mediendateien auf einem Computersystem. Genauer gesagt können gestenartige Eingaben einer menschlichen Hand über einer berührungs-/näherungsempfindlichen Einrichtung eingesetzt werden, um Dateien, wie z. B. Mediendateien umfassend, ohne Beschränkung, Photodateien und Videodateien, zu steuern, zu editieren und zu manipulieren.
Gemäß einer Ausführungsform werden gestenartige Eingaben über einer berührungsempfindlichen Anzeige für eine Computerdesktopanwendung eingesetzt, um die herkömmlichen Maus/Rollkugel-Aktionen wie z. B. Anpeilen, Auswählen, Rechtsklick, Bildlauf, usw. zu bewirken.
Gemäß einer anderen Ausführungsform können gestenartige Eingaben über einer berührungsempfindlichen Anzeige eingesetzt werden, um Editierbefehle zum Editieren von Bilddateien, wie z. B. Photodateien, zu bewirken. Die gestenartigen Eingaben können über ein Nutzeroberflächenelement erkannt werden, wie z. B. ein Schiebebalken (slidebar). Die gestenartigen Eingaben mittels eines Benutzeroberflächenelements können variiert werden, indem man die Anzahl von Absetzpunkten auf dem Nutzeroberflächenelement verändert.
Gemäß einer anderen Ausführungsform rufen gestenartige Eingaben die Aktivierung eines Nutzeroberflächenelements hervor, wonach gestenartige Interaktionen mit dem aufgerufen Nutzeroberflächenelement weitere Funktionen bewirken können.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines Computersystems gemäß einer beispielhaften Ausführungsform dieser Erfindung.
2 veranschaulicht ein anderes Computersystem gemäß einer anderen beispielhaften Ausführungsform dieser Erfindung.
3 ist ein Mehrpunktverarbeitungsverfahren.
4A und 4B veranschaulichen ein erfasstes Berührungsbild gemäß einer Ausführungsform dieser Erfindung.
5 veranschaulicht eine Merkmalsgruppe.
6 ist ein Parameterberechnungsverfahren gemäß einer Ausführungsform dieser Erfindung.
7A–7E und 7I–7K veranschaulichen diverse Gesten zur Durchführung von Anpeil- und/oder Auswahlaufgaben gemäß einer Ausführungsform dieser Erfindung.
7F–7H zeigen ein Diagramm eines Verfahrens zur Erkennung und Umsetzung von gestenartigen Eingaben der 7A bis E.
8A–8G veranschaulichen eine Drehgeste gemäß einer Ausführungsform dieser Erfindung.
9 ist ein Diagramm eines berührungsbasierten Verfahrens.
10 ist ein Diagramm eines berührungsbasierten Verfahrens.
11 ist ein Diagramm eines berührungsbasierten Verfahrens.
12 ist ein Diagramm eines Zoomgestenverfahrens.
13A–13H veranschaulichen eine Zoomsequenz gemäß einer Ausführungsform dieser Erfindung.
14 ist ein Diagramm eines Mitführverfahrens.
15A–15D veranschaulichen eine Mitführsequenz gemäß einer Ausführungsform dieser Erfindung.
16 ist ein Diagramm eines Drehverfahrens.
17A–17C veranschaulichen eine Drehsequenz gemäß einer Ausführungsform dieser Erfindung.
17D und 17E veranschaulichen ein Verfahren zum Drehen eines auswählbaren Zielobjekts.
18A und 18B veranschaulichen gestenartige Eingaben zum Editieren eines Photodokuments gemäß einer Ausführungsform dieser Erfindung.
18C ist ein Diagramm, das ein Verfahren zur Erkennung und Umsetzung der gestenartigen Eingaben der 18A und 18B veranschaulicht.
18D und 18E veranschaulichen gestenartige Eingaben zum Heranzoomen und Herauszoomen in und aus einer Photodatei innerhalb einer Photoanwendung gemäß einer Ausführungsform dieser Erfindung.
19A–19D veranschaulichen gestenartige Eingaben zum Durchlaufen von sequentiell wiedergegebenen Dateien, gemäß einer Ausführungsform dieser Erfindung.
19E und 19F veranschaulichen gestenartige Eingaben zum Durchlaufen von wiedergegebenen Photodateien auf der Anzeige einer digitalen Kamera, gemäß einer Ausführungsform dieser Erfindung.
19G veranschaulicht eine gestenartige Eingabe zum Markieren oder Löschen einer Photodatei während der Wiedergabe, gemäß einer Ausführungsform dieser Erfindung.
19H veranschaulicht eine alternative gestenartige Eingabe zum Markieren oder Löschen einer Photodatei während der Wiedergabe, gemäß einer anderen Ausführungsform dieser Erfindung.
20 ist ein Übersichtsdiagramm, das ein Verfahren zur Umsetzung der Verfahren der 18A bis 19F zeigt.
21A–21D veranschaulichen gestenartige Eingaben zum Steuern und/oder Editieren von Video mittels einer Videoanwendung gemäß einer Ausführungsform dieser Erfindung.
22A und 22B sind Diagramme eines Verfahrens zur Umsetzung der gestenartigen Eingaben der 21A bis 21D.
23 veranschaulicht gestenartige Eingaben zur Steuerung und/oder Editierung von Audio mittels einer Audioanwendung gemäß einer Ausführungsform dieser Erfindung.
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
In der folgenden Beschreibung von bevorzugten Ausführungsformen wird Bezug auf die angefügten Zeichnungen genommen, die hiervon einen Teil bilden, und in welchen zur Illustration bestimmte Ausführungsformen gezeigt sind, in deren Form diese Erfindung ausgeführt werden kann. Es versteht sich, dass andere Ausführungsformen verwendet werden können und strukturelle Veränderungen vorgenommen werden können, ohne den Rahmen der bevorzugten Ausführungsformen der Erfindung zu verlassen.
1 ist ein Blockdiagramm eines beispielhaften Computersystems 50 gemäß einer Ausführungsform der Erfindung. Das Computersystem 50 kann einen Personalcomputersystem, wie z. B. Tischrechnern (Desktops), Laptops, Tablets oder in der Hand gehaltenen Computer entsprechen. Das Computersystem kann auch einem Rechengerät, wie z. B. einem Mobiltelefon, einem persönlichen digitalen Assistenten (PDA), einem dedizierten Medienabspielgerät, einem Elektronikgerät für Verbraucher und Ähnlichem entsprechen.
Das beispielhafte Computersystem 50, das in der 1 gezeigt ist, kann ein Prozessor 56 umfassen, der dafür konfiguriert ist, Instruktionen abzuarbeiten und Vorgänge auszuführen, die dem Computersystem 50 zugeordnet sind. Zum Beispiel kann der Prozessor 56 unter Verwendung von z. B. aus dem Speicher abgerufenen Instruktionen den Empfang und die Manipulierung von Eingabe- und Ausgabedaten zwischen Komponenten des Computersystems 50 steuern. Der Prozessor 56 kann auf einem einzigen Chip, mehreren Chips oder mehreren elektrischen Komponenten implementiert sein. Zum Beispiel können diverse Architektu ren für den Prozessor 56 verwendet werden, umfassend einen dedizierten oder eingebetteten Prozessor, einen Einzweckprozessor, Kontroller, eine anwendungsspezifische integrierte Schaltung (ASIC) usw.
In den meisten Fällen arbeitet der Prozessor 56 zusammen mit einem Betriebssystem, um Computercode abzuarbeiten und Daten zu produzieren und zu nutzen. Betriebssysteme sind allgemein wohlbekannt und werden nicht weiter im Detail beschrieben. Beispielhaft kann das Betriebssystem OS/2, DOS, Unix, Linux, Palm OS und Ähnlichem entsprechen. Das Betriebssystem kann auch ein Betriebssystem für einen speziellen Zweck sein, wie etwa solche, die für geräteartige Recheneinrichtungen mit einen beschränkten Zweck verwendet werden können. Das Betriebssystem, anderer Computercode und -daten können sich innerhalb eines Speicherblocks 58 befinden, der operativ mit dem Prozessor 56 gekoppelt sein kann. Der Speicherblock 58 bietet allgemein Platz, um Computercode und daten zu speichern, die durch das Computersystem 50 verwendet werden können. Beispielhaft kann der Speicherblock 58 einen Nur-Lese-Speicher (ROM), einen Speicher mit wahlfreiem Zugriff (RAM), ein Festplattenlaufwerk und/oder Ähnliches umfassen. Die Informationen könnten sich auch auf einem entfernbaren Speichermedium befinden, und bei Bedarf auf das Computersystem 50 geladen oder auf diesem installiert werden. Entfernbare Speichermedien umfassen z. B. eine CD-ROM, eine PC-CARD, eine Speicherkarte, eine Diskette, ein Magnetband und eine Netzwerkkomponente.
Das Computersystern 50 kann auch eine Anzeigeeinrichtung 68 umfassen, die operativ mit dem Prozessor 56 gekoppelt sein kann. Die Anzeigeeinrichtung 68 kann eine Flüssigkristallanzeige (LCD, liquid crystal display) sein (z. B., aktive Matrix, passive Matrix und Ähnliches). Alternativ kann die Anzeigeeinrichtung 68 ein Monitor sein, wie z. B. eine Monochromanzeige, eine color graphics adapter (CGA) Anzeige, eine enhanced graphics adapter (EGA) Anzeige, eine variable-graphics-array (VGA) Anzeige, eine Super VGA Anzeige, eine Katho denstrahlröhre und Ähnliches. Die Anzeigeeinrichtung kann auch einer Plasmaanzeige oder einer mit elektronischen Tinten implementierten Anzeige entsprechen.
Die Anzeigeeinrichtung 68 kann allgemein zur Anzeige einer graphischen Nutzeroberfläche 69 konfiguriert sein, die eine einfach zu benutzende Schnittstelle zwischen einen Nutzer des Computersystems und dem Betriebssystem oder der Anwendung, das/die darauf abläuft, bereitstellt. Allgemein gesagt, stellt die graphische Nutzeroberfläche 69 Programme, Dateien und Betriebsoptionen durch graphische Bilder, Objekte oder Vektordarstellungen dar. Die graphischen Bilder können Fenster, Felder, Dialogfelder, Menüs, Piktogramme (Ikons), Knöpfe, Cursor, Bildlaufbalken, usw. umfassen. Solche Bilder können in vordefinierten Layouts angeordnet sein, oder können dynamisch erzeugt werden, um den spezifischen Aktionen zu dienen, die durch einen Nutzer vorgenommen werden. Während des Betriebs kann der Nutzer diverse graphische Bilder auswählen und/oder aktivieren, um diesen zugeordnete Funktionen und Aufgaben zu initiieren. Beispielhaft kann der Nutzer einen Knopf auswählen, der ein Fenster öffnet, schließt, minimiert oder maximiert, oder ein Piktogramm, das ein besonders Programm startet. Die graphische Nutzeroberfläche 69 kann zusätzlich oder alternativ für den Nutzer Informationen, wie z. B. nicht-interaktiven Text und Graphiken, auf der Anzeigeeinrichtung 68 anzeigen.
Das Computersystem 50 kann auch eine Eingabeeinrichtung 70 umfassen, die operativ mit dem Prozessor 56 gekoppelt sein kann. Die Eingabeeinrichtung 70 kann für den Transfer von Daten von der Außenwelt in das Computersystem 50 konfiguriert sein. Die Eingabeeinrichtung 70 kann z. B. eingesetzt werden, um im Verhältnis zur graphischen Nutzeroberfläche 69 auf dem Bildschirm 68 ein Verfolgen (tracking) auszuführen und Auswahlen vorzunehmen. Die Eingabeeinrichtung 70 kann auch verwendet werden, um im Computersystem 50 Befehle abzugeben. Die Eingabeeinichtung 70 kann eine berührungsempfindliche Einrichtung umfassen, die dazu konfiguriert ist, um durch die Berührung eines Nutzers eine Eingabe zu erhalten und diese Information an den Prozessor 56 zu schicken.
Beispielhaft kann die berührungsempfindliche Einrichtung einen Berührungsfeld oder einem Berührungsbildschirm entsprechen. In vielen Fällen erkennt die berührungsempfindliche Einrichtung Berührungen, sowie die Position und die Stärke der Berührungen auf einer berührungsempfindlichen Oberfläche. Die berührungsempfindliche Einrichtung erfasst die Berührungen und berichtet sie an den Prozessor 56, und der Prozessor 56 interpretiert die Berührungen gemäß seiner Programmierung. Zum Beispiel kann der Prozessor 56 gemäß einer besonderen Berührung eine Aufgabe initiieren. Ein dedizierter Prozessor kann verwendet werden, um Berührungen lokal zu verarbeiten und die Nachfrage nach dem Hauptprozessor des Computersystems zu verringern.
Die berührungsempfindliche Einrichtung kann auf Sensortechnologien basieren, die folgendes umfassen, aber nicht darauf beschränkt sind: kapazitive Sensorik, resistive Sensorik, Oberflächenschallwellensensorik, Drucksensorik, optische Sensorik und/oder Ähnliches. Weiterhin kann das berührungsempfindliche Mittel auf Einzelpunktsensorik oder Mehrpunktsensorik basieren. Die Einzelpunktsensorik ist nur in der Lage, eine einzige Berührung zu unterscheiden, während die Mehpunktsensorik in der Lage sein kann, mehrere Berührungen zu unterscheiden, die gleichzeitig stattfinden.
Wie oben beschrieben, kann die Eingabeeinrichtung 70 ein Berührungsbildschirm sein, der über oder vor der Anzeige 68 positioniert ist, in die Anzeigeeinrichtung 68 integriert ist, oder sie kann eine getrennte Komponente wie z. B. ein Berührungsfeld sein.
Das Computersystem 50 umfasst ebenso vorzugsweise Fähigkeiten zur Kopplung mit einer oder mehreren Eingabe/Ausgabeeinrichtungen 80. Beispielhaft können die Eingabe/Ausgabeeinrichtungen 80 Tastaturen, Druckern, Scannern, Kameras, Mikrophonen, Lautsprechern und/oder Ähnlichem entsprechen. Die Eingabe/Ausgabeeinrichtungen 80 können in das Computersystem 50 integriert sein, oder es kann sich um getrennte Komponenten (z. B. Peripheriegeräte) handeln. In manchen Fällen können die Eingabe/Ausgabeeinrichtungen 80 über Kabelverbindungen (z. B. Kabel/Anschlüsse) mit dem Computersystem 50 verbunden sein. In anderen Fällen können die Eingabe/Ausgabeeinrichtungen 80 mit dem Computersystem 80 über drahtlose Verbindungen verbunden sein. Beispielhaft kann die Datenverbindung PS/2, USB, IR, Firewire, RF, Bluetooth, oder Ähnlichem entsprechen.
Gemäß einer Ausführungsform der Erfindung ist das Computersystem 50 dafür entworfen, um Gesten 85 zu erkennen, die auf die Eingabeeinrichtung 70 angewandt werden, und Aspekte des Computersystems 50 auf der Grundlage der Gesten 85 zu steuern. In manchen Fällen kann eine Geste als eine stilisierte Interaktion mit einer Eingabeeinrichtung definiert werden, die auf einen oder mehrere spezifische Rechenvorgänge abgebildet werden kann. Die Gesten 85 können mittels diverser Hand-, und insbesondere Fingerbewegungen ausgeführt werden. Alternativ oder zusätzlich können die Gesten mit einem Stift ausgeführt werden. In allen diesen Fällen empfängt die Eingabeeinrichtung 70 die Gesten 85, und der Prozessor 56 arbeitet Befehle ab, um Vorgänge auszuführen, die den Gesten 85 zugeordnet sind. Zusätzlich kann der Speicherblock 58 ein Gestenbetriebsprogramm 88 umfassen, das Teil des Betriebssystems oder eine getrennte Anwendung sein kann. Das Gestenbetriebsprogramm 88 kann im Allgemeinen ein Satz an Befehlen umfassen, der das Auftreten von Gesten 85 erkennt und einen oder mehrere Softwareagenten über die Gesten 85 und/oder die in Antwort auf die Gesten 85 vorzunehmende(n) Handlung(en) informiert. Zusätzliche Details bezüglich der diversen Gesten, die als Eingabebefehle genutzt werden können, werden weiter unten ausgeführt.
Wenn ein Nutzer eine oder mehrere Gesten ausführt, leitet gemäß einer bevorzugten Ausführungsform die Eingabeeinrichtung 70 die Gesteninformation an den Prozessor 56 weiter. Unter Verwendung von Instruktionen aus dem Speicher 58, und insbesondere des Gestenbetriebsprogramms 88, interpretiert der Prozessor 56 die Gesten 85 und steuert verschiedene Komponenten des Computersystems 50, wie beispielsweise den Speicher 58, eine Anzeige 68 und Eingabe/Ausgabeeinrichtungen 80, auf der Grundlage der Gesten 85. Die Gesten 85 können als Befehle identifiziert werden, um in im Speicher 58 gespeicherten Anwendungen Handlungen auszuführen, auf der Anzeige 68 gezeigte Bildobjekte zu modifizieren, im Speicher 58 gespeicherte Daten zu modifizieren, und/oder um in den Eingabe/Ausgabeeinrichtungen 80 Handlungen durchzuführen.
Es wird erneut darauf hingewiesen, dass, obwohl die 1 die Eingabeeinrichtung 70 und die Anzeige 68 zu Veranschaulichungszwecken als zwei getrennte Kästen veranschaulicht, die zwei Kästen als eine einzige Einrichtung verwirklicht sein können.
Die 2 veranschaulicht ein beispielhaftes Rechensystem 10, das eine Mehrberührungstafel („multi-touch Panel") 24 für eine Mehrfachberührung als eine Eingabeeinrichtung für Gesten verwendet; die Mehrberührungstafel 24 kann gleichzeitig eine Anzeigetafel sein. Das Rechensystem 10 kann einen oder mehrere Prozessoren 12 für die Mehrberührungstafel umfassen, die eigens für das Mehrberührungssubsystem 27 vorgesehen sind. Alternativ kann die Funktionalität eines Prozessors für die Mehrberührungstafel durch eine eigens vorgesehene Logik, wie beispielsweise eine Zustandsmaschine, umgesetzt sein. Peripherieeinrichtungen 11 können Speicher mit wahlfreiem Zugriff (RAM) oder andere Arten von Speicher oder Ablagen, Überwachungszeitgeber (watchdog timers) und Ähnliches umfassen, sind aber nicht darauf beschränkt. Das Mehrberührungssubsystem 27 kann einen oder mehrere Analogkanäle 17, eine Kanalscanlogik 18 und eine Treiberlogik 19 umfassen, ist aber nicht darauf beschränkt. Die Kanalscanlogik 18 kann auf den RAM 16 zugreifen, autonom Daten aus den Analogkanälen auslesen und eine Steuerung für die Analogkanäle bereitstellen. Diese Steuerung kann das Multiplexen von Spalten der Mehrberührungstafel 24 zu Analogkanälen 17 umfassen. Zusätzlich kann die Kanalscanlogik 18 die Treiberlogik und Stimulationssignale steuern, die selektiv auf Reihen der Mehrberührungstafel 24 angewandt werden. Bei manchen Ausführungsformen können das Mehrberührungssubsys tem 27, der Prozessor 12 für die Mehrberührungstafel und die Peripherieeinrichtungen 11 in eine einzige anwendungsspezifische integrierte Schaltung (single application specific integrated circuit, ASIC) integriert werden.
Die Treiberlogik 19 kann mehrere Ausgaben 20 des Mehrberührungssubsystems bereitstellen und kann eine proprietäre Schnittstelle aufweisen, die einen Hochspannungstreiber antreibt, der vorzugsweise einen Decoder 21 und eine anschließende Pegelwechsel- und Treiberstufe 22 umfasst, obwohl die Pegelwechselfunktionen vor den Decoderfunktionen durchgeführt werden könnten. Der Pegelwechsler und Treiber 22 kann einen Wechsel des Pegels von einem Pegel niedriger Spannung (z. B. CMOS Pegel) zu einem Pegel höherer Spannung bereitstellen, was zu Rauschverringerungszwecken ein besseres Signalrauschverhältnis liefert. Der Decoder 21 kann die Treiberschnittstellensignale zu einer von N Ausgaben decodieren, wobei N die maximale Anzahl an Reihen in der Tafel sein kann. Der Decoder 21 kann verwendet werden, um die Anzahl an zwischen dem Hochspannungstreiber und der Mehrberührungstafel 24 benötigten Treiberleitungen zu verringern. Jede Reiheneingabe 23 für die Mehrberührungstafel kann eine oder mehrere Reihen in der Mehrberührungstafel 24 antreiben. Es ist anzumerken, dass der Treiber 22 und der Decoder 21 auch in eine einzige anwendungsspezifische integrierte Schaltung integriert sein können, in die Treiberlogik 19 integriert sein können, oder in einigen Fällen überflüssig sein können.
Die Mehrberührungstafel 24 kann ein Medium mit kapazitiver Sensorik umfassen, das eine Mehrzahl von Reihenspuren oder Treiberleitungen und eine Mehrzahl von Spaltenspuren oder Sensorleitungen aufweist, obwohl auch andere Sensormedien verwendet werden können. Die Reihen- und Spaltenspuren können aus einem durchsichtigen leitenden Medium gebildet sein, wie z. B. Indiumzinnoxid (ITO) oder Antimonzinnoxid (ATO), obwohl andere durchsichtige und nichtdurchsichtige Materialien, wie z. B. Kupfer, auch verwendet werden können. Bei manchen Ausführungsformen können die Reihen- und Spaltenspuren auf entgegen gesetzten Seiten eines dielektrischen Materials ausgebildet sein, und können senk recht zueinander sein, obwohl in anderen Ausführungsformen andere nichtkartesische Ausrichtungen möglich sind. Zum Beispiel können in einen Polarkoordinatensystem die Sensorleitungen konzentrische Kreise sein, und können die Treiberleitungen sich radial erstreckende Leitungen sein (oder umgekehrt). Es versteht sich daher, dass die Begriffe "Reihe" und "Spalte", "erste Dimension" und "zweite Dimension" oder "erste Achse" und "zweite Achse", wie sie hier verwendet werden, derart beabsichtigt sind, dass sie nicht nur orthogonale Gitter umfassen, sondern die einander schneidenden Spuren anderer geometrischer Konfigurationen mit einer ersten und zweiten Dimension (z. B. die konzentrischen und radialen Leitungen einer Polarkoordinatenanordnung). Die Reihen und Spalten können auf einer einzigen Seite eines Substrats ausgebildet sein, oder können auf zwei getrennten Substraten ausgebildet sein, die durch ein dielektrisches Material getrennt sind. In manchen Fällen kann eine zusätzliche dielektrische Abdeckschicht über die Reihen- oder Spaltenspuren angeordnet werden, um die Struktur zu verstärken und den ganzen Aufbau vor Schäden zu schützen.
An den "Schnittstellen" der Spuren der Mehrberührungstafel 24, wo die Spuren übereinander und untereinander laufen (sich kreuzen) (aber keinen direkten elektrischen Kontakt miteinander eingehen), bilden die Spuren im Wesentlichen zwei Elektroden (auch wenn ebenso mehr als zwei Spuren sich untereinander schneiden könnten). Jede Schnittstelle von Reihen- und Spaltenspuren kann einen kapazitiven Sensorknoten darstellen und kann als ein Bildelement (Pixel) 26 betrachtet werden, das besonders nützlich sein kann, wenn die Mehberührungstafel 24 derart gesehen wird, dass sie "ein Bild" einer Berührung einfängt. (Mit anderen Worten, nachdem das Mehrberührungssubsystem 27 festgestellt hat, ob ein Berührungsereignis an jedem Berührungssensor in der Mehrberührungstafel erfasst wurde, kann das Muster der Berührungssensoren innerhalb der Mehrberührungstafel, bei welchen ein Berührungsereignis aufgetreten ist, als ein "Bild" einer Berührung angesehen werden (z. B. ein Muster von die Tafel berührenden Fingern).) Die Kapazität zwischen Reihen- und Spaltenelektroden erscheint als eine Streukapazität an allen Spalten, wenn die gegebene Reihe bei Gleichstrom gehalten wird, und als eine gegenseitige Kapazität Csig, wenn die gegebene Reihe mit eifern Wechselstromsignal stimuliert wird. Die Anwesenheit eines Fingers oder eines anderen Objekts in der Nähe oder auf der Mehrberührungstafel kann erfasst werden, indem man die Veränderungen von Csig misst. Die Spalten der Mehrberührungstafel 24 können einen oder mehrere Analogkanäle 17 (die hier auch als Ereigniserfassungs- und Demodulationsschaltungen bezeichnet werden) im Mehrberührungssubsystem 27 antreiben. Bei manchen Umsetzungen kann jede Spalte mit einen eigens vorgesehenen analogen Kanal 17 gekoppelt sein. Jedoch können bei anderen Umsetzungen die Spalten über einen analogen Schalter mit einer geringeren Anzahl an analogen Kanälen 17 koppelbar sein.
Das Rechensystem 10 kann auch einen Rostprozessor 14 umfassen, für den Empfang von Ausgaben vom Prozessor 12 für die Mehrberührungstafel und das Durchführen von Handlungen auf der Grundlage der Ausgaben, die folgendes umfassen können, darauf aber nicht beschränkt sind: das Bewegen eines Objekts wie etwa eines Cursors oder Zeigers, einen Bildlauf oder ein Mitführen, ein Anpassen von Steuereinstellungen, das Öffnen einer Datei oder eines Dokuments, das Betrachten eines Menüs, das Vornehmen einer Auswahl, das Ausführen von Befehlen, das Betreiben einer Peripherieeinrichtung, die mit der Rosteinrichtung verbunden ist, usw. Der Rostprozessor 14, bei denn es sich um die Hauptprozessoreinheit (CPU) eines Personalcomputers handeln kann, kann auch zusätzliche Funktionen ausführen, die möglicherweise in keinem Bezug zur Verarbeitung hinsichtlich der Mehrberührungstafel stehen, und kann mit einem Programmspeicher 15 gekoppelt sein, sowie mit einer Anzeigeeinrichtung 13, wie etwa einer Flüssigkristallanzeige zur Bereitstellung einer Nutzeroberfläche für einen Nutzer der Einrichtung.
Es ist anzumerken, dass, obwohl die 2 einen eigens vorgesehenen Prozessor 12 für die Mehrberührungstafel veranschaulicht, das Mehrberührungssubsystem direkt durch den Rostprozessor 14 gesteuert sein kann. Zusätzlich ist auch anzumerken, dass die Mehrberührungstafel 24 und die Anzeigeeinrichtung 13 in eine einzige Berührungsbildschirmanzeigeeinrichtung integriert sein können. Weitere Details der Mehrberührungserfassung mittels Sensoren, umfassend die Näherungserkennung durch eine Berührungstafel, sind in gemeinsam übertragenen ebenso anhängigen Amneldungen beschrieben, umfassend die Anmeldung Nr. 10/840,862, veröffentlicht als US Patentveröffentlichung Nr. US 2006/0097991 , die Anmeldung Nr. 11/428,522 , veröffentlicht als US Patentveröffentlichung Nr. US 2006/0238522 und die Anmeldung mit dem Titel "Näherungs- und Mehrbertihrungserfassung mittels Sensor und Demodulation", die am 3. Januar 2007 eingereicht wurde, wobei deren Gesamtheit hiermit durch Bezugnahme in die Offenbarung mit aufgenommen wird.
Die 3 veranschaulicht ein Mehrpunktverarbeitungsverfahren 100. Das Mehrpunktverarbeitungsverfahren 100 kann z. B. in dem in den 1 oder 2 gezeigten System ausgeführt werden. Das Mehrpunktverarbeitungsverfahren 100 beginnt allgemein beim Kasten 102, wo Bilder von einer Mehrpunkteingabeeinrichtung, und insbesondere einem Mehrpunktberührungsbildschirm, ausgelesen werden können. Obwohl der Begriff "Bild" verwendet wird, ist anzumerken, dass die Daten in anderen Formen auftreten können. In den meisten Fällen liefert das vom Berührungsbildschirm ausgelesene Bild die Größe (Z) in Abhängigkeit der Position (x und y) für jeden Sensorpunkt oder Pixel des Berührungsbildschirms. Die Größe kann z. B. der an jedem Punkt gemessenen Kapazität entsprechen.
Im Anschluss an den Kasten 102 fährt das Mehrpunktverarbeitungsverfahren 100 mit dem Kasten 104 fort, wo das Bild in eine Sammlung oder Liste von Merkmalen umgewandelt werden kann. Jedes Merkmal repräsentiert eine eigene Eingabe, wie z. B. eine Berührung. In den meisten Fällen kann jedes Merkmal seine eigene eindeutige Kennung (ID), x Koordinate, y Koordinate, Z Größe, Winkel θ, Fläche A und Ähnliches umfassen. Beispielhaft veranschaulichen die 4A und 4B ein Bild 120 zu einem bestimmten Zeitpunkt. Beim Bild 120 können zwei Merkmale 122 vorliegen, die auf zwei getrennten Berührungen basieren. Die Berührungen können z. B. von einem Fingerpaar stammen, das den Berührungsbild schirm berührt. Wie es gezeigt ist, kann jedes Merkmal 122 eine eindeutige Kennung (ID), eine x Koordinate, eine y Koordinate, eine Größe Z, ein Winkel θ und eine Fläche A umfassen. Genauer gesagt kann das erste Merkmal 122A durch ID₁, X₁, Y₁, Z₁, θ₁, A₁ repräsentiert werden, und kann das zweite Merkmal 122B durch ID₂, X₂, Y₂, Z₂, θ₂, A₂ repräsentiert werden. Diese Daten können z. B. unter Verwendung eines Mehrberührungsprotokolls ausgegeben werden.
Die Umwandlung von Daten oder Bildern zu Merkmalen kann unter Verwendung von Verfahren erreicht werden, die in der ebenso anhängigen US Patentanmeldung Nr. 10/840,862, veröffentlicht als US Patentveröffentlichung Nr. US 2006/007991 , beschrieben sind, welche hiermit erneut durch Verweis in die Offenbarung aufgenommen wird. Wie es dort offenbart ist, werden die Rohdaten typischerweise in einer digitalisierten Form empfangen, und können Werte für jeden Knoten des Berührungsbildschirms umfassen. Die Werte können zwischen 0 und 256 liegen, wobei 0 keinen Berührungsdruck entspricht, und 256 dem vollen Berührungsdruck entspricht. Anschließend können die Rohdaten gefiltert werden, um das Rauschen zu verringern. Sobald gefiltert wurde, können Gradientdaten, welche die Topologie jeder Gruppe an verbundenen Punkten angeben, erzeugt werden. Anschließend können die Grenzen von Berührungsbereichen auf der Grundlage der Gradientdaten berechnet werden (d. h., es kann eine Bestimmung dahingehend erfolgen, welche Punkte gruppiert werden können, um jeden Berührungsbereich zu bilden). Beispielhaft kann ein Wasserscheidenalgorithmus verwendet werden. Sobald die Grenzen bestimmt sind, können die Daten für jeden der Berührungsbereiche berechnet werden (z. B. X, Y, Z, θ, A).
Im Anschluss an den Kasten 104 fährt das Mehrpunktverarbeitungsverfahren 100 mit dem Kasten 106 fort, wo eine Klassifizierung und Gruppierung der Merkmale erfolgen kann. Während der Klassifizierung kann die Identität eines jeden Merkmals bestimmt werden. Zum Beispiel können die Merkmale als ein bestimmter Finger, Daumen, Handfläche oder anderes Objekt klassifiziert werden. Sobald sie klassifiziert sind, können die Merkmale gruppiert werden. Die Art und Weise in welcher die Gruppen gebildet werden, kann stark variieren. In den meisten Fällen können die Merkmale auf der Grundlage einiger Kriterien (z. B., dass sie ein ähnliches Attribut haben) gruppiert werden. Zum Beispiel können die zwei in 4A und 4B gezeigten Merkmale gruppiert werden, weil jedes dieser Merkmale sich in der Nähe des anderen befinden kann, oder weil sie von derselben Hand stammen. Die Gruppierung kann einen gewissen Filtergrad umfassen, um Merkmale auszufiltern, die nicht Teil des Berührungsereignisses sind. Beim Filter kann ein oder können mehrere Merkmale verworfen werden, weil sie entweder einige vorbestimmte Kriterien erfüllen, oder weil sie einige Kriterien nicht erfüllen. Beispielhaft kann eines der Merkmale als ein Daumen klassifiziert werden, der sich am Rande eines Tablet PCs befindet. Da der Daumen gerade verwendet wird, um das Gerät zu halten, anstatt gerade verwendet zu werden, um eine Aufgabe auszuführen, wird das dadurch erzeugte Merkmal verworfen, d. h., dass es nicht als Teil des gerade bearbeiteten Berührungsereignisses betrachtet wird.
Im Anschluss an den Kasten 106 führt das Mehrpunktverarbeitungsverfahren 100 mit dem Kasten 108 fort, wo Schlüsselparameter für die Merkmalsgruppen berechnet werden können. Die Schlüsselparameter können den Abstand zwischen Merkmalen, x/y-Schwerpunkt aller Merkmale, die Merkmaldrehung, den Gesamtdruck der Gruppe (z. B. Druck beim Schwerpunkt) und Ähnliches umfassen. Wie es in der 5 gezeigt ist, kann die Berechnung folgendes umfassen: Das Auffinden des Schwerpunkts C, das Zeichnen einer virtuellen Linie 130 zu jedem Merkmal ausgehend vom Schwerpunkt C, das Definieren des Abstandes D für jede virtuelle Linie (D1 und D2) und dann das Mitteln der Abstände D1 und D2.
Sobald die Parameter berechnet sind, können die Parameterwerte berichtet werden. Die Parameterwerte werden typischerweise mit einer Gruppenkennung (GID) und der Anzahl von Merkmalen innerhalb jeder Gruppe (in diesem Fall drei) berichtet. In den meisten Fällen werden sowohl anfängliche als auch gegenwärtige Parameterwerte berichtet. Die anfänglichen Parameterwerte können auf dem Aufsetzen basieren, d. h., wenn der Nutzer seine Finger auf dem Berührungsbild schirm absetzt, und die gegenwärtigen Werte können auf jeglichem Punkt innerhalb eines Strichs basieren, der nach dem Absetzen erfolgt.
Es ist zu berücksichtigen, dass die Kästen 102 bis 108 während des Strichs eines Nutzers wiederholt ausgeführt werden können, wodurch eine Mehrzahl von sequentiell konfigurierten Signalen erzeugt wird. Die anfänglichen und gegenwärtigen Parameter können in späteren Schritten verglichen werden, um im System Handlungen durchzuführen.
Im Anschluss an den Kasten 108 fährt der Verfahrensablauf mit dem Kasten 110 fort, wo die Gruppe einem Nutzeroberflächenelement zugeordnet wird oder werden kann. Nutzeroberflächenelemente können Schaltflächen, Listen, Schieber, Räder, Knöpfe, usw. sein. Jedes Nutzeroberflächenelement repräsentiert eine Komponente oder ein Kontrollelement der Nutzeroberfläche. Die Anwendung hinter dem (den) Nutzeroberflächenelement(en) kann Zugang zu den im Kasten 108 berechneten Parameterdaten haben. Bei einer Umsetzung bewertet die Anwendung die Relevanz der Berührungsdaten für das diese entsprechende Nutzeroberflächenelement. Die Bewertung kann auf gewissen vorbestimmten Kriterien basieren. Die Bewertung kann das Erzeugen einer Bewertungszahl umfassen, sowie welches Nutzeroberflächenelement die höchste Bewertungszahl hat, was diesem den alleinigen Zugang zur Gruppe verschafft. Es kann sogar ebenso einen gewissen Grad an Hysterese geben (sobald eines der Nutzeroberflächenelemente die Kontrolle dieser Gruppe beansprucht, verbleibt die Gruppe bei diesem Nutzeroberflächenelement bis ein anderes Nutzeroberflächenelement eine viel höhere Bewertung hat). Beispielhaft kann die Bewertung die Bestimmung der Nähe des Schwerpunkts (oder der Merkmale) zum dem Nutzeroberflächenelement zugeordneten Bildobjekt umfassen.
Im Anschluss an den Kasten 110 fährt das Mehrpunktverarbeitungsverfahren 100 mit den Kästen 112 und 114 fort. Die Kästen 112 und 114 können ungefähr zur gleichen Zeit ausgeführt werden. Aus der Sicht des Nutzers scheinen bei einer Ausführungsform die Kästen 112 und 114 gleichzeitig ausgeführt zu werden. Beim Kasten 112 können eine oder mehrere Aktionen auf der Grundlage von Unterschieden zwischen anfänglichen und gegenwärtigen Parameterwerten ausgeführt werden, und können auch auf einen Nutzeroberflächenelement basieren, dem sie zugeordnet sind, falls existent. Beim Kasten 114 kann eine Rückmeldung an den Nutzer, welche die eine oder mehrere Aktionen betrifft, die gerade ausgeführt werden, bereitgestellt werden. Beispielhaft kann die Rückmeldung an den Nutzer eine angezeigte, auditive, taktile Rückmeldung und/oder Ähnliches umfassen.
6 ist ein Parameterberechnungsverfahren 150. Das Parameterberechnungsverfahren 150 kann z. B. dem in der 3 gezeigten Kasten 108 entsprechen. Das Parameterberechnungsverfahren 150 beginnt allgemein beim Kasten 152, wo eine Merkmalsgruppe empfangen werden kann. Im Anschluss an den Kasten 152 fährt das Parameterberechnungsverfahren 150 mit dem Kasten 154 fort, wo eine Feststellung dahingehend erfolgen kann, ob die Anzahl an Merkmalen in der Merkmalsgruppe sich verändert hat oder nicht. Zum Beispiel kann sich die Anzahl an Merkmalen deshalb verändert haben, weil der Nutzer einen zusätzlichen Finger abhebt oder platziert. Es können verschiedene Finger nötig sein, um unterschiedliche Steuerungen (z. B. Verfolgen (Tracking), Gestikulieren) vorzunehmen. Falls sich die Anzahl an Merkmalen verändert hat, fährt das Parameterberechnungsverfahren 150 mit dem Kasten 156 fort, wo die anfänglichen Parameterwerte berechnet werden können. Falls die Anzahl die gleiche bleibt, fährt das Parameterberechnungsverfahren 150 mit dem Kasten 158 fort, wo die gegenwärtigen Parameterwerte berechnet werden können. Anschließend fährt das Parameterberechnungsverfahren 150 mit dem Kasten 160 fort, wo die anfänglichen und gegenwärtigen Parameterwerte berichtet werden können. Beispielhaft können die anfänglichen Parameterwerte die durchschnittliche anfängliche Distanz zwischen Punkten (oder auch Distanz (Mittel) anfänglich) enthalten, und können die gegenwärtigen Parameterwerte die durchschnittliche gegenwärtige Distanz zwischen Punkten (oder auch Distanz (Mittel) gegenwärtig) enthalten. Diese können in nachfolgen den Schritten verglichen werden, um diverse Aspekte eines Computersystems zu steuern.
Die obigen Verfahren und Techniken können eingesetzt werden, um jegliche Anzahl von Objekten einer graphischen Nutzeroberfläche und Aktionen umzusetzen. Zum Beispiel können Gesten erzeugt werden, um einen Nutzerbefehl zur Größenanpassung eines Fensters, zum Durchlaufen einer Anzeige, zum Drehen eines Objekts, zum Heranzoomen oder zum Wegzoomen einer angezeigten Ansicht, zum Löschen oder Einfügen von Text oder anderen Objekten, usw. zu erfassen und zu bewirken.
Eine Grundkategorie von Gesten sollte es einen Nutzer erlauben, die gewöhnlichen Befehle einzugeben, die durch die Benutzung eines herkömmlichen Maus- oder Rollkugelgeräts eingegeben werden können. Die 7F zeigt ein Flussdiagramm zur Verarbeitung der Erfassung von Mausklickhandlungen. Beginnend mit dem Kasten 710 kann eine Erfassung von entweder einer oder zwei Fingerberührungen erfolgen. Falls die erfasste Berührung als ein Finger erkannt werden kann, 711, dann kann eine Bestimmung 712 erfolgen, ob die Berührung sich in einer vorbestimmten Nähe zu einem angezeigten Bildobjekt befindet, das einem auswählbaren Dateiobjekt zugeordnet ist, und, falls dem so ist, wird eine Auswahlhandlung ausgeführt 714. Falls ein zweifaches Antippen in Zuordnung zu einem auswählbaren Objekt erfasst wird 716, kann eine Doppelklickhandlung hervorgerufen werden 718. Ein doppeltes Antippen kann durch die Erfassung eines Fingers festgestellt werden, welcher sich vom Berührungsbildschirm entfernt und den Berührungsbildschirm sofort zum zweiten Mal erneut berührt. Gemäß einer alternativen Ausführungsform kann eine Doppelklickhandlung auch hervorgerufen werden, falls erfasst wird, dass eine Fingerberührung auf einem ausgewählten Objekt länger als eine vorbestimmte Zeitdauer fortbesteht.
Wie es in der 7G gezeigt ist, kann, falls die einzelne erfasste Fingerberührung nicht einem auswählbaren Dateiobjekt zugeordnet ist, sondern als einem Netzwerkadressenhyperlink zugeordnet erkannt wird 720, eine Einzelklickhandlung hervorgerufen werden, wodurch der Hyperlink aktiviert werden kann. Falls der Hyperlink innerhalb einer Nicht-Browserumgebung berührt wurde, würde dann auch eine Browseranwendung gestartet.
Falls eine Zweifingerberührung erfasst wird 711, wird, falls wenigstens einer der Absetzpunkte einem auswählbaren Dateiobjekt zugeordnet ist 713, eine Auswahl 715 des Objekts vorgenommen. Falls ein einfaches oder mehrfaches Antippen durch einen der Finger auf der berührungsempfindlichen Anzeige erfasst wird 717, während der Absetzpunkt beibehalten wird, kann eine Rechtsklickmaushandlung hervorgerufen werden.
Gemäß einer bevorzugten Ausführungsform kann, wie es in der 7H gezeigt ist, falls eine erfasste Berührung oder erfasste Berührungen keinerlei auswählbarem Dateiobjekt oder Hyperlinks zugeordnet sind, eine Bestimmung 722 dahingehend erfolgen, ob der (die) Absetzpunkt(e) einem durchlaufbaren Bereich zugeordnet werden kann (können), wie etwa einem Fenster einer Texteditieranwendung, einem Dateiauflistungsfenster oder einer Intemetwebseite.
Ein Bildlauf (scrolling) betrifft im Allgemeinen das Bewegen von angezeigten Daten oder Bildern durch einen Sichtbereich auf einem Anzeigebildschirm, so dass ein neuer Datensatz im Ansichtsbereich in Sicht gebracht werden kann. In den meisten Fällen erscheint, sobald der Ansichtsbereich voll ist, jeder neue Datensatz am Rande des Ansichtsbereichs, und alle anderen Datensätze bewegen sich eine Position weiter. Das heißt, dass der neue Datensatz für jeden Datensatz erscheint, der sich aus dem Ansichtsbereich herausbewegt. Im Wesentlichen erlauben es diese Funktionen einem Nutzer, aufeinander folgende Datensätze zu betrachten, die gegenwärtig außerhalb des Ansichtsbereichs liegen. In den meisten Fällen ist der Nutzer in der Lage, die Durchquerung der Datensätze zu beschleunigen, indem er seinen Finger mit höherer Geschwindigkeit bewegt. Beispiele des Durchlaufens von Listen können in den US Patentveröffentlichungen Nr. 2003/0076303 A1 , 2003/0076301 Al , 2003/0095096A1 gefunden werden, die durch Verweis in die Offenbarung mit aufgenommen werden.
Falls der (die) Absetzpunkt(e) innerhalb eines durchlaufbaren Bereichs ist/sein kann, kann dann eine Bildlaufhandlung hervorgerufen werden 723, was dem Herunterdrücken eines Bildlaufrads auf einem herkömmlichen Mausgerät ähnelt. Falls der durchlaufbare Bereich nur in einer Richtung durchlaufen werden kann (z. B. hoch und runter), wird dann die hervorgerufene Bildlaufhandlung ein unidirektionaler Bildlauf sein. Falls der durchlaufbare Bereich in zwei Dimensionen durchlaufbar ist, dann wird die hervorgerufene Bildlaufhandlung omnidirektional sein.
Bei einer unidirektionalen Bildlauflhandlung, wo der Bildlauf auf die senkrechte Richtung (d. h., die Y Achse) beschränkt werden kann, wird nur die senkrechte Vektorkomponente der verfolgten Berührungsbewegung als eine Eingabe verwendet, um einen senkrechten Bildlauf zu bewirken. Bei einer unidirektionalen Bildlaufhandlung, wo der Bildlauf auf die waagerechte Richtung (d. h., die X Achse) beschränkt ist, wird in ähnlicher Weise nur die waagerechte Vektorkomponente der verfolgten Berührungsbewegung als Eingabe verwendet, um einen waagrechten Bildlauf zu bewirken. Falls die Bildlaufhandlung omnidirektional ist, wird dann die bewirkte Bildlaufhandlung die Bewegung der verfolgten Berührung verfolgen.
Gemäß einer bevorzugten Ausführungsform kann, falls die erfasste Berührung eine Einfingerberühung ist, die Bildlaufhandlung bereit sein, um bei normaler oder einfacher Geschwindigkeit ausgeführt zu werden 724. Falls und sobald der abgesetzte Finger sich auf dem Berührungsbildschirm zu bewegen beginnt, kann dann eine Bildlaufhandlung ausgeführt werden, indem die Bewegung des Absetzpunktes auf dem Berührungsbildschirm verfolgt wird. Falls die erfasste Berührung eine Zweifingerberührung ist, kann dann die Bildlaufhandlung bei doppelter oder zweifacher Geschwindigkeit ausgeführt werden 725. Zusätzliche Finger können weiterhin hinzugefügt werden, um eine noch schneller Bildlaufhandlung durchzuführen, wobei eine Erfassung einer Vierfingerberührung in "Seite hoch"- oder "Seite runter"-Befehle innerhalb eines Fensters für ein mehrseitiges Dokument übersetzt werden kann.
Gemäß einer anderen Ausführungsform bewegen sich die angezeigten Daten weiter, selbst wenn der Finger vorn Berührungsbildschirm entfernt wird. Die kontinuierliche Bewegung kann zumindest zum Teil auf der vorhergehenden Bewegung basieren. Zum Beispiel kann der Bildlauf in derselben Richtung und Geschwindigkeit fortgeführt werden. In manchen Fällen verlangsamt sich der Bildlauf mit der Zeit, d. h., dass die Durchlaufgeschwindigkeit durch die Medienobjekte immer langsamer wird, bis der Bildlauf schließlich stoppt, wodurch eine statische Liste verbleibt. Beispielhaft kann jedes neue Medienobjekt, das in den Ansichtsbereich gebracht wird, inkrernentell die Geschwindigkeit verringern.
Alternativ oder zusätzlich beenden die angezeigten Daten ihre Bewegung, wenn der Finger wieder auf den Berührungsbildschirm gesetzt wird. Das heißt, dass das Zurücksetzen des Fingers auf den Berührungsbildschirm ein Bremsen umsetzen kann, welches die kontinuierlich wirkende Bewegung stoppt oder verlangsamt.
Beispielhaft, um die oben besprochenen gestenartigen Handlungen zu veranschaulichen, wie es in der 7A gezeigt ist, kann unter Verwendung eines Berührungsbildschirms (wie etwa des in der 2 gezeigten Mehrberührungsbildschirms 24) ein einzelnes Fingertippen mit einem Finger 501 auf einem Bildobjekt (z. B. einem Listenelement in Form einer Datei 500) in das Äquivalent eines einzelnen Mausklicks übersetzt werden, was in diesem Fall eine Auswahl angeben kann, die typischerweise dadurch angezeigt wird, dass man das ausgewählte Datei- oder Bildobjekt hervorhebt. Ein erfasstes doppeltes Antippen auf dem Bildobjekt kann in das Äquivalent eines doppelten Mausklicks übersetzt werden, was das Starten einer Anwendung hervorrufen kann, die dem angetippten Bildobjekt zugeordnet ist. Zum Beispiel kann das doppelte Antippen eines Listenelements in Form einer Datei auf einen Bildschirm, wie etwa einer Photodatei, das Starten einer Photobetrachtungsanwendung und das Öffnen dieser Photodatei verursachen.
Eine Ziehen-und-Fallenlassen-Funktion (drag and drop) kann dadurch hervorgerufen werden, dass man mit wenigstens einem Finger das dem fallen zu lassenden Objekt zugeordnete Bild berührt und graphisch das Objekt an den gewünschten Ort des Fallenlassens zieht, indem man die Berührung beibehält, wie es in der 7B gezeigt ist, die ein Ziehen und Fallenlassen eines Listenelements 500 in Form einer Datei vom Ordnerfenster 502 zum Ordnerfenster 503 veranschaulicht.
Bestimmte Mausfunktionalitäten können zwei Berührungen erfordern, um abgeschlossen zu werden. Zum Beispiel kann, wie es in der 7C gezeigt ist, eine "Rechtsklick" Geste durch zwei Finger hervorgerufen werden, mit einem Finger als Absetzfinger 506 und einem zweiten Finger 507, welcher den Bildschirm wenigstens eimmal antippt, um eine Rechtsklickhandlung anzuzeigen. Die 7D veranschaulicht, dass, nachdem eine Rechtsklickhandlung ausgeführt werden kann, ein Aktionsfenster 504 aufgerufen werden kann, wonach der erste Finger sich über das aufgerufene Fenster 504 bewegen kann, um mit einem einzelnen Finger 506 ein Aktionsobjekt 505 auszuwählen und anzutippen. Gemäß einer Ausführungsform dieser Erfindung kann eine Rechtsklickhandlung nur bewirkt werden, wenn das erfasste Antippen sich in unmittelbarer Nähe zum erfassten Absetzen befindet, und nur, wenn das erfasste Antippen sich links vorn abgesetzten Finger befindet (rechts vom abgesetzten Finger aus der Perspektive des Nutzers).
Andere Funktionen zur Dateiauswahl, die normalerweise eine Kombination von Maus- und Tastaturhandlung erfordern, können ausschließlich mit Berührungshandlung ausgeführt werden. Zum Beispiel muss in der Microsoft Windows Umgebung ein Nutzer, um mehrere Dateien innerhalb des Dateifensters 502 auszuwählen, typischerweise die Umschalttaste gedrückt halten, während er den Maus zeiger über die auszuwählenden sequentiellen Dateien zieht. Ohne das Gedrückthalten der Umschalttaste kann das Ziehen des Mauszeigers als „drag and drop" Aktion interpretiert werden. Wie es in der 7E gezeigt ist, kann gemäß einer Ausführungsform der Erfindung die Erfassung von zwei eng zugeordneten Berührungszügen von Listenelementen in Form einer Datei als eine Mehrfachauswahlhandlung zum Auswählen einer Gruppe von Dateien 508 gelesen werden. Um zu vermeiden, dass die Zweiberührungshandlung als ein anderer Befehl fehlinterpretiert wird, wie z. B. eine Drehhandlung, wird vorzugsweise die Funktion für die Zweiberührungsmehrfachauswahl nur hervorgerufen, wenn die zwei erfassten Berührungen in relativer starker Nähe zueinander liegen.
Mit Bezug auf die in 7H beschriebenen Bildlaufaktionen, und wie es in 7I und 7J gezeigt ist, kann das Absetzen eines oder zweier Finger innerhalb eines durchlaufbaren Fensters das Durchlaufen des angezeigten Inhaltes des Fensters bei unterschiedlichen Geschwindigkeiten verursachen. Genauer gesagt, sobald eine Bildlaufhandlung hervorgerufen wird 723, erfolgt der Bildlauf bei einfacher Geschwindigkeit 724, falls festgestellt wird, dass nur ein Finger (oder ein Absetzpunkt) auf der berührungsempfindlichen Anzeige erfasst wird, und bei zweifacher Geschwindigkeit, falls zwei Finger (oder zwei Absetzpunkte) erfasst werden. Gemäß einer bevorzugten Ausführungsform bewegen sich während der Bildlaufhandlung die Bildlaufleisten 727 und 728 in Übereinstimmung mit der Richtung der Bildläufe.
Schließlich, unter Verwendung einer Mehrberührungsanzeige, die zu einer Näherungserfassung in der Lage ist, wie etwa der Tafeln, die in den vorgenannten, durch Bezugnahme in die Offenbarung mit aufgenommenen, gemeinsam übertragenen und ebenso anhängigen Amneldungen Nr. 10/840,862 (veröffentlicht als US Patentveröffentlichung Nr. US2006/0097991 ) und der Anmeldung mit dem Titel "Erfassung durch Näherungs- und Mehrberührungssensor und Demodulation", eingereicht am 3. Januar 2007, beschrieben sind, können Gesten eines Fingers auch verwendet werden, um eine Schwebeaktion hervorzurufen, bei der es sich um das Äquivalent des Schwebenlassens eines Mauszeigers über einem Bildobjekt handeln kann.
Beispielhaft kann mit Bezug auf die 7K die Erfassung der Nähe eines Fingers 501 des Nutzers über Anwendungspiktogrammen (Ikons) 731 innerhalb einer Arbeitsoberfläche (Desktop) 729 als eine Schwebehandlung interpretiert werden, welche das rollende Auftauchen des geschwebten Anwendungspiktogramms 730 hervorruft. Falls der Nutzer das aufgetauchte Piktogramm berührt, kann eine Doppelklickhandlung hervorgerufen werden, wodurch die Anwendung gestartet werden kann. Ähnliche Konzepte können auf anwendungsspezifische Situationen angewandt werden, wie etwa wenn Photodateien innerhalb einer Photoverwaltungssoftware in einem Bildvorschau-(thumbnail) Format angezeigt werden, und eine Erfassung der Nähe eines Fingers über einer Bildvorschau eine Schwebeaktion hervorruft, wodurch die Größe der geschwebten Photovorschau vergrößert (aber nicht ausgewählt) werden kann.
Gesten können auch eingesetzt werden, um virtuelle Steueroberflächen wie etwa Lautstärkeregler, Schalter, Schieber, Tastaturen und andere virtuelle Oberflächen aufzurufen und zu manipulieren, die erzeugt werden können, um die menschliche Interaktion mit einem Rechensystem oder einem Elektronikgegenstand für Verbraucher zu erleichtern. Beispielhaft, unter Verwendung einer Geste, um eine virtuelle Steueroberfläche aufzurufen, und mit Bezug auf die 8A bis 8H, wird nun eine Drehgeste zur Steuerung eines virtuellen Lautstärkenreglers 170 auf einer graphischen Nutzeroberfläche 172 einer Anzeige 174 eines Tablet PCs 175 beschrieben. Um den Regler 170 zu bedienen, platziert der Nutzer seine Finger 176 auf einem Mehrpunktberührungsbildschirm 178. Der virtuelle Steuerregler kann bereits angezeigt sein, oder die besondere Anzahl, Orientierung oder das Profil der Finger beim Absetzen, oder die Bewegung der Finger direkt danach, oder eine gewisse Kombination dieser und anderer Charakteristiken der Nutzerinteraktion können ein Anzeigen des virtuellen Steuerreglers hervorrufen. In jeden Falle assoziiert das Rechensystem eine Fingergruppe mit denn virtuellen Steuer regler und stellt fest, dass der Nutzer beabsichtigt, den virtuellen Lautstärkenregler zu benutzen.
Diese Assoziierung kann auch zum Teil auf denn Modus oder dem gegenwärtigen Zustand der Recheneinrichtung zum Zeitpunkt der Eingabe basieren. Zum Beispiel kann dieselbe Geste alternativ als Lautstärkereglergeste interpretiert werden, wenn gegenwärtig ein Song auf dem Rechengerät abgespielt wird, oder als Drehbefehl, falls eine Anwendung zur Objekteditierung gerade ausgeführt wird. Dem Nutzer kann eine andere Rückmeldung geliefert werden, einschließlich z. B. einer hörbaren oder fühlbaren Rückmeldung.
Sobald der Regler 170 angezeigt wird, wie es in der 8A gezeigt ist, können die Finger 176 des Nutzers um den Regler 170 herum positioniert werden, in ähnlicher Weise als ob es ein tatsächlicher Regler oder Knopf wäre, und anschließend um den Regler 170 gedreht werden, um das Drehen des Reglers 170 zu simulieren. Erneut kann z. B. eine hörbare Rückmeldung in der Form eines Klickgeräuschs oder eine fühlbare Rückmeldung in der Form von Vibrationen geliefert werden, während der Regler 170 "gedreht" werden kann. Der Nutzer kann auch seine andere Hand einsetzen, um den Tablet PC 175 zu halten.
Wie es in der 8B gezeigt ist, erfasst der Mehrpunktberührungsbildschirm 178 wenigstens ein Bilderpaar. Insbesondere wird beim Absetzen ein erstes Bild 180 erzeugt, und wenigstens ein anderes Bild 182 kann erzeugt werden, wenn die Finger 176 gedreht werden. Obwohl nur zwei Bilder gezeigt sind, gäbe es in den meisten Fällen viel mehr Bilder, die inkremental zwischen diesen zwei Bildern auftreten. Jedes Bild repräsentiert ein Profil der Finger in Berührung mit dem Berührungsbildschirm zu einem bestimmten Zeitpunkt. Diese Bilder können auch als Berührungsbilder bezeichnet werden. Es versteht sich, dass der Begriff "Bild" nicht bedeutet, dass das Profil auf dem Bildschirm 178 angezeigt wird (sondern stattdessen durch die berührungsempfindliche Einrichtung verbildlicht wird). Es ist auch anzumerken, dass, obwohl der Begriff "Bild" verwendet wird, die Daten in anderen Formen vorliegen können, die zu diversen Zeitpunkten für die Berührungsfläche repräsentativ sind.
Wie es in der 8C gezeigt ist, kann jedes der Bilder 180 und 182 in eine Ansammlung von Merkmalen 184 umgewandelt werden. Jedes Merkmal 184 kann einer bestimmten Berührung zugeordnet sein, wie z. B. durch die Spitzen jedes Fingers 176, welcher den Regler 170 umgibt, sowie den Daumen der anderen Hand 177, der verwendet wird, um den Tablet PC 175 zu halten.
Wie es in der 8D gezeigt ist, werden die Merkmale 184 klassifiziert, d. h., dass jeder Finger/Daumen identifiziert wird, und für jedes der Bilder 180 und 182 gruppiert wird. In diesem besonderen Fall können die dem Regler 170 zugeordneten Merkmale 184A gruppiert werden, um die Gruppe 188 zu bilden, und das dem Daumen zugeordnete Merkmal 184B kann herausgefiltert werden. Bei alternativen Anordnungen kann das Daumenmerkmal 184B für sich (oder in einer anderen Gruppe) als getrenntes Merkmal behandelt werden, z. B., um den Eingabe- oder Betriebsmodus des Systems zu verändern, oder eine andere Geste zu implementieren, z. B., eine Schiebergeste, die einen Schieber eines Entzerrers zugeordnet ist, der im Bereich des Daumens (oder eines anderen Fingers) auf dem Bildschirm angezeigt wird.
Wie es in der 8E gezeigt ist, können für jedes Bild 180 und 182 die Schlüsselparameter der Merkmalsgruppe 188 berechnet werden. Die dem ersten Bild 180 zugeordneten Schlüsselparameter repräsentieren den Anfangszustand, und die Schlüsselparameter des zweiten Bildes 182 repräsentieren den gegenwärtigen Zustand.
Wie es ebenso in der 8E gezeigt ist, ist der Regler 170 das Nutzeroberflächenelement, das wegen dessen Nähe zum Regler 170 der Merkmalsgruppe 188 zugeordnet ist. Wie es in der 8F gezeigt ist, können anschließend die Schlüsselparameterwerte der Merkmalsgruppe 188 von jedem Bild 180 und 182 vergli chen werden, um den Rotationsvektor zu bestimmen, d. h., das die Merkmalsgruppe sich in Uhrzeigerrichtung um fünf (5) Grad vorn Anfangs- zum gegenwärtigen Zustand gedreht hat. In der 8F ist die anfängliche Merkmalsgruppe (Bild 180) mit gestrichelten Linien gezeigt, während die gegenwärtige Merkmalsgruppe (Bild 182) mit durchgezogenen Linien gezeigt ist.
Wie es in der 8G gezeigt ist, erhöht (oder verringert) der Lautsprecher 192 des Tablet PCs 175 seine Ausgabe auf der Grundlage des Rotationsvektors, gemäß dem Ausmaß der Drehung der Finger 176, d. h., dass auf der Grundlage einer Drehung von 5 Grad die Lautstärke um 5% erhöht wird. Auch kann die Anzeige 174 des Tablet PCs die Drehung des Reglers 170 gemäß dem Ausmaß der Drehung der Finger 176 anpassen, d. h., dass die Position des Reglers 170 sich um fünf (5) Grad dreht. In den meisten Fällen erfolgt die Drehung des Reglers gleichzeitig mit der Drehung der Finger, d. h., dass sich der Regler für jedes Grad an Fingerdrehung um ein Grad dreht. Im Wesentlichen folgt der virtuelle Steuerregler der Geste, die auf dem Bildschirm erfolgt. Weiterhin kann eine Audioeinheit 194 des Tablet PCs für jede Dreheinheit ein Klickgeräusch liefern, z. B., auf der Grundlage einer Drehung von 5 Grad fünf Klicks liefern. Weiterhin kann eine Haptik-Einheit 196 des Tablet PCs 175 für jeden Klick ein gewisses Maß an Vibration oder einer andere fühlbare Rückmeldung liefern, wodurch ein tatsächlicher Regler simuliert wird.
Es ist anzumerken, dass gleichzeitig mit der Geste für den virtuellen Steuerregler zusätzliche Gesten ausgeführt werden können. Zum Beispiel kann mehr als ein virtueller Steuerregler zur gleichen Zeit gesteuert werden, indem beide Hände eingesetzt werden, d. h., eine Hand für jeden virtuellen Steuerregler. Alternativ oder zusätzlich können eine oder mehrere Schieberleisten zur gleichen Zeit wie der virtuelle Steuerregler gesteuert werden, d. h., dass eine Hand den virtuellen Steuerregler bedient, während wenigstens ein Finger und alternativ mehr als ein Finger der entgegen gesetzten Hand wenigstens einen Schieber und alternativ mehr als eine Schieberleiste, z. B. eine Schieberleiste für jeden Finger, bedient.
Es ist auch anzumerken, dass, obwohl die Ausführungsform unter Verwendung eines virtuellen Steuerreglers beschrieben wird, bei einer anderen Ausführungsform das Nutzeroberflächenelement ein virtuelles Bildlaufrad sein kann. Beispielhaft kann das virtuelle Bildlaufrad ein tatsächliches Bildlaufrad nachahmen, wie etwa solche, die in den US Patentveröffentlichungen Nr. US2003/0076303A1 , US2003/0076301A1 und US2003/0095096A1 beschrieben sind, die hiermit alle durch Verweis in die Offenbarung mit aufgenommen werden.
Die 9 ist ein Diagramm eines berührungsbasierten Verfahrens 200. Das Verfahren beginnt allgemein beim Kasten 202, wo eine Nutzereingabe, die über einer Mehrpunktsensorikeinrichtung erfolgt, erfasst werden kann. Die Nutzereingabe kann eine oder mehrere Berührungseingaben umfassen, wobei jede Berührungseingabe eine eindeutige Kennung hat. Im Anschluss an den Kasten 202 fährt das berührungsbasierte Verfahren 200 mit dem Kasten 204 fort, wo die Nutzereingabe als eine Verfolgungs- oder Auswahleingabe klassifiziert werden kann, wenn die Nutzereingabe eine einzige eindeutige Kennung (eine Berührungseingabe) umfassen kann, oder als eine Gesteneingabe klassifiziert werden kann, wenn die Nutzereingabe wenigstens zwei eindeutige Kennungen (mehr als eine Berührungseingabe) umfassen kann. Falls die Nutzereingabe als eine Verfolgungseingabe(tracking) klassifiziert werden kann, fährt das berührungsbasierte Verfahren 200 mit dem Kasten 206 fort, wo eine Verfolgung (tracking) gemäß der Nutzereingabe durchgeführt werden kann.
Falls die Nutzereingabe als eine Gesteneingabe klassifiziert wird, fährt das berührungsbasierte Verfahren 200 mit dem Kasten 208 fort, wo eine oder mehrere Gestensteueraktionen gemäß der Nutzereingabe durchgeführt werden können. Die Gestensteueraktionen können zumindest teilweise auf Veränderungen basieren, die mit oder zwischen den wenigstens zwei eindeutigen Kennungen stattfinden.
Die 10 ist ein Diagramm eines berührungsbasierten Verfahrens 250. Das berührungsbasierte Verfahren 250 beginnt allgemein beim Kasten 252, wo ein anfängliches Bild während eines Eingabestrichs auf einer berührungsempfindlichen Oberfläche eingefangen werden kann. Im Anschluss an den Kasten 252 fährt das berührungsbasierte Verfahren 250 mit dem Kasten 254 fort, wo der Berührungsmodus auf der Grundlage des anfänglichen Bildes bestimmt werden kann. Zum Beispiel kann, falls das anfängliche Bild eine einzige eindeutige Kennung umfasst, dann der Berührungsmodus einem Verfolgungs- oder Auswahlmodus entsprechen. Andererseits kann, falls das Bild mehr als eine eindeutige Kennung umfasst, dann der Berührungsmodus einem Gestenmodus entsprechen.
Im Anschluss an den Kasten 254 fährt das berührungsbasierte Verfahren 250 mit dem Kasten 256 fort, wo ein nächstes Bild während eines Eingabestrichs auf der berührungsempfindlichen Oberfläche eingefangen werden kann. Typischerweise können Bilder sequentiell während des Strichs eingefangen werden, und folglich kann es eine Mehrzahl von Bildern geben, die dem Strich zugeordnet sind.
Im Anschluss an den Kasten 256 fährt das berührungsbasierte Verfahren 250 mit dem Kasten 258 fort, wo eine Feststellung dahingehend erfolgen kann, ob der Berührungsmodus sich zwischen dem Einfangen des anfänglichen Bilds und dem Einfangen des nächsten Bildes verändert hat. Falls sich der Berührungsmodus verändert hat, fährt das berührungsbasierte Verfahren 250 mit dem Kasten 260 fort, wo das nächste Bild als das anfängliche Bild festgesetzt werden kann, und anschließend wird beim Kasten 254 auf der Grundlage des neuen anfänglichen Bilds der Berührungsmodus erneut bestimmt. Falls der Berührungsmodus gleich geblieben ist, fährt das berührungsbasierte Verfahren 250 mit dem Kasten 262 fort, wo das anfängliche und das nächste Bild verglichen werden können, und ein oder mehrere Steuersignale auf der Grundlage des Vergleichs erzeugt werden können.
Die 11 ist ein Diagramm eines berührungsbasierten Verfahrens 300. Das berührungsbasierte Verfahren 300 beginnt beim Kasten 302, wo ein Bildobjekt, bei dem es sich um ein Objekt einer graphischen Nutzeroberfläche handeln kann, ausgegeben werden kann. Zum Beispiel kann ein Prozessor eine Anzeige anweisen, ein bestimmtes Bildobjekt anzuzeigen. Im Anschluss an den Kasten 302 fährt das berührungsbasierte Verfahren 300 mit dem Kasten 304 fort, wo eine Gesteneingabe über dem Bildobjekt empfangen wird. Zum Beispiel kann ein Nutzer seine Finger gestenartig auf der Oberfläche des Berührungsbildschirms absetzen oder bewegen und über dem angezeigten Bildobjekt verweilen. Die gestenartige Eingabe kann eine oder mehrere einzelne Gesten umfassen, die nacheinander stattfinden, oder mehrere Gesten, die gleichzeitig stattfinden. Jede dieser Gesten hat im Allgemeinen eine bestimmte zugeordnete Sequenz, Bewegung oder Orientierung. Zum Beispiel kann eine Geste folgendes umfassen: Das Auseinanderspreizen der Finger oder Schließen der Finger, das Drehen der Finger, das Verschieben der Finger und/oder Ähnliches.
Im Anschluss an den Kasten 304 fährt das berührungsbasierte Verfahren 300 mit dem Kasten 306 fort, wo das Bildobjekt auf der Grundlage und im Einklang mit der Gesteneingabe modifiziert werden kann. Mit Modifizieren ist gemeint, dass sich das Bildobjekt gemäß der gerade durchgeführten besonderen Geste oder Gesten verändert. Mit im Einklang ist gemeint, dass die Veränderungen ungefähr stattfinden, während die Geste oder Gesten durchgeführt werden. In den meisten Fällen besteht eine eins zu eins Beziehung zwischen der Geste (den Gesten) und den Veränderungen, die beim Bildobjekt stattfinden, und sie finden im Wesentlichen gleichzeitig statt. Im Wesentlichen folgt das Bildobjekt der Bewegung der Finger. Zum Beispiel kann ein Spreizen der Finger gleichzeitig das Objekt vergrößern, kann ein Schließen der Finger gleichzeitig das Bildobjekt verkleinern, kann das Drehen der Finger gleichzeitig das Objekt drehen, kann ein Verschieben der Finger ein gleichzeitiges Mitführen oder Durchlaufen des Bildobjekts erlauben.
Bei einer Ausführungsform kann der Kasten 306 die Bestimmung umfassen, welches Bildobjekt der gerade durchgeführten Geste zugeordnet ist, und anschließend das Fixieren des angezeigten Objekts an den über ihm angeordneten Fingern, so dass sich das Bildobjekt gemäß der gestenartigen Eingabe verändert. Indem die Finger mit dem Bildobjekt fixiert oder diesem zugeordnet werden, kann sich das Bildobjekt kontinuierlich anpassen, gemäß dem, was die Finger auf dem Berührungsbildschirm tun. Oft erfolgt die Bestimmung und das Fixieren beim Absetzen, d. h., wenn der Finger auf dem Berührungsbildschirm positioniert wird.
Die 12 ist ein Diagramm eines Zoomgestenverfahrens 350. Die Zoomgeste kann auf einem Mehrpunktberührungsbildschirm wie etwa der in der 2 gezeigten Mehrberührungstafel 24 durchgeführt werden. Das Zoomgestenverfahren 350 beginnt allgemein beim Kasten 352, wo die Anwesenheit wenigstens eines ersten Fingers und eines zweiten Fingers zur gleichen Zeit auf einer berührungsempfindlichen Oberfläche erfasst wird. Die Anwesenheit wenigstens zweier Finger kann dahingehend konfiguriert sein, dass sie angibt, dass die Berührung eine gestenartige Berührung ist, anstatt einer Verfolgungsberührung, die auf einem Finger basiert. In machen Fällen gibt die Anwesenheit von nur zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. In anderen Fällen gibt jegliche Anzahl von mehr als zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. Tatsächlich kann die gestenartige Berührung derart konfiguriert sein, dass sie wirkt, sei es das zwei, drei, vier oder mehr Finger sich in Berührung befinden, und selbst falls sich die Anzahlen während der Geste verändern, d. h., dass zu jeglichem Zeitpunkt während der Geste nur ein Minimum von zwei Fingern benötigt wird.
Im Anschluss an den Kasten 352 führt das Zoomgestenverfahren 350 mit dem Kasten 354 fort, wo der Abstand zwischen wenigstens den zwei Fingern verglichen wird. Der Abstand kann von Finger zu Finger sein, oder von jedem Finger zu einem anderen Referenzpunkt, wie z. B. dem Schwerpunkt. Falls sich der Abstand zwischen den zwei Fingern vergrößert (auseinanderspreizen), kann ein Heran zoomsignal erzeugt werden, wie es im Kasten 356 gezeigt ist. Falls sich der Abstand zwischen den zwei Fingern verringert (zusammenführen), kann ein Herauszoomsignal erzeugt werden, wie es in Kasten 358 gezeigt ist. In den meisten Fällen wird das Absetzen der Finger die Finger mit einem bestimmten gerade angezeigten Bildobjekt assoziieren oder mit diesem fixieren. Zum Beispiel kann die berührungsempfindliche Oberfläche ein Berührungsbildschirm sein, und kann das Bildobjekt auf dem Berührungsbildschirm angezeigt werden. Dies erfolgt typischerweise, wenn wenigstens einer der Finger über dem Bildobjekt positioniert wird. Im Ergebnis kann, wem die Finger voneinander wegbewegt werden, das Heranzoomsignal eingesetzt werden, um die Größe der im Bildobjekt eingebetteten Merkmale zu vergrößern, und wenn die Finger zusammengekniffen werden, kann das Herauszoomsignal eingesetzt werden, um die Größe der im Objekt eingebetteten Merkmale zu verringern. Typischerweise erfolgt das Zoomen innerhalb einer vorbestimmten Grenze wie etwa der Peripherie der Anzeige, der Peripherie eines Fensters, des Randes des Bildobjekts und/oder Ähnlichem. Die eingebetteten Merkmale können in einer Mehrzahl von Lagen ausgebildet sein, wobei jede eine unterschiedliche Zoomstufe repräsentiert.
In den meisten Fällen variiert das Ausmaß des Zoomens gemäß dem Abstand zwischen den zwei Objekten. Weiterhin kann das Zoomen typischerweise im Wesentlichen gleichzeitig mit der Bewegung der Objekte erfolgen. Zum Beispiel zoomt das Objekt zur gleichen Zeit heran oder weg, während die Finger auseinandergespreizt oder zusammengeführt werden. Obwohl diese Methodologie auf das Zoomen gerichtet ist, ist anzumerken, dass sie auch für ein Vergrößern oder Verringern benutzt werden kann. Das Zoomgestenverfahren 350 kann in graphischen Programmen wie etwa Veröffentlichungs-, Photo- und Zeichnungsprogrammen besonders nützlich sein. Weiterhin kann ein Zoomen eingesetzt werden, um ein Peripheriegerät wie etwa eine Kamera zu steuern, d. h., dass, wenn die Finger auseinandergespreizt werden, die Kamera herauszoomt, und, wenn die Finger geschlossen werden, die Kamera heranzoomt.
Die 13A bis 13H veranschaulichen eine Zoomsequenz unter Verwendung des oben beschriebenen Verfahrens. Die 13A veranschaulicht eine Anzeige, die ein Bildobjekt 364 in der Form einer Karte Nordamerikas präsentiert, mit eingebetteten Ebenen, die gezoomt werden können. In manchen Fällen kann, wie gezeigt, das Bildobjekt innerhalb eines Fensters positioniert werden, das eine Grenze des Bildobjekts 364 bildet. Die 13B veranschaulicht einen Nutzer, der seine Finger 366 über einer Region Nordamerikas 368, insbesondere die Vereinigten Staaten 370 und ganz besonders Kalifornien 372 positioniert. Um Kalifornien 372 heran zu zoomen, beginnt der Nutzer damit, seine Finger 366 auseinander zu spreizen, wie es in der 13C gezeigt ist. Mit dem weiteren Auseinanderspreizen der Finger 366 (der erfasste Abstand vergrößert sich) zoomt die Karte Nordkalifornien 374 weiter heran, dann eine bestimmte Region von Nordkalifornien 374, dann das Buchtgebiet 376, dann die Halbinsel 378 (z. B. das Gebiet zwischen San Francisco und der San Jose Gegend), und dann die Stadt von San Carlos 380, die sich zwischen San Francisco und San Jose befindet, wie es in den 13D bis 13H veranschaulicht ist. Um aus San Carlos 380 heraus und zurück nach Nordamerika 368 zu zoomen, werden die Finger 366 wieder gemäß der oben beschriebenen Sequenz, aber in umgekehrter Reihenfolge, geschlossen.
14 ist ein Diagramm eines Mitfführverfahrens 400. Die Mitführgeste kann auf einem Mehrpunktberührungsbildschirm ausgeführt werden. Das Mitführverfahren 400 beginnt allgemein beim Kasten 402, wo die Anwesenheit wenigstens eines ersten Objekts und eines zweiten Objekts auf einer berührungsempfindlichen Oberfläche gleichzeitig erfasst werden kann. Die Anwesenheit wenigstens zweier Finger kann dahingehend konfiguriert sein, dass sie angibt, dass die Berührung eine Gestenberührung ist, anstatt einer Verfolgungs-(tracking)-berührung, die auf einem Finger basiert. In manchen Fällen gibt die Anwesenheit von nur zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. In anderen Fällen gibt jegliche Anzahl von mehr als zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. Tatsächlich kann die gestenartige Berührung derart konfiguriert sein, dass sie wirkt, unabhängig davon, ob zwei, drei, vier oder mehr Fin ger sich in Berührung befinden, und selbst wenn die Anzahl während der Geste wechselt, d. h., es nur ein Minimum von zwei Fingern benötigt.
Im Anschluss an den Kasten 402 fährt das Mitführverfahren 400 mit dem Kasten 404 fort, wo die Position der zwei Objekte, wenn die Objekte gemeinsam über den Berührungsbildschirm bewegt werden, überwacht wird. Im Anschluss an den Kasten 404 fährt das Mitführverfahren 400 mit dem Kasten 406 fort, wo ein Mitführsignal erzeugt werden kann, wenn die Position der zwei Objekte sich im Verhältnis zu einer Anfangsposition verändert. In den meisten Fällen wird das Absetzen der Finger die Finger einen bestimmten auf dem Berührungsbildschirm angezeigten Bildobjekt zuordnen oder sie mit diesem fixieren. Typischer Weise, wenn wenigstens einer der Finger über der Position des Bildobjekts positioniert ist. Daraus ergibt sich, dass, wenn die Finger gemeinsam über den Berührungsbildschirm bewegt werden, das Mitführsignal verwendet werden kann, um das Bild in Richtung der Finger zu verschieben. In den meisten Fällen ändert sich das Ausmaß des Mitführens gemäß der Strecke, um welche sich die zwei Objekte bewegen. Weiterhin kann das Mitführen typischer Weise im Wesentlichen gleichzeitig mit der Bewegung der Objekte erfolgen. Zum Beispiel, während sich die Finger bewegen, bewegt sich das Objekt zeitgleich mit den Fingern.
Die 15A bis 15D veranschaulichen eine Mitführsequenz, die auf dem oben beschriebenen Mitführverfahren 400 basiert. Unter Verwendung der Karte der 13A veranschaulicht 15A einen Nutzer, der seine Finger 366 über der Karte positioniert. Beim Absetzen werden die Finger 366 mit der Karte fixiert. Wie es in der 15B gezeigt ist, kann, wenn die Finger 366 senkrecht nach oben bewegt werden, die gesamte Karte 364 nach oben bewegt werden, wodurch veranlasst wird, dass bisher gesehene Abschnitte der Karte 364 außerhalb des Sichtbereichs platziert werden, und ungesehene Abschnitte der Karte 364 innerhalb des Sichtbereichs platziert werden. Wie es in der 15C gezeigt ist, kann, wenn die Finger 366 waagerecht zur Seite bewegt werden, die gesamte Karte 364 zur Seite bewegt werden, wodurch veranlasst wird, dass bisher gesehene Abschnitte der Karte 364 außerhalb des Sichtbereichs platziert werden, und ungesehene Abschnitte der Karte innerhalb des Sichtbereichs platziert werden. Wie es in 15D gezeigt ist, kann, wenn die Finger 366 diagonal bewegt werden, die gesamte Karte 364 diagonal bewegt werden, wodurch veranlasst wird, dass bisher gesehene Abschnitte der Karte 364 außerhalb des Sichtbereichs platziert werden, und ungesehene Abschnitte der Karte innerhalb des Sichtbereichs platziert werden. Wie man erkennt, folgt die Bewegung der Karte 364 der Bewegung der Finger 366. Dieser Prozess ist ähnlich dem Verschieben eines Blatt Papiers entlang eines Tisches. Der durch die Finger auf das Papier ausgeübte Druck fixiert das Papier an den Fingern, und wenn die Finger über den Tisch verschoben werden, bewegt sich das Stück Papier mit ihnen.
16 ist ein Diagramm eines Drehverfahrens 450. Die Drehgeste kann auf einem Mehrpunktberührungsbildschirm ausgeführt werden. Das Drehverfahren 450 beginnt allgemein beim Kasten 452, wo die Anwesenheit eines ersten Objekts und eines zweiten Objekts gleichzeitig erfasst wird. Die Anwesenheit von wenigstens zwei Fingern kann dahin gehend konfiguriert sein, dass sie angibt, dass die Berührung eine gestenartige Berührung ist, anstatt einer Verfolgungsberührung, die auf einem Finger basiert. In manchen Fällen gibt die Anwesenheit von nur zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. In anderen Fällen gibt jegliche Anzahl von mehr als zwei Fingern an, dass die Berührung eine gestenartige Berührung ist. In noch weiteren Fällen kann die gestenartige Berührung derart konfiguriert sein, dass sie wirkt, unabhängig davon, ob zwei, drei, vier oder mehr Finger sich in Berührung befinden, und selbst wenn sich die Anzahl während der Geste verändert, d. h., das nur ein Minimum von zwei Finger benötigt wird.
Im Anschluss an den Kasten 452 fährt das Drehverfahren 450 mit dem Kasten 454 fort, wo der Winkel eines jeden Fingers festgelegt wird. Typischer Weise können die Winkel in Bezug zu einem Referenzpunkt bestimmt werden. Im Anschluss an den Kasten 454 fährt das Drehverfahren 450 mit dem Kasten 456 fort, wo ein Drehsignal erzeugt werden kann, wenn der Winkel wenigstens eines der Objekte sich im Verhältnis zum Bezugspunkt ändert. In den meisten Fällen wird das Absetzen der Finger die Finger einem bestimmten auf dem Berührungsbildschirm angezeigten Bildobjekt zuordnen, oder sie mit diesem fixieren. Typischer Weise wird, wenn wenigstens einer der Finger über dem Bild auf dem Bildobjekt positioniert ist, das Bildobjekt den Fingern zugeordnet oder an diesen fixiert. Es ergibt sich daraus, dass, wenn die Finger gedreht werden, das Drehsignal verwendet werden kann, um das Objekt in Richtung der Fingerdrehung zu drehen (z. B. im Uhrzeigersinn oder gegen den Uhrzeigersinn). In den meisten Fällen ändert sich das Ausmaß der Drehung des Objekts gemäß dem Ausmaß der Fingerdrehung, d. h., dass, wenn die Finger sich um fünf Grad bewegen, das Objekt das gleiche tut. Weiterhin kann die Drehung typischer Weise im Wesentlichen gleichzeitig mit der Bewegung der Finger erfolgen. Zum Beispiel, während sich die Finger drehen, dreht sich das Objekt gleichzeitig mit den Fingern.
Die 17A bis 17C veranschaulichen eine Drehsequenz, die auf dem oben beschriebenen Verfahren basiert. Unter Verwendung der Karte der 13A veranschaulicht die 17A einen Nutzer, der seine Finger 366 über der Karte 364 positioniert. Beim Absetzen werden die Finger 366 mit der Karte 364 fixiert. Wie es in der 17B gezeigt ist, kann, wenn die Finger 366 im Uhrzeigersinn gedreht werden, die gesamte Karte 364 im Uhrzeigersinn gedreht werden, gemäß den drehenden Fingern 366. Wie es in der 17C gezeigt ist, kann, wenn die Finger 366 entgegen dem Uhrzeigersinn gedreht werden, die gesamte Karte 364 entgegen dem Uhrzeigersinn gedreht werden, gemäß den drehenden Fingern 366.
Es ist anzumerken, dass, obwohl die 17A bis 17C die Verwendung eines Daumens und eines Zeigefingers zeigen, um die Drehgeste hervorzurufen, die Verwendung von zwei Fingern wie etwa des Zeigefingers und eines Mittelfingers auch verwendet werden kann, um die Drehgeste hervorzurufen.
Weiterhin sind bei bestimmten spezifischen Anwendungen zwei Finger möglicherweise nicht erforderlich, um eine Drehgeste hervorzurufen. Zum Beispiel kann gemäß einer bevorzugten Ausfürungsform, und wie es in den 17D und 17E gezeigt ist, eine Photovorschau mit einer einzigen Fingergeste in eine gewünschte Ausrichtung (z. B. von einer Landschaftsausrichtung zu einer Portraitausrichtung) gedreht werden. Genauer gesagt, bei Erfassung einer Berührung in Zuordnung zu einem auswählbaren Photovorschaupiktogramm 741, und wobei die Berührungseingabe insoweit gestenartig ist, als die erfasste Berührung einen Dreh- oder radialen Bogen um einen zentralen Abschnitt der Vorschau bildet, wird dann diese Eingabe als ein Befehl interpretiert, die Vorschau gemäß der Richtung des Dreh- oder radialen Bogens zu drehen. Gemäß einer bevorzugten Ausführungsform wird die Drehung des Vorschaupiktogramms ebenso eine Veränderung der Ausrichtungskonfiguration des entsprechenden Dateiobjekts verursachen. Gemäß einer anderen Ausführungsform wird eine Erfassung einer Drehgeste innerhalb der Photoverwaltungsanwendung auch einen Schnappbefehl (snap) hervorrufen, um die Photovorschau automatisch um 90 Grad in Richtung der Drehung zu drehen.
Die 18A und 18B veranschaulichen ein anderes Beispiel der Verwendung einer gestenartigen Eingabe über ein Nutzeroberflächenelement, um eine Mediendatei zu editieren, wie etwa ein Photo, gemäß einer beispielhaften Ausführungsform der Erfindung, wie es vorher in 10 beschrieben wurde. Genauer gesagt, wie es in 18A gezeigt ist, innerhalb einer Umgebung 750 eines Photoeditors, in welchem eine Photobilddatei (z. B. eine JPEG Datei) 752 zum Editieren geöffnet werden kann, kann ein Nutzeroberflächenelement 751 bereitgestellt werden, um Aspekte des Photos zu editieren. Das Nutzeroberflächenelement 751 kann eine Pegelschieberleiste sein, um die Pegel bestimmter Aspekte des Photos anzupassen. In dem in der 18A veranschaulichten Beispiel kann das Nutzeroberflächenelement 751 eine Oberfläche sein, um eine Berührungsgeste zu empfangen, um den Helligkeitspegel des Photos anzupassen. Genauer gesagt, wird, während sich die verfolgte Fingerberührung auf der Leiste nach links bewegt, der Hel ligkeitspegel verringert, wohingegen sich der Helligkeitspegel erhöht, wenn sich die verfolgte Berührung auf dem Nutzeroberflächenelement nach rechts bewegt. Gemäß einer Ausführungsform ist das Nutzeroberflächenelement vorzugsweise durchscheinend, so dass Bilder des Photos hinter dem Nutzeroberflächenelement weiterhin durch den Nutzer gesehen werden können. Bei einer anderen Ausführungsform kann die Größe des angezeigten Photos auf dem Bildschirm verringert werden, um für ein getrennt angezeigtes Nutzeroberflächenelement Platz zu schaffen, das direkt unter dem angezeigten Photo platziert werden kann.
Die 18B veranschaulicht die Fähigkeit, über das Nutzeroberflächenelement 751 zwischen den Modi der Gesteneingabe umzuschalten, indem selektiv ein einzelner oder mehrere Absetzpunkte verwendet werden.
Genauer gesagt, wie es in der 18B gezeigt ist, wird eine Erfassung eines zweiten Absetzpunktes auf dem Nutzeroberflächenelement 751 ein Umschalten des Betriebsmodus von einer Anpassung des Helligkeitspegels zu einer Anpassung des Kontrastpegels verursachen. In diesem Fall wird die Bewegung beider Absetzpunkte nach links oder nach rechts jeweils eine Verringerung oder eine Erhöhung des Kontrastpegels des Photos verursachen. Die Erfassung zusätzlicher Absetzpunkte (z. B. drei oder vier Finger) kann auch als ein Befehl interpretiert werden, um zu anderen Betriebsmodi umzuschalten (wie etwa Zoomen, Farbtonanpassung, Gammapegel, usw.). Es ist festzuhalten, dass, obwohl die 18A und 18B die Anpassung der Helligkeits- und Kontrastpegel über das Nutzeroberflächenelement 751 veranschaulichen, ein Nutzer das Nutzeroberflächenelement 751 derart programmieren oder individualisieren kann, dass die Anzahl an Absetzpunkten derart interpretiert wird, dass sie andere Formen von Betriebsmodi bedeuten. Es ist auch anzumerken, dass das Nutzeroberflächenelement 751 in Form einer Schieberleiste andere Formen haben kann, wie etwa ein virtuelles Bildlaufrad.
18C ist ein Flussdiagramm, das einen Algorithmus in Bezug zu den spezifischen Beispielen veranschaulicht, die oben in den 18A und 18B ausgeführt wurden. Genauer gesagt, wie es in 18C gezeigt ist, wird das Nutzeroberflächenelement 751 auf dem Bildschirm ausgegeben 760. Falls eine gestenartige Eingabeberührung erfasst wird 761, können dann weitere Bestimmungen 762 bis 765 dahingehend erfolgen, wie viele Absetzpunkte der Berührung zugeordnet sind. In Abhängigkeit der Anzahl an erfassten Berührungspunkten können bei 767 bis 769 entsprechende Betriebsmodi aktiviert werden. Sobald der angemessene Betriebsmodus aktiviert ist, wird eine Verfolgung des Berührungspunkts (der Berührungspunkte) erfasst 770, um die entsprechende Anpassung gemäß dem Betriebsmodus zu bewirken 771. Es ist anzumerken, dass die Betriebsmodi zu jeglichem Zeitpunkt während des Editierprozesses insoweit wechseln können, insoweit als, falls die Anzahl an Absetzpunkten als verändert erfasst wird 772, das Verfahren in einer Schleife zu den Bestimmungen 762 bis 764 zurückkehrt, um den neuen Betriebmodus zu aktivieren.
Die 18D und 18E veranschaulichen die Verwendung desselben oben erläuterten Nutzeroberflächenelements 751, um zusätzliche Handlungen hervorzurufen, durch Eingabe anderer gestenartiger Instruktionen. Genauer gesagt kann während der Anpassung des Helligkeitspegels des angezeigten Photos ein zweiter Finger verwendet werden, um eine Heranzoom- oder Herauszoomaktion zu bewirken. Die Heranzoom- und Herauszoomaktion kann durch Erfassung eines zweite Absetzpunktes und einer Veränderung in der Größe des Abstands zwischen den zwei Absetzpunkten hervorgerufen werden. Die Veränderung des Abstandes zwischen den zwei Absetzpunkten kann in eine Heranzoom- oder Herauszoomaktion umgesetzt werden, gemäß dem in der 12 gezeigten und oben erläuterten Verfahren. Es ist anzumerken, dass gemäß einer Ausführungsform die Zoomhandlung nicht hervorgerufen würde, falls der zweite erfasste Absetzpunkt in einen konstanten Abstand zum ersten Absetzpunkt verbleibt; in solch einem Fall würde die Geste als eine Eingabe interpretiert, um den zweiten Betriebsmodus zu aktivieren (z. B. ein Wechsel von der Anpassung des Helligkeitspegels zur Anpassung des Kontrastpegels, wie es in 18A und 18B gezeigt ist).
Die 19A und 9B veranschaulichen ein Beispiel der Verwendung einer gestenartigen Eingabe, um Mediendateien, wie etwa Photodateien, die in einem Photoeditor angezeigt werden, zu durchlaufen. Genauer gesagt, wie es in 19A und 19B gezeigt ist, kann ein Berührungserfassungsbereich 754 für eine Bildlaufhandlung vorgesehen sein, bei welcher eine Geste in Form einer Hoch- und Runterbewegung eines Fingers auf dem angezeigten Photo 752 des Berührungsbildschirms 750 als eine gestenartige Eingabe interpretiert werden kann, um zum nächsten Photo 753 überzugehen. Gemäß einer bevorzugten Ausführungsform ist es nicht erforderlich, ein Nutzeroberflächenelement anzuzeigen, um den Bildlaufbetriebsmodus aufzurufen; stattdessen kann eine Erfassung einer nach unten gerichteten Gleitbewegung durch einen Finger innerhalb der Berührungserfassungszone 754 (z. B. eine Erfassung einer nach unten gerichteten Verfolgungsbewegung eines Absetzpuuktes) ausreichend sein, um die Bildlaufhandlung automatisch hervorzurufen. Gemäß einer alternativen Ausführungsform kann ein Nutzeroberflächenelement in der Foren einer virtuellen senkrechten Schieberleiste auf dem Bildschirm angezeigt werden, um dem Nutzer anzuzeigen, dass eine Bildlaufhandlung aktiviert wurde, sowie der Bereich der Berührungserfassungszone 754, um die Bildlaufhandlung vorzuführen.
Gemäß einer bevorzugten Ausführungsform kann dann, falls die erfasste nach unten gerichtete Verfolgungsbewegung diejenige von mehr als einen Absetzpunkt ist (z. B. eine Zweifingergleitgeste), der Bildlauf mit zweifacher Geschwindigkeit ausgeführt werden, in ähnlicher Weise wie es oben bezüglich des Hervorrufens einer Bildlaufhandlung innerhalb eines durchlaufbaren Bereichs beschrieben wurde.
Die 19C und 19D zeigen eine andere Form eines Nutzeroberflächenelements, ein virtuelles Bildlaufrad 755, zum Empfangen von gestenartigen Eingaben, um die Anzeige der Photos zu durchlaufen. Bei dieser Ausführungsform kann das virtuelle Bildlaufrad durch eine einfache Geste der Durchführung einer drehformigen Berührung auf dem Photo mit einem Finger aufgerufen werden, oder einen Absetzen von drei Fingern. Sobald das Nutzeroberflächenelement 755 in Form eines virtuellen Bildlaufrads präsentiert werden kann, kann der Nutzer das virtuelle Bildlaufrad "drehen", um die Photos zu durchlaufen. Bei dieser besonderen Ausführungsform wird die Geschwindigkeit des Bildlaufs nicht dadurch gesteuert, wie viele Absetzpunkte auf dem Bildlaufrad 755 erfasst werden, sondern stattdessen durch die Geschwindigkeit, mit welcher der Absetzpunkt sich um das Zentrum des virtuellen Bildlaufrades 755 dreht.
Die 19E und 19F veranschaulichen das Konzept der 19A und 19B auf einem Anzeigebildschirm 781 einer Digitalkamera 780. Gemäß einer bevorzugten Ausführungsform kann der Anzeigebildschirm 781 der Digitalkamera 780 aus einer mehrberührungsempfindlichen Tafel bestehen, wie etwa die mehrberührungsempfindliche Tafel 2, die oben in der 2 beschrieben ist.
Die 19E zeigt eine Ausführungsformen, bei der beim Wiedergabemodus der Digitalkamera 780 eine Erfassung einer senkrecht nach unten gerichteten Ziehgesteneingabe wenigstens eines Fingers in einer Berührungserfassungszone 782 eine Wiedergabebildlaufaktion hervorruft, wodurch ein nächstes Photo angezeigt werden kann. Gemäß einer anderen Ausführungsform kann eine nach unten gerichtete gestenartige Eingabe auf jeglichem Abschnitt der Anzeige 781 automatisch die Bildlaufaktion hervorrufen.
Die 19F zeigt eine alternative Ausführungsform der 19E, wo eine Erfassung zweier Berührungen von Nöten ist, um den Wiedergabebildlauf hervorzurufen. Genauer gesagt kann eine Kombination eines Absetzpunktes bei einer Absetzzone 783 zusammen mit einer nach unten gerichteten Gleiteingabe bei oder in der Nähe der Absetzzone 782 eine Bildlaufaktion hervorrufen, um das nächste Photo anzuzeigen. Es ist anzumerken, dass die in den 19A bis 19E beschrie benen Verfahren nicht formfaktorspezifisch sind, insoweit als die Verfahren auf einem PC Monitor, einem Laptop Monitor, einer Digitalkamera oder jeglicher Art von Einrichtung implementiert werden können, die einen Berührungsbildschirm aufweist.
Die 19G veranschaulicht eine zusätzliche Geste, die während der Wiedergabe von Mediendateien wie etwa Photodateien eingegeben werden kann, gemäß einer anderen Ausführungsform. Genauer gesagt, ähnlich zu den in den 18A und 18B veranschaulichten Ausführungsformen, kann dieselbe Bewegung durch Unterscheidung der Anzahl von Absetzpunkten auf der berührungsempfindlichen Anzeige (d. h., der Anzahl an Finger) unterschiedlich interpretiert werden. In diesem Fall kann eine senkrecht nach unten gerichtete Ziehgeste durch zwei Finger als eine Geste zum Löschen der Photodatei, zum Markieren der Photodatei (zu Zwecken wie etwa der Kompilierung eines Photoalbums) oder für jegliche andere nützliche Befehle interpretiert werden.
Die 19H veranschaulicht die Erfassung noch weiterer zusätzlicher Gesten unter Verwendung anderer vorgesehener Nutzeroberflächenzonen der berührungsernpfindlichen Anzeige. In diesem Beispiel kann die Erfassung eines Absetzpunktes bei einer anderen vorgesehenen Zone 756 derart interpretiert werden, dass ein Löschen, Markieren oder ein anderer nützlicher Befehl gemeint ist. Gemäß einer Ausführungsform könnnen die mehreren Absetzzonen als durchscheinende Überzüge der Photodatei angezeigt werden.
Es ist anzumerken, dass, obwohl die 19 senkrecht nach unten gerichtete Ziehgesten veranschaulicht, auch in Betracht gezogen wird, dass ein senkrecht nach oben gerichtetes oder waagerecht ausgerichtetes Ziehen ebenso als Gesteneingabe derselben Befehle bestimmt werden kann.
Die 20 veranschaulicht einen möglichen Algorithmus zur Umsetzung der in den 19A bis 19F gezeigten Verfahren. Genauer gesagt wird beim ersten Schritt eines aus einer Mehrzahl von Photos auf einer berührungsempfindlichen Anzeige gezeigt 790. Falls eine Berührung auf dem Anzeigebildschirm erfasst wird 791, kann dann eine Bestimmung dahingehend erfolgen 792, ob die Berührung eine Gesteneingabe war, und, 793, der Art der empfangenen Gesteneingabe (z. B. eine nach unten gerichtete verfolgte Gleithandlung, eine kreisförmige verfolgte Drehhandlung, usw.). Gemäß der erfassten gestenartigen Eingabe kann ein Nutzeroberflächenelement (z. B. eine Schieberleiste oder ein virtuelles Bildlaufrad) bei Bedarf ausgegeben werden 794, wonach eine Handlung hervorgerufen werden kann, die dem Einsatz des Nutzeroberflächenelements oder der gestenartigen Eingabe entspricht 795.
Es ist anzumerken, dass die in 18 bis 20 beschriebenen Verfahren auch innerhalb einer Videoumgebung umgesetzt werden können. Genauer gesagt kann während der Wiedergabe einer Videodatei ebenso ein Nutzeroberflächenelement wie etwa eine in 18A gezeigte waagerechte Schieberleiste aufgerufen und angezeigt werden, wodurch, in Abhängigkeit der Anzahl erfasster Absetzpunkte, ein Betriebsmodus zur Veränderung bestimmter justierbarer Aspekte des Videos wie etwa der Helligkeit, des Kontrasts usw., aktiviert werden kann. Zur gleichen Zeit können die in den 19A bis 19F gezeigten Bildlauf- und Zoomverfahren ebenso auf ähnliche Weise bewirkt werden, obwohl es anstatt eines Bildlaufs die Zurückspul- und Vorspulhandlung wären, die durchgeführt würden.
Zusätzliche Editier/Wiedergabefunktionen von Videodateien können unter Verwendung von gestenartigen Eingaben über bestimmten pre-existierenden Steuerelementen implementiert werden. Gemäß einer bevorzugten Ausführungsform kann eine nicht-lineare zeitliche Wiedergabe einer Videodatei bewirkt werden, indem selektiv die Leiste, welche die Wiedergabezeitlinie angibt, zusammengezogen oder auseinandergestreckt wird. Genauer gesagt zeigt die 21A eine Videoanwendung 790 (wie etwa eine Videowiedergabeanwendung), die eine Videowiedergabe 791 zusammen mit einem Fortschrittsbalken 792 anzeigt, auf wel chem eine Wiedergabelinie 793 den zeitlichen Fortschritt der Videowiedergabe angibt.
Gemäß einer bevorzugten Ausführungsform kann die Wiedergabelinie 793 auf dem Fortschrittsbalken 792 vorwärts und rückwärts bewegt werden, um ein Vorspulen und Zurückspulen des Videos zu bewirken. Die Linie kann auch am gleichen Platz gehalten werden, oder in anderer Weise mit einer nicht-linearen Geschwindigkeit moduliert werden, um eine Wiedergabe mit variabler Geschwindigkeit oder ein Pausieren des Videos zu bewirken. Gemäß einer bevorzugten Ausführungsform kann die Videoanwendung 790 auf einer berührungsempfindlichen Anzeige angezeigt werden, und die Position der Wiedergabelinie 793 kann über eine manuelle Berührung der Linie durch ein Finger der Hand 501 an einem Ort manipuliert werden, wo die Linie auf dem Bildschirm angezeigt werden kann. Das heißt, dass die Wiedergabelinie 793 sowohl als Fortschrittsindikator wie auch als Nutzeroberflächenelement zur Steuerung der Geschwindigkeit und zeitlichen Position der Videowiedergabe dienen kann.
Gemäß einer bevorzugten Ausführungsform kann der gesamte Fortschrittsbalken 792 als ein Nutzeroberflächenelement dienen, bei welchem ein Nutzer eine nicht-lineare Wiedergabe des Videos bewirken kann, indem er einen oder mehrere Abschnitte des Fortschrittsbalkens ausdehnt oder zusammenzieht. Genauer gesagt, wie es in der 21B gezeigt ist, kann der Fortschrittsbalken 792 in Form eines Nutzeroberflächenelements mittels einer Heranzoom- oder Herauszoomgeste mit zwei Fingern manipuliert werden (wie es oben in Bezug auf die 12 erläutert wurde). In dem in der 21B gezeigten Beispiel ruft eine Heranzoomgeste eine Ausdehnung der Wiedergabezeit zwischen der 60 Minutenmarke und der 80 Minutenmarke hervor. In dem in 21B gezeigten Beispiel wird die Wiedergabegeschwindigkeit des Videos insoweit nicht linear, als die Wiedergabegeschwindigkeit des Videos während des Zeitabschnitts zwischen der 60 und der 80 Minutenmarke verlangsamt werden kann. Alternativ kann die Wiedergabegeschwindigkeit des Videos zwischen der 0 und 60 Minutenmarke und nach der 80 Minutenmarke beschleunigt werden, wohingegen die Wiedergabegeschwindigkeit zwischen der 60 und 80 Minutenmarke normal ist.
Die 21C zeigt ein zusätzliches Nutzeroberflächenelement 794, das gerade innerhalb der Videoanwendung 790 angezeigt wird. Bei dieser Ausführungsform kann das Nutzeroberflächenelement 794 ein virtuelles Bildlaufrad sein, mit welchem ein Nutzer zusätzlich die Wiedergabegeschwindigkeit des Videos steuern kann. Zusammen mit der Manipulierung des Fortschrittsbalkens 792 kann ein Nutzer als erstes einen Abschnitt des Videos auswählen, bei welchem die Wiedergabegeschwindigkeit verlangsamt wird, und bei welchem der Nutzer das Bildlaufrad 794 einsetzen kann, um die Wiedergabelinie 793 weiter zu modulieren, um die Wiedergaberichtung und/oder -geschwindigkeit des Videos zu steuern.
Die 21D zeigt andere zusätzliche berührungsempfindliche Nutzeroberflächenelemente, die zu Editierzwecken der Videoanwendung 790 hinzugefügt werden können. Zum Beispiel, wie es in der 21D gezeigt ist, kann ein Nutzeroberflächenelement 796 in Form einer Schieberleiste hinzugefügt werden, um gestenartige Eingaben zum Hervorrufen von Pegelanpassungen zu erfassen, wie etwa eine Mitführanpassung oder eine Helligkeits-, Kontrast-, Farbton-, Gamma-, und andere Arten von Anpassungen. Ähnlich zum Nutzeroberflächenelement 751, wie es mit Bezug auf die 18A bis 18E diskutiert wurde, kann das Nutzeroberflächenelement 796 in form einer Schieberleiste verwendet werden, um verschiedene Betriebsmodi hervorzurufen, durch Veränderung der Anzahl an Absetzpunkten auf dem Nutzeroberflächenelement 796 in Form einer Schieberleiste.
Das Nuteroberflächenelement 795 kann ebenso innerhalb der Videoanwendung 790 angezeigt werden, um ein Klangeditieren des Videos zu bewirken. Genauer gesagt kann das Nutzeroberflächenelement 795 eine Mehrzahl von Pegelanpassern zur Aufnahme oder zur Wiedergabe verschiedener Kanäle oder Klänge oder Musik, die mit dem Video gemischt werden sollen, umfassen.
Gemäß einer bevorzugten Ausführungsform kann ein Nutzer der Videoanwendung 790 darüber entscheiden, welche Nutzeroberflächenelemente angezeigt werden, und kann zusätzlich die Nutzeroberflächenelemente auf die Durchführung einer gewünschten Funktion hin programmieren.
Die 22A und 22B veranschaulichen einen Beispielsalgorithmus 800 zur Bewirkung des mit Bezug auf die 21 bis 21D beschriebenen Verfahrens. Genauer gesagt, wie es in der 22A gezeigt ist, kann eine Videoanwendung 790 gestartet werden, um eine Videowiedergabe und/oder -editierung bereitzustellen 802. Ein Fortschrittsbalken 792 kann angezeigt werden 803. Falls eine Berührung über dem Fortschrittsbalken 792 erfasst wird 804, kann dann eine Bestimmung 805 dahingehend erfolgen, ob die Berührung ein Heranzoom- oder Herauszoombefehl ist. Falls die Berührung nicht als ein Heranzoom- oder Herauszoombefehl erfasst wird, kann dann die Wiedergabelinie gemäß der verfolgten Berührungseingabe manipuliert werden. Falls die Berührung als ein Zoomgeste erfasst wird, kann dann der Abschnitt des Fortschrittbalkens, bei welchen die Berührung erfasst wird, manipuliert werden, um sich gemäß der gestenartigen Eingabe auszudehnen oder zusammenzuziehen.
Bei der 22B können die Schritt 808 bis 810 ausgeführt werden, um optional zusätzliche Nutzeroberflächenelemente wie etwa jeweils das Bildlaufrad, den Soundmischer, und den Pegelanpasser in Form von Schieberleisten anzuzeigen. Eine Berührung (Berührungen) kann (können) bei den Schritten 811 bis 813 erfasst werden, wonach die geeigneten Funktionen 814 bis 818 aufgerufen werden können.
Die 23 veranschaulicht eine andere Ausführungsform der Erfindung zur Manipulierung der Wiedergabe und der Aufnahme von Audio- oder Musikdateien. Wie es in der 23 gezeigt ist, kann eine Musikanwendung 830 ein Paar virtueller Plattenteller 842 und 843 anzeigen, auf welchen zwei Schallplatten 834 und 835 abgespielt werden, wobei die Schallplatten entweder eine Single- oder Lang spielplatte sind. Die Schallplatten 834 und 835 können graphische Repräsentationen einer digitalen Musikdatei (z. B. Song A und Song B) sein, die über die Musikanwendung 830 wiedergegeben werden. Mit anderen Worten können die Schallplatten graphische Abdrücke der Musikdateien sein, als ob die Musikdateien auf physischen Schallplatten abgelegt wären.
In gleicher Weise wie ein Paar echter Plattenteller können die Nadel 844 und die Nadel 845 graphische Piktogrammangaben einer Wiedergabezeile sein, deren Position dadurch variiert werden kann, dass man die Zeile auf einem berührungsempfindlichen Anzeigebildschirm berührt und das Piktogramm an die gewünschte Stelle auf der graphischen Schallplatte zieht. Die Bewegung der Nadel würde einen Sprung beim Wiedergabepunkt des entsprechenden Songs verursachen, wie auf einem echten Plattenteller.
Ebenso in ähnlicher Weise wie ein Paar echter Plattenteller können Start/Stoppknöpfe 838 und 839 durch einen oder mehrere Finger berührt werden, um zwischen dem Start oder Stopp/Pause der Songwiedergabe hin und her zu schalten. Geschwindigkeitsveränderungsleisten 840 und 841 können linear justiert werden, um die Wiedergabegeschwindigkeit der Songs zu steuern. Die Fenster 831 und 833 können die Frequenzdarstellung der wiedergegebenen Songs graphisch wiedergeben, während das Fenster 832 die Frequenzdarstellung der eigentlichen Ausgabe der Musikanwendung 832 anzeigen kann, wobei es sich dabei einfach um einen der Songs handeln kann, der gerade wiedergegeben wird, oder eine Mischung/Kombination der Songs.
Die Mischer/Mitführleiste 850 kann manipuliert werden, um die zwei abgespielten Songs zu modulieren oder zu demodulieren.
Während der Songwiedergabe können die Schallplatten 834 und 835 ähnlich zu einer echten Schallplatte manipuliert werden. Zum Beispiel kann eine schnelle Vor- und Zurückbewegung einer Schallplatte den Klangeffekt eines Schallplat ten-"Scratching" verursachen, wie es Diskjockeys oft bei echten Plattentellern machen.
Es ist anzumerken, dass die oben beschriebenen Verfahren gleichzeitig während desselben gestenartigen Strichs umgesetzt werden können. Das heißt, dass alles, auswählen, verfolgen, zoomen, drehen und mitführen, während eines gestenartigen Strichs ausgeführt werden kann, der ein Spreizen, Drehen und Gleiten der Finger umfassen kann. Zum Beispiel kann beim Absetzen mit wenigstens zwei Finger das angezeigte Objekt (Karte) den zwei Fingern zugeordnet oder mit diesen fixiert werden. Um zu zoomen, kann der Nutzer seine Finger spreizen oder schließen. Um zu drehen, kann der Nutzer seine Finger drehen. Um mitzuführen, kann der Nutzer seine Finger gleiten lassen. Jede dieser Handlungen kann gleichzeitig in einer kontinuierlichen Bewegung erfolgen. Zum Beispiel kann der Nutzer seine Finger spreizen und schließen, während er sie über den Berührungsbildschirm dreht und gleiten lässt. Alternativ kann der Nutzer jede dieser Bewegungen segmentieren, ohne dass er den gestenartigen Strich zurücksetzen muss. Zum Beispiel kann der Nutzer als erstes seine Finger spreizen, dann seine Finger drehen, darin seine Finger schließen, dann seine Finger gleiten lassen, usw.
Es ist auch anzumerken, dass es nicht immer erforderlich ist, einen menschlichen Finger zu benutzen, um die gestenartige Eingabe zu bewirken. Wo möglich, ist es auch ausreichend, eine Zeigeeinrichtung wie etwa einen Stift zu benutzen, um die gestenartige Eingabe zu bewirken.
Zusätzliche Beispiele von gestenartigen Strichen, die als Eingaben zur Bewirkung von Oberflächenbefehlen benutzt werden können, einschließlich Interaktionen mit Nutzeroberflächenelementen (z. B. ein virtuelles Bildlaufrad), sind in der gerneinsam übertragenen ebenso anhängigen Anmeldung 10/903,964, veröffentlicht als US Patentveröffentlichung Nr. US2006/0026521 , und der Anmeldung Nr. 11/038,590, veröffentlicht als US Patentveröffentlichung Nr. US2006/026535 , gezeigt und beschrieben, wobei deren beider Gesamtheit hiermit durch Verweis in die Offenbarung mit aufgenommen wird.
Viele Veränderungen und Modifizierungen können durch den Fachmann erfolgen, ohne den Geist und Rahmen dieser Erfindung zu verlassen. Folglich versteht es sich, dass die veranschaulichten Ausführungsformen nur zu Beispielszwecken vorgebracht wurden, und dass sie nicht als Beschränkung dieser Erfindung angesehen werden sollten, wie sie durch die folgenden Ansprüche definiert ist. Zum Beispiel, obwohl viele Ausführungsformen der Erfindung hier mit Bezug auf persönliche Recheneinrichtungen beschrieben sind, versteht es sich, dass die Erfindung nicht auf Desktop oder Laptopcomputer beschränkt ist, sondern allgemein auf andere Rechenanwendungen wie etwa mobile Kommunikationseinrichtungen, eigenständige Multimediawiedergabeeinrichtungen, usw. Anwendung finden kann.
Die in dieser Schrift verwendeten Worte, um diese Erfindung und ihre diversen Ausführungsformen zu beschreiben, sind nicht nur im Sinne ihrer üblich definierten Bedeutung zu verstehen, sondern umfassen durch besondere Definition in dieser Schrift Struktur, Material oder Handlungen jenseits des Umfangs der üblich definierten Bedeutungen. Folglich, falls im Kontext dieser Schrift ein Element so verstanden werden kann, dass es mehr als eine Bedeutung umfasst, dann muss seine Verwendung in einem Anspruch als allgemein für alle möglichen Bedeutungen verstanden werden, die durch die Schrift und das Wort selber gestützt sind.
Die Definitionen der Wörter oder Elemente der folgenden Ansprüche sind folglich in dieser Schrift derart definiert, dass sie nicht nur die Kombination von Elementen umfassen, die wörtlich wiedergegeben sind, sondern jegliche äquivalente Struktur, Material oder Handlungen, zur Durchführung im Wesentlichen derselben Funktion auf im Wesentlichen dieselbe Weise, um im Wesentlichen das selbe Ergebnis zu erzielen. In diesem Sinne wird folglich in Betracht gezogen, dass ein äquivalenter Austausch von zwei oder mehr Elementen für jegliches der Elemente in den Ansprüchen weiter unten erfolgen kann, oder dass ein einzelnes Element zwei oder mehr Elemente in einem Anspruch ersetzen kann.
Unwesentliche Änderungen des beanspruchten Gegenstands aus der Sicht eines Fachmanns, die nun bekannt sind oder später entwickelt werden, werden explizit als in äquivalenter Weise innerhalb des Anspruchsumfangs betrachtet. Folglich werden naheliegende Substitutionen, die dem Fachmann jetzt oder später bekannt sind, als innerhalb des Rahmens der definierten Anspruchselemente definiert.
Folglich werden die Ansprüche derart verstanden, dass sie das umfassen, was genau oben veranschaulicht und beschrieben ist, was konzeptuell äquivalent sein kann, und was offensichtlich ausgetauscht werden kann. Zum Beispiel soll der Begriff "Computer" oder "Computersystem", wie er in den Ansprüchen wiedergegeben ist, wenigstens einen Desktopcomputer, einen Laptopcomputer oder jegliche mobile Recheneinrichtung wie etwa eine mobile Kommunikationseinrichtung (z. B. ein Mobil- oder WiFi/Skype-Telefon, E-Mail Kommunikationseinrichtungen, persönliche digitale Assistenteinrichtungen) und Multimediawiedergabeeinrichtungen (z. B. ein iPod, MP3 Abspielgeräte oder jegliche Einrichtungen zur Wiedergabe von digitalen Graphiken/Photos) umfassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 5612719 [0007, 0007]
- US 5590219 [0007, 0007]
- US 2006/0097991 [0063, 0090]
- US 11/428522 [0063]
- US 2006/0238522 [0063]
- US 2006/007991 [0066]
- US 2003/0076303 A1 [0079, 0102]
- US 2003/0076301 A1 [0079, 0102]
- US 2003/0095096 A1 [0079, 0102]
- US 2006/0026521 [0155]
- US 2006/026535 [0155]

Claims

In der Hand haltbare mobile Kommunikationseinrichtung mit: einem berührungsempfindlichen Anzeigebildschirm; Mitteln, um den Anzeigebildschirm zur Anzeige eines Abschnitts einer Mediendatei zu veranlassen, wobei die Mediendatei wenigstens ein Textobjekt oder ein Graphikobjekt umfasst; Mitteln zur Erfassung einer Berührungseingabe für einen Durchlauf auf der Oberfläche des Anzeigebildschirms, wobei die Berührungseingabe für einen Durchlauf einen Absetzpunkt eines menschlichen Fingers auf der Oberfläche des Anzeigebildschirms umfasst, wobei der Absetzpunkt einem Ort auf dem Anzeigebildschirm entspricht, an welchem der Abschnitt der Mediendatei angezeigt wird; Mitteln zur Erfassung einer Ziehbewegung des Absetzpunktes des menschlichen Fingers auf dem Anzeigebildschirm, wobei die Ziehbewegung sich über einen Teil des Abschnitts der angezeigten Mediendatei erstreckt und eine senkrechte und eine waagerechte Vektorkomponente umfasst; Mitteln, um die Ziehbewegung des Fingerabsetzpunktes festzustellen, umeine Durchlaufhandlung anzuzeigen; Mitteln, um die Mediendatei zu veranlassen, auf dem Anzeigebildschirm durchzulaufen, wobei der Durchlauf auf eine senkrechte oder waagerechte Richtung beschränkt ist; and Mitteln zur Erfassung, ob die Berührungseingabe für einen Durchlauf in einer vorbestimmten Nähe der Mediendatei ist, und wenn dies der Fall ist, Vornehmen einer Auswahlhandlung für die Mediendatei.
In der Hand haltbare Kommunikationseinrichtung nach Anspruch 1, die weiter Mittel zur Ausnutzung entweder der waagerechten oder senkrechten Vektorkomponente der Ziehbewegung als eine Eingabe zum Bewirken eines Durchlaufs in einer waagerechten beziehungsweise senkrechten Vektorrichtung aufweist.
In der Hand haltbare mobile Kommunikationseinrichtung mit: einem berührungsempfindlichen Anzeigebildschirm; einem maschinenlesbaren Medium, wobei das maschinenlesbare Medium einen Satz an ausführbaren Instruktionen enthält, um den berührungsempfindlichen Anzeigebildschirm zu veranlassen, ein Verfahren zum Durchlaufen der Anzeige einer Mediendatei durchzuführen, wobei die Mediendatei wenigstens ein Textobjekt oder ein Graphikobjekt umfasst, wobei das Verfahren aufweist: Anzeige eines Abschnitts der Mediendatei auf dem Anzeigebildschirm; Erfassung einer Berührungseingabe für einen Durchlauf auf der Oberfläche des Anzeigebildschirms, wobei die Berührungseingabe für einen Durchlauf einen Absetzpunkt eines menschlichen Fingers auf der Oberfläche des Anzeigebildschirms umfasst, wobei der Absetzpunkt einem Ort auf dem Anzeigebildschirm entspricht, an welchem der Abschnitt der Mediendatei angezeigt wird; Erfassung einer Ziehbewegung des Absetzpunktes des menschlichen Fingers auf dem Anzeigebildschirm, wobei die Ziehbewegung sich über einen Teil des Abschnitts der angezeigten Mediendatei erstreckt und eine senkrechte und waagerechte Vektorkomponente umfasst; Feststellung der Ziehbewegung des Absetzpunktes des Fingers, um eine Durchlaufhandlung anzuzeigen; Veranlassen des Durchlaufens der Mediendatei auf dem Anzeigebildschirm, wobei der Durchlauf auf eine senkrechte oder waagerechte Richtung beschränkt ist; und Benutzung entweder der waagerechten oder senkrechten Vektorkomponente der Ziehbewegung als eine Eingabe zum Bewirken eines Durchlaufs in einer waagerechten beziehungsweise senkrechten Vektorrichtung.
In der Hand haltbare mobile Kommunikationseinrichtung nach Anspruch 3, wobei das Verfahren weiter eine Erfassung aufweist, ob die Berührungseingabe für einen Durchlauf in einer vorbestimmten Nähe der Mediendatei ist, und wenn dies der Fall ist, Vornehmen einer Auswahlhandlung für die Mediendatei.
In der Hand haltbare mobile Kommunikationseinrichtung mit: einem berührungsempfindlichen Anzeigebildschirm; Mitteln, um den Anzeigebildschirm zu veranlassen, einen Abschnitt einer Mediendatei anzuzeigen, wobei die Mediendatei wenigstens ein Textobjekt oder ein Graphikobjekt umfasst; Mitteln zur Erfassung einer Berührungseingabe für einen Durchlauf auf der Oberfläche des Anzeigebildschirms, wobei die Berührungseingabe für einen Durchlauf einen Absetzpunkt eines menschlichen Fingers auf der Oberfläche des Anzeigebildschirms umfasst, wobei der Absetzpunkt einem Ort auf dem Anzeigebildschirm entspricht, an welchem der Abschnitt der Mediendatei angezeigt wird; Mitteln zur Erfassung einer Ziehbewegung des Absetzpunktes des menschlichen Fingers auf dem Anzeigebildschirm, wobei die Ziehbewegung sich über einen Teil des Abschnitts der angezeigten Mediendatei erstreckt; Mitteln zur Erfassung einer Richtung der Ziehbewegung des Absetzpunktes des menschlichen Fingers, wobei die Richtung der Ziehbewegung eine senkrechte Vektorkomponente und eine waagerechte Vektorkomponente umfasst; Mitteln, um die Mediendatei zu veranlassen, auf dem Anzeigebildschirm gemäß der erfassten Richtung der Ziehbewegung durchzulaufen; und Mitteln zur Erfassung, ob die Berührungseingabe für einen Durchlauf in einer vorbestimmten Nähe der Mediendatei ist, und wenn dies der Fall ist, Vornehmen einer Auswahlhandlung für die Mediendatei.
In der Hand haltbare Kommunikationseinrichtung nach Anspruch 5, die weiter Mittel zur Ausnutzung entweder der waagerechten oder senkrechten Vektorkomponente der Ziehbewegung als eine Eingabe zum Bewirken eines Durchlaufs in einer waagerechten beziehungsweise senkrechten Vektorrichtung aufweist.
Maschinenlesbares Medium mit darin enthaltenem Programm, das ausführbare Anweisungen enthält, um einen Computer zu veranlassen, eine Verarbeitung von Berührungseingaben auszuführen, wobei der Computer eine berührungsempfindliche Eingabevorrichtung und eine Anzeigevorrichtung aufweist und wobei die Anweisungen den Computer veranlassen eine Mediendatei auf der Anzeigevorrichtung anzuzeigen, eine Berührungseingabe auf der berührungsempfindlichen Eingabevorrichtung zu erfassen, festzustellen, ob die Berührungseingabe eine Mediendurchlauf-Geste sein soll, und die Anzeige der Mediendatei auf der Anzeigevorrichtung durch eine Anzeige einer zweiten Mediendatei zu ersetzen.
Maschinenlesbares Medium nach Anspruch 7, wobei die Mediendurchlauf-Geste eine vertikale oder horizontale Wischbewegung mit einem Absetzpunkt aufweist.