WO2010064423A1 - 表示入力装置 - Google Patents

表示入力装置 Download PDF

Info

Publication number
WO2010064423A1
WO2010064423A1 PCT/JP2009/006540 JP2009006540W WO2010064423A1 WO 2010064423 A1 WO2010064423 A1 WO 2010064423A1 JP 2009006540 W JP2009006540 W JP 2009006540W WO 2010064423 A1 WO2010064423 A1 WO 2010064423A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
touch panel
input device
display
sensor
Prior art date
Application number
PCT/JP2009/006540
Other languages
English (en)
French (fr)
Inventor
下谷光生
松原勉
貞廣崇
太田正子
岡野祐一
泉福剛
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2010541233A priority Critical patent/JP5349493B2/ja
Priority to US13/132,352 priority patent/US8677287B2/en
Priority to CN200980149055.6A priority patent/CN102239069B/zh
Priority to DE112009003647.3T priority patent/DE112009003647B4/de
Publication of WO2010064423A1 publication Critical patent/WO2010064423A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Definitions

  • FIG. 6 is a flowchart showing a specific operation of the vibration determination unit 304 described above, and corresponds to a detailed processing procedure of steps ST42 to ST45 in the flowchart of FIG.
  • a specific operation of the vibration determination unit 304 illustrated in FIG. 2 will be described in detail with reference to the flowchart of FIG. 6.
  • step ST107 a maximum value of the enlargement ratio, for example, twice may be set as an upper limit, and no further enlargement may be performed.
  • a lower limit may be provided so that the enlargement ratio is not less than 1.0.
  • the vibration on the X and Y planes and the vibration on the Z axis are about the same, the enlargement ratio may not be changed because the user's intention is not clear.
  • control unit 3 may be realized entirely by hardware, or at least a part thereof may be realized by software.
  • the control unit 3 determines that there is a predetermined amount of relative vibration between the touch panel 1 and the finger detected by the vibration detection sensor, the control unit 3 performs an enlargement process on an image of a certain range of display area displayed on the touch panel 1.
  • the data processing to be displayed may be realized on a computer by one or a plurality of programs, or at least a part thereof may be realized by hardware.
  • the display input device is suitable for use in an in-vehicle information device of a navigation system and the like because it facilitates an input operation even during vibration and can exhibit excellent operability.

Abstract

 表示入力装置を、情報の表示および入力を行うタッチパネル1と、タッチパネル1に対向する指の振動を検知する振動検知センサ(近接センサ12、加速度センサ23)と、振動検知センサで検知されたタッチパネルと指の相対的な振動が所定量あると判定された場合に、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示する制御部3とにより構成した。

Description

表示入力装置
 この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。
 タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域に指でタッチするだけでタッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。
 上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
 例えば、検出対象としての指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置(例えば、特許文献1参照)、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するCRT装置(例えば、特許文献2参照)、タッチ圧力を検知して軽いタッチで拡大表示、強いタッチで所定のキー操作を実現する入力装置(例えば、特許文献3参照)等が知られている。
特開2006-31499号公報 特開平04-12877号公報 特開平10-171600号公報
 上記した特許文献1に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、立って操作する場合や車載情報機器に適用した場合、指が震え、あるいは走行中である等の理由により画面が振動すると操作性が低下することは否めず、また、振動もしていない状態で常に表示が拡大表示された場合には逆に操作性を損なう場合がある。
 また、特許文献2に開示された技術によれば、拡大縮小を制御しようとした場合、タッチパネル面と指の位置が離れすぎ、指のZ軸方向のぶれにより拡大縮小が揺れ、制御が困難になることがある。更に、特許文献3に開示された技術によれば、拡大率が固定であり、このためユーザの意思が反映されることがなかった。
 この発明は上記した課題を解決するためになされたものであり、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することを目的とする。
 上記した課題を解決するためにこの発明の表示入力装置は、画像の表示および入力を行うタッチパネルと、前記タッチパネルに対向する指の振動を検知する振動検知センサと、前記振動検知センサで検知された前記タッチパネルと指の相対的な振動が所定量あると判定された場合に、前記タッチパネルに表示する一定範囲の表示領域の画像を拡大処理して表示する制御部と、を備えたものである。
 この発明によれば、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することができる。
この発明の実施の形態1に係る表示入力装置の内部構成を示すブロック図である。 この発明の実施の形態1に係る表示入力装置が有するナビCPUのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態1に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。 この発明の実施の形態1に係る表示入力装置の基本動作を示すフローチャートである。 この発明の実施の形態1に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態1に係る表示入力装置の振動判定処理動作を示すフローチャートである。 この発明の実施の形態1に係る表示入力装置の振動判定処理動作を示すタイミング図である。 この発明の実施の形態2に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態3に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態3に係る表示入力装置の動作を示すフローチャートである。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、この発明の実施の形態1に係る表示入力装置の構成を示すブロック図である。図1に示されるように、この発明の実施の形態1に係る表示入力装置は、タッチパネル式表示装置1と、外部センサ2と、制御部3と、により構成される。
 タッチパネル式表示装置(以下タッチパネルと略称する)1は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うLCDパネル10上に、情報の入力を行うタッチセンサ11が積層されて構成され、ここでは、更に、タッチセンサ11の外周に沿うように、タッチパネル1と、タッチパネル1に対向して位置する指やペン等、検出対象の動きを2次元で非接触検知する近接センサ12がセル単位で複数実装されている。
 近接センサ12は、検出セルとして、例えば赤外線を使用した場合、赤外線発光LED(Light Emitted Diode)と、受光トランジスタとが、タッチセンサ11の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
 近接センサ12は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された2枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この2極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
 一方、外部センサ2は車両の随所に実装され、少なくとも、GPS(Global Positioning System)センサ21と、車速センサ22と、加速度センサ23とを含む。
 GPSセンサ21は、GPS衛星からの電波を受信して、制御部3が、緯度、経度を測位するための信号を生成して制御部3に出力する。車速センサ22は、車両が走行中か否かを判定するための車速パルスを計測して制御部3に出力する。加速度センサ23は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、3軸加速度センサの場合、例えば、0(重力加速度のみ)から数100Hzまでの加速度変動に追従し、X、Y方向の加速度ベクトルの合計から地面に対する向き(姿勢)を測定して制御部3に出力する。
 制御部3は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、タッチパネル1とタッチパネル1に対向する指の振動を非接触で検知する近接センサ12から得られる指の振動と、外部センサ2(加速度センサ23)、あるいはタッチパネル1に内蔵される加速度センサ(不図示)によって得られるタッチパネル1の振動との相対的な振動が所定量あると判定された場合に、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示する機能を有する。ここでは、近接センサ12と加速度センサ23とを含めて「振動検知センサ」という。
 このため、制御部3は、ナビゲーション処理を主にタッチパネル1の制御を行うCPU(以下、ナビCPU30という)と、描画回路31と、メモリ32と、地図DB(Data Base)33、とにより構成される。
 ナビCPU30は、タッチパネル1に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビCPU30は、地図DB33に格納された地図情報を参照し、外部センサ2から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
 また、ナビCPU30は、近接センサ12あるいは加速度センサ23で検知されたタッチパネル1と指の相対的な振動が所定量あると判定された場合に、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示する制御部3としての機能を実現するために、メモリ32に記憶されたプログラムにしたがい画像情報を生成して描画回路31の制御を行う。その場合のナビCPU30が実行するプログラムの構造は図2に示されており、その詳細は後述する。
 描画回路31は、ナビCPU30により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ部上に展開し、同じく内蔵する表示制御部によりビットマップメモリ部に展開された画像情報をタッチパネル1(LCDパネル10)の表示タイミングに同期して読み出し、タッチパネル1に表示する。上記したビットマップメモリ部および表示制御部は、図3に示されており、その詳細は後述する。
 なお、メモリ32には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に画像情報記憶領域等が割り付けられ記憶されている。
 また、地図DB33には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
 図2は、この発明の実施の形態1に係る表示入力装置(制御部3)が有する図1のナビCPU30が実行するプログラムの構造を機能展開して示したブロック図である。
 図2に示されるように、ナビCPU30は、主制御部300と、近接座標位置計算部301と、タッチ座標位置計算部302と、車両情報取得部303と、振動判定部304と、画像情報生成部305と、画像情報転送部306と、操作情報処理部307と、を含む。
 近接座標位置計算部301は、近接センサ12によりタッチパネル1への指の接近が検出されたときに、その指のX、Y座標位置を計算して振動判定部304に引き渡す機能を有する。近接座標位置計算部301により計算されるX、Y座標は、例えば、0.01秒間隔で0.1秒間連続して出力され、振動判定部304は、その0.1秒の間に、X、Y座標値の変化がほとんどない場合振動無し、所定量の変化がある場合振動ありと判定し、主制御部300を介して画像情報生成部305を制御する。説明の都合上、振動判定部は0.1秒間で振動を判断したが、連続する過去の履歴を覚えておき0.1秒×何回かの情報で振動を判定すれば更に精度があがる。
 タッチ座標位置計算部302は、指によるタッチパネル1へのタッチがタッチセンサ11により検出された場合に、そのX、Y座標位置を計算して主制御部300に引き渡す機能を有する。
 車両情報取得部303は、外部センサ2(GPSセンサ21、車速センサ22、加速度センサ23)により出力される信号を取得して主制御部300に引き渡す機能を有する。
 なお、振動判定部304は、主制御部300による制御の下で、近接座標位置計算部301から出力される指のX、Y座標の変動状況と、車両情報取得部303により出力される加速度情報とにより、タッチパネル1と指の相対的な振動量を測定し、所定量の振動の有無を判定する機能を有してもよい。
 振動判定部304は、後述するように、近接座標位置計算部301から出力されるX、Y座標で示される振動状況と、車両情報取得部303により取得される加速度情報の変化で示される振動状況とを所定時間分だけ時系列に蓄積し、その時系列から所定の周波数成分を抽出して計算される平均値からの誤差(分散)が所定値以上あった場合に振動ありと判定し、主制御部300を介して画像情報生成部305を制御してもよい。
 画像情報生成部305は、主制御部300による制御の下でタッチパネル1(LCDパネル10)に表示する画像情報を生成し、画像情報転送部306へ出力する機能を有する。
 画像情報生成部305は、タッチパネル1に表示された一定範囲の表示領域の画像を拡大処理して表示するために、例えば、既に生成済みのアイコン等のビットマップ画像を一定の割合で読み出して補間し、新しいビットマップに描画する。例えば、2倍に拡大する場合、元のビットマップのピクセルの1つを縦横方向に2×2に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いてピットマップ画像を更新し、更新されたビットマップ画像を描画回路31に転送することで実現が可能である。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。
 画像情報転送部306は、画像情報生成部305により生成される画像情報を主制御部300によるタイミング制御に基づき描画回路31に転送する機能を有する。
 操作情報処理部307は、主制御部300による制御の下、タッチ座標位置計算部302で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部306へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部306へ出力し、それぞれタッチパネル1(LCDモニタ10)に表示する機能を有する。
 なお、メモリ32には、上記したプログラムが記憶されるプログラム領域321の他に、所定量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部305により生成される画像情報がテンポラリに記憶される画像情報記憶領域322が含まれる。
 図3は、図1に示す描画回路31の内部構成を示すブロック図である。図3に示されるように、描画回路31は、描画制御部310と、画像バッファ部311と、描画部312と、ビットマップメモリ部313と、表示制御部314と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス316経由で共通接続されている。
 上記構成において、図2に示したナビCPU30(画像情報転送部306)から転送される画像情報は、描画制御部310による制御の下で画像バッファ部311に保持され、描画制御部310は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部310により起動される描画部312は、描画制御部310によりデコードされた画像情報をビットマップメモリ部313に高速描画し、表示制御部314は、ビットマップメモリ部313に保持された画像情報をタッチパネル1のLCDパネル10の表示タイミングに同期して読出し表示する。
 図4は、この発明の実施の形態1に係る表示入力装置の動作を示すフローチャートであり、図5は、そのときタッチパネル1に表示されるソフトキーボード画像の一例を示した図である。
 以下、図4、図5を参照しながら、図1~図3に示すこの発明の実施の形態1に係る表示入力装置の動作について詳細に説明する。
 図4において、タッチパネル1に、例えば、図5(a)に示されるような施設検索時に使用されるソフトキーボードが表示されているものとする(ステップST41)。
 まず、ユーザがタッチパネル1に指を近づけると、近接センサ12が指の近接を検出し(ステップST42“YES”)、ナビCPU30の近接座標位置計算部301が動作して、そのX(Y)座標を計算し、振動判定部304に出力する(ステップST43)。近接座標位置計算部301は、計算された座標値を振動判定部304に対して、例えば、0.01秒毎に0.1秒間だけ出力する。
 振動判定部304は、入力された指座標値を、0.1秒の間連続して受信することにより、指の振動を認識し、振動量を計算することができる(ステップST44)。
 なお、振動判定部304には、他に、車両情報取得部303を介して加速度センサ23からも加速度情報が供給されており、上記した近接センサ12を用いた振動検出と同じ原理でタッチパネル1の振動を認識し、近接座標位置計算部301からの座標値と車両情報取得部303の加速度情報とからその振動量を計算してもよい。
 したがって、振動判定部304は、タッチパネル1と指の相対的な振動が所定量あると判定した場合(ステップST45“YES”)、主制御部300による制御の下で画像情報生成部305による画像情報生成処理を起動し、画像情報生成部305は、ソフトウエアキーボードの一部領域等、一定範囲の表示領域の画像を拡大処理して更新する。
 すなわち、画像情報生成部305は、タッチパネル1に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図5(b)に示されるように、既に生成済みのソフトキーボードの一部領域(図中、円内)の画像情報をメモリ32の画像情報記憶領域322から一定の割合で読み出し補間し、周辺の画像情報(拡大無し)と合成して新しい画像情報によるソフトキーボードとして更新する。
 ここで更新された画像情報は、メモリ32の画像情報記憶領域322に記憶されるとともに画像情報転送部306に出力される。画像情報転送部306は、これをうけて更新された画像情報を描画回路31に転送し、描画回路31は、描画制御部310が転送された画像情報を展開し、描画部312がビットマップメモリ部313に高速で描画する。最後に、表示制御部314がビットマップメモリ部313に描画された画像を読み出してタッチパネル1(LCDパネル10)に拡大表示を行う(ステップST46)。
 一方、ステップST45において、振動判定部304が所定量の振動量を検出できなかった場合(ステップST45“NO”)、画像情報生成部305は、図5(a)に示すソフトキーボード画像を生成して画像情報転送部306に出力する。画像情報転送部306は、そのソフトキーボード画像を描画回路31に転送し、描画回路31では、描画制御部310が転送された画像情報を展開し、描画部312がビットマップメモリ部313に高速で描画する。そして、表示制御部314がタッチパネル1(LCDパネル10)に通常サイズでの表示を行う(ステップST47)。
 なお、タッチパネル1(タッチセンサ11)によりアイコンが指でタッチされたことが検出されると(ステップST48“YES”)、タッチ座標位置計算部302は、そのタッチ座標位置を計算して操作情報処理部307を起動し、操作情報処理部307は、タッチ座標位置計算部302で計算されたタッチ座標に相当するキーに基づく操作処理を実行する(ステップST49)。
 ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部306に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部306に出力し、それぞれタッチパネル1(LCDモニタ10)に表示することをいう。
 図6は、上記した振動判定部304の具体的な動作を示すフローチャートであり、図4のフローチャートのステップST42~ST45の詳細な処理手順に相当する。
 以下、図6のフローチャートを参照しながら、図2に示す振動判定部304の具体的な動作について詳細に説明する。
 ここでは、指のX方向の振動検出に特化して説明されている。振動判定部304は、まず、近接センサ12で指の接近を検出した後の時間を計測する。その結果、例えば、1秒以上経過した場合(ステップST451“YES”)、振動判定部304は、過去1秒間に近接座標位置計算部301が計算し蓄積したX座標値の時系列データを取得する(ステップST452)。続いて、振動判定部304は、その時系列に、例えば2Hz程度のHPF(High Pass Filter)処理を施し、比較的低い振動成分を除去する(ステップST453)。
 次に、振動判定部304は、その振動の振幅の過去1秒間の平均値からの誤差(分散)を計算し(ステップST454)、その誤差が閾値以上あった場合(ステップST455“YES”)、所定量の振動ありと判定し、主制御部300を介して画像情報生成部305による画像拡大処理を制御する(ステップST456)。なお、閾値以下の場合は(ステップST455“NO”)、振動なしと判定する(ステップST457)。ここでは説明の都合上X軸の変動にのみ注目して説明をしたが、X軸とY軸の変動を加味して検出するとY軸に対しての変動も検出できるので更に精度があがる。例えば、変動をX、Y平面上のベクトル表現で計算しても良い。
 図7に、振動判定部304の具体的な動作がタイミング図で示されている。図7(a)は、図6のステップST452の時系列データ取得処理で3秒間蓄積されたX座標値の時系列(振動の状況)、図7(b)は、ステップST453のHPF処理後の時系列、図7(c)は、ステップST454の分散値計算処理により出力される過去1秒間の振動の分散値が、それぞれ示されている。
 図7(c)に示した分散値では閾値を0.4cmとしており、振動判定部304は、0.4cmを超えた分散値が計算された場合に所定量の振動ありと判定し、主制御部300を介して画像情報生成部305を制御する。
 上記したこの発明の実施の形態1に係る表示入力装置によれば、制御部3(ナビCPU30)が、振動検知センサ(近接センサ12、加速度センサ23)で検知されたタッチパネル1と指の相対的な振動が所定量あると判定された場合に、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示することにより、指を振動させた場合に拡大表示されるという新たなユーザインタフェースを提供できる。特に、車載用に用いた場合、タッチパネル1に表示されたソフトウエアキーボード等のタッチキーやアイコン等、一定範囲の表示領域の画像が拡大して表示されるため、走行中のタッチパネル1の振動や指のぶれに影響されること無く使い勝手が増し、操作性の向上がはかれる。図4のステップST47を、通常処理表示としたが、表示内容を変化させないように構成しても良い。この場合、一旦、ステップST46で拡大表示された後に、指の振動がなくなっても拡大表示を維持するので表示の大きさが一定して見やすいという効果がある。また、ステップST47で一定時間所定量の振動がないことが続いた場合に通常処理表示とし、それまでの前記一定時間内は表示内容を変えないように構成しても良い。この場合、一旦拡大処理表示した後に、振動が収まった場合に、前記一定時間後にゆっくりと元の表示になり見やすいという効果がある。
 なお、振動判定部304は、車両情報取得部303を介した加速度センサ23からの加速度情報のみから、タッチパネル1と指の相対的な振動を計算してもよい。
 また、振動判定部304は、拡大処理を実行するにあたり、振動量に応じて拡大率を変化させても良い。
実施の形態2.
 図8は、この発明の実施の形態2に係る表示入力装置の動作を示すフローチャートである。以下に説明する実施の形態2では、実施の形態1で説明した表示入力装置を車両に適用し、車両走行中に一定範囲の表示領域の画像を更に拡大表示することにより、車両走行中であっても入力操作を容易にし、一層の操作性向上をはかった例が示されている。
 なお、以下に説明する実施の形態2においても、上記した実施の形態1同様、図1~図3に示す表示入力装置と同じ構成を使用するものとする。
 図8のフローチャートにおいて、タッチパネル1に、例えば、図9(a)に示されるような施設検索時に使用されるソフトキーボードが表示されているものとする(ステップST81)。そして、ユーザがタッチパネル1に指を近づけることにより、近接センサ12が指の近接を検出し(ステップST82)、ナビCPU30の近接座標位置計算部301がそのX(Y)座標を計算し(ステップST83)、振動判定部304が指の振動を認識して振動量を計算して(ステップST84)振動の有無を判定するまでの処理(ステップST85)は、図4のフローチャートに示した実施の形態1のステップST42~ST45のそれぞれにおける処理と同様である。
 ここで説明する実施の形態2に係る表示入力装置では、ステップST85の所定量の振動判定処理において、振動判定部304が所定量の振動(指のぶれ)が無いと判定した場合(ステップST85“NO”)、主制御部300による制御の下で画像情報生成部305を制御し、画像情報生成部305は、通常表示のための画像生成処理を行い(ステップST86)、所定量の振動があると判定した場合(ステップST85“YES”)、振動判定部304は、更に、車両情報取得部303により取得される外部センサ2(車速センサ22)からの情報に基づき車両が走行中か否かを判定する(ステップST87)。
 振動判定部304は、所定量の指の振動があって(ステップST85“YES”)、かつ、車両停止中の場合は(ステップST87“NO”)、主制御部300を介して画像情報生成部305を制御し、画像情報生成部305は拡大処理のための画像更新を行う。また、振動判定部304は、所定量の指の振動があって(ステップST85“YES”)、かつ、車両走行中の場合は(ステップST87“YES”)、主制御部300を介して画像情報生成部305を制御し、画像情報生成部305は、更なる拡大処理(超拡大)を行い、画像更新を行う(ステップST89)。
 すなわち、画像情報生成部305は、タッチパネル1に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図9(b)に示されるように、既に生成済みのソフトキーボードの一部領域(図中、円内)の画像情報をメモリ32の画像情報記憶領域322からある一定の割合で読み出し補間し、周辺の拡大されない画像情報と合成して新しい画像情報によるソフトキーボードとして更新する。
 また、画像情報生成部305は、タッチパネル1に表示された一定範囲の表示領域の画像を超拡大処理するために、例えば、図9(c)に示されるように、既に生成済みのソフトキーボードの一部領域(図中、円内)の画像情報をメモリ32の画像情報記憶領域322から更に高い一定の割合で読み出し補間し、拡大されない周辺の画像情報と合成して新しい画像情報によるソフトキーボードとして更新する。
 ここで更新された画像情報は、メモリ32の画像情報記憶領域322に記憶されるとともに画像情報転送部306に出力される。
 画像情報転送部306は、これをうけて更新された画像情報を描画回路31に転送し、描画回路31は、描画制御部310が転送された画像情報を展開し、描画部312がビットマップメモリ部313に高速で描画する。最後に、表示制御部314がビットマップメモリ部313に描画された画像を読み出してタッチパネル1(LCDパネル10)に拡大表示、あるいは超拡大表示を行う(ステップST88、ST89)。
 なお、上記した画像情報生成部305による通常処理表示(ステップST86)、拡大処理表示(ステップST88)、超拡大処理表示(ステップST89)の後、タッチ座標位置計算部302は、タッチパネル1(タッチセンサ11)によりアイコンが指でタッチされたことが検出されると(ステップST90“YES”)、そのタッチ座標位置を計算して操作情報処理部307を起動する。
 このとき、操作情報処理部307は、タッチ座標位置計算部302で計算されたタッチ座標に相当するキーに基づく操作処理を実行し(ステップST91)、上記した一連のタッチパネル1の表示入力処理を終了する。
 上記したこの発明の実施の形態2に係る表示入力装置によれば、制御部3(ナビCPU30)が、外部センサ2(車速センサ22)により車両が走行中であることを検出した場合、タッチパネル1に表示する一定範囲の表示領域の画像を、近接センサ12や加速度センサ23等の振動センサにより所定量の振動が検知された場合に比較して更に拡大処理して表示することにより、車両の走行状態にかかわらずタッチパネル1の入力操作が容易になり、走行中における車両の揺れや指のぶれに影響されることのない新規なユーザインタフェースを提供できるため、使い勝手が向上して一層の操作性向上がはかれる。
 なお、上記した実施の形態2に係る表示入力装置によれば、制御部3(ナビCPU30)は、所定量の指の振動があって車両停車中は拡大表示、車両走行中は超拡大表示を行うものとしたが、ここで、拡大処理を実行するにあたり、振動量に応じて拡大率を変化させても良い。
 このことにより、車両(タッチパネル1)の揺れあるいは指の振れの強さに応じてソフトウエアキーボードやアイコン等一定範囲の表示領域の画像の適切な表示が可能になり、このため、ユーザがタッチ入力する際の操作性が一層向上する。この場合、画像情報生成部305は、既に生成済みの一定範囲の表示領域の画像をメモリ32の画像情報記憶領域322から振動量に応じた割合で読み出し補間し、拡大画像、あるいは超拡大画像を生成する必要がある。
 また、制御部3(ナビCPU30)は、タッチパネル1に指が接近した状態での指の振動検知ではなく、タッチパネル1にタッチした状態での指の振動を検知すると、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示し、走行中に振動が検知された場合に更に拡大処理して表示してもよい。
 この場合、タッチパネル1にZ方向の押圧力を検知する圧力センサを更に実装する必要がある。なお、Z方向の押圧力を検知する原理は上記した特許文献3に開示されているため、ここでの説明は重複を回避する意味で省略する。ステップST85で振動の有無を判定したが、先に、走行中かどうかを判定し、停車中は車体ゆれなど外部要因がないので、通常処理表示とし、走行中は振動の有無に応じて、拡大表示と、超拡大処理に分岐するような処理をしても同様の効果を生じる。
 なお、上記の実施の形態2では、車両が走行中であるか、停止中であるかを車速センサ22により検出したが、車速センサ、加速度センサ、サイドブレーキ状態の検出装置、画像処理装置などの車両が走行中であるか、停止中であるかを検出できる走行検出手段で検出すればよい。
実施の形態3.
 図10は、この発明の実施の形態3に係る表示入力装置の動作を示すフローチャートである。ここで説明する実施の形態3に係る表示入力装置は、パネル面と指との間のZ方向の距離も測定可能な3次元タッチパネルに適用したものである。すなわち、図1に示すX、Y方向の位置検知が可能なタッチパネル1を、Z方向の距離も測定可能な3次元タッチパネルに置換える。3次元位置を計測する技術は、上記した特許文献2に開示されているため、この技術を適用するものとして説明する。
 以下に説明する実施の形態3に係る表示入力装置は、水平方向の指の振動があった場合に拡大表示し、垂直方向の指の振動があった場合に縮小表示を行うことで、一定範囲の表示領域の画像の拡大縮小をユーザの意思によって制御可能な新規なユーザインタフェースを提供するものである。
 なお、以下に説明する実施の形態3においても、実施の形態1、実施の形態2同様、図1~図3に示す表示入力装置と同じ構成を使用するものとするが、指の2次元座標位置を検知可能なタッチパネル1に代え、3次元座標位置検知可能なタッチパネルを用いるため、近接座標位置計算部301は、X、Y座標の他に、Z軸座標についても計算できるように機能拡張されたものになっている。
 図10のフローチャートにおいて、タッチパネル1に、実施の形態1(図5(a))、実施の形態2(図8(a))同様、施設検索時に使用されるソフトキーボードの画像が表示されているものとする(ステップST101)。
 ユーザがタッチパネル1に指を近づけてから、近接センサ12が指の近接を検出し、ナビCPU30の近接座標位置計算部301がそのX(Y)座標を計算して、振動判定部304が指の振動を認識して振動量を計算し、振動の有無を判定するまでの処理(ステップST102~ST105)は、図4に示した実施の形態1のステップST42~ST45、図8に示した実施の形態2のステップST82~ST85におけるそれぞれの処理と同様である。
 ここで説明する実施の形態3に係る表示入力装置では、ステップST105の所定量の振動判定処理において、振動判定部304が、X、Y平面、およびZ軸における振動(指のぶれ)が所定量に満たないと判定した場合(ステップST105“振動小”)、主制御部300による制御の下で画像情報生成部305を制御し、画像情報生成部305は、現在表示中の拡大率を維持するよう画像生成を行う(ステップST106)。
 また、振動判定部304は、X、Y平面上で所定量の振動があると判定した場合(ステップST105“X、Y平面で振動”)、主制御部300による制御の下で画像情報生成部305を制御し、画像情報生成部305は、現在の拡大率よりも高い拡大率で表示が行われるよう画像生成を行う(ステップST107)。また、振動判定部304は、Z軸で所定量の振動があると判定した場合(ステップST105“Z軸で振動”)、主制御部300による制御の下で画像情報生成部305を制御し、画像情報生成部305は、現在の拡大率よりも低い拡大率で表示が行われるよう画像生成を行う(ステップST108)。
 すなわち、画像情報生成部305は、タッチパネル1に表示された一定範囲の表示領域の画像を拡大処理するために(ステップST106~ST108)、例えば、ソフトウエアキーボード等、既に生成済みの一定範囲の表示領域の画像情報をメモリ32の画像情報記憶領域322から拡大率に基づく一定の割合で読み出して補間あるいは間引き、周辺の画像情報と合成して新しい画像情報によるソフトキーボード画像として更新する。
 ここで更新された画像情報は、メモリ32の画像情報記憶領域322に記憶されるとともに画像情報転送部306に出力される。画像情報転送部306は、これをうけて更新された画像情報を描画回路31に転送し、描画回路31は、描画制御部310が転送された画像情報を展開し、描画部312がビットマップメモリ部313に高速で描画する。最後に、表示制御部314がビットマップメモリ部313に描画された画像を読み出してタッチパネル1(LCDパネル10)に拡大あるいは縮小表示を行う。
 なお、上記したナビCPU30(画像情報生成部305)による振動量によって決まる拡大率に基づいた拡大処理、および描画回路31による表示処理(ステップST106~ST108)の後、ナビCPU30のタッチ座標位置計算部302は、タッチパネル1(タッチセンサ11)によりアイコンが指でタッチされたことが検出されると(ステップST109“YES”)、そのタッチ座標位置を計算して操作情報処理部307を起動する。
 このとき、操作情報処理部307は、タッチ座標位置計算部302で計算されたタッチ座標に相当するキーに基づく操作処理を実行し(ステップST110)、上記した一連のタッチパネル1の表示入力処理を終了する。
 上記したこの発明の実施の形態3に係る表示入力装置によれば、制御部3(ナビCPU30)は、タッチパネル1に対向する指の水平方向の所定量の振動を検知した場合にその振動量に応じた拡大率にしたがいタッチパネル1に表示する一定範囲の表示領域の内容の拡大処理を行い、垂直方向の所定量の振動を検知した場合に縮小処理を行い、それぞれ表示することにより、一定範囲の表示領域の画像の拡大縮小をユーザの意思(3次元方向に振らす)によって制御可能な新規なユーザインタフェースを提供することができ、入力操作が容易になって使い勝手が増すとともに一層の操作性向上がはかれる。図10のステップST107で拡大率アップとしたが、ステップST107では拡大率の最大値、例えば2倍を上限としてそれ以上拡大しないように構成しても良い。ステップST108で拡大率ダウンとしたが、拡大率1.0以下にはならないように下限を設けても良い。また、X、Y平面上での振動と、Z軸での振動が同等程度の場合は、ユーザの意思がはっきりしていないとして、拡大率を変化しないようにしても良い。X、Y平面上での振動と、Z軸での振動の両方が存在する場合は、大きいほうを優先したり、Z軸方向の振動をX、Y平面の振動に比べて一定数、例えば2倍で換算し大きいほうを優先して拡大縮小の処理を行っても良い。また、X軸上での振動で拡大、Y軸上の振動で縮小としても同様の効果を生じる。また、Z軸を含んだ斜め振動がある場合は、X、Y平面の振動に比べて大きいほうを有効にしたり、振動の大きさがほぼ同一の場合は、拡大縮小をしないようにしても良い。このときには操作者に分かるように、振動の方向があいまいなので拡大縮小しない旨のメッセージを出しても良い。
 以上説明のように、上記した実施の形態1~実施の形態3に係る表示入力装置によれば、指や車両(タッチパネル1)に所定量の振動が検出された場合に、画面に表示されたソフトウエアキーボードやアイコン等、一定範囲の表示領域の画像が拡大表示されるために、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することができる。
 なお、上記した実施の形態1~実施の形態3に係る表示入力装置によれば、一定範囲の表示領域の画像としてソフトウエアキーボードの各キーのみを例示して説明したが、ナビゲーションを行うために入力操作されるアイコン等の特定の画像であってもよい。また、振動の検出対象として指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。また、タッチパネル1の振動検知のために車両に実装された加速度センサ23を用いて説明したが、タッチパネル1あるいは制御部3に加速度センサを実装することも可能であり、この場合、車両の振動は外部センサ2(加速度センサ23)で、タッチパネル1の振動はタッチパネル1もしくは制御部3に実装された加速度センサで計測できるため、より精度の高い振動検知が可能になる。
 なお、図2に示す制御部3(ナビCPU30)が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
 例えば、制御部3が、振動検知センサで検知されたタッチパネル1と指の相対的な振動が所定量あると判定された場合に、タッチパネル1に表示する一定範囲の表示領域の画像を拡大処理して表示するデータ処理は、1または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
 この発明に係る表示入力装置は、振動時にも入力操作を容易にし、優れた操作性を発揮できるため、ナビゲーションシステムの車載情報機器等に用いるのに適している。

Claims (8)

  1.  画像の表示および入力を行うタッチパネルと、
     前記タッチパネルに対向する検出対象の振動を検知する振動検知センサと、
     前記振動検知センサで検知された前記タッチパネルと検出対象の相対的な振動が所定量あると判定された場合に、前記タッチパネルに表示する一定範囲の表示領域の画像を拡大処理して表示する制御部と、
     を備えたことを特徴とする表示入力装置。
  2.  前記振動検知センサは、
     前記タッチパネルと検出対象の相対的な振動を非接触で検知する近接センサを含むことを特徴とする請求項1記載の表示入力装置。
  3.  前記振動検知センサは、加速度情報を検出する加速度センサを含むことを特徴とする請求項1記載の表示入力装置。
  4.  前記振動検知センサは、前記タッチパネルと検出対象の相対的な振動を非接触で検知する近接センサと加速度センサを含み、
     前記制御部は、前記近接センサからの振動状況と前記加速度センサが検出する加速度情報からの振動状況とから前記タッチパネルと検出対象の相対的な振動を算出することを特徴とする請求項1記載の表示入力装置。
  5.  前記制御部は、
     前記振動検知センサで検知された振動を所定時間分時系列に蓄積し、前記時系列から所定の周波数成分を抽出して計算される平均値からの誤差が所定値以上あった場合に前記所定の振動あり、と判定することを特徴とする請求項1記載の表示入力装置。
  6.  車両の走行状態を検知する走行検出手段を備え、
     前記制御部は、
     前記走行検出手段により車両が走行中であることを検出した場合、前記タッチパネルに表示する一定範囲の表示領域の画像を、前記走行検出手段により車両が停止中であることを検出した場合に比較して更に拡大処理して表示することを特徴とする請求項1記載の表示入力装置。
  7.  前記制御部は、
     前記タッチパネルに対向する検出対象の水平方向の所定量の振動を検知した場合に前記タッチパネルに表示する一定範囲の表示領域の内容の拡大処理を行い、垂直方向の所定量の振動を検知した場合に縮小処理を行い、それぞれ表示することを特徴とする請求項1記載の表示入力装置。
  8.  前記制御部は、
     前記振動検知センサにより検知される振動量に応じて拡大率を変化させ、前記タッチパネルに表示する一定範囲の表示領域の内容を拡大処理して表示することを特徴とする請求項1記載の表示入力装置。
PCT/JP2009/006540 2008-12-04 2009-12-02 表示入力装置 WO2010064423A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010541233A JP5349493B2 (ja) 2008-12-04 2009-12-02 表示入力装置および車載情報装置
US13/132,352 US8677287B2 (en) 2008-12-04 2009-12-02 Display input device and navigation device
CN200980149055.6A CN102239069B (zh) 2008-12-04 2009-12-02 显示输入装置
DE112009003647.3T DE112009003647B4 (de) 2008-12-04 2009-12-02 Fahrzeug-montierte Informationsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-309780 2008-12-04
JP2008309780 2008-12-04

Publications (1)

Publication Number Publication Date
WO2010064423A1 true WO2010064423A1 (ja) 2010-06-10

Family

ID=42233081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006540 WO2010064423A1 (ja) 2008-12-04 2009-12-02 表示入力装置

Country Status (5)

Country Link
US (1) US8677287B2 (ja)
JP (2) JP5349493B2 (ja)
CN (1) CN102239069B (ja)
DE (1) DE112009003647B4 (ja)
WO (1) WO2010064423A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005005A1 (ja) * 2010-07-07 2012-01-12 パナソニック株式会社 端末装置およびgui画面生成方法
CN102419649A (zh) * 2011-07-06 2012-04-18 北京汇冠新技术股份有限公司 一种扩大范围触摸方法及系统
WO2012086133A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 タッチパネル装置
JP2013072891A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像表示装置およびその制御方法
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
WO2014024363A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 表示制御装置、表示制御方法及びプログラム
JP2015005197A (ja) * 2013-06-21 2015-01-08 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
KR20150070093A (ko) * 2012-10-15 2015-06-24 더 보잉 컴파니 터치 스크린 시스템들에 대한 난류 완화
WO2016084695A1 (ja) * 2014-11-28 2016-06-02 日本精機株式会社 設定装置
EP2455843A3 (en) * 2010-11-23 2016-10-19 GE Aviation Systems LLC System and method for improving touch screen display use under vibration and turbulence
JP2017037383A (ja) * 2015-08-07 2017-02-16 富士通株式会社 電子機器およびプログラム
JP2017510870A (ja) * 2014-01-02 2017-04-13 ノキア テクノロジーズ オサケユイチア ユーザがユーザ入力を行うことを可能にする、装置、方法およびコンピュータプログラム
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
JP2017199345A (ja) * 2016-02-09 2017-11-02 ザ・ボーイング・カンパニーThe Boeing Company 乱れ抵抗性タッチスクリーン
KR101806172B1 (ko) * 2016-03-16 2018-01-10 현대자동차 주식회사 차량 단말기 조작 시스템 및 그 방법
US10152158B2 (en) 2014-12-15 2018-12-11 Clarion Co., Ltd. Information processing apparatus and control method of information processing apparatus
JP2019012490A (ja) * 2017-07-03 2019-01-24 株式会社ミツトヨ 端末装置およびプログラム
JPWO2019176009A1 (ja) * 2018-03-14 2021-02-18 マクセル株式会社 携帯情報端末
WO2024038485A1 (ja) * 2022-08-15 2024-02-22 日産自動車株式会社 車両用入力装置及び車両用入力方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
WO2013143131A1 (en) * 2012-03-30 2013-10-03 Nokia Corporation User interfaces, associated apparatus and methods
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
CN102756699B (zh) * 2012-06-01 2014-12-10 惠州华阳通用电子有限公司 车载系统及其用户界面切换方法
US8736551B2 (en) * 2012-07-12 2014-05-27 Atmel Corporation Touch-sensor-controller sensor hub
CN102880407A (zh) * 2012-07-24 2013-01-16 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
US20140267082A1 (en) * 2013-03-15 2014-09-18 Lenovo (Singapore) Pte, Ltd. Enlarging touch screen portions
JP6086350B2 (ja) * 2013-08-09 2017-03-01 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
JP6209020B2 (ja) * 2013-08-22 2017-10-04 シナプティクス・ジャパン合同会社 半導体集積回路装置、表示装置および情報機器
USD767588S1 (en) * 2013-12-16 2016-09-27 Tencent Technology (Shenzhen) Company Limited Display screen portion with graphical user interface
USD767589S1 (en) * 2013-12-16 2016-09-27 Tencent Technology (Shenzhen) Company Limited Display screen portion with animated graphical user interface
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
JP6274134B2 (ja) * 2015-03-10 2018-02-07 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9626195B2 (en) * 2015-05-11 2017-04-18 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Booting system
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
GB2551520B (en) * 2016-06-20 2018-11-21 Ge Aviat Systems Ltd Correction of vibration-induced error for touch screen display in an aircraft
US11276255B2 (en) 2016-07-15 2022-03-15 Cambridge Mobile Telematics, Inc. Mileage and speed estimation
US9842438B1 (en) * 2016-07-15 2017-12-12 Cambridge Mobile Telematics, Inc. Mileage and speed estimation
WO2019180782A1 (ja) * 2018-03-19 2019-09-26 三菱電機株式会社 空気調和機の室内機
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
US11619934B2 (en) * 2019-09-09 2023-04-04 Nissan Motor Co., Ltd. Vehicle remote control method and vehicle remote control device
FR3124872A1 (fr) * 2021-07-02 2023-01-06 Faurecia Interieur Industrie Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés
DE102021118382A1 (de) 2021-07-15 2023-01-19 Anton Brams Neuartiges Eingabegerät

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306933A (ja) * 1998-04-22 1999-11-05 Tokai Rika Co Ltd タッチ操作情報出力装置
JP2002108564A (ja) * 2000-10-03 2002-04-12 Alpine Electronics Inc タッチパネル入力装置
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006520024A (ja) * 2002-11-29 2006-08-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 接触エリアの移動させられた表現を用いたユーザインタフェース
JP2007190947A (ja) * 2006-01-17 2007-08-02 Xanavi Informatics Corp 車載情報端末
JP2008265544A (ja) * 2007-04-20 2008-11-06 Airesu Denshi Kogyo Kk 車両搭載用のタッチパネル

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0412877A (ja) 1990-04-30 1992-01-17 Nec Corp プリンタ
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US6114862A (en) * 1996-02-14 2000-09-05 Stmicroelectronics, Inc. Capacitive distance sensor
US6320394B1 (en) * 1996-02-14 2001-11-20 Stmicroelectronics S.R.L. Capacitive distance sensor
JPH10171600A (ja) 1996-12-06 1998-06-26 Brother Ind Ltd 入力装置
US6408087B1 (en) * 1998-01-13 2002-06-18 Stmicroelectronics, Inc. Capacitive semiconductor user input device
US7157649B2 (en) * 1999-12-23 2007-01-02 New Transducers Limited Contact sensitive device
DK1611416T3 (da) * 2003-02-26 2007-10-01 Tomtom Int Bv Navigationsanordning og fremgangsmåde til visning af alternative ruter
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7554521B1 (en) * 2004-04-15 2009-06-30 Apple Inc. User interface control for changing a parameter
JP2006072489A (ja) * 2004-08-31 2006-03-16 Toshiba Corp 情報処理装置および表示制御プログラム
DE602004016348D1 (de) * 2004-11-19 2008-10-16 Harman Becker Automotive Sys Fahrzeugnavigation mit integrierter Kurvenwarnung basiert auf Klothoiden
US7777501B2 (en) * 2005-06-03 2010-08-17 Synaptics Incorporated Methods and systems for sigma delta capacitance measuring using shared component
US8532678B2 (en) * 2006-03-08 2013-09-10 Tomtom International B.V. Portable GPS navigation device
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US20080055259A1 (en) * 2006-08-31 2008-03-06 Honeywell International, Inc. Method for dynamically adapting button size on touch screens to compensate for hand tremor
US7979207B2 (en) * 2007-03-19 2011-07-12 Sirf Technology, Inc. Systems and methods for detecting a vehicle static condition
DE102007039446A1 (de) * 2007-08-21 2009-02-26 Volkswagen Ag Verfahren zum Anzeigen von Informationen in einem Kraftfahrzeug mit veränderbarem Maßstab und Anzeigeeinrichtung
DE102008026488A1 (de) * 2008-06-03 2009-12-24 Continental Automotive Gmbh Detektionssystem zur Annäherungserkennung
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306933A (ja) * 1998-04-22 1999-11-05 Tokai Rika Co Ltd タッチ操作情報出力装置
JP2002108564A (ja) * 2000-10-03 2002-04-12 Alpine Electronics Inc タッチパネル入力装置
JP2006520024A (ja) * 2002-11-29 2006-08-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 接触エリアの移動させられた表現を用いたユーザインタフェース
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2007190947A (ja) * 2006-01-17 2007-08-02 Xanavi Informatics Corp 車載情報端末
JP2008265544A (ja) * 2007-04-20 2008-11-06 Airesu Denshi Kogyo Kk 車両搭載用のタッチパネル

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5189709B2 (ja) * 2010-07-07 2013-04-24 パナソニック株式会社 端末装置およびgui画面生成方法
WO2012005005A1 (ja) * 2010-07-07 2012-01-12 パナソニック株式会社 端末装置およびgui画面生成方法
US9423935B2 (en) 2010-07-07 2016-08-23 Panasonic Intellectual Property Management Co., Ltd. Terminal apparatus and GUI screen generation method
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
US9870093B2 (en) 2010-11-23 2018-01-16 Ge Aviation Systems Llc System and method for improving touch screen display use under vibration and turbulence
EP2455843A3 (en) * 2010-11-23 2016-10-19 GE Aviation Systems LLC System and method for improving touch screen display use under vibration and turbulence
WO2012086133A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 タッチパネル装置
WO2013004147A1 (zh) * 2011-07-06 2013-01-10 北京汇冠新技术股份有限公司 一种扩大范围触摸方法及系统
CN102419649A (zh) * 2011-07-06 2012-04-18 北京汇冠新技术股份有限公司 一种扩大范围触摸方法及系统
JP2013072891A (ja) * 2011-09-26 2013-04-22 Canon Inc 画像表示装置およびその制御方法
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
WO2014024363A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 表示制御装置、表示制御方法及びプログラム
JP2014035695A (ja) * 2012-08-09 2014-02-24 Panasonic Corp 表示制御装置、表示制御方法及びプログラム
US9665216B2 (en) 2012-08-09 2017-05-30 Panasonic Intellectual Property Corporation Of America Display control device, display control method and program
JP2016502163A (ja) * 2012-10-15 2016-01-21 ザ・ボーイング・カンパニーTheBoeing Company タッチスクリーンシステムのための乱れの軽減
KR20150070093A (ko) * 2012-10-15 2015-06-24 더 보잉 컴파니 터치 스크린 시스템들에 대한 난류 완화
KR101988080B1 (ko) * 2012-10-15 2019-06-11 더 보잉 컴파니 터치 스크린 시스템들에 대한 난류 완화
JP2018060553A (ja) * 2012-10-15 2018-04-12 ザ・ボーイング・カンパニーThe Boeing Company タッチスクリーンシステムのための乱れの軽減
JP2015005197A (ja) * 2013-06-21 2015-01-08 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP2017510870A (ja) * 2014-01-02 2017-04-13 ノキア テクノロジーズ オサケユイチア ユーザがユーザ入力を行うことを可能にする、装置、方法およびコンピュータプログラム
WO2016084695A1 (ja) * 2014-11-28 2016-06-02 日本精機株式会社 設定装置
US10152158B2 (en) 2014-12-15 2018-12-11 Clarion Co., Ltd. Information processing apparatus and control method of information processing apparatus
JP2017037383A (ja) * 2015-08-07 2017-02-16 富士通株式会社 電子機器およびプログラム
JP2017199345A (ja) * 2016-02-09 2017-11-02 ザ・ボーイング・カンパニーThe Boeing Company 乱れ抵抗性タッチスクリーン
KR101806172B1 (ko) * 2016-03-16 2018-01-10 현대자동차 주식회사 차량 단말기 조작 시스템 및 그 방법
JP2019012490A (ja) * 2017-07-03 2019-01-24 株式会社ミツトヨ 端末装置およびプログラム
JP6991754B2 (ja) 2017-07-03 2022-01-13 株式会社ミツトヨ 端末装置およびプログラム
JPWO2019176009A1 (ja) * 2018-03-14 2021-02-18 マクセル株式会社 携帯情報端末
JP7155242B2 (ja) 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
WO2024038485A1 (ja) * 2022-08-15 2024-02-22 日産自動車株式会社 車両用入力装置及び車両用入力方法

Also Published As

Publication number Publication date
JP5349493B2 (ja) 2013-11-20
JPWO2010064423A1 (ja) 2012-05-10
DE112009003647B4 (de) 2015-08-20
CN102239069B (zh) 2014-03-26
DE112009003647T5 (de) 2012-08-02
CN102239069A (zh) 2011-11-09
US8677287B2 (en) 2014-03-18
JP2012248209A (ja) 2012-12-13
JP5312655B2 (ja) 2013-10-09
US20110234639A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5312655B2 (ja) 表示入力装置および車載情報装置
JP5052677B2 (ja) 表示入力装置
JP5777745B2 (ja) 表示入力装置及びナビゲーションシステム
JP5430782B2 (ja) 表示入力装置および車載情報機器
JP5355683B2 (ja) 表示入力装置および車載情報機器
JP4943543B2 (ja) 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
US20100318573A1 (en) Method and apparatus for navigation system for selecting icons and application area by hand drawing on map image
JP2020080055A (ja) 領域設定方法、情報機器
JP5933468B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP6041708B2 (ja) 車載用情報表示制御装置、車載用情報表示装置および情報表示制御方法
JP5889230B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP5950851B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP5984718B2 (ja) 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法
JP2011117742A (ja) 情報処理装置、入力方法、入力プログラムおよび記録媒体
WO2015029112A1 (ja) 地図表示システム及び地図表示方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980149055.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09830193

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010541233

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13132352

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112009003647

Country of ref document: DE

Ref document number: 1120090036473

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09830193

Country of ref document: EP

Kind code of ref document: A1