CN102298493A - 用于处理交互式三维对象的装置 - Google Patents

用于处理交互式三维对象的装置 Download PDF

Info

Publication number
CN102298493A
CN102298493A CN2011101750711A CN201110175071A CN102298493A CN 102298493 A CN102298493 A CN 102298493A CN 2011101750711 A CN2011101750711 A CN 2011101750711A CN 201110175071 A CN201110175071 A CN 201110175071A CN 102298493 A CN102298493 A CN 102298493A
Authority
CN
China
Prior art keywords
dimensional object
display board
treating apparatus
control module
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101750711A
Other languages
English (en)
Inventor
黄柱熹
洪在万
孔景珍
琴允燮
金兑勋
申镇祐
李泌雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of CN102298493A publication Critical patent/CN102298493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Abstract

本发明涉及用于处理交互式三维对象的装置。提供了一种三维对象处理装置。该装置能够与用户进行交互，并且利用三维用户界面的立体效果作为信息。该装置包括用于实现用户与源自该装置的三维对象之间的交互的各种单元的组合，包括但不限于显示板、感测单元以及控制单元。

Description

用于处理交互式三维对象的装置
技术领域
示范性实施方式致力于提供一种用于处理三维(3D)对象的装置，具体地说，致力于提供一种能够与用户交互并且提供多种3D用户界面(UI)的3D对象处理装置。
背景技术
三维(3D)显示技术可用于根据诸如电影的二维(2D)影像来输出3D影像。基于2D的3D用户界面(UI)技术可以应用立方体和深度的概念，并由此表示比通过2D UI技术表示的数据更大量的数据。然而，基于2D的3D UI技术可能无法集中在与用户的交互上，而是将资源集中在2D UI与3D UI之间的转换效果上。
发明内容
本发明的示范性实施方式提供了一种能够与用户交互并且提供利用三维(3D)UI的立体效果作为信息的3D UI的3D对象处理装置。
本发明的附加特征将在下面的描述中加以阐述，并且根据该描述将部分地清楚，或者可以通过本发明的具体实践而获知。
本发明的一个示范性实施方式公开了一种三维(3D)对象处理装置，该三维对象处理装置包括：显示板，其用于立体地显示3D对象；感测单元，其用于感测用户操作所述3D对象的结果；以及控制单元，其用于执行与所述感测单元的感测结果相对应的功能。
本发明的另一示范性实施方式公开了一种三维(3D)对象处理装置，该三维对象处理装置包括：显示板，其用于立体地显示与一类别相对应的3D对象；和控制单元，其用于控制所述显示板以基于该类别的状态而调节后的显示条件来显示所述3D对象。
本发明的另一示范性实施方式公开了一种三维(3D)对象处理装置，该三维对象处理装置包括：显示板，其用于在发生一事件的情况下按弹出形式显示与该事件相对应的3D对象；和控制单元，其用于根据与该事件相关联的优先级来调节所述3D对象的弹出速率和尺寸。
本发明的另一示范性实施方式公开了一种三维(3D)对象处理装置，该三维对象处理装置包括：显示板，其用于立体地显示3D对象；感测单元，其用于感测将所述3D对象转换成二维(2D)对象的指令，和将所述2D对象转换成所述3D对象的指令；以及控制单元，其用于在感测到这两个指令中的一个指令的情况下调节所述3D对象和所述2D对象的显示条件。
应注意到，本发明的前述一般描述和下面的详细描述都是示范性和解释性的，并且旨在提供对如要求保护的本发明的进一步阐释。
附图说明
附图被包括进来以提供对本发明的进一步理解，并且被并入并构成本说明书的一部分，例示了本发明的实施方式，并与本描述一起用于解释本发明的原理。
图1是例示根据本发明示范性实施方式的用于与用户交互的3D对象处理装置的框图。
图2是根据示范性实施方式的图1所示第一感测单元的框图。
图3是例示根据示范性实施方式的第一显示板的视图。
图4是例示根据示范性实施方式的第一显示板的视图。
图5是例示根据示范性实施方式的第一显示板的视图。
图6是例示根据示范性实施方式的第一显示板的视图。
图7是例示根据示范性实施方式的第一显示板的视图。
图8是例示根据示范性实施方式的第一显示板的视图。
图9是例示根据示范性实施方式的第一显示板的视图。
图10是例示根据示范性实施方式的菜单选择项的视图。
图11是例示根据示范性实施方式的3D对象处理装置的框图。
图12是例示根据示范性实施方式的第二显示板的视图。
图13是例示根据示范性实施方式的第二显示板的视图。
图14是例示根据示范性实施方式的第二显示板的视图。
图15是例示根据示范性实施方式的3D对象处理装置的框图。
图16是例示根据示范性实施方式的第三显示板的视图。
图17是例示根据示范性实施方式的第三显示板的视图。
图18是例示根据示范性实施方式的第三显示板的视图。
图19是例示根据示范性实施方式的3D对象处理装置的框图。
图20是例示根据示范性实施方式的2D对象与3D对象之间的转换的视图。
图21是例示根据示范性实施方式的2D对象与3D对象之间的转换的视图。
图22是例示根据示范性实施方式的2D对象与3D对象之间的转换的视图。
图23是例示根据示范性实施方式的2D对象与3D对象之间的转换的视图。
图24是例示根据示范性实施方式的3D对象处理装置的视图。
图25是例示根据示范性实施方式的用于在3D对象处理装置中提供2D影像的方法的视图。
图26是例示根据示范性实施方式的用于在3D对象处理装置中改变3D对象的透视效果的方法的视图。
具体实施方式
下面参照附图，对本发明进行更全面的描述，附图示出了本发明的实施方式。然而，本发明可以按许多不同形式来具体实施，而不应视为局限于在此阐述的实施方式。而相反，提供这些实施方式以使本公开详尽，并且向本领域技术人员全面表达本发明的范围。在图中，为清楚起见，将层和区域的尺寸和相对尺寸夸大了。图中相同标号指示相同部件。
立体技术被用于利用3D对象来立体地显示用户界面(UI)、活动影像等。如果一个人用双眼来看某个对象，则因双眼之间的距离而出现了每一只眼睛所看到影像的视差。这种效果使大脑立体地识别双眼所看到的影像差异。立体技术使用这种特征来利用至少一个影像输出装置向左眼和右眼提供分离的影像。
为用于分离立体技术的影像的影像分离技术可以包括时分法和空分法(space-division method)。
时分法利用单个影像输出装置顺序地提供要由左眼和右眼识别的影像。例如，时分方法可以通过使用快门眼镜(shutter glass)方法来实现。
空分法同时提供要分别由左眼和右眼识别的影像。空分法的例子可以包括偏振玻璃滤光片法、屏障滤光片法、双凸透镜法以及其它类似方法。
偏振玻璃滤光片法通过使用偏振玻璃滤光片从输出自影像输出装置的垂直偏振影像和水平偏振影像中滤除掉至少一个影像，来向每一只眼睛提供单侧影像。由此，上述偏振玻璃滤光片法通过分别向每一只眼睛选择性地提供左侧影像和右侧影像来生成3D影像。
屏障滤光片法利用安装在单个影像输出装置上的屏障滤光片来选择性地向左眼和右眼提供影像。该影像输出装置可以包含可切换屏障滤光片，其能够将屏障滤光片打开和关闭。该屏障滤光片允许由影像输出装置来生成3D影像。由此，通过控制屏障滤光片开关，屏障滤光片可以在输出3D影像期间工作，并且屏障滤光片可以在输出二维(2D)影像期间不工作。
双凸透镜法通过覆盖(coat)可位于影像输出装置上的双凸透镜而选择性地向左眼或者向右眼提供影像。
可以通过光学传感器技术、光束拦截技术、电磁失真感测技术、摄像机感测技术或本领域普通技术人员已知的其它感测技术中的至少一种来感测3D空间，在该空间中，与用户相关联的附属物或对象在半空中或在直接附着在装置上的位置移动。下面，将对各种感测技术进行描述。然而，本领域普通技术人员将认识到，其它感测技术可以与在此公开的各种示范性实施方式一起使用。
光学传感器技术识别被从某个装置发出的红外光束反映(reflect)的、与用户相关联的附属物或对象。红外光束源的例子可以来自显示板的显示面之后。
可以使用的另一感测技术是光束拦截技术。这种技术不能识别用户在装置后面的触摸，例如，用户对显示板的显示面的触摸。该感测技术可以通过拦截照射到该装置上的红外光束来识别用户的触摸。该光束可以沿至少四个方向照射到该装置的显示面上。
可以使用的另一感测技术是电磁失真感测技术。这种技术在与显示板相关联的空间(如显示面)处均匀地生成电磁场，如果因进入该空间的电介质(例如，手指)造成了电磁场的失真，则通过感测电磁场的失真程度来识别(例如，该电介质的)移动。如果电介质位于远离该装置的空间(例如，远离显示板的显示表面的空间处)，则电磁失真感测技术可以识别该电介质。如果该电介质接触该对象或者处于诸如显示面的特定位置处，则这种感测技术也可以识别该电介质。而且，电磁失真感测技术可以在电介质是手指的情况下确定哪只手的哪根手指、以何种角度进入该空间。另选的是，这种感测技术可以被用于确定与用户相关联的其它特定附属物和对象。
可以使用的另一感测技术是摄像机感测技术。这种技术可以通过分析对象或该对象的特定部分(如显示面)与所拍摄的附属物影像或者手指影像之间的接触点来识别附属物(如，手指)的移动。这种分析可以利用人工智能来进行。影像可以通过摄像机来拍摄。
图1是例示根据本发明示范性实施方式的用于与用户交互的3D对象处理装置的框图。
参照图1，3D对象处理装置100可以显示UI作为3D对象，该3D对象能够与用户交互。3D对象处理装置100可以包括具有用于显示UI的能力的所有便携式电子应用。这些便携式电子应用可以包括但不限于：智能电话、移动电话、显示装置等。在图1所示的示范性实施方式中，3D对象处理装置100包括：第一显示板110、第一感测单元120，以及第一控制单元130。
对于装置100是智能电话的情况来说，第一显示板110可以显示由该智能电话提供的各种UI，如存储在该智能电话中的各种影像。第一显示板110可以基于来自第一控制单元130的指令而显示2D对象或3D对象。该2D或3D对象可以表示各种条件或属性，如装置100的功能、每类别的数据量、与该装置100中所包含的数据相关联的类别的优先级、与该装置相关联的时间和其它属性。
第一感测单元120可以包括触摸传感器和接近传感器。触摸传感器感测用户的触摸。接近传感器感测在接近装置100(或者具体来说，接近第一显示板110的屏幕)的空间中移动的、用户的附属物(如手指)。因而，接近传感器可以在显示3D对象的空间中感测用户对3D对象的操作。第一感测单元120可以通过利用如上所述的光学传感器技术、光束拦截技术、电磁失真感测技术以及摄像机感测技术中的至少一种技术来感测用户的附属物，或者具体说来，手指。第一感测单元120可以设置在第一显示板110的屏幕上或者设置在第一显示板110内，或者设置在与装置100相关联的其它区域上。
图2是例示根据示范性实施方式的第一感测单元的框图。
参照图2，第一感测单元120包括：摄像机单元121、影像处理单元123、移动提取单元125，以及姿态(gesture)识别单元127。影像处理单元123分析由摄像机单元121获取的诸如手指姿态的影像以及装置100上的基准点，如第一显示板110的屏幕。这种分析可以利用人工智能来进行。该分析定位了诸如手指姿态的影像或影像中的特定对象与装置100的基准点之间的接触点。另外，影像处理单元123提取由摄像机单元121获取的诸如手指姿态影像的影像的轮廓。
移动提取单元125从诸如手指姿态影像的影像中提取移动区域。
姿态识别单元127从所提取的移动区域(来自移动提取单元125)中提取用户区域，或与用户相关联的另一区域，如面部区域或手部区域。姿态识别单元127通过从连续提取的移动区域或上述另一区域中跟踪诸如手部区域的区域来识别姿态，并且提取与单一姿态相对应的有意义姿态区域，接着提取所提取姿态区域的姿态特征。要识别的姿态可以改变。要识别的姿态的一些例子可以为在半空中按下、拖动或拖拽3D对象。
第一控制单元130可以执行诸如与第一感测单元120的感测结果(即，要识别的姿态)相对应的功能，或调节3D对象的显示条件的功能。
图3是例示根据示范性实施方式的第一显示板的视图。
第一显示板110上显示的3D对象可以有多个图标。如果第一感测单元120感测到用户对这多个图标中的至少一个图标进行了半空选择操作，则第一控制单元130可以控制第一显示板110相比其它图标在高度上更高或更低地来显示选定图标。参照图3，选定图标31比其它图标在高度上更低地显示。
如果用户选择了多个3D对象中的一个微件(widget)图标(例如，选定图标31)，则选定图标31被立体地显示，并且可以被显示成，好像选定图标31逐渐下降一样。因而，用户可以直观地确定选定图标31。在一个例子中，选定微件图标在第一显示板110中下降的移动速率可以表示对应应用的运行时间。
图4是例示根据示范性实施方式的第一显示板的视图。
用户可以直接触摸期望的键41或在半空中按下期望的键41。如果第一感测单元120感测到用户对期望的键41的半空按下操作，则第一控制单元130可以控制第一显示板110按改变后的形式(例如在高度上更低)来显示所按下的期望的键41。因而，与直接触摸方式相比，可以利用半空操作来向用户提供更多立体效果。除了钢琴键以外，这可以应用到其它乐器。
图5是例示根据示范性实施方式的第一显示板的视图。
如果第一感测单元120感测到用户对音量控制棒(volume bar)51的半空按下(push)操作，则第一控制单元130可以控制装置100，或者具体来说，控制第一显示板110，以显示高度减小了的音量控制棒52，并且实际上将音量调低。当第一感测单元120感测到用户对音量控制棒52的半空拉拔(pull)操作时，第一控制单元130可以控制第一显示板110显示高度增大了的音量控制棒51，并且实际上将音量调高。因而，第一控制单元130可以通过用户的控制来调节音量控制棒的高度，并由此来调节音量。
图6是例示根据示范性实施方式的第一显示板的视图。
第一控制单元130可以控制第一显示板110来显示用户在半空中选定的键61，该选定键的显示与键盘UI 62的其它键相比，在高度上更高或更低。第一控制单元130可以具备反错字(anti-typo)功能。例如，如果用户同时选择了键盘UI 62的两个键，则第一控制单元130可以控制第一显示板110来显示在高度上比键盘UI 62的其它键更高的两个选定键。用户接着可以识别出现了误键入，从而可以选择两个显示键中正确的键。此后，第一控制单元130控制第一显示板110来显示在高度上比键盘UI 62更低的选定键61。
图7是例示根据示范性实施方式的第一显示板的视图。
如果感测到用户在第一显示板110上的交互，如触摸了第一显示板110上显示的地图，则第一控制单元110可以控制第一显示板110将该2D地图显示为3D对象，即，3D地图73，并且将表示该地图的当前放大率(1X)的UI 71显示为3D对象。
如果感测到用户在所显示地图上的半空拖动操作，则第一控制单元130可以控制第一显示板110以增大的放大率来显示地图，并且将表示该地图的当前放大率(2X)的UI 72显示为3D对象。该地图可以按增大至少两倍的放大率来显示。而且，如果感测到用户对所显示地图的按下操作，则第一控制单元130可以控制第一显示板110以减小的放大率来显示该地图，并且将表示该地图的当前放大率(1X)的UI 71显示为3D对象。
在另一情况下，如果感测到用户对所显示的UI 74的操作，例如在所显示的UI 74上轻击，则第一控制单元130可以控制第一显示板110以减小的放大率来显示该地图。
而且，如果在用户直接触摸所显示的地图之后感测到该用户的按下或拖动操作，则第一控制单元130可以调节该地图的放大率。
图8是例示根据示范性实施方式的第一显示板的视图。
如果用户在操作被播放或操作的某个文件(如音乐文件)期间点击了请求详细信息的按钮，则第一控制单元130可以在正通过3D对象81以弹出形式操作该文件的同时，控制第一显示板110显示有关该文件的信息，包括诸如歌名或歌手的细节。用户可以利用所显示的3D对象81来搜索相关音乐或购买新的音乐文件。
图9是例示根据示范性实施方式的第一显示板的视图。
如果用户在第一显示板110上显示的菜单页面上选择了3D模式，则第一控制单元130可以控制第一显示板110将3D模式的子菜单列表91显示为各种3D对象。该子菜单列表91是可显示为3D对象的菜单，或者是用于显示为3D对象的菜单组。如果在所显示的子菜单列表91中选择了期望的菜单，则第一控制单元130可以用于执行选定菜单的各种功能。
图10是例示根据示范性实施方式的菜单选择的实施例的视图。
第一感测单元120还可以包括针对外力(如因微风而造成的力)的风传感器101。如果用户在装置100上吹气，例如至少达用户预置的预定时间，则第一控制单元130可以控制第一显示单元110来显示第一显示板110上所显示的多个菜单当中的处于预定位置的目标菜单。如果用户接连吹气至少两次，则第一控制单元130可以执行显示在预定位置的目标菜单。
在一个实施例中，如果用户触摸了风传感器101，则第一控制单元130可以转换成3D模式。如果用户倾斜了装置100，则第一感测单元120可以利用加速度传感器、6轴传感器或用于倾斜检测的任何传感器来识别倾斜方向。所识别的方向可以是水平方向或垂直方向，并且该方向被用于沿特定方向滚动菜单。在图10中，滚动方向是垂直方向。如果确定了(例如根据该装置的倾斜)第一显示板110上显示的菜单的滚动方向，则用户可以向风传感器101吹气至少达预定时段以改变目标菜单的位置。如果要将该目标菜单移动至第一显示板110的中部，则用户可以通过一次短吹气来选择该目标菜单，然后可以进行两次短吹气。如果感测到两次吹气(如先前讨论的短吹气)，则第一控制单元130执行显示在第一显示板110中部的目标菜单。
图11是例示根据示范性实施方式的3D目标处理装置的实施例的框图。
图11的3D对象处理装置1100可以将UI显示为具有与信息(诸如与信息有关的属性，等等)相对应的立体效果的3D对象。为将UI显示为3D对象，3D对象处理装置1100包括：第二显示板1110、第二感测单元1120以及第二控制单元1130。第二显示板1110、第二感测单元1120以及第二控制单元1130可以类似于图1的第一显示板110、第一感测单元120以及第一控制单元130，从而在此省略了其详细描述。
第二显示板1110可以立体地显示与某个类别相对应的3D对象。
第二感测单元1120在显示3D对象的空间中感测用户在该3D对象上或其附近的操作。
第二控制单元1130控制第二显示板1110以根据类别的条件而调整后的高度来显示3D对象。所显示3D对象的高度可以表示该信息针对对应类别的条件。例如，如果该类别是落在(fall in)SMS(短消息业务)、MMS(多媒体业务)、电子邮件以及其它类似服务的全部范围(gamut)内的应用，则该3D对象的高度可以成比例于与每一个对应类别相关联的数据量。因此，该用户可以在执行该应用之前直观地识别上述列举应用中的一个应用所占有的消息(即，与数据相对应)的量。例如，如果与具有5个SMS消息的应用1100相比立体地观看，则具有10个SM消息的装置1100可以更高地显示SMS对象。
图12是例示根据示范性实施方式的第二显示板的视图。
对于消息菜单的情况来说，多个类别(如第二显示板1110上所示)可以是SMS1201、MMS 1202、电子邮件1203以及与手持式装置相关联的应用或消息收发服务的其它类别。第二显示板1110上显示的3D对象的高度可以成比例于存储在每个类别中的数据量和数据文件量中的一个。参照图12，第二显示板1100示出了比MMS 1202或电子邮件1203的量更大的SMS 1201的量(如数据或文件量)。
对于数据文件夹的情况来说，多个类别可以包括音乐文件夹、电影文件夹、图像文件夹等。第二显示板1110上显示的3D对象的高度可以反映存储在每个文件夹中的数据量或与数据(如文件或项目)相对应的数量。
当在显示3D对象的空间内感测到用户对所显示的3D对象中的至少一个的半空按下操作时，第二控制单元1130可以被设置成删除与用户按下的3D对象相对应的类别的数据。
图13是例示根据示范性实施方式的第二显示板的视图。
第二控制单元1130可以在某个时段内改变第二显示板1110上所显示的3D对象的尺寸和形状。即，3D对象1302可以反映随时间或其它条件的变化。例如，当会议开始时，第二控制单元1130将指示会议开始时间的对象显示为2D对象1301，而随着时间的过去，将该对象显示为3D对象1302，并且该对象(现在为3D对象)的显示被表示为具有逐渐增大的高度。当达到预定时间时，第二控制单元1130将3D对象的高度增大至最大。当超出预定时间时，第二控制单元1130可以使3D对象1302能够按另一形式在第二显示板1110上显示。因此，用户可以根据被显示为3D对象1302的会议经过时间而直观地识别会议持续了多久。
图14是例示根据示范性实施方式的第二显示板的视图。
3D对象1402可以是天气预报图标，并且可以给出各种天气信息，如降雨量、雪、雨天，以及日照量等。如果3D对象1402指示降雨量，则第二控制单元1130在第二显示板1110上进行显示，3D对象1402可以具有基于降雨量而调节的高度。如果日照量适于拍摄照片，则第二控制单元1130可以被用于确定达到了有利的天气条件，并由此指示该装置1100在第二显示板1110上显示摄像机图标。如果某天的天气晴朗，并且天气预报这天之后有雨，则第二控制单元1130可以将该天的天气连同明天的天气一起显示为3D对象。因而，用户可以基于3D对象的立体效果来预测天气。除了天气预报以外，第二控制单元1130还可以显示实时反映第二显示板1110上的其它信息的3D对象。
图15是根据示范性实施方式的框图。
图15的3D对象处理装置1500将UI显示为3D对象，并且根据事件的优先级自适应地指示3D对象。为将UI显示为3D对象，3D对象处理装置1500包括：第三显示板1510、第三感测单元1520以及第三控制单元1530。第三显示板1510、第三感测单元1520以及第三控制单元1530类似于图1的第一显示板110、第一感测单元120以及第一控制单元130，从而在此省略了其详细描述。
第三显示板1510立体地显示与某一类别相对应的3D对象。当发生某一事件时，第三显示板1510按弹出形式显示与该事件相对应的3D对象。
第三感测单元1520感测在显示3D对象的空间中用户对3D对象的操作。
第三控制单元1530控制第三显示板1510来根据事件的优先级自适应地显示3D对象。该事件可以是通知接收到呼叫、SMS或MMS的告警、在日程表上设置的日程告警，以及与该装置1500相关联的其它事件。第三控制单元1530可以根据事件的优先级、属性或重要性来调节3D对象的高度和弹出速率。而且，第三控制单元1530可以在3D对象弹出之后逐渐地增大该3D对象的尺寸。
在发生某一事件的情况下，第三控制单元1530可以使得能够从第三显示板1510的底部向用户弹出3D对象，使得该用户可以利用所弹出的影像来直观地识别对应事件。
如果在该装置1500在提供多任务环境的同时发生了呼叫通知事件或文本通知事件，则第三控制单元1530还可以在第三显示板1510上显示通知接收到入局呼叫的3D对象。
图16是例示根据示范性实施方式的第三显示板的视图。
如果多个事件同时发生，则第三控制单元1530控制第三显示板1510显示3D对象161、162和163，每一个都对应于这多个事件。在这一情况下，第三控制单元1530控制第三显示板1510以比其它事件更大的尺寸来显示、以更快的弹出速率来射出优先级最高的3D对象161。而且，第三控制单元1530可以控制第三显示板1510在立体观看的最上侧位置显示3D对象161。进行这些各种动作使得户可以直观地识别重要事情的发生。
图17是例示根据示范性实施方式的第三显示板。
如果在用户利用MMS服务172写入文本消息的同时发生了SMS通知事件，则第三控制单元1530控制第三显示板1510显示针对SMS的3D对象171。如果感测到用户对所显示3D对象171的触摸操作，则第三控制单元1530激活与该3D对象对应的菜单，以在第三显示板1510上显示所接收的SMS。如果感测到用户对所显示3D对象171的拖拽操作，则第三控制单元1530将该3D对象171从第三显示板1530上移除，使得该3D对象171从第三显示板1530上消失。
图18是例示根据示范性实施方式的第三显示板的视图。
如果接收到了文本消息，则第三控制单元1530控制第三显示板1510来显示与该文本消息有关的页面。在这种情况下，第三控制单元1530控制第三显示板1510显示为允许用户访问该装置1500的另一功能的选项的3D对象。这些对象可以包括发送该文本消息的呼叫方的电话号码、E-mail地址、主页地址等。
如果存在多个可以访问的该装置的功能，则第三控制单元1530可以根据与每个功能相互关联的使用量来控制第三显示板1510显示不同立体效果的3D对象181和182。例如，如果所述多个功能是与多个呼叫方相关联的多个电话号码，则第三控制单元1530可以使得较大使用量的电话号码被显示为较大的3D对象181。因而，如果感测到用户对3D对象181的半空拖拽操作，则第三控制单元1530向3D对象181上指示的呼叫方进行呼叫尝试。
如果第三控制单元1530控制第三显示板1510来显示存储在该装置1500中的电话号码薄，则第三控制单元1530使得频繁呼叫的电话号码能够被显示为3D对象，而不太频繁呼叫的电话号码被显示为2D对象。由此，用户可以更快速地找到期望的(即，频繁使用的)电话号码。
图19是例示根据示范性实施方式的框图。
参照图19，3D对象处理装置1900包括：第四显示板1910、第四感测单元1920以及第四控制单元1930。第四显示板1910、第四感测单元1920以及第四控制单元1930与图1的第一显示板110、第一感测单元120以及第一控制单元130类似，因此，这里省略了其详细描述。
第四显示板1910立体地显示3D对象。
第四感测单元1920感测用户的将3D对象转换成2D对象和将2D对象转换成3D对象的指令。为执行该转换，第四感测单元1920可以包括用于感测用户触摸的触摸传感器、用于感测该装置1900的移动和倾斜方向等的6轴传感器，以及用于感测附近是否存在用户的接近传感器。
如果感测到用户指令，则第四控制单元1930调节3D对象和2D对象的显示条件。
图20是根据示范性实施方式的2D对象与3D对象之间转换的视图。
在第四显示板1910上将多个微件图标2001显示为2D对象。如果感测到用户对该装置1900的向下摇动操作，或者任何其它类型的预置操作，则第四控制单元1930将该2D对象转换成3D对象，并且在第四显示板1910上显示3D对象。这些微件图标要立体地显示。如果感测到用户对该装置1900的向上摇动操作，或者任何其它类型的预置操作，则第四控制单元1930将3D对象转换成2D对象并且在第四显示板1910上显示该2D对象。2D对象与3D对象之间的转换可以被应用至能够与用户交互的对象，例如，软键、媒体播放器的控制按钮等。
图21是例示根据示范性实施方式的2D对象与3D对象之间转换的视图。
如果感测到该装置1900倾斜，则第四控制单元1930基于该装置1900的倾斜方向来调节第四显示板1910上显示的2D对象的显示角度。第四控制单元1930使得2D对象能够在第四显示板1910上被显示为3D对象。
具体来说，如果用户倾斜了装置1900，使得该装置1900四个方向高度中的至少一个发生了变化，则第四感测单元1920的6轴传感器可以感测倾斜角。第四控制单元1930根据第四感测单元1920的感测结果，通过倾斜2D对象2101而在第四显示板1910上将2D对象2101显示为3D对象2102，使得用户可以更好地看到该2D对象2101。由此，根据该装置1900的倾斜量，第四控制单元1930实时将2D对象立体地显示为3D对象2102。在这种情况下，用户可以选择性地使得仅仅被定义和预置成与用户交互的特定对象能够被转换成并显示为3D对象。
图22是例示根据示范性实施方式的2D对象与3D对象之间转换的视图。
如果用户正在利用MMS或SMS服务在编辑器页面223上写入文本消息时选择了要添加至该文本消息中的对象(如表情符号)，则第四控制单元1930在第四显示板1910上将选定表情符号显示为3D对象221。因而，如果感测到用户对编辑器页面上显示的3D对象221的拖拽操作，则第四控制单元1930将3D对象221转换成2D对象222，并将该2D对象222显示在编辑器页面223上。显示在编辑器页面223上的2D对象222可以被选择性地显示为3D对象。
图23是例示根据示范性实施方式的2D对象与3D对象之间转换的视图。
如果装置1900还包括立体摄像机，则该装置1900可以最初将通过该立体摄像机拍摄的影像显示为2D对象2301，而在经过一段时间之后，将2D对象2301逐渐地转换成3D对象2302，并且在第四显示板1910上显示3D对象2301。例如，如果影像是高山，则第四控制单元1930最初将该高山影像显示为2D对象，而随着时间将该高山影像逐渐地转换成3D对象，并且在第四显示板1910上显示该3D对象，由此提供了立体效果，如沿向上方向逐渐倾斜的真实高山。
图24是例示根据示范性实施方式的3D对象处理装置的视图。
图24的装置2400可以是参照图1、11、15以及19描述的装置100、1100、1500以及1900之一。该装置2400在屏幕上显示菜单列表和滚动条241。如果用户触摸了滚动条241，则分别在屏幕的下部和上部显示圆柱状的3D对象242和243。用户随后可以通过用手指相对于3D对象242和243在半空中滚动该3D对象和243来滚动屏幕。
如果感测到用户对3D对象242的滚动操作，则装置2400根据滚动方向来调节3D对象242的尺寸。例如，当用户沿方向“a”滚动3D对象242时，装置2400将滚动识别为向上滚动，并增大3D对象242的尺寸，而减小3D对象243的尺寸。在这种情况下，屏幕上显示的菜单列表沿方向“b”移动。
相反，当用户沿方向“b”滚动3D对象242时，装置2400将滚动识别为向下滚动，并减小3D对象242的尺寸，而增大3D对象243的尺寸。由此，用户可以根据3D对象242和243的所得尺寸而直观地识别用户滚动的程度。而且，用户可以在不必使用滚动条241的上下移动的情况下滚动屏幕。
图25是例示根据示范性实施方式的用于在3D对象处理装置中提供2D影像的方法。
该3D对象处理装置可以利用左眼与右眼之间看到的视觉差异来显示3D对象，即，立体影像。该3D对象处理装置还可以通过显示没有视觉差异的同一影像来提供2D影像，如图25所示。因此，用户可以将显示在该3D对象处理装置上的影像识别为2D影像。
图26是例示根据示范性实施方式的用于在3D对象处理装置中改变3D对象的透视效果(perspective effect)的方法的视图。
该3D对象处理装置可以每帧显示带有3D对象的影像，以提供3D对象的立体效果。例如，该3D对象处理装置可以沿右侧方向或左侧方向移动该3D对象所显示的位置，并且可选地，可以每帧逐渐地改变3D对象的尺寸。因此，该3D对象可以按逐渐增大的尺寸来显示，使得可以每帧改变该3D对象对于用户的透视效果。而且，可以预先计算出3D对象每帧的移动距离，如增大的或减小的尺寸，并且存储在该3D对象处理装置中。
参照图26，“t”是时间，f1至f5是3D影像，即，在该3D对象处理装置上显示并且按顺序被用户识别的3D帧。帧f1至f5都由左侧影像和右侧影像构成。帧f1因左侧影像和右侧影像彼此相同而可以被识别为2D影像。针对左侧影像，该3D对象处理装置沿右侧方向顺序地移动要改变透视效果的对象261，并且可选地增大对象261的尺寸。针对右侧影像，该3D对象处理装置沿左侧方向顺序地移动要改变透视效果的对象262，并且可选地增大对象261的尺寸。该用户可以通过观看经过上述改变的对象261和262这两者来获得3D影像。因而，用户能够按顺序看到被表示为f1至f5的3D帧。
而且，与按顺序显示每一个帧f1至f5相反，该3D对象处理装置可以通过显示帧f1接着显示帧f5而更快速地显示观看3D对象。
为减小3D对象的尺寸，与图26所示相反，该3D对象处理装置可以按逐渐减小的尺寸或逐渐降低3D对象的显示位置而每帧显示3D对象。
参照图26描述的用于改变3D对象的透视效果的方法可以被用于通过图11的3D对象处理装置1100来调节透视效果。
根据本发明的示范性实施方式可以被记录在包括程序指令的非暂时计算机可读介质中，该程序指令用于实现由计算机具体实施的各种操作。该介质还可以单独或与该程序指令组合地包括数据文件、数据结构等。该介质和程序指令可以是出于本发明的目的而具体设计和构成的介质和指令，或者它们可以是本领域技术人员公知和可获的种类。
本领域技术人员应当明白，在不脱离本发明的精神或范围的情况下，可以在本发明中制成各种修改实施方式和变型例。因而，本发明旨在覆盖落入所附权利要求书及其等同物的范围内的本发明的这些修改例和变型例。
相关申请的交叉引用
本申请要求2010年6月28日提交的韩国专利申请No.10-2010-0061022的优先权，再次通过引用将其并入，就如同在此全面阐述了一样。

Claims (22)

1.一种三维对象处理装置，该三维对象处理装置包括：
显示板，其用于立体地显示三维对象；
感测单元，其用于感测用户操作所述三维对象的结果；以及
控制单元，其用于执行与所述感测单元的感测结果相对应的功能。
2.根据权利要求1所述的三维对象处理装置，其中，通过用户操作来调节所显示的三维对象的透视效果和立体效果中的至少一种效果。
3.根据权利要求1所述的三维对象处理装置，其中，所显示的三维对象包括多个图标，并且
如果通过用户操作选择了第一图标，则
所述控制单元控制所述显示板以相比未被选择的第二图标更大或更小的尺度来显示第一图标。
4.根据权利要求1所述的三维对象处理装置，其中，如果所显示的三维对象是用来调节音量的，并且用户操作是在半空中连续按下所述三维对象，则所述控制单元控制所述显示板以降低的高度来显示所述三维对象并且调节音量。
5.根据权利要求1所述的三维对象处理装置，其中，所述三维对象是三维键盘用户界面UI输入。
6.根据权利要求5所述的三维对象处理装置，其中，如果所显示的三维对象是包括多个键的三维键盘UI，并且用户在大约同一时刻选择了第一键和第二键，则所述控制单元控制所述显示板以相比未被选择的第三键更大的尺度来显示第一键和第二键。
7.根据权利要求1所述的三维对象处理装置，其中，如果所显示的三维对象被按下，则所述控制单元控制所述显示板以第一改变后放大率值来显示在所述显示板上显示的地图，而如果所显示的三维对象被拉拔，则控制所述显示板以第二改变后放大率值来显示所述地图。
8.根据权利要求1所述的三维对象处理装置，其中，如果用户在所述三维对象处理装置正在执行一文件时选择了所述显示板上的信息按钮，则所述控制单元控制所述显示板以弹出形式将正在执行的该文件的详细信息显示为三维对象。
9.根据权利要求1所述的三维对象处理装置，其中，如果用户在所述显示板上显示的菜单页面上选择了三维模式，则所述控制单元控制所述显示板将选定的三维模式的子菜单列表显示为三维对象。
10.根据权利要求1所述的三维对象处理装置，其中：
所述感测单元包括用于感测微风的风传感器，并且
如果所述感测单元感测到了长达第一预定时间的微风，则所述控制单元控制所述显示板来显示所述显示板上显示的多个菜单当中的处于预定位置的目标菜单，而如果所述感测单元在第二预定时间内接收到两个感测到的微风，则执行所述目标菜单。
11.一种三维对象处理装置，该三维对象处理装置包括：
显示板，其用于立体地显示与一类别相对应的三维对象；和
控制单元，其用于基于该类别的状态来控制所述显示板以调节后的显示条件来显示所述三维对象。
12.根据权利要求11所述的三维对象处理装置，其中，所述调节后的显示条件是所述三维对象的透视效果和高度中的至少一个。
13.根据权利要求11所述的三维对象处理装置，其中，所显示的三维对象的高度与存储在所述类别中的数据量和数据文件数量中的至少一个成比例。
14.根据权利要求11所述的三维对象处理装置，其中，
所显示的三维对象的高度以第一形式随时间而增大，并且
如果超出了预定时间，则以另一形式来显示所述三维对象。
15.根据权利要求11所述的三维对象处理装置，该三维对象处理装置还包括：
感测单元，其用于感测在显示所述三维对象的空间附近的用户操作，
其中，如果用户在半空中按下了所显示的三维对象中的一个三维对象，则所述控制单元删除与按下的三维对象相对应的类别的数据。
16.根据权利要求11所述的三维对象处理装置，其中，所述控制单元控制所述显示板顺序地显示其中所述三维对象的位置和尺寸中的至少一个逐渐改变的左帧，并且顺序地显示其中所述三维对象的位置和尺寸中的至少一个逐渐改变的右帧。
17.一种三维对象处理装置，该三维对象处理装置包括：
显示板，其用于在发生一事件的情况下以弹出形式显示与该事件相对应的三维对象；和
控制单元，其用于根据与该事件相关联的优先级来调节所述三维对象的弹出速率和尺寸。
18.根据权利要求17所述的三维对象处理装置，其中，如果在预定时间内发生多个事件，则所述控制单元控制所述显示板以更快的弹出速率、最大的尺寸来显示与所述多个事件相对应的三维对象当中优先级最高的三维对象。
19.根据权利要求17所述的三维对象处理装置，该三维对象处理装置还包括：
感测单元，其用于感测对显示所述三维对象的空间的用户操作，
其中，所述控制单元在所述用户操作是触摸所显示的三维对象的情况下控制所述显示板来激活与所述三维对象相对应的菜单，而在所述用户操作是拖拽所述三维对象的情况下删除所述三维对象。
20.根据权利要求17所述的三维对象处理装置，其中，所述控制单元控制所述显示板来显示与所接收的文本消息相对应的页面，并且在所显示的页面上显示用于选择另一操作的功能选择，作为三维对象。
21.一种三维对象处理装置，该三维对象处理装置包括：
显示板，其用于立体地显示三维对象并且显示二维对象；
感测单元，其用于感测将三维对象转换成二维对象的指令，和将二维对象转换成三维对象的指令；以及
控制单元，其用于在感测到这两个指令中的一个指令的情况下调节三维对象和二维对象的显示条件。
22.根据权利要求21所述的三维对象处理装置，其中，如果具有所述感测单元的装置沿一方向倾斜，则所述控制单元通过基于所述装置的倾斜程度和倾斜方向调节所述显示板上显示的二维对象的显示角度，来控制所述显示板将该二维对象显示为三维对象。
CN2011101750711A 2010-06-28 2011-06-27 用于处理交互式三维对象的装置 Pending CN102298493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0061022 2010-06-28
KR1020100061022A KR20120000663A (ko) 2010-06-28 2010-06-28 3ｄ 객체 처리 장치

Publications (1)

Publication Number Publication Date
CN102298493A true CN102298493A (zh) 2011-12-28

Family

ID=44763612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101750711A Pending CN102298493A (zh) 2010-06-28 2011-06-27 用于处理交互式三维对象的装置

Country Status (4)

Country Link
US (1) US20110320969A1 (zh)
EP (1) EP2400367A3 (zh)
KR (1) KR20120000663A (zh)
CN (1) CN102298493A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622179A (zh) * 2012-03-09 2012-08-01 游图明 基于触屏电子设备上访问子文件的方法
CN103294387A (zh) * 2012-02-23 2013-09-11 宏达国际电子股份有限公司 立体成像系统及其方法
CN103365567A (zh) * 2012-03-31 2013-10-23 三星电子（中国）研发中心 基于加速度感应器的3d-ui操作方法和设备
CN103941956A (zh) * 2013-01-21 2014-07-23 联想(北京)有限公司 一种显示方法及电子设备
CN104267895A (zh) * 2014-09-12 2015-01-07 上海闻泰电子科技有限公司 通过方向感应装置增强设备操作界面效果的方法
CN104869456A (zh) * 2014-02-24 2015-08-26 联想(北京)有限公司 一种显示方法及电子设备
CN105787971A (zh) * 2016-03-23 2016-07-20 联想(北京)有限公司 一种信息处理方法和电子设备
CN107577385A (zh) * 2015-09-08 2018-01-12 苹果公司 媒体环境中的智能自动化助理
CN109240563A (zh) * 2018-08-21 2019-01-18 珠海格力电器股份有限公司 移动终端三维图标显示方法、程序启动方法和移动终端
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20130132887A1 (en) * 2010-12-06 2013-05-23 Uber Technologies, Inc. Transitioning user interface features for on-demand services through use of portable computing devices
USD693361S1 (en) * 2011-02-03 2013-11-12 Microsoft Corporation Display screen with transitional graphical user interface
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子（上海）有限公司 触控式电子装置及其虚拟键盘操作方法
US20120242664A1 (en) * 2011-03-25 2012-09-27 Microsoft Corporation Accelerometer-based lighting and effects for mobile devices
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
DE102011110974A1 (de) 2011-08-18 2013-02-21 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zum Bedienen einer elektronischen Einrichtung und/ oder Applikationen
DE102011112448A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
US9338432B1 (en) * 2011-09-22 2016-05-10 Intuit Inc. Mobile device with 3-dimensional user interface
JP2013114424A (ja) * 2011-11-28 2013-06-10 Sony Computer Entertainment Inc 画面設定ファイル生成装置、情報処理装置、画面設定ファイル生成方法、画面表示方法、および画面設定ファイルのデータ構造
KR20130093719A (ko) * 2011-12-23 2013-08-23 삼성전자주식회사 디스플레이 장치 및 그 잠금 해제 방법
DE102012203163A1 (de) * 2012-02-29 2013-08-29 Airbus Operations Gmbh Vorrichtung und Verfahren zum Austauschen von Informationen zwischen mindestens einem Bediener und einer Maschine
KR101872865B1 (ko) * 2012-03-05 2018-08-02 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101193310B1 (ko) * 2012-03-16 2012-10-19 인하대학교 산학협력단 3차원 디스플레이를 이용한 사용자 인증 방법 및 사용자 인증 기기
WO2013191888A1 (en) * 2012-06-20 2013-12-27 3M Innovative Properties Company Device allowing tool-free interactivity with a projected image
US8947385B2 (en) 2012-07-06 2015-02-03 Google Technology Holdings LLC Method and device for interactive stereoscopic display
KR101938666B1 (ko) * 2012-08-08 2019-01-15 엘지전자 주식회사 영상표시장치 및 그 제어방법
KR102044829B1 (ko) 2012-09-25 2019-11-15 삼성전자 주식회사 휴대단말기의 분할화면 처리장치 및 방법
KR101927150B1 (ko) 2012-10-30 2018-12-10 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
DE102012022312A1 (de) 2012-11-14 2014-05-15 Volkswagen Aktiengesellschaft Informationswiedergabesystem und Verfahren zur Informationswiedergabe
KR20140063272A (ko) * 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
DE102013207018A1 (de) * 2013-04-18 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Anzeige- und Bedienvorrichtung und entsprechendes Verfahren
TWI503579B (zh) * 2013-06-07 2015-10-11 Young Optics Inc 立體影像裝置、其立體影像掃描底座及其運作方法
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR20150002312A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 페이지 표시 방법 및 이를 구현하는 전자 장치
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
USD739870S1 (en) 2013-08-09 2015-09-29 Microsoft Corporation Display screen with graphical user interface
USD778310S1 (en) 2013-08-09 2017-02-07 Microsoft Corporation Display screen with graphical user interface
USD771111S1 (en) 2013-08-30 2016-11-08 Microsoft Corporation Display screen with graphical user interface
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
WO2015186069A2 (en) * 2014-06-03 2015-12-10 Realitygate (Pty) Ltd Display and interaction method in a user interface
WO2016021861A1 (en) 2014-08-02 2016-02-11 Samsung Electronics Co., Ltd. Electronic device and user interaction method thereof
EP3183673A4 (en) * 2014-08-21 2018-03-21 Arc10 Technologies Inc. Systems and methods for connecting and communicating with others in a mobile device environment
KR101684576B1 (ko) * 2015-06-09 2016-12-08 네이버 주식회사 하위 목록을 포함하는 재생 목록 제공 방법 및 이를 위한 장치
CN106919323B (zh) * 2015-12-24 2020-09-01 小米科技有限责任公司 界面显示方法及装置
KR101926819B1 (ko) * 2016-08-29 2018-12-07 한신대학교 산학협력단 3차원 가상 버튼을 이용한 포인팅 장치
DE102018209400A1 (de) 2018-06-13 2019-12-19 Audi Ag Verfahren zum Betreiben einer Anzeige- und Bedienvorrichtung, Anzeige- und Bedienvorrichtung, und Kraftfahrzeug
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656467A (zh) * 2002-05-31 2005-08-17 诺基亚有限公司 日历系统和用于处理日历视图的方法
CN1848988A (zh) * 2005-04-01 2006-10-18 三星电子株式会社 在移动终端中显示事件的方法及实现该方法的移动终端
US20070132721A1 (en) * 2005-12-09 2007-06-14 Edge 3 Technologies Llc Three-Dimensional Virtual-Touch Human-Machine Interface System and Method Therefor
CN1996236A (zh) * 2006-01-03 2007-07-11 三星电子株式会社 用户终端及其音乐文件管理方法
CN101038510A (zh) * 2007-03-07 2007-09-19 罗康一 多键并击式数字拼音汉字输入方法及键盘
CN101097498A (zh) * 2006-06-26 2008-01-02 三星电子株式会社 显示三维菜单的方法和设备以及计算机可读记录介质
US20100095206A1 (en) * 2008-10-13 2010-04-15 Lg Electronics Inc. Method for providing a user interface using three-dimensional gestures and an apparatus using the same
US20100125817A1 (en) * 2008-11-14 2010-05-20 Samsung Electronics Co., Ltd. 3d interface apparatus and interfacing method using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
US7570261B1 (en) * 2003-03-06 2009-08-04 Xdyne, Inc. Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
WO2007033354A2 (en) * 2005-09-13 2007-03-22 Spacetime3D, Inc. System and method for providing three-dimensional graphical user interface
JP2009246625A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 立体表示装置及び立体表示方法並びにプログラム
GB0806183D0 (en) * 2008-04-04 2008-05-14 Picsel Res Ltd Presentation of objects in 3D displays
KR101059642B1 (ko) 2008-11-28 2011-08-25 삼성전기주식회사 광도파로를 갖는 인쇄회로기판 및 그 제조방법
US8922583B2 (en) * 2009-11-17 2014-12-30 Qualcomm Incorporated System and method of controlling three dimensional virtual objects on a portable computing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656467A (zh) * 2002-05-31 2005-08-17 诺基亚有限公司 日历系统和用于处理日历视图的方法
CN1848988A (zh) * 2005-04-01 2006-10-18 三星电子株式会社 在移动终端中显示事件的方法及实现该方法的移动终端
US20070132721A1 (en) * 2005-12-09 2007-06-14 Edge 3 Technologies Llc Three-Dimensional Virtual-Touch Human-Machine Interface System and Method Therefor
CN1996236A (zh) * 2006-01-03 2007-07-11 三星电子株式会社 用户终端及其音乐文件管理方法
CN101097498A (zh) * 2006-06-26 2008-01-02 三星电子株式会社 显示三维菜单的方法和设备以及计算机可读记录介质
CN101038510A (zh) * 2007-03-07 2007-09-19 罗康一 多键并击式数字拼音汉字输入方法及键盘
US20100095206A1 (en) * 2008-10-13 2010-04-15 Lg Electronics Inc. Method for providing a user interface using three-dimensional gestures and an apparatus using the same
US20100125817A1 (en) * 2008-11-14 2010-05-20 Samsung Electronics Co., Ltd. 3d interface apparatus and interfacing method using the same

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294387A (zh) * 2012-02-23 2013-09-11 宏达国际电子股份有限公司 立体成像系统及其方法
CN102622179A (zh) * 2012-03-09 2012-08-01 游图明 基于触屏电子设备上访问子文件的方法
CN103365567A (zh) * 2012-03-31 2013-10-23 三星电子（中国）研发中心 基于加速度感应器的3d-ui操作方法和设备
CN103941956A (zh) * 2013-01-21 2014-07-23 联想(北京)有限公司 一种显示方法及电子设备
CN103941956B (zh) * 2013-01-21 2017-12-26 联想(北京)有限公司 一种显示方法及电子设备
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN104869456A (zh) * 2014-02-24 2015-08-26 联想(北京)有限公司 一种显示方法及电子设备
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN104267895A (zh) * 2014-09-12 2015-01-07 上海闻泰电子科技有限公司 通过方向感应装置增强设备操作界面效果的方法
CN104267895B (zh) * 2014-09-12 2018-08-14 上海闻泰电子科技有限公司 通过方向感应装置增强设备操作界面效果的方法
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
CN107577385A (zh) * 2015-09-08 2018-01-12 苹果公司 媒体环境中的智能自动化助理
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
CN105787971B (zh) * 2016-03-23 2019-12-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN105787971A (zh) * 2016-03-23 2016-07-20 联想(北京)有限公司 一种信息处理方法和电子设备
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN109240563A (zh) * 2018-08-21 2019-01-18 珠海格力电器股份有限公司 移动终端三维图标显示方法、程序启动方法和移动终端
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions

Also Published As

Publication number Publication date
US20110320969A1 (en) 2011-12-29
EP2400367A2 (en) 2011-12-28
KR20120000663A (ko) 2012-01-04
EP2400367A3 (en) 2013-02-20

Similar Documents

Publication Publication Date Title
CN102298493A (zh) 用于处理交互式三维对象的装置
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
CN102682742B (zh) 透明显示装置及其操作方法
EP3364645A2 (en) Mobile terminal and method of controlling the same
CN104731471B (zh) 移动终端及其控制方法
EP2584446B1 (en) Gui applications for use with 3d remote controller
CN102682740B (zh) 透明显示装置及其操作方法
US8698771B2 (en) Transparent display apparatus and method for operating the same
KR101870773B1 (ko) 광학식 문자 판독기를 이용한 스케줄 관리 방법 및 장치
CN102385476B (zh) 移动终端及其控制方法
CN104468964A (zh) 移动终端及其控制方法
CN103858074A (zh) 经由3d显示器与装置交互的系统和方法
CN103731602A (zh) 多显示设备及其拍摄方法
KR102446694B1 (ko) 전자 기기 및 그 제어방법
KR20130114950A (ko) 영상 표시 장치 및 그 제어방법
CN102693069A (zh) 移动终端及其控制方法
US20140132725A1 (en) Electronic device and method for determining depth of 3d object image in a 3d environment image
CN104346098A (zh) 终端及其控制方法
KR101838074B1 (ko) 단말기 및 그 제어 방법
CN115175004B (zh) 用于视频播放的方法、装置、可穿戴设备及电子设备
CN105867726A (zh) 显示设备和方法
KR20150032068A (ko) 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스
CN102682663B (zh) 透明显示装置及其操作方法
KR20110053660A (ko) 이동 단말기 및 그 제어방법
KR102160038B1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Huang Zhuxi

Inventor before: Huang Zhuxi

Inventor before: Hong Zaiwan

Inventor before: Kong Jingzhen

Inventor before: Qin Yunxie

Inventor before: Jin Duixun

Inventor before: Shen Zhendai

Inventor before: Li Miyu

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: HUANG ZHUXI HONG ZAIWAN KONG JINGZHEN QIN YUNXIE JIN DUIXUN SHEN ZHENYOU LI MIYU TO: HUANG ZHUXI

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111228