WO2016208817A1 - Apparatus and method for interfacing key input - Google Patents

Apparatus and method for interfacing key input Download PDF

Info

Publication number
WO2016208817A1
WO2016208817A1 PCT/KR2015/010610 KR2015010610W WO2016208817A1 WO 2016208817 A1 WO2016208817 A1 WO 2016208817A1 KR 2015010610 W KR2015010610 W KR 2015010610W WO 2016208817 A1 WO2016208817 A1 WO 2016208817A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
input
distribution
unit
interface device
Prior art date
Application number
PCT/KR2015/010610
Other languages
French (fr)
Korean (ko)
Inventor
김태호
이슬
이동욱
정대웅
Original Assignee
주식회사 노타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노타 filed Critical 주식회사 노타
Publication of WO2016208817A1 publication Critical patent/WO2016208817A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to an apparatus and a method for interfacing a key input. More particularly, the present invention relates to a method of modeling a distribution of a point touched by a user as a probabilistic model, and to reduce the error rate by adaptively changing a recognition region of a key. An apparatus and method that can be used.
  • a portable terminal such as a smartphone is a means for receiving data, and includes various types of key input devices (for example, a QWERTY keyboard or a celestial player) that are implemented and displayed on the screen of the portable terminal.
  • key input devices for example, a QWERTY keyboard or a celestial player
  • Such a portable terminal may have a limited size screen according to its use, and a key input device may also be implemented on such a limited size screen, thereby causing various inconveniences. For example, since there is a limit on the area occupied by one key, a typo may occur frequently in which other letters are input other than a key intended by the user.
  • a variety of techniques have been disclosed. For example, a method of reducing a typo in consideration of a speed of a key stroke of a user or a method of predicting a key intended by a current touch point based on a character input by a user is disclosed.
  • the problem to be solved of the present invention is a key input that can reduce the error rate by modeling the distribution of the set of touch points of the user as a probability model, and adaptively changing the recognition region of the key based on the modeled distribution It is to provide an interface device and method.
  • Another object of the present invention is to provide a key input interface device and method for analyzing a situation in which a user inputs a key and providing a different recognition area of the key according to the situation.
  • a key input interface device includes: an input unit configured to receive touch points for a plurality of keys included in a key input device; A distribution modeling unit modeling a distribution of the set of touch points for each of the keys by using a predefined probability model; And a setting unit configured to set a recognition area recognized as an input to the key, based on the modeled distribution.
  • the probabilistic model may be characterized in that it is unsupervised learning about information on which key the key intended by the touch point is among the plurality of keys.
  • the probability model may be characterized as being a parametric for estimating a parameter related to the probability model.
  • the distribution modeling unit may set an initial value of the parameter based on a touch point within a preset range in the layout of the key.
  • the distribution modeling unit may estimate the inverse covariance value based on a predetermined correction value when an inverse covariance value of the parameter is not estimated.
  • the probability model is a Gaussian mixture model (GMM), and the distribution modeling unit may estimate parameters of the Gaussian mixture model using expectation maximization (EM).
  • GMM Gaussian mixture model
  • EM expectation maximization
  • the setting unit may be configured to set the recognition area in a first layout corresponding to the first key or to a first distribution of a first key having a touch point input of the plurality of keys equal to or less than a preset number.
  • the recognition area may be set on the basis of.
  • the setting unit may set the recognition area in consideration of whether the parameter is within a preset boundary.
  • a key input interface device includes: an input unit configured to receive touch points for a plurality of keys included in a key input device; A distribution modeling unit modeling a distribution of the set of touch points for each of the keys by using a predefined probability model; A labeling unit for classifying and labeling hits and typos among the input touch points based on the modeled distribution; And a setting unit configured to set a recognition area recognized as an input to the key, based on the labeling result.
  • the labeling unit may select a hit if the likelihood of the input touch point is equal to or greater than a preset threshold.
  • the labeling unit may select a typo from the input touch points based on a predefined typo detection algorithm.
  • the setting unit may set the recognition area using a deep neural network based on the labeling result.
  • the key input interface device may further include a situation determination unit that determines a situation of a user of the key input device, wherein the input unit classifies an input touch point according to the situation, and the distribution modeling unit is configured according to the situation.
  • the distribution may be modeled differently, and the setting unit may set the recognition region differently according to the situation.
  • the situation may be at least one of a movement of the user, a posture of the user, whether the user manipulates the key input device with both hands, or a temperature at which the key input device is operated.
  • a method of interfacing a key input of a key input device performed by a key input interface device comprises: receiving a touch point for a plurality of keys included in the key input device; Modeling a distribution of the set of touch points for each key using a predefined probability model; And setting a recognition region recognized as an input to the key, based on the modeled distribution.
  • the probabilistic model may be characterized in that it is unsupervised learning about information on which key the key intended by the touch point is among the plurality of keys.
  • the probability model may be characterized as being a parametric for estimating a parameter related to the probability model.
  • the modeling may include setting an initial value of the parameter based on a touch point within a preset range in the layout of the key.
  • the modeling may include estimating the inverse covariance value based on a predetermined correction value when an inverse covariance value of the parameter is not estimated.
  • the probability model is a Gaussian mixture model (GMM), and the modeling may estimate parameters of the Gaussian mixture model using expectation maximization (EM).
  • GMM Gaussian mixture model
  • EM expectation maximization
  • the setting may include setting the recognition area in a first layout corresponding to the first key or pre-modeling the first key having a touch point input of the plurality of keys equal to or less than a preset number. And setting the recognition area based on one distribution.
  • the recognition area may be set in consideration of whether the parameter is within a preset boundary.
  • a method of interfacing a key input of a key input device performed by a key input interface device comprises: receiving touch points for a plurality of keys included in the key input device; Modeling a distribution of the set of touch points for each key using a predefined probability model; Labeling and classifying hitting and typos among the input touch points based on the modeled distribution; And setting a recognition area recognized as an input to the key, based on the labeling result.
  • the labeling may be selected as a hit if the likelihood of the input touch point is greater than or equal to a preset threshold.
  • the labeling may select a typo from the received touch point based on a predefined typo detection algorithm.
  • the setting may include setting the recognition region using a deep neural network based on the labeling result.
  • the key input interface method may further include determining a situation of a user of the key input device.
  • the receiving of the key may include classifying the received touch point according to the situation, and the modeling may include the situation. According to the modeling and distribution of the distribution differently according to the situation may set the recognition area differently.
  • the situation may be at least one of a movement of the user, a posture of the user, whether the user manipulates the key input device with both hands, or a temperature at which the key input device is operated.
  • the method according to an embodiment of the present invention may be implemented by being included in a recording medium in which a computer program is recorded.
  • the recognition region of the key may be adaptively changed and provided based on the distribution of the set of touch points of the user, and the recognition region of the key may be provided according to the situation in which the user inputs the key. Since the change can be provided, the error rate of the key input device can be reduced.
  • FIG. 1 is a diagram illustrating a configuration of a key input interface device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram exemplarily illustrating a distribution of a touch point of a user according to the first exemplary embodiment of the present invention.
  • FIG. 3 is a diagram exemplarily illustrating a distribution of touch points used to set initial parameters of a probability model, according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of modeling a distribution based on parameters of an estimated probability model, according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of changing a recognition region of a key according to the first embodiment of the present invention.
  • FIG. 6 is a diagram exemplarily illustrating a procedure of a method for interfacing a key input according to the first embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of a key input interface device according to a first embodiment of the present invention.
  • the key input interface device 100 may be implemented by being included in a key input device that receives a key.
  • a key input device may be input to a plurality of keys.
  • the device may be inputted by a touch, for example, a smartphone, a smart pad, a PDA, a computer, a desktop, a laptop, a notebook, a workstation, or a server having a touch screen, but are not limited thereto.
  • the key input interface device 100 may be implemented in an electronic device including a processor and a memory for storing instructions executed by the processor, but is not limited thereto.
  • the key input interface device 100 may include an input unit 110, a distribution modeling unit 130, or a setting unit 150. However, since this is exemplary, according to the exemplary embodiment, it may not include at least one or more of these components, or may further include other components not mentioned herein. In addition, these components may be located on the same physical device or on different physical devices.
  • the input unit 110 receives a touch point touched by a user from a key input device
  • FIG. 2 is a diagram illustrating a touch point input by the input unit 110 on the touch screen as an example.
  • the touch point may be, for example, in the form of coordinates (x, y) on the touch screen included in the key input device.
  • the input unit 110 may receive all of the touch points input by the user from the key input device at once, and as will be described later, the distribution modeling unit 130 may model the distribution at once based on the entire touch points. Batch learning.
  • the input unit 110 may receive input of some of the touch points input by the user.
  • the distribution modeling unit 130 may model the distribution several times based on the touch points. It may also be online learning.
  • the distribution modeling unit 130 models each key using a predefined probability model based on a distribution of touch points input by the input unit 110.
  • the data used for modeling by the distribution modeling unit 130 may be a set of all input touch points, that is, touch points.
  • the distribution modeling unit may model the distribution of the touch points input for each key, and the distribution of the touch points input for each key is shown in FIG. 2.
  • the probability model used by the distribution modeling unit 130 for modeling may be characterized as being a parametric for estimating a parameter related to the probability model.
  • the estimated parameter may include, for example, an average or a covariance.
  • the probabilistic model may be characterized in that the user estimates a parameter without information about a key intended by a touch point, that is, unsupervised learning.
  • the probability model may be, for example, a Gaussian mixture model (GMM), and the distribution modeling unit 130 estimates the parameters of the Gaussian mixture model by using an expectation maximization (EM). This can be done in more detail below.
  • GMM Gaussian mixture model
  • EM expectation maximization
  • the distribution modeling unit 130 sets an initial value of a parameter related to a Gaussian mixture model, and may use Equation 1 below.
  • Equation 1 represents a sum in which weights of M Gaussian probability distributions are reflected.
  • the distribution modeling unit 130 may set an initial value by using a touch point within a preset range within a layout of a key instead of the entire touch point.
  • the touch point within the preset range in the layout of the key may refer to only a part of data selected in the order of distance from the center of the key among the touch points in the layout of the key.
  • FIG. 1 is a diagram illustrating some data selected as an example.
  • the distribution modeling unit 130 estimates (learns) the parameters of the Gaussian mixture model using expectation maximization (EM). That is, in the first embodiment of the present invention, since there is no 'information about the touch point intended by the user' (which is missing), an expectation for the 'information about the touch point intended by the user' is obtained.
  • the parameter is estimated (calculated) by repeating the process of calculating and maximizing the expected value.
  • FIG. 4 illustrates a model of distribution for each key based on the estimated parameter.
  • the expected value can be calculated using, for example, the Q function in Equation 2 below, where X means the entire touch point received and Y is the touch point intended by the user, which is missing information. Means information about.
  • Equation 3 estimating (calculating) the parameter through a process of maximizing the expected value
  • Equations 2 and 3 since the expectation maximization process (EM) itself in Equations 2 and 3 is already known, a detailed description thereof will be omitted.
  • EM expectation maximization process
  • the distribution modeling unit 130 may estimate the inverse covariance value based on a pre-defined correction value. Epsilon ), which forces the inverse covariance.
  • the key input interface device 100 includes a setting unit 150.
  • the setting unit 150 may set a recognition area recognized as an input for a key differently from the layout of the key, based on the distribution modeled by the distribution modeling unit 130.
  • the setting unit 150 may set a recognition area by selecting a parameter that maximizes likelihood for all keys based on the modeled distribution. That is, when selecting a parameter that maximizes the probability of each key, the boundary range for each key is calculated based on the point where the Gaussians for each key have the same height, and the boundary range sets the recognition area.
  • 5 is a diagram exemplarily illustrating that a recognition area is set differently from the layout of a key as described above.
  • the recognition area may be changed and set based on the distribution of the points touched by the user, the error rate may be reduced as much as possible.
  • the setting unit 150 may set the layout of the corresponding key as the recognition area or set the recognition area based on a previously modeled distribution. Therefore, even when there are keys with a small number of touch points which are the basis for learning the GMM using the EM, it is possible to set a recognition area for these keys.
  • the setting unit 150 may be set only within a corresponding boundary value in consideration of whether a parameter is within a predetermined boundary. That is, for example, the setting unit 150 may allow the size of the recognition area or the distance from the center to exist within a predetermined boundary. By doing so, it is possible to prevent the recognition region from being mapped to a completely different key in learning GMM using EM.
  • the setting unit 150 may expand or reduce the recognition region of the key of the character predicted next based on the character string of the key input through the key input device.
  • the key input interface device may further include a storage that stores a string of keys input through the key input device, and a predictor that predicts a character to be input next based on the stored string.
  • the setting unit 150 may set a recognition region of a key corresponding to the character based on the predicted character.
  • the prediction unit may predict the next character to be input by using a method such as N-gram, which is a well-known technique.
  • N-gram which is a well-known technique.
  • N-gram counts N consecutive strings and then receives the N-1th character
  • the setting unit 150 adjusts an average value of the Gaussian parameters based on the probability predicted by the predictor to expand a recognition region of a key corresponding to the predicted character, and additionally recognizes a key around the key of the predicted character. Can be reduced.
  • the distribution of the point touched by the user is modeled as a probability model, and the error rate is reduced by adaptively changing the recognition region of the key based on the modeled distribution. You can.
  • FIG. 6 is a diagram illustrating a procedure of a method of interfacing a key input according to a first embodiment of the present invention.
  • the method of interfacing the key input may be performed by the above-described key input interface device.
  • the method includes receiving a touch point (S110), modeling a distribution of a set of touch points (S130), and a recognition area. It includes the setting step (S150), but may further include other steps or may not include any one or more of these steps.
  • the receiving step S110 may be performed by the input unit 110 shown in FIG. 1, and receives a touch point touched by a user from a key input device.
  • the touch point may be in the form of coordinates (x, y) on the touch screen, and as described above, the touch point may be input to the entire touch point from the key input device or may be input to some of the touch points.
  • the modeling step S130 may be performed by the distribution modeling unit 130 shown in FIG. 1, and the probability model defined in advance for each key includes a distribution of a set of touch points received in step S110. In this case, the distribution of the entire touch points, that is, the set of touch points, may be modeled.
  • the probabilistic model used for modeling in the step S130 of modeling is a parametric for estimating a parameter related to the probabilistic model, and models a distribution of a set of touch points without information about a key to be touched by a user. May be as described above.
  • a probability model may be, for example, a Gaussian mixture model (GMM), and the parameters of the Gaussian mixture model may be estimated (learned) using expectation maximization (EM). Same as one.
  • GMM Gaussian mixture model
  • EM expectation maximization
  • the modeling step (S130) may include setting an initial value.
  • the initial value is set by using a touch point within a preset range within a layout of a key, not an entire touch point input. You can set the value.
  • the modeling step S130 may set an initial value and then estimate (learn) the parameters of the Gaussian mixture model using expectation maximization (EM). That is, in the first embodiment of the present invention, since there is no information about the touch point intended by the user (they are missing), an expectation for 'information about the touch point intended by the user' is calculated and such The process of maximizing the expected value is repeated, and the process of calculating the expected value may be expressed using Equation 2, wherein X denotes the entire touch point, and Y denotes the input point. As described above, the information about the touch point intended by the user, which is missing information, is meant.
  • EM expectation maximization
  • Equation 3 estimating (calculating) the parameter through a process of maximizing the expected value
  • the inverse covariance value when the inverse covariance value of the parameter is not estimated, the inverse covariance value may be estimated based on a predetermined correction value.
  • the predefined correction value may be, for example, epsilon (_), thereby forcing the inverse covariance.
  • the setting of the recognition area (S150) may be performed by the setting unit 150 shown in FIG. 1, and the input for the key based on the distribution modeled in the modeling step (S130).
  • a recognition area to be recognized is set, whereby the recognition area can be set (changed) differently from the layout of the key.
  • the recognition area can be changed and set based on the distribution of the points touched by the user, the error rate can be reduced as much as possible.
  • the layout of the corresponding key may be set as the recognition area or the recognition area may be set based on a previously modeled distribution. Therefore, even when there are keys with a small number of touch points which are the basis for learning the GMM using the EM, it is possible to set a recognition area for these keys.
  • the recognition area in setting the recognition area, it may be set only within the corresponding boundary value in consideration of whether the parameter is within a predetermined boundary. That is, for example, the size or distance from the center of the recognition area may be present within a predetermined boundary, thereby preventing the recognition area from being mapped to a completely different key according to learning using EM.
  • the key corresponding to the next character to be input is predicted based on the previously input character string, the recognition area corresponding to the predicted key is expanded, and the predicted key As described above, the recognition region of the surrounding key can be reduced.
  • the distribution of the point touched by the user is modeled as a probability model, and the error rate is reduced by adaptively changing the recognition region of the key based on the modeled distribution. You can.
  • the second embodiment has a difference in that it further includes a labeling unit as compared with the first embodiment, the difference will be mainly described, and the same reference numerals and descriptions of the first embodiment will be used.
  • the key input interface device further includes a labeling unit in the key input interface device 100 shown in FIG. 1, and the key input interface device further including the labeling unit will be described in detail below. Let's look at it.
  • the labeling unit may select a hit based on a distribution modeled by the distribution modeling unit 130 when the likelihood calculated by the distribution modeling unit 130 with respect to the input touch point is equal to or greater than a preset threshold.
  • the labeling unit may select a typo from the touch point using a predefined typo detection algorithm. For example, a known technique such as backtracking of a backspace may be applied to the typo detection algorithm.
  • the setting unit 150 sets a recognition area recognized as an input to a key based on the labeling result.
  • the recognition area may be set using a deep neural network. .
  • labeling may be performed based on whether an input touch point is above a certain reliability level and is a typo. This allows more precise modeling of the distribution of touch points.
  • the third embodiment has a difference in that it further includes a situation determination unit in comparison with the first embodiment and the second embodiment, the difference will be described mainly, and the same parts will be described in the first and second embodiments. Description and reference numerals are used.
  • the key input interface device further includes a situation determination unit in the key input interface device 100 illustrated in FIGS. 1 and 2, and further includes a situation determination unit below. Let's take a closer look at.
  • the situation determination unit determines the situation of the user of the key input device.
  • the situation determination unit may include, for example, a gyro sensor, an acceleration sensor, an illumination sensor, a gps sensor, a temperature or humidity sensor, an image recognition sensor, or a voice sensor, and the like based on information collected from the sensors. You can judge the situation.
  • the situation determination unit may determine that the user is lying down by using the gyro sensor when it is inclined at a predetermined angle or more, and using the temperature sensor, whether the temperature where the user uses the key input device is cold or It may determine whether it is hot or the like, and may further determine whether the user's posture, whether the user manipulates the key input device with both hands, and the like.
  • the situation determination unit may determine a situation using a decision tree with respect to information collected from a sensor, but is not limited thereto.
  • the input unit 110 may classify the user's situation of the input touch point according to the situation determined by the situation determination unit.
  • the modeling unit 130 models the distribution differently according to the situation determined by the situation determination unit.
  • the setting unit 150 sets the recognition area differently according to the situation.
  • the recognition area most suitable for the user's situation can be provided, thereby reducing the error rate.
  • the method according to an embodiment of the present invention may be implemented in a recording medium having a computer program recorded thereon.
  • Combinations of each block of the block diagrams and respective steps of the flowcharts attached to the present invention may be performed by computer program instructions.
  • These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment such that instructions executed through the processor of the computer or other programmable data processing equipment may not be included in each block or flowchart of the block diagram. It will create means for performing the functions described in each step.
  • These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory.
  • instructions stored in may produce an article of manufacture containing instruction means for performing the functions described in each block or flowchart of each step of the block diagram.
  • Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
  • each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing a specified logical function (s).
  • a specified logical function s.
  • the functions noted in the blocks or steps may occur out of order.
  • the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.

Abstract

A key input interface apparatus according to a first embodiment of the present invention comprises: an input unit for receiving touch points for a plurality of keys included in a key input apparatus; a distribution modeling unit for modeling distribution of a set of the touch points for each key, using a pre-defined probability model; and a configuration unit for configuring, on the basis of the modeled distribution, a recognition area recognized by an input for the key.

Description

키 입력을 인터페이스하는 장치 및 방법Apparatus and method for interfacing keystrokes
본 발명은 키 입력을 인터페이스하는 장치 및 방법에 관한 것으로, 보다 자세하게는 사용자가 터치한 지점에 대한 분포를 확률 모델로 모델링하고, 이를 기초로 키의 인식 영역을 적응적으로 변경함으로써 오타율을 감소시킬 수 있는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for interfacing a key input. More particularly, the present invention relates to a method of modeling a distribution of a point touched by a user as a probabilistic model, and to reduce the error rate by adaptively changing a recognition region of a key. An apparatus and method that can be used.
스마트폰과 같은 휴대용 단말은 데이터를 입력받는 수단으로, 휴대용 단말의 화면 상에 구현되어 표시되는 다양한 형태의 키 입력 장치(예를 들면, 쿼티 키보드나 천지인 등)를 구비한다. A portable terminal such as a smartphone is a means for receiving data, and includes various types of key input devices (for example, a QWERTY keyboard or a celestial player) that are implemented and displayed on the screen of the portable terminal.
이러한 휴대용 단말은 그 용도에 따라 제한된 크기의 화면을 가질 수 밖에 없으며, 키 입력 장치 또한 이러한 제한된 크기의 화면에 구현될 수 밖에 없으므로, 이에 따르는 여러가지 불편함이 존재한다. 예를 들면, 한 개의 키가 차지하는 면적에 제한이 있기 때문에 사용자가 의도한 키가 아닌 주변의 다른 글자가 입력되는 오타가 빈번히 발생할 수 있다.Such a portable terminal may have a limited size screen according to its use, and a key input device may also be implemented on such a limited size screen, thereby causing various inconveniences. For example, since there is a limit on the area occupied by one key, a typo may occur frequently in which other letters are input other than a key intended by the user.
이러한 오타를 줄이기 위하여 종래에는 다양한 방법의 기술이 공개되었다. 예를 들면, 사용자의 키 스트록(stroke)의 속도를 고려하여 오타를 줄이는 방법 또는 사용자가 직전에 입력한 글자를 기초로 현재 터치 지점이 의도하는 키가 무엇인지를 예측하는 방법 등이 공개되었다.In order to reduce such a typo, a variety of techniques have been disclosed. For example, a method of reducing a typo in consideration of a speed of a key stroke of a user or a method of predicting a key intended by a current touch point based on a character input by a user is disclosed.
그러나, 사용자의 터치 지점을 분석하여 키의 인식 영역을 키의 레이아웃과 상이하게 설정하여 제공하는 기술은 공개되지 않았다.However, a technique of analyzing a user's touch point and setting the recognition region of the key different from the layout of the key has not been disclosed.
본 발명의 해결하고자 하는 과제는, 사용자의 터치 지점의 집합에 대한 분포를 확률 모델로 모델링하고, 모델링된 이러한 분포를 기초로 키의 인식 영역을 적응적으로 변경함으로써 오타율을 감소시킬 수 있는 키 입력 인터페이스 장치 및 방법을 제공하는 것이다.The problem to be solved of the present invention is a key input that can reduce the error rate by modeling the distribution of the set of touch points of the user as a probability model, and adaptively changing the recognition region of the key based on the modeled distribution It is to provide an interface device and method.
또한, 사용자가 키를 입력하는 상황을 분석하고 이러한 상황에 따라 키의 인식 영역을 달리하여 제공하는 키 입력 인터페이스 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a key input interface device and method for analyzing a situation in which a user inputs a key and providing a different recognition area of the key according to the situation.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved of the present invention is not limited to those mentioned above, another problem to be solved is not mentioned can be clearly understood by those skilled in the art from the following description. will be.
본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치는 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 입력부; 각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 분포 모델링부; 및 모델링된 상기 분포를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 설정부를 포함한다.In accordance with another aspect of the present invention, a key input interface device includes: an input unit configured to receive touch points for a plurality of keys included in a key input device; A distribution modeling unit modeling a distribution of the set of touch points for each of the keys by using a predefined probability model; And a setting unit configured to set a recognition area recognized as an input to the key, based on the modeled distribution.
또한, 상기 확률 모델은 상기 터치 지점이 의도한 키가, 상기 복수의 키 중에서 어느 키에 대한 것인지에 대한 정보에 대해서 자율 학습(unsupervised learning)인 것을 특징으로 할 수 있다.The probabilistic model may be characterized in that it is unsupervised learning about information on which key the key intended by the touch point is among the plurality of keys.
또한, 상기 확률 모델은 상기 확률 모델과 관련된 파라미터를 추정하는 모수적(parametric)인 것을 특징으로 할 수 있다. In addition, the probability model may be characterized as being a parametric for estimating a parameter related to the probability model.
또한, 상기 분포 모델링부는 상기 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점을 기초로, 상기 파라미터의 초기값을 설정할 수 있다.The distribution modeling unit may set an initial value of the parameter based on a touch point within a preset range in the layout of the key.
또한, 상기 분포 모델링부는 상기 파라미터 중 역공분산(inverse covariance)값이 추정되지 않는 경우, 기 정의된 보정값을 기초로 상기 역공분산값을 추정할 수 있다.The distribution modeling unit may estimate the inverse covariance value based on a predetermined correction value when an inverse covariance value of the parameter is not estimated.
또한, 상기 확률 모델은 가우시안 혼합 모델(gaussian mixture model, GMM)이고, 상기 분포 모델링부는 기대값 최대화(expectation maximization, EM)을 이용하여 상기 가우시안 혼합 모델의 파라미터를 추정할 수 있다.In addition, the probability model is a Gaussian mixture model (GMM), and the distribution modeling unit may estimate parameters of the Gaussian mixture model using expectation maximization (EM).
또한, 상기 설정부는 상기 복수의 키 중에서 입력받은 터치 지점이 기 설정된 개수 이하인 제1 키에 대해서, 상기 제1 키에 대응하는 제1 레이아웃으로 상기 인식 영역을 설정하거나 또는 사전에 모델링된 제1 분포를 기초로 상기 인식 영역을 설정할 수 있다.The setting unit may be configured to set the recognition area in a first layout corresponding to the first key or to a first distribution of a first key having a touch point input of the plurality of keys equal to or less than a preset number. The recognition area may be set on the basis of.
또한, 상기 설정부는 상기 파라미터가 기 설정된 경계값(bound) 이내인지 여부를 고려하여 상기 인식 영역을 설정할 수 있다.The setting unit may set the recognition area in consideration of whether the parameter is within a preset boundary.
본 발명의 제2 실시예에 따른 키 입력 인터페이스 장치는 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 입력부; 각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 분포 모델링부; 모델링된 상기 분포를 기초로 상기 입력받은 터치 지점 중에서 정타와 오타를 분류하여 레이블링(labeling)하는 레이블링부; 및 상기 레이블링부가 레이블링한 결과를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 설정부를 포함한다.In accordance with another aspect of the present invention, a key input interface device includes: an input unit configured to receive touch points for a plurality of keys included in a key input device; A distribution modeling unit modeling a distribution of the set of touch points for each of the keys by using a predefined probability model; A labeling unit for classifying and labeling hits and typos among the input touch points based on the modeled distribution; And a setting unit configured to set a recognition area recognized as an input to the key, based on the labeling result.
또한, 상기 레이블링부는 상기 입력받은 터치 지점에 대한 우도(likelihood)가 기 설정된 문턱값 이상이면 정타로 선별할 수 있다.In addition, the labeling unit may select a hit if the likelihood of the input touch point is equal to or greater than a preset threshold.
또한, 상기 레이블링부는 기 정의된 오타 검출 알고리즘을 기초로 상기 입력받은 터치 지점 중에서 오타를 선별할 수 있다.The labeling unit may select a typo from the input touch points based on a predefined typo detection algorithm.
또한, 상기 설정부는 상기 레이블링한 결과를 기초로, 상기 인식 영역을 심층 신경 네트워크(deep neural network)를 이용하여 설정할 수 있다.The setting unit may set the recognition area using a deep neural network based on the labeling result.
또한, 상기 키 입력 인터페이스 장치는 상기 키 입력 장치의 사용자의 상황을 판단하는 상황 판단부를 더 포함하고, 상기 입력부는 입력받은 터치 지점을 상기 상황에 따라 구분하며, 상기 분포 모델링부는 상기 상황에 따라 상기 분포를 상이하게 모델링하고, 상기 설정부는 상기 상황에 따라 상기 인식 영역을 상이하게 설정할 수 있다.The key input interface device may further include a situation determination unit that determines a situation of a user of the key input device, wherein the input unit classifies an input touch point according to the situation, and the distribution modeling unit is configured according to the situation. The distribution may be modeled differently, and the setting unit may set the recognition region differently according to the situation.
또한, 상기 상황은 상기 사용자의 움직임, 상기 사용자의 자세, 상기 키 입력 장치를 상기 사용자가 양손으로 조작하는지 여부 또는 상기 키 입력 장치가 동작하는 순간의 온도 중 적어도 하나 이상일 수 있다.The situation may be at least one of a movement of the user, a posture of the user, whether the user manipulates the key input device with both hands, or a temperature at which the key input device is operated.
본 발명의 제3 실시예에 따른 키 입력 인터페이스 장치에 의하여 수행되는 키 입력 장치의 키 입력을 인터페이스하는 방법은 상기 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 단계; 각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 단계; 및 모델링된 상기 분포를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 단계를 포함한다.According to a third embodiment of the present invention, a method of interfacing a key input of a key input device performed by a key input interface device comprises: receiving a touch point for a plurality of keys included in the key input device; Modeling a distribution of the set of touch points for each key using a predefined probability model; And setting a recognition region recognized as an input to the key, based on the modeled distribution.
또한, 상기 확률 모델은 상기 터치 지점이 의도한 키가, 상기 복수의 키 중에서 어느 키에 대한 것인지에 대한 정보에 대해서 자율 학습(unsupervised learning)인 것을 특징으로 할 수 있다.The probabilistic model may be characterized in that it is unsupervised learning about information on which key the key intended by the touch point is among the plurality of keys.
또한, 상기 확률 모델은 상기 확률 모델과 관련된 파라미터를 추정하는 모수적(parametric)인 것을 특징으로 할 수 있다.In addition, the probability model may be characterized as being a parametric for estimating a parameter related to the probability model.
또한, 상기 모델링하는 단계는 상기 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점을 기초로, 상기 파라미터의 초기값을 설정하는 단계를 포함할 수 있다.The modeling may include setting an initial value of the parameter based on a touch point within a preset range in the layout of the key.
또한, 상기 모델링하는 단계는 상기 파라미터 중 역공분산(inverse covariance)값이 추정되지 않는 경우, 기 정의된 보정값을 기초로 상기 역공분산값을 추정하는 단계를 포함할 수 있다.In addition, the modeling may include estimating the inverse covariance value based on a predetermined correction value when an inverse covariance value of the parameter is not estimated.
또한, 상기 확률 모델은 가우시안 혼합 모델(gaussian mixture model, GMM)이고, 상기 모델링하는 단계는 기대값 최대화(expectation maximization, EM)을 이용하여 상기 가우시안 혼합 모델의 파라미터를 추정할 수 있다.In addition, the probability model is a Gaussian mixture model (GMM), and the modeling may estimate parameters of the Gaussian mixture model using expectation maximization (EM).
또한, 상기 설정하는 단계는 상기 복수의 키 중에서 입력받은 터치 지점이 기 설정된 개수 이하인 제1 키에 대해서, 상기 제1 키에 대응하는 제1 레이아웃으로 상기 인식 영역을 설정하거나 또는 사전에 모델링된 제1 분포를 기초로 상기 인식 영역을 설정하는 단계를 포함할 수 있다.The setting may include setting the recognition area in a first layout corresponding to the first key or pre-modeling the first key having a touch point input of the plurality of keys equal to or less than a preset number. And setting the recognition area based on one distribution.
또한,상기 설정하는 단계는 상기 파라미터가 기 설정된 경계값(bound) 이내인지 여부를 고려하여 상기 인식 영역을 설정할 수 있다.In the setting, the recognition area may be set in consideration of whether the parameter is within a preset boundary.
본 발명의 제4 실시예에 따른 키 입력 인터페이스 장치에 의하여 수행되는 키 입력 장치의 키 입력을 인터페이스하는 방법은 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 단계; 각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 단계; 모델링된 상기 분포를 기초로 상기 입력받은 터치 지점 중에서 정타와 오타를 분류하여 레이블링(labeling)하는 단계; 및 상기 레이블링부가 레이블링한 결과를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 단계를 포함한다.A method of interfacing a key input of a key input device performed by a key input interface device according to a fourth embodiment of the present invention comprises: receiving touch points for a plurality of keys included in the key input device; Modeling a distribution of the set of touch points for each key using a predefined probability model; Labeling and classifying hitting and typos among the input touch points based on the modeled distribution; And setting a recognition area recognized as an input to the key, based on the labeling result.
또한, 상기 레이블링하는 단계는 상기 입력받은 터치 지점에 대한 우도(likelihood)가 기 설정된 문턱값 이상이면 정타로 선별할 수 있다.In addition, the labeling may be selected as a hit if the likelihood of the input touch point is greater than or equal to a preset threshold.
또한, 상기 레이블링하는 단계는 기 정의된 오타 검출 알고리즘을 기초로 상기 입력받은 터치 지점 중에서 오타를 선별할 수 있다.In addition, the labeling may select a typo from the received touch point based on a predefined typo detection algorithm.
또한, 상기 설정하는 단계는 상기 레이블링한 결과를 기초로, 상기 인식 영역을 심층 신경 네트워크(deep neural network)를 이용하여 설정할 수 있다.The setting may include setting the recognition region using a deep neural network based on the labeling result.
또한, 상기 키 입력 인터페이스 방법은 상기 키 입력 장치의 사용자의 상황을 판단하는 단계를 더 포함하고, 상기 입력받는 단계는 상기 입력받은 터치 지점을 상기 상황에 따라 구분하며, 상기 모델링하는 단계는 상기 상황에 따라 상기 분포를 상이하게 모델링하고, 상기 설정하는 단계는 상기 상황에 따라 상기 인식 영역을 상이하게 설정할 수 있다.The key input interface method may further include determining a situation of a user of the key input device. The receiving of the key may include classifying the received touch point according to the situation, and the modeling may include the situation. According to the modeling and distribution of the distribution differently according to the situation may set the recognition area differently.
또한, 상기 상황은 상기 사용자의 움직임, 상기 사용자의 자세, 상기 키 입력 장치를 상기 사용자가 양손으로 조작하는지 여부 또는 상기 키 입력 장치가 동작하는 순간의 온도 중 적어도 하나 이상일 수 있다.The situation may be at least one of a movement of the user, a posture of the user, whether the user manipulates the key input device with both hands, or a temperature at which the key input device is operated.
본 발명의 실시예에 따른 방법은 컴퓨터 프로그램이 기록된 기록매체에 포함되어 구현될 수 있다.The method according to an embodiment of the present invention may be implemented by being included in a recording medium in which a computer program is recorded.
본 발명의 일 실시예에 따르면, 사용자의 터치 지점의 집합에 대한 분포를 기초로 키의 인식 영역을 적응적으로 변경하여 제공할 수 있으며, 또한 사용자가 키를 입력하는 상황별로 키의 인식 영역을 변경하여 제공할 수 있으므로 키 입력 장치의 오타율을 감소시킬 수 있다.According to an embodiment of the present invention, the recognition region of the key may be adaptively changed and provided based on the distribution of the set of touch points of the user, and the recognition region of the key may be provided according to the situation in which the user inputs the key. Since the change can be provided, the error rate of the key input device can be reduced.
도 1은 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치의 구성을 예시적으로 도시한 도면이다.1 is a diagram illustrating a configuration of a key input interface device according to a first embodiment of the present invention.
도 2는 본 발명의 제1 실시예에 따라 사용자의 터치 지점에 대한 분포를 예시적으로 도시한 도면이다.2 is a diagram exemplarily illustrating a distribution of a touch point of a user according to the first exemplary embodiment of the present invention.
도 3은 본 발명의 제1 실시예에 따라, 확률 모델의 초기 파라미터를 설정하는데 사용되는 터치 지점의 분포를 예시적으로 표시한 도면이다.3 is a diagram exemplarily illustrating a distribution of touch points used to set initial parameters of a probability model, according to the first embodiment of the present invention.
도 4는 본 발명의 제1 실시예에 따라, 추정된 확률 모델의 파라미터를 기초로 분포를 모델링한 것을 예시적으로 표시한 도면이다.4 is a diagram illustrating an example of modeling a distribution based on parameters of an estimated probability model, according to the first embodiment of the present invention.
도 5는 본 발명의 제1 실시예에 따라 키의 인식 영역을 변경한 것을 예시적으로 도시한 도면이다.FIG. 5 is a diagram illustrating an example of changing a recognition region of a key according to the first embodiment of the present invention.
도 6은 본 발명의 제1 실시예에 따른 키 입력을 인터페이스하는 방법의 순서를 예시적으로 도시한 도면이다.FIG. 6 is a diagram exemplarily illustrating a procedure of a method for interfacing a key input according to the first embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.
도 1은 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치의 구성을 예시적으로 도시한 도면이다.1 is a diagram illustrating a configuration of a key input interface device according to a first embodiment of the present invention.
먼저, 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치(100)는 도면에는 도시되지 않았지만 키를 입력받는 키 입력 장치에 포함되어 구현될 수 있으며, 이러한 키 입력 장치는 복수의 키에 대한 입력을 터치에 의해 입력받는 장치로써 예를 들면 터치 스크린을 구비하는 스마트폰, 스마트패드, PDA, 컴퓨터, 데스크탑, 랩탑, 노트북, 워크스테이션 또는 서버 등일 수 있으며, 다만 이에 한정되는 것은 아니다.First, although not shown in the drawing, the key input interface device 100 according to the first embodiment of the present invention may be implemented by being included in a key input device that receives a key. Such a key input device may be input to a plurality of keys. The device may be inputted by a touch, for example, a smartphone, a smart pad, a PDA, a computer, a desktop, a laptop, a notebook, a workstation, or a server having a touch screen, but are not limited thereto.
아울러, 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치(100)는 프로세서 및 프로세서에 의해 실행되는 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에 구현될 수 있으나, 이에 한정되는 것은 아니다. In addition, the key input interface device 100 according to the first embodiment of the present invention may be implemented in an electronic device including a processor and a memory for storing instructions executed by the processor, but is not limited thereto.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치(100)는 입력부(110), 분포 모델링부(130) 또는 설정부(150)를 포함할 수 있다. 다만, 이는 예시적인 것이므로 실시예에 따라서는 이 중 적어도 하나 이상의 구성요소를 포함하지 않거나 또는 여기에서 언급되지 않은 또 다른 구성요소를 더 포함할 수 있다. 아울러, 이러한 구성요소는 동일한 물리적 장치에 위치하거나 또는 서로 다른 물리적 장치에 위치할 수도 있다.Referring to FIG. 1, the key input interface device 100 according to the first embodiment of the present invention may include an input unit 110, a distribution modeling unit 130, or a setting unit 150. However, since this is exemplary, according to the exemplary embodiment, it may not include at least one or more of these components, or may further include other components not mentioned herein. In addition, these components may be located on the same physical device or on different physical devices.
입력부(110)는 키 입력 장치로부터 사용자가 터치한 터치 지점을 입력받으며, 도 2는 이와 같이 입력부(110)가 입력받은 터치 지점을 터치 스크린 상에 예시적으로 도시한 도면이다. The input unit 110 receives a touch point touched by a user from a key input device, and FIG. 2 is a diagram illustrating a touch point input by the input unit 110 on the touch screen as an example.
터치 지점은 예를 들면 키 입력 장치에 포함된 터치 스크린 상에서의 좌표(x,y)의 형식일 수 있다. The touch point may be, for example, in the form of coordinates (x, y) on the touch screen included in the key input device.
아울러, 입력부(110)는 키 입력 장치로부터 사용자가 입력한 터치 지점 전체에 대하여 한꺼번에 입력받을 수 있으며, 이에 따라 후술하겠지만 분포 모델링부(130)는 이러한 터치 지점 전체를 기초로 한번에 분포를 모델링할 수 있다(batch learning). 다만, 이는 일 실시예에 불과한 것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 즉, 실시예에 따라서는 입력부(110)는 사용자가 입력한 터치 지점 중 일부에 대하여 입력받을 수 있으며, 이에 따라 분포 모델링부(130)는 이러한 터치 지점을 기초로 분포를 여러 차례에 걸쳐 모델링할 수도 있다(online learning).In addition, the input unit 110 may receive all of the touch points input by the user from the key input device at once, and as will be described later, the distribution modeling unit 130 may model the distribution at once based on the entire touch points. Batch learning. However, this is only an example and the spirit of the present invention is not limited thereto. That is, according to the exemplary embodiment, the input unit 110 may receive input of some of the touch points input by the user. Accordingly, the distribution modeling unit 130 may model the distribution several times based on the touch points. It may also be online learning.
분포 모델링부(130)는, 각각의 키에 대하여 입력부(110)가 입력받은 터치 지점에 대한 분포를 기초로 기 정의된 확률 모델을 이용하여 모델링한다.The distribution modeling unit 130 models each key using a predefined probability model based on a distribution of touch points input by the input unit 110.
보다 구체적으로 살펴보면, 분포 모델링부(130)가 모델링에 이용하는 데이터는 입력받은 전체 터치 지점, 즉, 터치 지점의 집합일 수 있다. 아울러, 분포 모델링부는 각각의 키 별로 입력받은 터치 지점에 대한 분포를 기초로 모델링할 수 있는데, 각각의 키 별로 입력받은 터치 지점에 대한 분포는 도 2에 도시되어 있다.In more detail, the data used for modeling by the distribution modeling unit 130 may be a set of all input touch points, that is, touch points. In addition, the distribution modeling unit may model the distribution of the touch points input for each key, and the distribution of the touch points input for each key is shown in FIG. 2.
여기서, 분포 모델링부(130)가 모델링에 이용하는 확률 모델은, 확률 모델과 관련된 파라미터를 추정하는 모수적(parametric)인 것을 특징으로 할 수 있다. 이 때 추정되는 파라미터에는 예를 들면 평균이나 공분산 등이 포함될 수 있다. 아울러, 확률 모델은 사용자가 터치 지점에 의하여 의도한 키에 대한 정보 없이 파라미터를 추정하는, 즉 자율 학습(unsupervised learning)인 것을 특징으로 할 수 있다. Here, the probability model used by the distribution modeling unit 130 for modeling may be characterized as being a parametric for estimating a parameter related to the probability model. In this case, the estimated parameter may include, for example, an average or a covariance. In addition, the probabilistic model may be characterized in that the user estimates a parameter without information about a key intended by a touch point, that is, unsupervised learning.
이러한 확률 모델은 예를 들면 가우시안 혼합 모델(gaussian mixture model, GMM)일 수 있으며, 분포 모델링부(130)는 기대값 최대화(expectation maximization, EM)을 이용하여 가우시안 혼합 모델의 파라미터를 추정(학습)할 수 있는데, 이에 대해서는 이하에서 보다 자세하게 살펴보기로 한다.The probability model may be, for example, a Gaussian mixture model (GMM), and the distribution modeling unit 130 estimates the parameters of the Gaussian mixture model by using an expectation maximization (EM). This can be done in more detail below.
먼저, 분포 모델링부(130)는 가우시안 혼합 모델과 관련된 파라미터의 초기값을 설정하며, 이 때 아래의 수학식 1을 이용할 수 있다.First, the distribution modeling unit 130 sets an initial value of a parameter related to a Gaussian mixture model, and may use Equation 1 below.
Figure PCTKR2015010610-appb-M000001
Figure PCTKR2015010610-appb-M000001
여기서, Θ는 전술한 파라미터를 나타내며 x는 입력받은 터치 지점을 나타낸다. 아울러, αi는 기 정의된 가중치이므로, 수학식 1의 우변은 M개의 가우시안 확률 분포의 가중치가 반영된 합을 의미한다.Here, Θ represents the aforementioned parameter and x represents the input touch point. In addition, since α i is a predefined weight, the right side of Equation 1 represents a sum in which weights of M Gaussian probability distributions are reflected.
한편, 분포 모델링부(130)는 수학식 1을 이용하여 초기값을 설정함에 있어서 입력받은 터치 지점 전체가 아닌, 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점을 이용하여 초기값을 설정할 수 있다. 여기서, 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점이란, 예를 들면 키의 레이아웃 내에 있는 터치 지점 중에서 키의 중심으로부터 거리가 가까운 순으로 선별된 일부의 데이터만을 지칭할 수 있으며, 도 3은 이와 같이 선별된 일부의 데이터를 예시적으로 도시한 도면이다.Meanwhile, in setting the initial value by using Equation 1, the distribution modeling unit 130 may set an initial value by using a touch point within a preset range within a layout of a key instead of the entire touch point. Here, the touch point within the preset range in the layout of the key may refer to only a part of data selected in the order of distance from the center of the key among the touch points in the layout of the key. FIG. 1 is a diagram illustrating some data selected as an example.
초기값을 설정한 다음, 분포 모델링부(130)는 기대값 최대화(expectation maximization, EM)를 이용하여 가우시안 혼합 모델의 파라미터를 추정(학습)한다. 즉, 본 발명의 제1 실시예에서는 '사용자가 의도한 터치 지점에 대한 정보'가 없기 때문에(누락되어 있기 때문에) 이러한 '사용자가 의도한 터치 지점에 대한 정보'에 대한 기대값(expectation)을 계산하고 이러한 기대값을 최대화(maximization)시키는 과정의 반복을 통해 파라미터를 추정(계산)하는데, 도 4는 이와 같이 추정된 파라미터를 기초로 각 키 별로 분포를 모델링한 것을 도시하고 있다. After setting the initial value, the distribution modeling unit 130 estimates (learns) the parameters of the Gaussian mixture model using expectation maximization (EM). That is, in the first embodiment of the present invention, since there is no 'information about the touch point intended by the user' (which is missing), an expectation for the 'information about the touch point intended by the user' is obtained. The parameter is estimated (calculated) by repeating the process of calculating and maximizing the expected value. FIG. 4 illustrates a model of distribution for each key based on the estimated parameter.
여기서, 이러한 기대값은 예를 들면 다음과 같은 수학식 2에서의 Q 함수를 이용하여 계산할 수 있으며, 여기서 X는 입력받은 전체 터치 지점을 의미하고, Y는 누락된 정보인 사용자가 의도한 터치 지점에 대한 정보를 의미한다.Here, the expected value can be calculated using, for example, the Q function in Equation 2 below, where X means the entire touch point received and Y is the touch point intended by the user, which is missing information. Means information about.
Figure PCTKR2015010610-appb-M000002
Figure PCTKR2015010610-appb-M000002
아울러, 기대값을 최대화시키는 과정을 통해 파라미터를 추정(계산)하는 것은 예를 들면 다음과 같은 수학식 3을 이용하여 표현될 수 있다.In addition, estimating (calculating) the parameter through a process of maximizing the expected value may be expressed using, for example, Equation 3 below.
Figure PCTKR2015010610-appb-M000003
Figure PCTKR2015010610-appb-M000003
한편, 수학식 2와 3에서의 기대값 최대화 과정(expectation maximization, EM) 그 자체는 이미 공지된 기술이므로, 이에 대한 자세한 설명은 생략하기로 한다.Meanwhile, since the expectation maximization process (EM) itself in Equations 2 and 3 is already known, a detailed description thereof will be omitted.
분포 모델링부(130)는 파라미터 중 역공분산(inverse covariance)값이 추정되지 않는 경우 기 정의된 보정값을 기초로 상기 역공분산값을 추정할 수 있는데, 이 때 기 정의된 보정값은 예를 들면 입실론(
Figure PCTKR2015010610-appb-I000001
)일 수 있으며, 이를 통해 역공분산을 강제로 만들 수 있다.
If the inverse covariance value is not estimated among the parameters, the distribution modeling unit 130 may estimate the inverse covariance value based on a pre-defined correction value. Epsilon
Figure PCTKR2015010610-appb-I000001
), Which forces the inverse covariance.
다시 도 1로 돌아가서, 본 발명의 제1 실시예에 따른 키 입력 인터페이스 장치(100)는 설정부(150)를 포함한다. 설정부(150)는 분포 모델링부(130)가 모델링한 분포를 기초로, 키에 대한 입력으로 인식하는 인식 영역을 키의 레이아웃과는 상이하게 설정할 수 있다.1 again, the key input interface device 100 according to the first embodiment of the present invention includes a setting unit 150. The setting unit 150 may set a recognition area recognized as an input for a key differently from the layout of the key, based on the distribution modeled by the distribution modeling unit 130.
이를 위해, 설정부(150)는 모델링한 분포를 기초로 모든 키에 대한 공산 (likelihood)을 최대로 하는 파라미터를 선택하여 인식 영역을 설정할 수 있다. 즉, 각 키에 대한 공산을 최대로 하는 파라미터를 선택하는 경우 각 키에 대한 가우시안들의 높이가 같은 지점을 기준으로 각 키에 대한 경계범위가 산출되고, 이러한 경계범위가 인식 영역을 설정하게 되는 것으로, 도 5는 이와 같이 키의 레이아웃과는 상이하게 인식 영역이 설정된 것을 예시적으로 도시한 도면이다.To this end, the setting unit 150 may set a recognition area by selecting a parameter that maximizes likelihood for all keys based on the modeled distribution. That is, when selecting a parameter that maximizes the probability of each key, the boundary range for each key is calculated based on the point where the Gaussians for each key have the same height, and the boundary range sets the recognition area. 5 is a diagram exemplarily illustrating that a recognition area is set differently from the layout of a key as described above.
따라서, 본 발명의 일 실시예에 따르면 사용자가 터치하는 지점의 분포를 기초로 인식 영역을 변경하여 설정할 수 있으므로, 오타율을 최대한 감소시킬 수 있다.Therefore, according to an embodiment of the present invention, since the recognition area may be changed and set based on the distribution of the points touched by the user, the error rate may be reduced as much as possible.
아울러, 설정부(150)는 입력받은 터치 지점이 기 설정된 개수 이하인 경우, 해당 키의 레이아웃을 그대로 인식 영역으로 설정하거나 또는 사전에 모델링된 분포를 기초로 인식 영역을 설정할 수 있다. 따라서, EM을 이용한 GMM의 학습에 있어 근거가 되는 터치 지점의 개수가 적은 키가 존재하는 경우에도 이러한 키에 대하여 인식 영역을 설정할 수 있다.In addition, when the input touch point is less than or equal to the preset number, the setting unit 150 may set the layout of the corresponding key as the recognition area or set the recognition area based on a previously modeled distribution. Therefore, even when there are keys with a small number of touch points which are the basis for learning the GMM using the EM, it is possible to set a recognition area for these keys.
추가적으로, 설정부(150)는 인식 영역을 설정함에 있어서 파라미터가 기 설정된 경계값(bound) 이내인지 여부를 고려하여 해당 경계값 이내에서만 설정되도록 할 수 있다. 즉, 예를 들면 설정부(150)는 인식 영역의 크기나 중심에서부터의 거리가 일정한 경계 내에 존재하도록 할 수 있다. 이를 통해, EM을 이용한 GMM의 학습에 있어 인식 영역이 전혀 상이한 키에 맵핑되는 것을 방지할 수 있다. In addition, in setting the recognition area, the setting unit 150 may be set only within a corresponding boundary value in consideration of whether a parameter is within a predetermined boundary. That is, for example, the setting unit 150 may allow the size of the recognition area or the distance from the center to exist within a predetermined boundary. By doing so, it is possible to prevent the recognition region from being mapped to a completely different key in learning GMM using EM.
또한, 설정부(150)는 키 입력 장치를 통해 입력되는 키의 문자열을 기초로 다음(next)에 예측되는 문자의 키의 인식 영역을 확장하거나 또는 축소할 수 있다. 이를 위해, 키 입력 인터페이스 장치는 도면에는 도시되지 않았지만 키 입력 장치를 통해 입력된 키의 문자열을 저장하는 저장부 및 저장된 문자열을 기초로 다음(next)에 입력될 문자를 예측하는 예측부를 더 포함할 수 있으며, 설정부(150)는 예측되는 문자를 기초로, 문자에 대응되는 키의 인식 영역을 설정할 수 있다.In addition, the setting unit 150 may expand or reduce the recognition region of the key of the character predicted next based on the character string of the key input through the key input device. To this end, the key input interface device may further include a storage that stores a string of keys input through the key input device, and a predictor that predicts a character to be input next based on the stored string. The setting unit 150 may set a recognition region of a key corresponding to the character based on the predicted character.
여기서, 예측부는 공지된 기술인 N-gram과 같은 방법을 이용하여 다음에 입력될 문자를 예측할 수 있는데, N-gram이란 N개의 연속된 문자열을 카운트한 뒤 N-1번째의 문자를 입력받았을 때 다음이 입력될 문자의 확률을 계산하는 방법을 지칭한다. 예를 들면, 입력된 문자열이 'abc', 'abc', 'abd'인 경우 'ab'가 입력되었을 때 'c'가 입력될 확률은 'd'보다 2배가 되며, N-gram 자체는 이미 공지된 기술이므로 이에 대한 보다 자세한 설명은 생략하기로 한다.Here, the prediction unit may predict the next character to be input by using a method such as N-gram, which is a well-known technique. When the N-gram counts N consecutive strings and then receives the N-1th character, This refers to a method of calculating the probability of a character to be input. For example, if the input string is 'abc', 'abc', or 'abd', the probability of entering 'c' when 'ab' is entered is twice that of 'd', and the N-gram itself is already Since it is a known technique, a detailed description thereof will be omitted.
아울러, 설정부(150)는 예측부가 예측한 확률을 기초로 가우시안 파라미터 중 평균값을 조절하여 예측되는 문자에 대응하는 키의 인식 영역을 확장하고, 추가적으로 예측되는 문자의 키의 주변의 키의 인식 영역은 축소할 수 있다.In addition, the setting unit 150 adjusts an average value of the Gaussian parameters based on the probability predicted by the predictor to expand a recognition region of a key corresponding to the predicted character, and additionally recognizes a key around the key of the predicted character. Can be reduced.
이상에서 살펴본 바와 같이, 본 발명의 제1 실시예에 따르면 사용자가 터치한 지점에 대한 분포를 확률 모델로 모델링하고, 모델링된 이러한 분포를 기초로 키의 인식 영역을 적응적으로 변경함으로써 오타율을 감소시킬 수 있다.As described above, according to the first exemplary embodiment of the present invention, the distribution of the point touched by the user is modeled as a probability model, and the error rate is reduced by adaptively changing the recognition region of the key based on the modeled distribution. You can.
도 6은 본 발명의 제1 실시예에 따른 키 입력을 인터페이스하는 방법의 순서를 예시적으로 도시한 도면으로, 이러한 키 입력을 인터페이스하는 방법은 전술한 키 입력 인터페이스 장치에 의하여 수행될 수 있다.FIG. 6 is a diagram illustrating a procedure of a method of interfacing a key input according to a first embodiment of the present invention. The method of interfacing the key input may be performed by the above-described key input interface device.
도 6을 참조하면, 본 발명의 제1 실시예에 따른 키 입력을 인터페이스하는 방법은 터치 지점을 입력받는 단계(S110), 터치 지점의 집합에 대한 분포를 모델링하는 단계(S130) 및 인식 영역을 설정하는 단계(S150)를 포함하며, 다만 이와 다른 단계를 추가로 포함하거나 이 중 어느 하나 이상의 단계를 포함하지 않을 수 있다.Referring to FIG. 6, in the method of interfacing a key input according to the first embodiment of the present invention, the method includes receiving a touch point (S110), modeling a distribution of a set of touch points (S130), and a recognition area. It includes the setting step (S150), but may further include other steps or may not include any one or more of these steps.
입력받는 단계(S110)는 도 1에 도시된 입력부(110)에 의하여 수행될 수 있으며, 키 입력 장치로부터 사용자가 터치한 터치 지점을 입력받는다. 터치 지점은 터치 스크린 상에서의 좌표(x,y)의 형식일 수 있으며, 키 입력 장치로부터 터치 지점 전체에 대하여 한꺼번에 입력받거나 또는 터치 지점 중 일부에 대하여 입력받을 수 있음은 전술한 바와 같다.The receiving step S110 may be performed by the input unit 110 shown in FIG. 1, and receives a touch point touched by a user from a key input device. The touch point may be in the form of coordinates (x, y) on the touch screen, and as described above, the touch point may be input to the entire touch point from the key input device or may be input to some of the touch points.
모델링하는 단계(S130)는 도 1에 도시된 분포 모델링부(130)에 의하여 수행될 수 있으며, 입력받는 단계(S110)에서 입력받은 터치 지점의 집합에 대한 분포를 각 키마다 기 정의된 확률 모델을 이용하여 모델링하는데, 이 때 입력받은 전체 터치 지점, 즉, 터치 지점의 집합에 대한 분포를 모델링할 수 있다.The modeling step S130 may be performed by the distribution modeling unit 130 shown in FIG. 1, and the probability model defined in advance for each key includes a distribution of a set of touch points received in step S110. In this case, the distribution of the entire touch points, that is, the set of touch points, may be modeled.
모델링하는 단계(S130)에서 모델링에 이용되는 확률 모델은, 확률 모델과 관련된 파라미터를 추정하는 모수적(parametric)이고, 사용자가 터치하고자 하는 키에 대한 정보 없이 터치 지점의 집합에 대한 분포를 모델링할 수 있음은 전술한 바와 같다. 또한, 이러한 확률 모델은 예를 들면 가우시안 혼합 모델(gaussian mixture model, GMM)일 수 있으며, 기대값 최대화(expectation maximization, EM)을 이용하여 가우시안 혼합 모델의 파라미터를 추정(학습)할 수 있음은 전술한 바와 같다.The probabilistic model used for modeling in the step S130 of modeling is a parametric for estimating a parameter related to the probabilistic model, and models a distribution of a set of touch points without information about a key to be touched by a user. May be as described above. In addition, such a probability model may be, for example, a Gaussian mixture model (GMM), and the parameters of the Gaussian mixture model may be estimated (learned) using expectation maximization (EM). Same as one.
모델링하는 단계(S130)는 초기값을 설정하는 단계를 포함할 수 있는데, 이 때 초기값을 설정함에 있어서 입력받은 터치 지점 전체가 아닌, 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점을 이용하여 초기값을 설정할 수 있다.The modeling step (S130) may include setting an initial value. In this case, the initial value is set by using a touch point within a preset range within a layout of a key, not an entire touch point input. You can set the value.
모델링하는 단계(S130)는 초기값을 설정한 다음 기대값 최대화(expectation maximization, EM)을 이용하여 가우시안 혼합 모델의 파라미터를 추정(학습)할 수 있다. 즉, 본 발명의 제1 실시예에서는 사용자가 의도한 터치 지점에 대한 정보가 없기 때문에(누락되어 있기 때문에) '사용자가 의도한 터치 지점에 대한 정보'에 대한 기대값(expectation)을 계산하고 이러한 기대값을 최대화(maximization)시키는 과정을 반복하며, 이 때 이러한 기대값을 계산하는 과정은 전술한 수학식 2를 이용하여 표현될 수 있되, 여기서 X는 입력받은 전체 터치 지점을 의미하고, Y는 누락된 정보인 사용자가 의도한 터치 지점에 대한 정보를 의미함은 전술한 바와 같다. The modeling step S130 may set an initial value and then estimate (learn) the parameters of the Gaussian mixture model using expectation maximization (EM). That is, in the first embodiment of the present invention, since there is no information about the touch point intended by the user (they are missing), an expectation for 'information about the touch point intended by the user' is calculated and such The process of maximizing the expected value is repeated, and the process of calculating the expected value may be expressed using Equation 2, wherein X denotes the entire touch point, and Y denotes the input point. As described above, the information about the touch point intended by the user, which is missing information, is meant.
아울러, 기대값을 최대화시키는 과정을 통해 파라미터를 추정(계산)하는 것은 예를 들면 다음과 같은 수학식 3을 이용하여 표현될 수 있다.In addition, estimating (calculating) the parameter through a process of maximizing the expected value may be expressed using, for example, Equation 3 below.
특히, 본 발명의 제1 실시예에서 모델링하는 단계(S130)는 파라미터 중 역공분산(inverse covariance)값이 추정되지 않는 경우, 기 정의된 보정값을 기초로 상기 역공분산값을 추정할 수 있는데, 이 때 기 정의된 보정값에는 예를 들면 입실론(_)일 수 있으며, 이를 통해 역공분산을 강제로 만들 수 있다.In particular, in the step S130 of modeling according to the first embodiment of the present invention, when the inverse covariance value of the parameter is not estimated, the inverse covariance value may be estimated based on a predetermined correction value. In this case, the predefined correction value may be, for example, epsilon (_), thereby forcing the inverse covariance.
다시 도 6으로 돌아가서, 인식 영역을 설정하는 단계(S150)는 도 1에 도시된 설정부(150)에 의하여 수행될 수 있으며, 모델링하는 단계(S130)에서 모델링한 분포를 기초로 키에 대한 입력으로 인식하는 인식 영역을 설정하며, 이에 의해 인식 영역은 키의 레이아웃과는 상이하게 설정(변경)될 수 있다.6 again, the setting of the recognition area (S150) may be performed by the setting unit 150 shown in FIG. 1, and the input for the key based on the distribution modeled in the modeling step (S130). A recognition area to be recognized is set, whereby the recognition area can be set (changed) differently from the layout of the key.
따라서, 사용자가 터치하는 지점의 분포를 기초로 인식 영역을 변경하여 설정할 수 있으므로, 오타율을 최대한 감소시킬 수 있다.Therefore, since the recognition area can be changed and set based on the distribution of the points touched by the user, the error rate can be reduced as much as possible.
아울러, 설정하는 단계(S150)에서는 입력받은 터치 지점이 기 설정된 개수 이하인 경우, 해당 키의 레이아웃을 그대로 인식 영역으로 설정하거나 또는 사전에 모델링된 분포를 기초로 인식 영역을 설정할 수 있다. 따라서, EM을 이용한 GMM의 학습에 있어 근거가 되는 터치 지점의 개수가 적은 키가 존재하는 경우에도 이러한 키에 대하여 인식 영역을 설정할 수 있다.In addition, in the setting step (S150), when the input touch point is less than or equal to the preset number, the layout of the corresponding key may be set as the recognition area or the recognition area may be set based on a previously modeled distribution. Therefore, even when there are keys with a small number of touch points which are the basis for learning the GMM using the EM, it is possible to set a recognition area for these keys.
추가적으로, 설정하는 단계(S150)에서는 인식 영역을 설정함에 있어서 파라미터가 기 설정된 경계값(bound) 이내인지 여부를 고려하여 해당 경계값 이내에서만 설정할 수 있다. 즉, 예를 들면 인식 영역의 크기나 중심에서부터의 거리가 일정한 경계 내에 존재하도록 할 수 있으며, 이를 통해 EM을 이용한 학습에 따라서 인식 영역이 전혀 상이한 키에 맵핑되는 것을 방지할 수 있다. In addition, in the setting step (S150), in setting the recognition area, it may be set only within the corresponding boundary value in consideration of whether the parameter is within a predetermined boundary. That is, for example, the size or distance from the center of the recognition area may be present within a predetermined boundary, thereby preventing the recognition area from being mapped to a completely different key according to learning using EM.
또한, 설정하는 단계(S150)에서는 전술한 바와 같이 기존에 입력된 문자열을 기초로 다음에 입력될 문자에 대응되는 키를 예측한 뒤, 예측되는 키에 대응되는 인식 영역을 확장하고 예측되는 키의 주변의 키의 인식 영역은 축소할 수 있음은 전술한 바와 같다.In the setting step (S150), as described above, the key corresponding to the next character to be input is predicted based on the previously input character string, the recognition area corresponding to the predicted key is expanded, and the predicted key As described above, the recognition region of the surrounding key can be reduced.
이상에서 살펴본 바와 같이, 본 발명의 제1 실시예에 따르면 사용자가 터치한 지점에 대한 분포를 확률 모델로 모델링하고, 모델링된 이러한 분포를 기초로 키의 인식 영역을 적응적으로 변경함으로써 오타율을 감소시킬 수 있다.As described above, according to the first exemplary embodiment of the present invention, the distribution of the point touched by the user is modeled as a probability model, and the error rate is reduced by adaptively changing the recognition region of the key based on the modeled distribution. You can.
이하에서는 본 발명의 제2 실시예에 따른 키 입력 인터페이스 장치 및 방법에 대하여 설명한다. 다만, 제2 실시예는 제1 실시예와 비교하여 레이블링부를 더 포함한다는 점에서 차이가 있으므로, 이러한 차이점을 위주로 설명하며 동일한 부분에 대하여는 제1 실시예의 설명과 도면 부호를 원용한다.Hereinafter, a key input interface device and method according to a second embodiment of the present invention will be described. However, since the second embodiment has a difference in that it further includes a labeling unit as compared with the first embodiment, the difference will be mainly described, and the same reference numerals and descriptions of the first embodiment will be used.
본 발명의 제2 실시예에 따른 키 입력 인터페이스 장치는 도 1에 도시된 키 입력 인터페이스 장치(100)에 레이블링부를 더 포함하며, 이하에서는 이러한 레이블링부를 더 포함하는 키 입력 인터페이스 장치에 대하여 보다 자세하게 살펴보기로 한다.The key input interface device according to the second embodiment of the present invention further includes a labeling unit in the key input interface device 100 shown in FIG. 1, and the key input interface device further including the labeling unit will be described in detail below. Let's look at it.
먼저, 입력부(110)와 분포 모델링부(130)에 대해서는 제1 실시예와 그 작용 및 효과가 동일하므로 자세한 설명은 생략한다.First, since the operations and effects of the input unit 110 and the distribution modeling unit 130 are the same as those of the first embodiment, detailed description thereof will be omitted.
레이블링부는 분포 모델링부(130)가 모델링한 분포를 기초로, 입력받은 터치 지점에 대하여 분포 모델링부(130)가 계산한 우도(likelihood)가 기 설정된 문턱값 이상이면 정타로 선별할 수 있다. 또한, 레이블링부는 이러한 터치 지점 중에서 기 정의된 오타 검출 알고리즘을 이용하여 오타를 선별할 수 있는데, 오타 검출 알고리즘에는 예를 들면 백스페이스의 역추적과 같은 공지된 기술이 적용될 수 있다.The labeling unit may select a hit based on a distribution modeled by the distribution modeling unit 130 when the likelihood calculated by the distribution modeling unit 130 with respect to the input touch point is equal to or greater than a preset threshold. In addition, the labeling unit may select a typo from the touch point using a predefined typo detection algorithm. For example, a known technique such as backtracking of a backspace may be applied to the typo detection algorithm.
설정부(150)는 레이블링부가 레이블링한 결과를 기초로 키에 대한 입력으로 인식하는 인식 영역을 설정하며, 이 때 이러한 인식 영역을 예를 들면 심층 신경 네트워크(deep neural network)를 이용하여 설정할 수 있다.The setting unit 150 sets a recognition area recognized as an input to a key based on the labeling result. At this time, the recognition area may be set using a deep neural network. .
상기와 같은 구성을 갖는 본 발명의 제2 실시예에 따른 키 입력 인터페이스 장치에 의하면, 입력받은 터치 지점이 일정 신뢰도 이상인지 그리고 오타인지 여부를 기초로 레이블링을 수행할 수 있으며 이를 기초로 인식 영역을 설정할 수 있으므로, 보다 정교하게 터치 지점에 대한 분포를 모델링할 수 있다.According to the key input interface device according to the second embodiment of the present invention having the above-described configuration, labeling may be performed based on whether an input touch point is above a certain reliability level and is a typo. This allows more precise modeling of the distribution of touch points.
이하에서는 본 발명의 제3 실시예에 따른 키 입력 인터페이스 장치 및 방법에 대하여 설명한다. 다만, 제3 실시예는 제1 실시예 및 제2 실시예와 비교하여 상황 판단부를 더 포함한다는 점에서 차이가 있으므로, 이러한 차이점을 위주로 설명하며 동일한 부분에 대하여는 제1 실시예 및 제2 실시예의 설명과 도면 부호를 원용한다.Hereinafter, a key input interface device and method according to a third embodiment of the present invention will be described. However, since the third embodiment has a difference in that it further includes a situation determination unit in comparison with the first embodiment and the second embodiment, the difference will be described mainly, and the same parts will be described in the first and second embodiments. Description and reference numerals are used.
본 발명의 제3 실시예에 따른 키 입력 인터페이스 장치는 도 1 및 도 2에 도시된 키 입력 인터페이스 장치(100)에 상황 판단부를 더 포함하며, 이하에서는 이러한 상황 판단부를 더 포함하는 키 입력 인터페이스 장치에 대하여 보다 자세하게 살펴보기로 한다.The key input interface device according to the third embodiment of the present invention further includes a situation determination unit in the key input interface device 100 illustrated in FIGS. 1 and 2, and further includes a situation determination unit below. Let's take a closer look at.
상황 판단부는 키 입력 장치의 사용자의 상황을 판단한다. 이를 위해, 상황 판단부는 예를 들면 자이로 센서, 가속 센서, 조도 센서, gps 센서, 온도 또는 습도 센서, 영상 인식 센서 또는 음성 센서 등을 포함할 수 있으며, 이들 센서로부터 수집된 정보를 기초로 사용자의 상황을 판단할 수 있다. 예를 들면, 상황 판단부는 자이로 센서를 이용하여 기 설정된 각도 이상으로 기울어져 있으면 사용자가 누워 있는 것으로 판단할 수 있으며, 온도 센서를 이용하여 사용자가 키 입력 장치를 사용하는 곳의 온도가 추운지 또는 더운지 등을 판단할 수 있고, 추가적으로 사용자의 자세, 사용자가 키 입력 장치를 양손으로 조작하는지 여부 등을 판단할 수 있다. 이 때 상황 판단부는 센서로부터 수집된 정보에 대하여 결정 트리(decision tree)를 이용하여 상황을 판단할 수 있으나 다만 이에 한정되는 것은 아니다.The situation determination unit determines the situation of the user of the key input device. To this end, the situation determination unit may include, for example, a gyro sensor, an acceleration sensor, an illumination sensor, a gps sensor, a temperature or humidity sensor, an image recognition sensor, or a voice sensor, and the like based on information collected from the sensors. You can judge the situation. For example, the situation determination unit may determine that the user is lying down by using the gyro sensor when it is inclined at a predetermined angle or more, and using the temperature sensor, whether the temperature where the user uses the key input device is cold or It may determine whether it is hot or the like, and may further determine whether the user's posture, whether the user manipulates the key input device with both hands, and the like. In this case, the situation determination unit may determine a situation using a decision tree with respect to information collected from a sensor, but is not limited thereto.
상기와 같은 구성을 갖는 본 발명의 제3 실시예에 따른 키 입력 인터페이스 장치에 의하면, 입력부(110)는 입력받은 터치 지점이 사용자의 어떤 상황인지를 상황 판단부가 판단한 상황에 따라 구분할 수 있으며, 분포 모델링부(130)는 상황 판단부가 판단한 상황에 따라 분포를 상이하게 모델링한다. 아울러, 설정부(150)는 상황에 따라 인식 영역을 상이하게 설정한다. According to the key input interface device according to the third embodiment of the present invention having the above-described configuration, the input unit 110 may classify the user's situation of the input touch point according to the situation determined by the situation determination unit. The modeling unit 130 models the distribution differently according to the situation determined by the situation determination unit. In addition, the setting unit 150 sets the recognition area differently according to the situation.
따라서, 본 발명의 제3 실시예에 따르면, 사용자의 상황에 가장 적합한 인식 영역을 제공할 수 있으므로 오타율을 경감시킬 수 있다. Therefore, according to the third exemplary embodiment of the present invention, the recognition area most suitable for the user's situation can be provided, thereby reducing the error rate.
아울러, 본 발명의 일 실시예에 따른 방법은 컴퓨터 프로그램이 기록된 기록매체에 구현될 수 있다.In addition, the method according to an embodiment of the present invention may be implemented in a recording medium having a computer program recorded thereon.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block of the block diagrams and respective steps of the flowcharts attached to the present invention may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment such that instructions executed through the processor of the computer or other programmable data processing equipment may not be included in each block or flowchart of the block diagram. It will create means for performing the functions described in each step. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in each block or flowchart of each step of the block diagram. Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas falling within the scope of the present invention should be construed as being included in the scope of the present invention.

Claims (18)

  1. 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 입력부;An input unit configured to receive touch points for a plurality of keys included in the key input device;
    각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를, 기 정의된 확률 모델을 이용하여 모델링하는 분포 모델링부; 및A distribution modeling unit for modeling a distribution of the set of touch points with respect to each of the keys by using a predefined probability model; And
    모델링된 상기 분포를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 설정부를 포함하는And a setting unit configured to set a recognition area recognized as an input to the key, based on the modeled distribution.
    키 입력 인터페이스 장치. Key in interface device.
  2. 제 1 항에 있어서,The method of claim 1,
    상기 확률 모델은,The probability model is
    상기 터치 지점이 의도한 키가, 상기 복수의 키 중에서 어느 키에 대한 것인지에 대한 정보에 대해서 자율 학습(unsupervised learning)인 것을 특징으로 하는Characterized in that the key intended by the touch point is unsupervised learning on information about which key among the plurality of keys.
    키 입력 인터페이스 장치. Key in interface device.
  3. 제 1 항에 있어서,The method of claim 1,
    상기 확률 모델은,The probability model is
    상기 확률 모델과 관련된 파라미터를 추정하는 모수적(parametric)인 것을 특징으로 하는Characterized in that it is a parametric for estimating a parameter associated with the probability model
    키 입력 인터페이스 장치. Key in interface device.
  4. 제 3 항에 있어서,The method of claim 3, wherein
    상기 분포 모델링부는,The distribution modeling unit,
    상기 키의 레이아웃 내의 기 설정된 범위 내에 있는 터치 지점을 기초로, 상기 파라미터의 초기값을 설정하는Setting an initial value of the parameter based on a touch point within a preset range within the layout of the key
    키 입력 인터페이스 장치. Key in interface device.
  5. 제 3 항에 있어서,The method of claim 3, wherein
    상기 분포 모델링부는,The distribution modeling unit,
    상기 파라미터 중 역공분산(inverse covariance)값이 추정되지 않는 경우, 기 정의된 보정값을 기초로 상기 역공분산값을 추정하는If an inverse covariance value is not estimated among the parameters, the inverse covariance value is estimated based on a predetermined correction value.
    키 입력 인터페이스 장치. Key in interface device.
  6. 제 1 항에 있어서,The method of claim 1,
    상기 확률 모델은 가우시안 혼합 모델(gaussian mixture model, GMM)이고,The probability model is a Gaussian mixture model (GMM),
    상기 분포 모델링부는, The distribution modeling unit,
    기대값 최대화(expectation maximization, EM)을 이용하여 상기 가우시안 혼합 모델의 파라미터를 추정하는Estimate the parameters of the Gaussian mixture model using expectation maximization (EM)
    키 입력 인터페이스 장치. Key in interface device.
  7. 제 1 항에 있어서,The method of claim 1,
    상기 설정부는,The setting unit,
    상기 복수의 키 중에서 입력받은 터치 지점이 기 설정된 개수 이하인 제1 키에 대해서, 상기 제1 키에 대응하는 제1 레이아웃으로 상기 인식 영역을 설정하거나 또는 사전에 모델링된 제1 분포를 기초로 상기 인식 영역을 설정하는The recognition region is set based on a first layout corresponding to the first key or the recognition is performed based on a first distribution previously modeled for the first key having the touch points input from the plurality of keys equal to or less than a preset number. To set the area
    키 입력 인터페이스 장치. Key in interface device.
  8. 제 1 항에 있어서,The method of claim 1,
    상기 키 입력 인터페이스 장치는,The key input interface device,
    상기 키 입력 장치를 통해 입력된 키의 문자열을 저장하는 저장부; 및A storage unit which stores a character string of a key input through the key input device; And
    저장된 상기 문자열을 기초로 다음에 입력될 문자를 예측하는 예측부를 더 포함하고,Further comprising a prediction unit for predicting the next character to be input based on the stored string,
    상기 설정부는,The setting unit,
    예측되는 상기 문자를 기초로, 상기 문자에 대응되는 키의 인식 영역을 설정하는Setting a recognition region of a key corresponding to the character based on the predicted character
    키 입력 인터페이스 장치.Key in interface device.
  9. 제 8 항에 있어서,The method of claim 8,
    상기 설정부는,The setting unit,
    상기 예측되는 문자에 대응되는 키의 인식 영역은 확장하고, 상기 예측되는 문자에 대응되는 키 주변의 키의 인식 영역은 축소하는The recognition region of the key corresponding to the predicted character is expanded, and the recognition region of the key around the key corresponding to the predicted character is reduced.
    키 입력 인터페이스 장치.Key in interface device.
  10. 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 입력부;An input unit configured to receive touch points for a plurality of keys included in the key input device;
    각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 분포 모델링부;A distribution modeling unit modeling a distribution of the set of touch points for each of the keys by using a predefined probability model;
    모델링된 상기 분포를 기초로 상기 입력받은 터치 지점 중에서 정타와 오타를 분류하여 레이블링(labeling)하는 레이블링부; 및A labeling unit for classifying and labeling hits and typos among the input touch points based on the modeled distribution; And
    상기 레이블링부가 레이블링한 결과를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 설정부를 포함하는And a setting unit configured to set a recognition area recognized as an input to the key, based on the labeling result.
    키 입력 인터페이스 장치. Key in interface device.
  11. 제 10 항에 있어서,The method of claim 10,
    상기 레이블링부는,The labeling unit,
    상기 입력받은 터치 지점에 대한 우도(likelihood)가 기 설정된 문턱값 이상이면 정타로 선별하는If the likelihood of the input touch point is greater than or equal to a preset threshold, screening is performed with a fixed stroke.
    키 입력 인터페이스 장치. Key in interface device.
  12. 제 10 항에 있어서,The method of claim 10,
    상기 레이블링부는,The labeling unit,
    기 정의된 오타 검출 알고리즘을 기초로 상기 입력받은 터치 지점 중에서 오타를 선별하는Selecting a typo from the input touch point based on a predefined typo detection algorithm
    키 입력 인터페이스 장치. Key in interface device.
  13. 제 10 항에 있어서,The method of claim 10,
    상기 설정부는,The setting unit,
    상기 레이블링한 결과를 기초로, 상기 인식 영역을 심층 신경 네트워크(deep neural network)를 이용하여 설정하는Based on the labeling result, the recognition region is set using a deep neural network.
    키 입력 인터페이스 장치.Key in interface device.
  14. 제 1 항에 있어서,The method of claim 1,
    상기 키 입력 인터페이스 장치는 상기 키 입력 장치의 사용자의 상황을 판단하는 상황 판단부를 더 포함하고,The key input interface device further includes a situation determination unit that determines a situation of a user of the key input device.
    상기 입력부는 입력받은 터치 지점을 상기 상황에 따라 구분하며,The input unit classifies the input touch point according to the situation,
    상기 분포 모델링부는 상기 상황에 따라 상기 분포를 상이하게 모델링하고,The distribution modeling unit models the distribution differently according to the situation,
    상기 설정부는 상기 상황에 따라 상기 인식 영역을 상이하게 설정하는The setting unit sets the recognition area differently according to the situation.
    키 입력 인터페이스 장치.Key in interface device.
  15. 제 14 항에 있어서,The method of claim 14,
    상기 상황은,The above situation,
    상기 사용자의 움직임, 상기 사용자의 자세, 상기 키 입력 장치를 상기 사용자가 양손으로 조작하는지 여부 또는 상기 키 입력 장치가 동작하는 순간의 온도 중 적어도 하나 이상인At least one of a movement of the user, a posture of the user, whether the user operates the key input device with both hands, or a temperature at which the key input device is operated.
    키 입력 인터페이스 장치.Key in interface device.
  16. 키 입력 인터페이스 장치에 의하여 수행되는 키 입력 장치의 키 입력을 인터페이스하는 방법으로써,A method of interfacing a key input of a key input device performed by a key input interface device,
    상기 키 입력 장치에 포함된 복수의 키에 대한 터치 지점을 입력받는 단계;Receiving a touch point for a plurality of keys included in the key input device;
    각각의 상기 키에 대한 상기 터치 지점의 집합에 대한 분포를 기 정의된 확률 모델을 이용하여 모델링하는 단계; 및Modeling a distribution of the set of touch points for each key using a predefined probability model; And
    모델링된 상기 분포를 기초로, 상기 키에 대한 입력으로 인식하는 인식 영역을 설정하는 단계를 포함하는Setting a recognition region recognized as an input to the key, based on the modeled distribution;
    키 입력 인터페이스 방법.Keystroke interface method.
  17. 제 16 항에 있어서,The method of claim 16,
    상기 확률 모델은 가우시안 혼합 모델(gaussian mixture model, GMM)이고,The probability model is a Gaussian mixture model (GMM),
    상기 모델링하는 단계는,The modeling step,
    기대값 최대화(expectation maximization, EM)을 이용하여 상기 가우시안 혼합 모델의 파라미터를 추정하는Estimate the parameters of the Gaussian mixture model using expectation maximization (EM)
    키 입력 인터페이스 방법. Keystroke interface method.
  18. 제 16 항에 있어서,The method of claim 16,
    상기 키 입력 인터페이스 방법은 상기 키 입력 장치의 사용자의 상황을 판단하는 단계를 더 포함하고,The key input interface method further includes determining a situation of a user of the key input device.
    상기 입력받는 단계는 상기 입력받은 터치 지점을 상기 상황에 따라 구분하며,In the receiving step, the received touch point is classified according to the situation.
    상기 모델링하는 단계는 상기 상황에 따라 상기 분포를 상이하게 모델링하고, The modeling may include differently modeling the distribution according to the situation.
    상기 설정하는 단계는 상기 상황에 따라 상기 인식 영역을 상이하게 설정하는The setting may include setting the recognition area differently according to the situation.
    키 입력 인터페이스 방법.Keystroke interface method.
PCT/KR2015/010610 2015-06-22 2015-10-07 Apparatus and method for interfacing key input WO2016208817A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0088188 2015-06-22
KR1020150088188A KR101653167B1 (en) 2015-06-22 2015-06-22 Apparatus and method for interfacing key input

Publications (1)

Publication Number Publication Date
WO2016208817A1 true WO2016208817A1 (en) 2016-12-29

Family

ID=56939227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010610 WO2016208817A1 (en) 2015-06-22 2015-10-07 Apparatus and method for interfacing key input

Country Status (2)

Country Link
KR (1) KR101653167B1 (en)
WO (1) WO2016208817A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102079985B1 (en) * 2018-01-22 2020-02-21 주식회사 노타 Method And Device For Processing Touch Input
WO2022225150A1 (en) * 2021-04-19 2022-10-27 삼성전자 주식회사 Electronic device and operating method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070247442A1 (en) * 2004-07-30 2007-10-25 Andre Bartley K Activating virtual keys of a touch-screen virtual keyboard
WO2010117374A1 (en) * 2009-04-10 2010-10-14 Qualcomm Incorporated A virtual keypad generator with learning capabilities
US20130067382A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Soft keyboard interface
US20140198048A1 (en) * 2013-01-14 2014-07-17 Nuance Communications, Inc. Reducing error rates for touch based keyboards
US20150160115A1 (en) * 2011-03-21 2015-06-11 Becton, Dickinson And Company Neighborhood thresholding in mixed model density gating

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070247442A1 (en) * 2004-07-30 2007-10-25 Andre Bartley K Activating virtual keys of a touch-screen virtual keyboard
WO2010117374A1 (en) * 2009-04-10 2010-10-14 Qualcomm Incorporated A virtual keypad generator with learning capabilities
US20150160115A1 (en) * 2011-03-21 2015-06-11 Becton, Dickinson And Company Neighborhood thresholding in mixed model density gating
US20130067382A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Soft keyboard interface
US20140198048A1 (en) * 2013-01-14 2014-07-17 Nuance Communications, Inc. Reducing error rates for touch based keyboards

Also Published As

Publication number Publication date
KR101653167B1 (en) 2016-09-09

Similar Documents

Publication Publication Date Title
KR102270394B1 (en) Method, terminal, and storage medium for recognizing an image
US20210264227A1 (en) Method for locating image region, model training method, and related apparatus
WO2019199072A1 (en) System and method for active machine learning
CN104685451B (en) Posture adapts to selection
KR20210078539A (en) Target detection method and apparatus, model training method and apparatus, apparatus and storage medium
WO2019098414A1 (en) Method and device for hierarchical learning of neural network, based on weakly supervised learning
WO2020180013A1 (en) Apparatus for vision and language-assisted smartphone task automation and method thereof
CN109670174B (en) Training method and device of event recognition model
WO2021112491A1 (en) Methods and systems for predicting keystrokes using a unified neural network
CN104123012B (en) Use the attitude keyboard input of the non-dictionary character string that substitutes scoring
WO2019107698A1 (en) System for success prediction analysis through company information analysis
WO2019135631A1 (en) Electronic device for obfuscating and decoding data and method for controlling same
CN106775666A (en) A kind of application icon display methods and terminal
WO2019125054A1 (en) Method for content search and electronic device therefor
WO2019172642A1 (en) Electronic device and method for measuring heart rate
WO2016208817A1 (en) Apparatus and method for interfacing key input
CN107729947A (en) A kind of Face datection model training method, device and medium
US10019072B2 (en) Imagined grid fingertip input editor on wearable device
WO2022139327A1 (en) Method and apparatus for detecting unsupported utterances in natural language understanding
CN113190646A (en) User name sample labeling method and device, electronic equipment and storage medium
CN109154865A (en) Sequence both hands in mobile device, which touch, to be keyed in
WO2017131251A1 (en) Display device and touch input processing method therefor
CN110378486A (en) Internet startup disk method, apparatus, electronic equipment and storage medium
EP3646150A1 (en) Method for providing cognitive semiotics based multimodal predictions and electronic device thereof
CN109885224A (en) Interface of input method display methods, storage medium and mobile terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15896451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 18.04.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15896451

Country of ref document: EP

Kind code of ref document: A1