Распознавание цифровых чернил

С помощью API распознавания цифровых рукописных данных ML Kit вы можете распознавать рукописный текст и классифицировать жесты на цифровой поверхности на сотнях языков, а также классифицировать эскизы. API распознавания цифровых рукописных данных использует ту же технологию, которая обеспечивает распознавание рукописного ввода в Gboard, Google Translate и Quick, Draw! игра.

Распознавание цифровых чернил позволяет:

• Пишите на экране, а не на виртуальной клавиатуре. Это позволяет пользователям рисовать символы, которых нет на их клавиатуре, например ệ, अ или 森 для клавиатур с латинским алфавитом.
• Выполняйте основные операции с текстом (навигацию, редактирование, выделение и т. д.) с помощью жестов.
• Распознавайте нарисованные от руки фигуры и смайлы.

Распознавание цифровых чернил работает с штрихами, которые пользователь рисует на экране. Если вам нужно прочитать текст с изображений, снятых камерой, используйте API распознавания текста .

Распознавание цифровых чернил работает полностью в автономном режиме и поддерживается на Android и iOS.

iOS Android

Ключевые возможности

• Преобразует рукописный текст в последовательности символов Юникода.
• Запускается на устройстве почти в реальном времени
• Почерк пользователя остается на устройстве, распознавание осуществляется без подключения к сети.
• Поддерживает более 300 языков и более 25 систем письма. Полный список поддерживаемых языков см.
  • Поддерживает классификацию жестов для этих языков с помощью расширений -x-gesture
• Распознает смайлы и основные формы
• Сохраняет мало места на устройстве за счет динамической загрузки языковых пакетов по мере необходимости.

Распознаватель принимает объект Ink в качестве входных данных. Ink — это векторное представление того, что пользователь написал на экране: последовательность штрихов , каждый из которых представляет собой список координат с информацией о времени, называемой точками касания . Штрих начинается, когда пользователь опускает стилус или палец, и заканчивается, когда он поднимает его. Ink передаются распознавателю, который возвращает один или несколько возможных результатов распознавания с уровнями достоверности.

Примеры

английский почерк

На изображении слева ниже показано, что пользователь нарисовал на экране. Изображение справа — соответствующий объект Ink . Он содержит штрихи с красными точками, обозначающими точки касания внутри каждого штриха.

Всего четыре удара. Первые два штриха в объекте Ink выглядят следующим образом:

Когда вы отправляете эти Ink в распознаватель английского языка, он возвращает несколько возможных транскрипций, содержащих пять или шесть символов. Они упорядочены по убыванию достоверности:

Жесты

Классификаторы жестов относят рукописный штрих к одному из девяти классов жестов, перечисленных ниже.

Жест	Пример
arch:above arch:below
caret:above caret:below
circle
угол: нижний левый
scribble
strike
verticalbar
writing

Эскизы эмодзи

На изображении слева ниже показано, что пользователь нарисовал на экране. Изображение справа — соответствующий объект Ink . Он содержит штрихи с красными точками, обозначающими точки касания внутри каждого штриха.

Объект Ink содержит шесть штрихов.

Когда вы отправляете эти Ink в распознаватель смайлов, вы получаете несколько возможных транскрипций, упорядоченных по убыванию достоверности: