このページは Cloud Translation API によって翻訳されました。

ML Kit を使用してデジタルインクを認識する（Android）

ML Kit のデジタルインク認識を使用すると、数百もの言語でデジタル表示面の手書き文字を認識できるほか、スケッチを分類することもできます。

試してみる

サンプルアプリを試してみましょう。この API の使用例をご覧ください

始める前に

この API には Android API レベル 21 以降が必要です。アプリのビルドと実行がファイルが minSdkVersion の値 21 以上を使用していること。

プロジェクトレベルの build.gradle ファイルの buildscript セクションと allprojects セクションの両方に Google の Maven リポジトリを組み込みます。
ML Kit Android ライブラリの依存関係をモジュールのアプリレベルの Gradle ファイル（通常は app/build.gradle）に追加します。

dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

これで、Ink オブジェクト内のテキストの認識を開始できます。

`Ink` オブジェクトを作成する

Ink オブジェクトを作成する主な方法は、タッチスクリーンに描画することです。Android では、この目的に Canvas を使用できます。お客様のタッチイベントハンドラ addNewTouchEvent() を呼び出す必要があります。メソッドを使って、ストローク内の点を保存し、 Ink オブジェクトに描画します。

この一般的なパターンを次のコードスニペットに示します。詳しくは、 ML Kit クイックスタートサンプルをご覧ください。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

DigitalInkRecognizer のインスタンスを取得する

認識を行うには、Ink インスタンスを DigitalInkRecognizer オブジェクト。以下のコードは、このようなイベントをインスタンス化する方法を示しています。 BCP-47 タグから再生成しました。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

`Ink` オブジェクトを処理する

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

上のサンプルコードでは、認識モデルがすでにダウンロードされていることを前提としています（次のセクションで説明します）。

モデルのダウンロードの管理

デジタルインク認識 API は数百の言語をサポートしていますが、認識を行う前に各言語のデータをダウンロードする必要があります。言語ごとに約 20 MB のストレージが必要です。これは RemoteModelManager オブジェクトによって処理されます。

新しいモデルをダウンロードする

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

モデルがすでにダウンロードされているかどうかを確認する

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

ダウンロードしたモデルを削除する

デバイスのストレージからモデルを削除すると、空き容量が増えます。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

テキスト認識の精度を高めるためのヒント

テキスト認識の精度は言語によって異なります。精度も非常に重要になりますデジタルインク認識は多種多様な文章のスタイルに対応できるようトレーニングされていますが、結果はユーザーによって異なります。

テキスト認識の精度を高める方法は次のとおりです。なお、これらの手法は絵文字、AutoDraw、シェイプの描画分類には適用されません。

書き込みエリア

多くのアプリケーションには、ユーザー入力用の書き込み領域が明確に定義されています。記号の意味は、そのファイルを含む書き込み領域のサイズに対する相対的なサイズによって、部分的に決定されます。たとえば、小文字または大文字の「o」または「c」、カンマとスラッシュの違いなどです。

入力領域の幅と高さを認識機能に伝えると、精度が向上します。ただし、認識ツールは、書き込み領域に 1 行のテキストのみが含まれていることを前提としています。物理的なユーザーが 2 行以上書き込むのに十分な大きさである場合、代わりに WritingArea を、作成します。認識ツールに渡す WritingArea オブジェクトは、各オブジェクトの画面上の手書き入力領域と完全に一致するようにします。この方法で WritingArea の高さを変更する一部の言語では他よりも優れています。

書き込み領域を指定する際は、その幅と高さをストロークと同じ単位で指定します指定します。x 座標と y 座標の引数に単位の要件はありません。API では、そのため、重要なのはストロークの相対的なサイズと位置だけです。システムに適したスケールで座標を渡すことができます。

事前コンテキスト

前コンテキストは、認識しようとしている Ink のストロークの直前に続くテキストです。認識ツールに前のコンテキストを伝えることで、認識を支援できます。

たとえば、筆記体では「n」と「u」がよく間違えられます。ユーザーがすでに単語の一部「arg」を入力している場合、ユーザーは「ument」または「nment」として認識できるストロークを続けて入力する可能性があります。前コンテキスト「arg」を指定すると、単語「argument」の方が「argnment」よりも可能性が高いため、あいまいさが解消されます。

前のコンテキストは、認識ツールが単語の切れ目や単語間のスペースを特定する際にも役立ちます。スペース文字は入力できますが、描画することはできません。では、認識ツールはどのようにして 1 つの単語が終了し、次の単語が始まるのかを判断するのでしょうか。ユーザーがすでに「hello」と書いていて、続けて「world」と書いた場合、認識ツールは前後の文脈なしで「world」という文字列を返します。ただし、前コンテキスト「hello」を指定すると、モデルは先頭にスペースが付いた「world」という文字列を返します。これは、「helloworld」よりも「hello world」の方が意味があるためです。

プリコンテキスト文字列はできるだけ長く、半角 20 文字（全角 10 文字）以内で指定してください。できます。文字列が長い場合は、最後の 20 文字のみが認識されます。

以下のコードサンプルは、書き込み領域を定義し、 RecognitionContext オブジェクトを使用して事前コンテキストを指定します。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

ストロークの順序

認識精度はストロークの順序に左右されます。認識ツールは、人が自然に書く順序でストロークが入力されることを想定しています（英語の場合は左から右）。すべての場合たとえば、最後の単語で始まる英語の文を書くなど、結果の精度が低下します

別の例として、Ink の途中にある単語が削除され、別の単語に置き換えられた場合です。改訂版はおそらく文の途中にあるが、改訂版のストロークストロークシーケンスの最後に来ます。この場合は、新しく書き込まれた単語を API に個別に送信し、独自のロジックを使用して結果を以前の認識と統合することをおすすめします。

曖昧な形状に対処する

認識ツールに提供されるシェイプの意味があいまいな場合があります。対象たとえば、角が非常に丸い長方形は、長方形または楕円として表示されます。

このような不明瞭なケースは、認識スコアを使用して処理できます（利用可能な場合）。スコアを提供するのは形状分類子のみです。モデルの信頼度が高い場合、上位の結果のスコアは優れています。不確実性が高い場合、上位 2 つの結果のスコアは近くなります。また、形状分類子は Ink 全体を単一の形状として解釈します。たとえば、Ink に長方形と楕円が隣接して含まれている場合、単一の認識候補で 2 つの形状を表すことができないため、認識ツールはどちらか（またはまったく異なるもの）を結果として返すことがあります。

ML Kit を使用してデジタルインクを認識する（Android）

試してみる

始める前に

Ink オブジェクトを作成する

Kotlin

Java

DigitalInkRecognizer のインスタンスを取得する

Kotlin

Java

Ink オブジェクトを処理する

Kotlin

Java

モデルのダウンロードの管理

新しいモデルをダウンロードする

Kotlin

Java

モデルがすでにダウンロードされているかどうかを確認する

Kotlin

Java

ダウンロードしたモデルを削除する

Kotlin

Java

テキスト認識の精度を高めるためのヒント

書き込みエリア

事前コンテキスト

Kotlin

Java

ストロークの順序

曖昧な形状に対処する

`Ink` オブジェクトを作成する

`Ink` オブジェクトを処理する