在 Android 上使用 ML Kit 辨識數位墨水

有了 ML Kit 的數位墨水辨識功能，您就能識別數位平面上數百種語言的手寫文字，以及分類素描。

立即試用

事前準備

  1. 在專案層級的 build.gradle 檔案中，請務必在 buildscript 和 allprojects 區段中納入 Google 的 Maven 存放區。
  2. 將 ML Kit Android 程式庫的依附元件新增至模組的應用程式層級 Gradle 檔案，通常為 app/build.gradle：
dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

您現在可以開始在 Ink 物件中辨識文字。

建構 Ink 物件

建構 Ink 物件的主要方式是在觸控螢幕上繪製圖形。在 Android 上，您可以使用 Canvas 來達成這個目的。觸控事件處理常式應呼叫 addNewTouchEvent() 方法 (如以下程式碼片段所示)，以便將使用者在 Ink 物件中繪製的筆觸儲存為點。

下列程式碼片段示範了這個一般模式。如需更完整的範例，請參閱 ML Kit 快速入門範例。

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

取得 DigitalInkRecognizer 的例項

如要執行辨識作業，請將 Ink 例項傳送至 DigitalInkRecognizer 物件。以下程式碼說明如何從 BCP-47 標記例項化這類辨識器。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

處理 Ink 物件

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

如下一節所述，上述程式碼範例假設已下載辨識模型。

管理模型下載作業

雖然數位墨水辨識 API 支援數百種語言，但每種語言都需要先下載一些資料，才能進行辨識。每種語言約需要 20 MB 的儲存空間。這項作業由 RemoteModelManager 物件處理。

下載新模型

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

檢查模型是否已下載

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

刪除已下載的模型

從裝置儲存空間中移除模型，即可釋出空間。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

提升文字辨識準確度的提示

文字辨識的準確度可能因語言而異。準確度也取決於寫作風格。雖然數位墨水辨識功能經過訓練，可處理多種書寫風格，但結果可能因使用者而異。

以下提供一些提升文字辨識器準確度的方法。請注意，這些技巧不適用於表情符號、Autodraw 和圖形的繪圖分類器。

書寫區

許多應用程式都有明確的輸入區域，供使用者輸入內容。符號的含義部分取決於符號的大小相對於包含符號的書寫區域的大小。例如，小寫或大寫字母「o」或「c」之間的差異，以及逗號和正斜線的差異。

告知辨識器書寫區域的寬度和高度，有助於提高辨識準確度。不過，辨識器會假設書寫區域只包含一行文字。如果實體書寫區域足夠大，可讓使用者書寫兩行以上的文字，您可以傳入高度為單行文字高度最佳估計值的 WritingArea，以便取得更好的結果。您傳遞給辨識器的 WritingArea 物件不必與螢幕上的實際書寫區域完全對應。以這種方式變更 WritingArea 高度，在某些語言中比其他語言更有效。

指定書寫區域時，請使用與筆劃座標相同的單位指定其寬度和高度。x、y 座標引數沒有單位要求 - API 會將所有單位標準化，因此唯一重要的是筆劃的相對大小和位置。您可以自由傳入座標，並使用系統適用的任何比例。

預先設定的內容

前置文字是指您嘗試辨識的 Ink 中，筆劃前方的文字。您可以告知辨識器先前的上下文，協助辨識器。

舉例來說，草寫字母「n」和「u」經常會互相混淆。如果使用者已輸入部分字詞「arg」，則可能會繼續輸入可辨識為「ument」或「nment」的筆劃。指定前置文字「arg」可解決歧義，因為「argument」一詞比「argnment」更有可能出現。

前置文字也可協助辨識器識別斷字，也就是字詞之間的空格。您可以輸入空格字元，但無法繪製空格，因此辨識器如何判斷一個字詞結束，下一個字詞開始？如果使用者已寫下「hello」，並繼續寫下「world」，在沒有預先提供的上下文情況下，辨識器會傳回「world」字串。不過，如果您指定前置上下文「hello」，模型會傳回字串「world」，並在開頭加上空格，因為「hello world」比「hello word」更有意義。

請提供盡可能長的上下文前置字串，最多 20 個半形字元 (含空格)。如果字串較長，辨識器只會使用最後 20 個字元。

以下程式碼範例說明如何定義書寫區域，並使用 RecognitionContext 物件指定預先設定的內容。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

筆劃排序

辨識準確度會受到筆劃順序的影響。辨識器會預期筆劃會以人們自然書寫的順序出現，例如英文是從左至右書寫。任何不符合此模式的情況 (例如以最後一個字詞開始撰寫英文句子)，都會導致結果不夠準確。

另一個例子是當 Ink 中間的字詞遭到移除，並替換成其他字詞時。修訂內容可能位於句子中間，但修訂筆劃位於筆劃序列的結尾。在這種情況下，建議您將新寫入的字詞分別傳送至 API，並使用自己的邏輯將結果與先前的辨識結果合併。

處理不確定形狀

在某些情況下，向辨識器提供的形狀意義不明確。舉例來說，圓角邊緣的矩形可能會被視為矩形或橢圓形。

在這種不確定的情況下，您可以使用辨識分數 (如有) 處理。只有形狀分類器會提供分數。如果模型非常有信心，則最高分數的得分會比次佳分數高出許多。如果不確定，前兩個結果的分數會很接近。另外，請注意，形狀分類器會將整個 Ink 解讀為單一形狀。舉例來說，如果 Ink 包含矩形和橢圓形，且兩者相鄰，則辨識器可能會傳回其中一個 (或完全不同的結果)，因為單一辨識候選項目無法代表兩個形狀。