在 Android 上使用 ML Kit 辨識數位墨水

透過集合功能整理內容 你可以依據偏好儲存及分類內容。

您可以透過 ML Kit 的數位墨水辨識功能,辨識數百種語言在數位表面上手寫的文字,還可以對草圖分類。

立即體驗

事前準備

  1. 在您的專案層級的 build.gradle 檔案中,請務必在 buildscriptallprojects 區段中加入 Google 的 Maven 存放區。
  2. 將 ML Kit Android 程式庫的依附元件新增至模組的應用程式層級 Gradle 檔案 (通常為 app/build.gradle):
dependencies {
  // ...
  implementation 'com.google.mlkit:digital-ink-recognition:18.1.0'
}

您現在可以開始辨識 Ink 物件中的文字。

建構 Ink 物件

建構 Ink 物件的主要方法是在觸控螢幕上繪圖。在 Android 裝置上,您可以使用 Canvas 來達到此目的。觸控事件處理常式應呼叫 addNewTouchEvent() 方法,如以下程式碼片段所示,儲存使用者繪製至 Ink 物件中的筆劃點。

下列程式碼片段將說明此一般模式。如需更完整的範例,請參閱 ML Kit 快速入門導覽課程範例

Kotlin

var inkBuilder = Ink.builder()
lateinit var strokeBuilder: Ink.Stroke.Builder

// Call this each time there is a new event.
fun addNewTouchEvent(event: MotionEvent) {
  val action = event.actionMasked
  val x = event.x
  val y = event.y
  var t = System.currentTimeMillis()

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  when (action) {
    MotionEvent.ACTION_DOWN -> {
      strokeBuilder = Ink.Stroke.builder()
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
    }
    MotionEvent.ACTION_MOVE -> strokeBuilder!!.addPoint(Ink.Point.create(x, y, t))
    MotionEvent.ACTION_UP -> {
      strokeBuilder.addPoint(Ink.Point.create(x, y, t))
      inkBuilder.addStroke(strokeBuilder.build())
    }
    else -> {
      // Action not relevant for ink construction
    }
  }
}

...

// This is what to send to the recognizer.
val ink = inkBuilder.build()

Java

Ink.Builder inkBuilder = Ink.builder();
Ink.Stroke.Builder strokeBuilder;

// Call this each time there is a new event.
public void addNewTouchEvent(MotionEvent event) {
  float x = event.getX();
  float y = event.getY();
  long t = System.currentTimeMillis();

  // If your setup does not provide timing information, you can omit the
  // third paramater (t) in the calls to Ink.Point.create
  int action = event.getActionMasked();
  switch (action) {
    case MotionEvent.ACTION_DOWN:
      strokeBuilder = Ink.Stroke.builder();
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_MOVE:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      break;
    case MotionEvent.ACTION_UP:
      strokeBuilder.addPoint(Ink.Point.create(x, y, t));
      inkBuilder.addStroke(strokeBuilder.build());
      strokeBuilder = null;
      break;
  }
}

...

// This is what to send to the recognizer.
Ink ink = inkBuilder.build();

取得 DigitalInkRecognizer 執行個體

如要執行辨識作業,請將 Ink 執行個體傳送至 DigitalInkRecognizer 物件。下列程式碼顯示如何從 BCP-47 標記將這類辨識器執行個體化。

Kotlin

// Specify the recognition model for a language
var modelIdentifier: DigitalInkRecognitionModelIdentifier
try {
  modelIdentifier = DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US")
} catch (e: MlKitException) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}
var model: DigitalInkRecognitionModel =
    DigitalInkRecognitionModel.builder(modelIdentifier).build()


// Get a recognizer for the language
var recognizer: DigitalInkRecognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build())

Java

// Specify the recognition model for a language
DigitalInkRecognitionModelIdentifier modelIdentifier;
try {
  modelIdentifier =
    DigitalInkRecognitionModelIdentifier.fromLanguageTag("en-US");
} catch (MlKitException e) {
  // language tag failed to parse, handle error.
}
if (modelIdentifier == null) {
  // no model was found, handle error.
}

DigitalInkRecognitionModel model =
    DigitalInkRecognitionModel.builder(modelIdentifier).build();

// Get a recognizer for the language
DigitalInkRecognizer recognizer =
    DigitalInkRecognition.getClient(
        DigitalInkRecognizerOptions.builder(model).build());

處理 Ink 物件

Kotlin

recognizer.recognize(ink)
    .addOnSuccessListener { result: RecognitionResult ->
      // `result` contains the recognizer's answers as a RecognitionResult.
      // Logs the text from the top candidate.
      Log.i(TAG, result.candidates[0].text)
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error during recognition: $e")
    }

Java

recognizer.recognize(ink)
    .addOnSuccessListener(
        // `result` contains the recognizer's answers as a RecognitionResult.
        // Logs the text from the top candidate.
        result -> Log.i(TAG, result.getCandidates().get(0).getText()))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error during recognition: " + e));

以上程式碼範例假設已下載識別模型,如下一節所述。

管理模型下載

儘管數位墨水辨識 API 支援數百種語言,但每種語言都必須先下載一些資料才能識別。每種語言需要約 20MB 的儲存空間。這項操作由 RemoteModelManager 物件處理。

下載新模式

Kotlin

import com.google.mlkit.common.model.DownloadConditions
import com.google.mlkit.common.model.RemoteModelManager

var model: DigitalInkRecognitionModel =  ...
val remoteModelManager = RemoteModelManager.getInstance()

remoteModelManager.download(model, DownloadConditions.Builder().build())
    .addOnSuccessListener {
      Log.i(TAG, "Model downloaded")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while downloading a model: $e")
    }

Java

import com.google.mlkit.common.model.DownloadConditions;
import com.google.mlkit.common.model.RemoteModelManager;

DigitalInkRecognitionModel model = ...;
RemoteModelManager remoteModelManager = RemoteModelManager.getInstance();

remoteModelManager
    .download(model, new DownloadConditions.Builder().build())
    .addOnSuccessListener(aVoid -> Log.i(TAG, "Model downloaded"))
    .addOnFailureListener(
        e -> Log.e(TAG, "Error while downloading a model: " + e));

檢查是否已下載模型

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.isModelDownloaded(model)

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.isModelDownloaded(model);

刪除已下載的模型

從裝置儲存空間中移除模型,即可釋出空間。

Kotlin

var model: DigitalInkRecognitionModel =  ...
remoteModelManager.deleteDownloadedModel(model)
    .addOnSuccessListener {
      Log.i(TAG, "Model successfully deleted")
    }
    .addOnFailureListener { e: Exception ->
      Log.e(TAG, "Error while deleting a model: $e")
    }

Java

DigitalInkRecognitionModel model = ...;
remoteModelManager.deleteDownloadedModel(model)
                  .addOnSuccessListener(
                      aVoid -> Log.i(TAG, "Model successfully deleted"))
                  .addOnFailureListener(
                      e -> Log.e(TAG, "Error while deleting a model: " + e));

改善文字辨識準確度的訣竅

文字辨識的準確度可能因語言而異。準確率也取決於寫入樣式。雖然 Digital Ink Recognition 經過訓練,可處理各種類型的寫入樣式,但結果可能因使用者而異。

以下提供一些方法,可協助提高文字辨識器的準確度。請注意,這些技巧不適用於表情符號、自動繪圖及形狀的繪圖分類器。

書寫區域

許多應用程式都有使用者定義的寫入區域。符號的含義部分取決於其大小與包含該符號的寫入區域大小相比。例如,小寫英文字母「o」或「c」與半形逗號與正斜線的差異。

告訴辨識器寫入區域的寬度和高度,可以提高準確度。不過,辨識器會假設寫入區域只包含一行文字。如果實體寫入區域夠大,且使用者能夠編寫兩行或更多行,您可以傳入 WriteArea,其高度是您單行文字的高度估計值,進而獲得更好的結果。您傳送給辨識器的 WriteArea 物件不一定要與螢幕上的實體寫入區域完全一致。以這種方式變更 WriteArea 高度,在部分語言上效果會更好。

指定寫入區域時,請在和筆劃座標相同的單位中指定寬度和高度。x、y 座標引數沒有單位要求,API 會將所有單位正規化,因此最重要的是筆劃的相對大小和位置。您可以自由輸入任何適合您的系統的座標,

前後脈絡

預先結構定義是您嘗試辨識的 Ink 中筆觸之前的文字。建議你告訴他們,該前一部將說明背景資訊。

例如,「n」和「u」之類的草字經常被誤認。如果使用者已輸入部分字詞「arg」,他們可能會繼續系統判定為「ument」或「nment」的筆劃。指定前內容「arg」可解決混淆,因為「argument」這個字詞比「argnment」更有可能。

預先背景資訊也有助於辨識者辨識字詞換行,以及字詞之間的空格。您可以輸入空格字元,但無法畫出字元,該如何辨識內容是否能夠判斷某個字詞何時結束?如果使用者已寫入「hello」並繼續寫入「world」,則不需預先背景資訊,辨識器會傳回「world」字串。不過,如果您指定預先內容,「hello」則會傳回模型「亦即」字串 (亦即開頭的空格),因為「hello world」比「helloword」更合理。

您應提供最長的預先內容字串,長度上限為 20 個字元,包括空格。如果字串較長,辨識器只會使用最後 20 個字元。

以下程式碼範例說明如何定義寫入區域,並使用 RecognitionContext 物件指定預先背景資訊。

Kotlin

var preContext : String = ...;
var width : Float = ...;
var height : Float = ...;
val recognitionContext : RecognitionContext =
    RecognitionContext.builder()
        .setPreContext(preContext)
        .setWritingArea(WritingArea(width, height))
        .build()

recognizer.recognize(ink, recognitionContext)

Java

String preContext = ...;
float width = ...;
float height = ...;
RecognitionContext recognitionContext =
    RecognitionContext.builder()
                      .setPreContext(preContext)
                      .setWritingArea(new WritingArea(width, height))
                      .build();

recognizer.recognize(ink, recognitionContext);

筆觸排序

辨識準確度對筆觸順序的影響很敏感。辨識器會預期中生的筆劃順序會自然而然,例如由左到右書寫的英文。任何從這個模式下出現的案件 (例如從最後一個字詞開始編寫英文句子) 都會產生較不準確的結果。

再舉一例,移除 Ink 中間的文字後,替換成其他字詞。修訂版本可能位於句子中間,但修訂版本的筆劃可能出現在筆劃序列結尾。在這種情況下,我們建議您將新撰寫的字詞分別傳送到 API,並透過自己的邏輯將結果與之前的辨識結果合併。

處理模稜兩可的形狀

在某些情況下,提供給辨識器的形狀含義並不明確。舉例來說,矩形的極圓角可以視為矩形或刪節號。

當有這類不明確的案例時,使用分數 (如有) 即可加以處理。只有形狀分類器會提供分數。如果模型非常有信心,結果的分數會遠高於第二名。如果不確定,前兩名結果的分數將會很接近。另請注意,形狀分類器會將整個 Ink 解譯為單一形狀。舉例來說,如果 Ink 包含彼此相鄰的矩形和刪節號,由於辨識器無法表示兩個形狀,因此辨識器可能會傳回其中一個 (或完全不同的) 作為結果。