在 iOS 上使用 ML Kit 辨識圖片中的文字

您可以使用 ML Kit 辨識圖片或影片中的文字，例如路標上的文字。這項功能的主要特點如下：

Text Recognition v2 API
說明辨識圖片或影片中的文字，支援拉丁文、中文、天城文、日文和韓文，以及多種語言。
SDK 名稱GoogleMLKit/TextRecognition
GoogleMLKit/TextRecognitionChinese
GoogleMLKit/TextRecognitionDevanagari
GoogleMLKit/TextRecognitionJapanese
GoogleMLKit/TextRecognitionKorean
導入作業資產會在建構時靜態連結至應用程式
應用程式大小影響每個指令碼 SDK 約 38 MB
成效拉丁文字 SDK 在大多數裝置上可即時顯示，其他則較慢。

立即試用

事前準備

  1. 在 Podfile 中加入下列 ML Kit Pod： 
    # To recognize Latin script
pod 'GoogleMLKit/TextRecognition', '8.0.0'
# To recognize Chinese script
pod 'GoogleMLKit/TextRecognitionChinese', '8.0.0'
# To recognize Devanagari script
pod 'GoogleMLKit/TextRecognitionDevanagari', '8.0.0'
# To recognize Japanese script
pod 'GoogleMLKit/TextRecognitionJapanese', '8.0.0'
# To recognize Korean script
pod 'GoogleMLKit/TextRecognitionKorean', '8.0.0'
  2. 安裝或更新專案的 Pod 後，請使用專案的 .xcworkspace 開啟 Xcode 專案。Xcode 12.4 以上版本支援 ML Kit。

1. 建立 TextRecognizer 的執行個體

呼叫 +textRecognizer(options:)，並傳遞與您在上方宣告為依附元件的 SDK 相關選項，藉此建立 TextRecognizer 的例項：

Swift

// When using Latin script recognition SDK
let latinOptions = TextRecognizerOptions()
let latinTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Chinese script recognition SDK
let chineseOptions = ChineseTextRecognizerOptions()
let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Devanagari script recognition SDK
let devanagariOptions = DevanagariTextRecognizerOptions()
let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Japanese script recognition SDK
let japaneseOptions = JapaneseTextRecognizerOptions()
let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Korean script recognition SDK
let koreanOptions = KoreanTextRecognizerOptions()
let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)

Objective-C

// When using Latin script recognition SDK
MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init];
MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Chinese script recognition SDK
MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init];
MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Devanagari script recognition SDK
MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init];
MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Japanese script recognition SDK
MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init];
MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Korean script recognition SDK
MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init];
MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

2. 準備輸入圖片

將圖片做為 UIImage 或 CMSampleBufferRef 傳遞至 TextRecognizer 的 process(_:completion:) 方法：

使用 UIImage 或 CMSampleBuffer 建立 VisionImage 物件。

如果你使用 UIImage，請按照下列步驟操作：

  • 使用 UIImage 建立 VisionImage 物件。請務必指定正確的 .orientation。

    Swift

    let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

    Objective-C

    MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

如果你使用 CMSampleBuffer，請按照下列步驟操作：

  • 指定 CMSampleBuffer 中所含圖片資料的方向。

    如要取得圖片方向，請按照下列步驟操作：

    Swift

    func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

    Objective-C

    - (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}
  • 使用 CMSampleBuffer 物件和方向建立 VisionImage 物件：

    Swift

    let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

    Objective-C

     MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. 處理圖片

接著，將圖片傳遞至 process(_:completion:) 方法：

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. 從辨識出的文字區塊擷取文字

如果文字辨識作業成功，系統會傳回 Text 物件。Text 物件包含圖片中辨識到的完整文字，以及零或多個 TextBlock 物件。

每個 TextBlock 代表一個矩形文字區塊，其中包含零或多個 TextLine 物件。每個 TextLine 物件都包含零個或多個 TextElement 物件，代表字詞和類似字詞的實體，例如日期和數字。

針對每個 TextBlock、TextLine 和 TextElement 物件，您可以取得在區域中辨識的文字，以及該區域的邊界座標。

例如：

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

輸入圖片規範

  • 如要讓 ML Kit 準確辨識文字，輸入圖片必須包含以足夠像素資料呈現的文字。在理想情況下，每個字元至少應為 16x16 像素。一般來說，字元大於 24x24 像素時，準確度不會提升。

    舉例來說，如果名片佔滿圖片寬度，640x480 的圖片可能就非常適合掃描。如要掃描印在 Letter 尺寸紙張上的文件，可能需要 720x1280 像素的圖片。

  • 如果圖片對焦不佳，可能會影響文字辨識準確度。如果結果不盡理想，請要求使用者重新拍攝圖片。

  • 如果您要在即時應用程式中辨識文字，請考量輸入圖片的整體尺寸。較小的圖片處理速度較快。為減少延遲，請確保文字盡可能占滿圖片，並以較低解析度拍攝圖片 (請注意上述準確度規定)。詳情請參閱「提升效能的訣竅」。

提升成效的訣竅

  • 如要處理影片影格，請使用偵測器的 results(in:) 同步 API。從 AVCaptureVideoDataOutputSampleBufferDelegate 的 captureOutput(_, didOutput:from:) 函式呼叫這個方法，即可從指定影片影格同步取得結果。將 AVCaptureVideoDataOutput 的 alwaysDiscardsLateVideoFrames 設為 true，以節流對偵測器的呼叫。如果偵測器執行期間有新的視訊影格可用，系統會捨棄該影格。
  • 如果使用偵測器的輸出內容，在輸入圖片上疊加圖像，請先從 ML Kit 取得結果，然後在單一步驟中算繪圖片並疊加圖像。這樣一來，每個處理過的輸入影格只會轉譯到顯示表面一次。如需範例，請參閱 ML Kit 快速入門範例中的 updatePreviewOverlayViewWithLastFrame。
  • 建議您以較低的解析度拍攝圖片。但請注意，這個 API 的圖片尺寸也有相關規定。
  • 為避免效能可能降低，請勿同時執行多個具有不同指令碼選項的 TextRecognizer 執行個體。