借助机器学习套件的数字手写识别功能，您可以识别数字平面上数百种语言的手写文本，还可以对草图进行分类。
试试看
- 试用示例应用，了解此 API 的用法示例。
准备工作
在 Podfile 中添加以下机器学习套件库：
pod 'GoogleMLKit/DigitalInkRecognition', '3.2.0'安装或更新项目的 Pod 之后，请使用 Xcode 项目的
.xcworkspace来打开该项目。Xcode 13.2.1 版或更高版本支持机器学习套件。
现在，您可以开始识别 Ink 对象中的文本了。
构建 Ink 对象
构建 Ink 对象的主要方式是在触摸屏上绘制该对象。在 iOS 上，您可以结合使用 UIImageView 和触摸事件处理脚本，在屏幕上绘制笔画并存储笔触的点，从而构建 Ink 对象。以下代码段演示了这种通用模式。如需查看更完整的示例，请参阅快速入门应用，该示例将触摸事件处理、屏幕绘制和描边数据管理分离开来。
Swift
@IBOutlet weak var mainImageView: UIImageView!
var kMillisecondsPerTimeInterval = 1000.0
var lastPoint = CGPoint.zero
private var strokes: [Stroke] = []
private var points: [StrokePoint] = []
func drawLine(from fromPoint: CGPoint, to toPoint: CGPoint) {
UIGraphicsBeginImageContext(view.frame.size)
guard let context = UIGraphicsGetCurrentContext() else {
return
}
mainImageView.image?.draw(in: view.bounds)
context.move(to: fromPoint)
context.addLine(to: toPoint)
context.setLineCap(.round)
context.setBlendMode(.normal)
context.setLineWidth(10.0)
context.setStrokeColor(UIColor.white.cgColor)
context.strokePath()
mainImageView.image = UIGraphicsGetImageFromCurrentImageContext()
mainImageView.alpha = 1.0
UIGraphicsEndImageContext()
}
override func touchesBegan(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
lastPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points = [StrokePoint.init(x: Float(lastPoint.x),
y: Float(lastPoint.y),
t: Int(t * kMillisecondsPerTimeInterval))]
drawLine(from:lastPoint, to:lastPoint)
}
override func touchesMoved(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
}
override func touchesEnded(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
strokes.append(Stroke.init(points: points))
self.points = []
doRecognition()
}
Objective-C
// Interface @property (weak, nonatomic) IBOutlet UIImageView *mainImageView; @property(nonatomic) CGPoint lastPoint; @property(nonatomic) NSMutableArray*strokes; @property(nonatomic) NSMutableArray *points; // Implementations static const double kMillisecondsPerTimeInterval = 1000.0; - (void)drawLineFrom:(CGPoint)fromPoint to:(CGPoint)toPoint { UIGraphicsBeginImageContext(self.mainImageView.frame.size); [self.mainImageView.image drawInRect:CGRectMake(0, 0, self.mainImageView.frame.size.width, self.mainImageView.frame.size.height)]; CGContextMoveToPoint(UIGraphicsGetCurrentContext(), fromPoint.x, fromPoint.y); CGContextAddLineToPoint(UIGraphicsGetCurrentContext(), toPoint.x, toPoint.y); CGContextSetLineCap(UIGraphicsGetCurrentContext(), kCGLineCapRound); CGContextSetLineWidth(UIGraphicsGetCurrentContext(), 10.0); CGContextSetRGBStrokeColor(UIGraphicsGetCurrentContext(), 1, 1, 1, 1); CGContextSetBlendMode(UIGraphicsGetCurrentContext(), kCGBlendModeNormal); CGContextStrokePath(UIGraphicsGetCurrentContext()); CGContextFlush(UIGraphicsGetCurrentContext()); self.mainImageView.image = UIGraphicsGetImageFromCurrentImageContext(); UIGraphicsEndImageContext(); } - (void)touchesBegan:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; self.lastPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; self.points = [NSMutableArray array]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:self.lastPoint.x y:self.lastPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:self.lastPoint]; } - (void)touchesMoved:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; } - (void)touchesEnded:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; if (self.strokes == nil) { self.strokes = [NSMutableArray array]; } [self.strokes addObject:[[MLKStroke alloc] initWithPoints:self.points]]; self.points = nil; [self doRecognition]; }
请注意，此代码段包含一个示例函数，该函数会将笔触绘制到 UIImageView 中，并应根据您的应用需要对其进行调整。我们建议在绘制线段时使用圆帽，这样长度为零的线段将被绘制为点（假设是小写字母 i 上的点）。每次写入后都会调用 doRecognition() 函数，具体定义如下所示。
获取 DigitalInkRecognizer 的实例
为了执行识别，我们需要将 Ink 对象传递给 DigitalInkRecognizer 实例。如需获取 DigitalInkRecognizer 实例，我们首先需要下载所需语言的识别器模型，并将该模型加载到 RAM 中。这可以通过以下代码段实现，为简单起见，该代码段放置在 viewDidLoad() 方法中，并使用硬编码的语言名称。如需查看有关如何向用户显示可用语言列表并下载所选语言的示例，请参阅快速入门应用。
Swift
override func viewDidLoad() {
super.viewDidLoad()
let languageTag = "en-US"
let identifier = DigitalInkRecognitionModelIdentifier(forLanguageTag: languageTag)
if identifier == nil {
// no model was found or the language tag couldn't be parsed, handle error.
}
let model = DigitalInkRecognitionModel.init(modelIdentifier: identifier!)
let modelManager = ModelManager.modelManager()
let conditions = ModelDownloadConditions.init(allowsCellularAccess: true,
allowsBackgroundDownloading: true)
modelManager.download(model, conditions: conditions)
// Get a recognizer for the language
let options: DigitalInkRecognizerOptions = DigitalInkRecognizerOptions.init(model: model)
recognizer = DigitalInkRecognizer.digitalInkRecognizer(options: options)
}
Objective-C
- (void)viewDidLoad {
[super viewDidLoad];
NSString *languagetag = @"en-US";
MLKDigitalInkRecognitionModelIdentifier *identifier =
[MLKDigitalInkRecognitionModelIdentifier modelIdentifierForLanguageTag:languagetag];
if (identifier == nil) {
// no model was found or the language tag couldn't be parsed, handle error.
}
MLKDigitalInkRecognitionModel *model = [[MLKDigitalInkRecognitionModel alloc]
initWithModelIdentifier:identifier];
MLKModelManager *modelManager = [MLKModelManager modelManager];
[modelManager downloadModel:model conditions:[[MLKModelDownloadConditions alloc]
initWithAllowsCellularAccess:YES
allowsBackgroundDownloading:YES]];
MLKDigitalInkRecognizerOptions *options =
[[MLKDigitalInkRecognizerOptions alloc] initWithModel:model];
self.recognizer = [MLKDigitalInkRecognizer digitalInkRecognizerWithOptions:options];
}
快速入门应用包含额外的代码，展示如何同时处理多个下载，以及如何通过处理完成通知来确定哪些下载已成功完成。
识别 Ink 对象
接下来，我们来了解一下 doRecognition() 函数；为简单起见，我们从 touchesEnded() 调用该函数。在其他应用中，可能希望仅在超时后或用户按下某个按钮触发识别后调用识别。
Swift
func doRecognition() {
let ink = Ink.init(strokes: strokes)
recognizer.recognize(
ink: ink,
completion: {
[unowned self]
(result: DigitalInkRecognitionResult?, error: Error?) in
var alertTitle = ""
var alertText = ""
if let result = result, let candidate = result.candidates.first {
alertTitle = "I recognized this:"
alertText = candidate.text
} else {
alertTitle = "I hit an error:"
alertText = error!.localizedDescription
}
let alert = UIAlertController(title: alertTitle,
message: alertText,
preferredStyle: UIAlertController.Style.alert)
alert.addAction(UIAlertAction(title: "OK",
style: UIAlertAction.Style.default,
handler: nil))
self.present(alert, animated: true, completion: nil)
}
)
}
Objective-C
- (void)doRecognition {
MLKInk *ink = [[MLKInk alloc] initWithStrokes:self.strokes];
__weak typeof(self) weakSelf = self;
[self.recognizer
recognizeInk:ink
completion:^(MLKDigitalInkRecognitionResult *_Nullable result,
NSError *_Nullable error) {
typeof(weakSelf) strongSelf = weakSelf;
if (strongSelf == nil) {
return;
}
NSString *alertTitle = nil;
NSString *alertText = nil;
if (result.candidates.count > 0) {
alertTitle = @"I recognized this:";
alertText = result.candidates[0].text;
} else {
alertTitle = @"I hit an error:";
alertText = [error localizedDescription];
}
UIAlertController *alert =
[UIAlertController alertControllerWithTitle:alertTitle
message:alertText
preferredStyle:UIAlertControllerStyleAlert];
[alert addAction:[UIAlertAction actionWithTitle:@"OK"
style:UIAlertActionStyleDefault
handler:nil]];
[strongSelf presentViewController:alert animated:YES completion:nil];
}];
}
管理模型下载
我们已经介绍了如何下载识别模型。以下代码段说明了如何检查模型是否已下载，或在不再需要模型时删除模型以恢复存储空间。
检查模型是否已下载
Swift
let model : DigitalInkRecognitionModel = ... let modelManager = ModelManager.modelManager() modelManager.isModelDownloaded(model)
Objective-C
MLKDigitalInkRecognitionModel *model = ...; MLKModelManager *modelManager = [MLKModelManager modelManager]; [modelManager isModelDownloaded:model];
删除已下载的模型
Swift
let model : DigitalInkRecognitionModel = ...
let modelManager = ModelManager.modelManager()
if modelManager.isModelDownloaded(model) {
modelManager.deleteDownloadedModel(
model!,
completion: {
error in
if error != nil {
// Handle error
return
}
NSLog(@"Model deleted.");
})
}
Objective-C
MLKDigitalInkRecognitionModel *model = ...;
MLKModelManager *modelManager = [MLKModelManager modelManager];
if ([self.modelManager isModelDownloaded:model]) {
[self.modelManager deleteDownloadedModel:model
completion:^(NSError *_Nullable error) {
if (error) {
// Handle error.
return;
}
NSLog(@"Model deleted.");
}];
}
提高文字识别准确性的提示
文本识别的准确度因语言而异。准确性还取决于写作风格。虽然数字手写识别经过训练后可以处理多种书写风格，但结果可能会因用户而异。
下面是提高文本识别器准确性的一些方法。请注意，这些技术不适用于表情符号、autodraw 和形状的绘制分类器。
书写区域
许多应用都有一个明确定义的书写区域，供用户输入。符号的含义部分取决于该符号的大小（相对于包含它的书写区域的大小）。例如，大小写字母“o”或“c”与英文逗号与正斜杠之间的差异。
告知识别器书写区域的宽度和高度可以提高准确性。但是，识别器假定书写区域仅包含单行文本。如果实际书写区域足够大，允许用户撰写两行或多行内容，则通过传入一个高度为单行文本高度的最佳估计值 WriteArea，您可以获得更好的结果。您传递给识别器的 writingArea 对象不一定要与屏幕上的物理书写区域完全一致。以这种方式更改 WriterArea 高度在某些语言中的效果优于其他语言。
指定书写区域时，应以笔画坐标的单位指定其宽度和高度。x,y 坐标参数没有单位要求 - API 会标准化所有单位，因此唯一重要的是描边的相对大小和位置。您可以随意传入对您的系统有意义的任何缩放比例的坐标。
上下文前
上下文前置文本是指紧跟在您尝试识别的 Ink 中的笔画之前的文本。您可以通过向识别器告知预先上下文信息来帮助识别器。
例如，手写体的字母“n”和“u”经常会被混淆。如果用户已经输入了部分单词“arg”，则它们可能会以可被识别为“ument”或“nment”的笔画继续。指定上下文前上下文“arg”可解决歧义，因为单词“argument”更可能出现“argnment”。
预先上下文还有助于识别器识别分词符，即字词之间的空格。您可以输入空格字符，但无法绘制字符，那么识别器如何确定一个单词何时结束以及下一个单词何时开始？如果用户已经写了“hello”，并且以书面单词“world”继续，则没有预先上下文的识别器会返回字符串“world”。但是，如果指定前上下文“hello”，模型将返回字符串“world”，并带有前导空格，因为“hello world”比“helloword”更有意义。
您应提供尽可能最长的上下文前字符串，最多 20 个字符（包括空格）。如果字符串较长，识别器仅使用最后 20 个字符。
以下代码示例展示了如何定义书写区域并使用 RecognitionContext 对象指定预上下文。
Swift
let ink: Ink = ...;
let recognizer: DigitalInkRecognizer = ...;
let preContext: String = ...;
let writingArea = WritingArea.init(width: ..., height: ...);
let context: DigitalInkRecognitionContext.init(
preContext: preContext,
writingArea: writingArea);
recognizer.recognizeHandwriting(
from: ink,
context: context,
completion: {
(result: DigitalInkRecognitionResult?, error: Error?) in
if let result = result, let candidate = result.candidates.first {
NSLog("Recognized \(candidate.text)")
} else {
NSLog("Recognition error \(error)")
}
})
Objective-C
MLKInk *ink = ...;
MLKDigitalInkRecognizer *recognizer = ...;
NSString *preContext = ...;
MLKWritingArea *writingArea = [MLKWritingArea initWithWidth:...
height:...];
MLKDigitalInkRecognitionContext *context = [MLKDigitalInkRecognitionContext
initWithPreContext:preContext
writingArea:writingArea];
[recognizer recognizeHandwritingFromInk:ink
context:context
completion:^(MLKDigitalInkRecognitionResult
*_Nullable result, NSError *_Nullable error) {
NSLog(@"Recognition result %@",
result.candidates[0].text);
}];
笔画排序
识别的准确度与笔画的顺序密切相关。识别器期望笔画按照用户自然书写的顺序出现；例如，从左到右表示英语。任何不遵循此模式的情况（例如，编写以最后一个单词开头的英语句子）所获得的结果准确性较低。
另一个例子是，Ink 中间的某个单词被移除并替换为另一个单词。修订可能在句子的中间，但修订的笔画位于笔画序列的末尾。在这种情况下，我们建议您将新写入的单词单独发送到 API，并使用您自己的逻辑将结果与之前的识别合并。
处理不明确的形状
在某些情况下，提供给识别器的形状含义不明确。例如，边缘非常圆角的矩形可以看作矩形或椭圆形。
这些不明确的情况可以通过使用识别得分（如果有）来处理。只有形状分类器会提供分数。如果模型的置信度非常高，则最佳结果的得分将远远优于第二名结果。如果存在不确定性，前两个结果的得分将接近。另请注意，形状分类器会将整个 Ink 解释为单个形状。例如，如果 Ink 包含一个矩形和一个相邻的椭圆，则识别器可能会返回其中一个（或完全不同的内容），因为单个识别候选对象不能表示两个形状。