Riconoscimento inchiostro digitale

Con l'API Digital Ink riconosce l'API ML, puoi riconoscere il testo scritto a mano e classificare i gesti su una superficie digitale in centinaia di lingue, nonché classificare gli schizzi. L'API Digital Ink Detection utilizza la stessa tecnologia utilizzata per il riconoscimento della scrittura a mano libera in Gboard, Google Traduttore e nel gioco Quick, Draw!.

Il riconoscimento dell'inchiostro digitale ti consente di:

  • Scrivi sullo schermo anziché digitare su una tastiera virtuale. Consente agli utenti di tracciare caratteri non disponibili sulla tastiera, ad esempio ệ, अ o 森 per tastiere dell'alfabeto latino.
  • Eseguire operazioni di base del testo (navigazione, modifica, selezione e così via) utilizzando i gesti.
  • Scopri emoji e forme disegnate a mano.

Il riconoscimento dell'inchiostro digitale funziona con le pennellate che l'utente disegna sullo schermo. Se devi leggere il testo delle immagini scattate con la fotocamera, utilizza l'API Text Recognition.

Il riconoscimento dell'inchiostro digitale funziona completamente offline ed è supportato su Android e iOS.

iOS Android

Funzionalità chiave

  • Converte il testo scritto a mano in sequenze di caratteri Unicode
  • Esecuzione sul dispositivo quasi in tempo reale
  • La scrittura a mano libera dell'utente rimane sul dispositivo, il riconoscimento viene eseguito senza nessuna connessione di rete
  • Supporta oltre 300 lingue e oltre 25 sistemi di scrittura; consulta l'elenco completo delle lingue supportate
  • Riconosce emoji e forme di base
  • Limita lo spazio di archiviazione on-device scaricando dinamicamente i language pack in base alle necessità

Il sistema di riconoscimento prende un oggetto Ink come input. Ink è una rappresentazione vettoriale di ciò che l'utente ha scritto sullo schermo: una sequenza di tratti, ognuno dei quali è un elenco di coordinate con informazioni temporali chiamate punti di contatto. Un ictus inizia quando l'utente solleva lo stilo o il dito e termina con il sollevamento. Il Ink viene passato a un riconoscimentore, che restituisce uno o più possibili risultati di riconoscimento con livelli di confidenza.

Esempi

Scrittura a mano libera in inglese

L'immagine a sinistra di seguito mostra ciò che l'utente ha disegnato sullo schermo. L'immagine a destra è l'oggetto Ink corrispondente. Contiene dei tratti con punti rossi che rappresentano i punti di contatto all'interno di ogni tratto.

    

Ci sono quattro bracciate. I primi due tratti nell'oggetto Ink hanno il seguente aspetto:

Inchiostro
Tratto 1 x 392, 391, 389, 287...
y 52, 60, 76, 97, ...
t 0, 37, 56, 75, ...
Tratto 2 x 497, 494, 493, 490...
y 167, 165, 165, 165, ...
t 694, 742, 751, 770, ...

Quando invii Ink a un sistema di riconoscimento per la lingua inglese, vengono restituite diverse possibili trascrizioni, contenenti cinque o sei caratteri. Vengono ordinati in base alla diminuzione di affidabilità:

Risultato del riconoscimento
Candidato al riconoscimento n. 1 CANNOT TRANSLATE
Candidato per il riconoscimento n. 2 Handrw
Candidato al riconoscimento n. 3 CANNOT TRANSLATE
Candidato al riconoscimento n. 4 Handu
Candidato per il riconoscimento n. 5 Handwe

Gesti

I classificatori dei gesti classificano un tratto di inchiostro in una delle nove classi di gesti elencate di seguito.

Gesto Esempio
arch:above
arch:below
caret:above
caret:below
circle
angolo:giù a sinistra
scribble
strike
verticalbar
writing

schizzi di emoji

L'immagine a sinistra di seguito mostra ciò che l'utente ha disegnato sullo schermo. L'immagine a destra è l'oggetto Ink corrispondente. Contiene dei tratti con punti rossi che rappresentano i punti di contatto all'interno di ogni tratto.

    

L'oggetto Ink contiene sei tratti.

           

Inchiostro
Tratto 1 x 269, 266, 262, 255...
y 40, 40, 40, 41...
t 0, 36, 56, 75, ...
Tratto 2 x 179, 182, 183, 185, ...
y 157, 158, 159, 160, ...
t 2475, 2522, 2531, 2541, ...

Quando invii questo Ink allo strumento di riconoscimento delle emoji, ricevi diverse possibili trascrizioni, ordinate in base alla minore affidabilità:

Risultato del riconoscimento
Candidato al riconoscimento n. 1 ⇨ (U+1f62d)
Candidato per il riconoscimento n. 2 [=] (U+1F605)
Candidato al riconoscimento n. 3 😹 (U+1f639)
Candidato al riconoscimento n. 4 📱 (U+1f604)
Candidato per il riconoscimento n. 5 Con Google (U+1f606)