OCR con AI in locale: 7.444 pagine senza cloud (e con una scheda grafica da 8 GB)

In sintesi: In questo approfondimento di CIAO, la rubrica di ELAN42 su intelligenza artificiale e innovazione, raccontiamo un test di campo reale condotto insieme a SFS.it di Agostino Zanutto. 7.444 pagine di un dizionario storico digitalizzate in casa, senza inviare un solo dato al cloud, usando una GPU consumer e un approccio artigianale.

La domanda: serve davvero il Cloud per la digitalizzazione documentale?

C’è una domanda che ci viene posta continuamente in ELAN42: conviene inviare i nostri documenti a un servizio di intelligenza artificiale in cloud, o si può fare tutto in casa?

La risposta onesta è che dipende, e l’unico modo per scoprirlo è testare la tecnologia su un caso reale e complesso.

Insieme a SFS.it di Agostino Zanutto abbiamo messo alla prova l’hardware di ELAN42 su un gigante della nostra lingua: il Dizionario della lingua italiana di Niccolò Tommaseo e Bernardo Bellini (Torino, 1861–1879), composto da otto tomi e conservato nelle scansioni ad alta risoluzione dall’Accademia della Crusca.

L’obiettivo non era rendere pubblica un’opera già accessibile, ma ricostruire l’intero testo in locale, analizzando tempi, costi, consumo di risorse ed errori. La differenza tra consultare un servizio esterno e possedere il corpus sulla propria scrivania.

La vera sfida: l’impaginazione (non la potenza)

Le previsioni iniziali erano sbagliate. Pensavamo che il limite principale risiedesse nella qualità delle scansioni o nella grafia ottocentesca. Invece, il vero ostacolo era l’impaginazione.

Una pagina di dizionario ha tre colonne strettissime, righe fitte e abbreviazioni continue. Elaborato come una pagina intera, il modello entrava in un “ciclo degenerativo”: perdeva il filo tra le colonne e iniziava a ripetere la stessa sequenza di parole, creando un testo plausibile nell’aspetto, ma completamente inventato

La lezione per le aziende: Quando si valuta l’output di un modello AI, la domanda giusta non è “è corretto?”, ma “come fallisce quando fallisce?”. Un errore evidente si corregge subito; un errore che sembra verosimile rischia di contaminare un intero archivio aziendale.

La soluzione: metodo e ingegneria, non hardware più costoso

Di fronte a un errore, l’istinto comune è quello di acquistare modelli più grandi o potenza di calcolo costosa. Non è servito.

È bastato modificare il flusso di lavoro: invece di elaborare la pagina intera, abbiamo somministrato al modello una porzione di testo alla volta nell’ordine corretto. Stesso hardware, stesso modello, risultato opposto.

Attorno a questa scelta abbiamo implementato due protezioni fondamentali:

• Un controllo di qualità automatico che riconosce la trascrizione “impazzita” e la scarta prima dell’archiviazione.
• Un sistema di ripresa automatica: ogni pagina completata viene salvata e saltata nei cicli successivi, consentendo all’elaborazione di essere interrotta e ripresa in qualsiasi momento senza perdere il lavoro svolto.

I numeri dell’esperimento

Tutti i dati sono stati misurati e registrati su un’infrastruttura standard ELAN42: una scheda grafica GeForce GTX 1070 da 8 GB (un hardware consumer di qualche anno fa).

Trasparenza sui limiti: l’importanza della verificabilità

In ELAN42 crediamo che un risultato senza un margine d’errore dichiarato sia inutilizzabile in produzione:

• L’errore di trascrizione residuo si attesta tra lo 0,5% e il 2%.
• Ogni voce conserva il riferimento preciso al tomo e alla pagina originale: se la macchina commette un errore, l’utente viene indirizzato in un secondo all’immagine di origine per la verifica umana.

Inoltre, applicando il principio del digitale sostenibile, abbiamo rimosso l’AI dai passaggi in cui non portava valore: la ricomposizione finale delle voci è stata completata con zero interventi del modello, garantendo la massima fedeltà storica.

Chi propone l’intelligenza artificiale per qualsiasi fase di un processo, di solito, non l’ha mai misurata sul campo.

Cosa significa questo per la tua azienda?

Questo progetto dimostra quattro principi fondamentali validi per la gestione documentale aziendale:

• Il collo di bottiglia non è la potenza di calcolo: Il fattore determinante è l’ingegnerizzazione del processo (come si scompone il lavoro, come si gestiscono le eccezioni), non la dimensione dell’infrastruttura.
• Privacy e Sovranità dei dati: Lavorare in locale garantisce che i documenti riservati, gli archivi o i dati sensibili non escano mai dall’infrastruttura aziendale.
• Costi certi e prevedibili: Un’elaborazione in casa richiede hardware ed energia, eliminando i costi incerti legati alle API a consumo per pagina o per token.
• Sapere dove NON usare l’AI: Usare l’algoritmo solo dove serve davvero è il segreto per mantenere alti gli standard di qualità e bassi i costi.

Nota di trasparenza: Il lavoro è stato condotto in collaborazione tra SFS.it di Agostino Zanutto (titolare dei diritti sui documenti generati e sul processo sviluppato) ed ELAN42, che ha fornito l’hardware di testing. Testo del dizionario: Tommaseo-Bellini (pubblico dominio). Scansioni ad alta risoluzione: Biblioteca Digitale dell’Accademia della Crusca.