Natural Language Processing (NLP): come funziona l’elaborazione del linguaggio naturale

17 aprile 2023 / Di Redazione Osservatori Digital Innovation / 0 Comments

Tra i sistemi di Intelligenza Artificiale, il Natural Language Processing (NLP) rientra tra le soluzioni software che negli ultimi anni hanno registrato maggiori progressi. Correttori ortografici e sistemi di traduzione automatici sono solo alcune delle applicazioni di NLP che usiamo nella vita quotidiana. Grazie al contributo di tecniche di Artificial Intelligence sempre più avanzate, come Machine Learning e Deep Learning, l’NLP trova numerosi ambiti applicativi, anche se la strada da percorrere è ancora lunga per una lingua complessa come l’italiano, caratterizzata da modi di dire, espressioni gergali e influenzata da numerosi dialetti. Se guardiamo al futuro, però, scopriamo che queste soluzioni possiedono un elevato potenziale. Vediamo come funzionano le tecniche di NLP, ricostruendo il panorama di riferimento in Italia.

Che cos’è il Natural Language Processing?

Per Natural Language Processing o elaborazione del linguaggio naturale si intendono algoritmi di intelligenza artificiale in grado di analizzare, rappresentare e quindi comprendere il linguaggio naturale. Le finalità possono variare dalla comprensione del contenuto, alla traduzione, fino alla produzione di testo in modo autonomo a partire da dati o documenti forniti in input.

Perché sono importanti le tecniche di NLP? A differenza dei linguaggi di programmazione, che seguono regole ben precise e sono facilmente interpretabili dalle macchine, la lingua da noi utilizzata non è facilmente rappresentabile. Ma poiché interagiamo con le macchine quotidianamente, è necessario creare sistemi in grado di comprendere e rispondere all’uomo. Ed è qui che entra in gioco la linguistica computazionale – lo studio di sistemi informatici per l’analisi e l’elaborazione del linguaggio naturale –, che si concentra sullo studio del funzionamento del linguaggio naturale in modo da elaborare programmi eseguibili dalle macchine.

Come funzionano le tecniche di NLP?

L’NLP si occupa principalmente di testi, intesi come sequenze di parole che in una lingua esprimono uno o più messaggi (es. pagine web, post, tweet, log, informazioni aziendali), mentre l’elaborazione del parlato (riconoscimento vocale) è considerato un ambito a sé.

Il dialogo tra uomo e macchina coinvolge diversi aspetti, quali fonetica, fonologia, morfologia, sintassi, semantica, pragmatica e il discorso nel suo complesso. Di conseguenza, sono numerosi i task di NLP che automatizzano queste aree, ad esempio compiti semplici come:

  • il riconoscimento della lingua;
  • la scomposizione della frase in unità elementari;
  • l’analisi semantica;
  • l’analisi del sentiment.

Per svolgere questi compiti, le imprese adottano numerosi task di NLP:

  • Text Analysis: analisi di un testo e, laddove richiesto, individuazione di elementi chiave (es. argomenti, persone, date);
  • Text Classification: interpretazione di un testo per classificarlo in una categoria predefinita (es. spam);
  • Sentiment Analysis: rilevamento dell’umore all’interno di un testo (es. recensione positiva/negativa);
  • Intent Monitoring: comprensione del testo per prevedere comportamenti futuri (es. la volontà di acquisto da parte di un cliente);
  • Smart Search: ricerca, all’interno di archivi, dei documenti che meglio corrispondono ad un’interrogazione posta in linguaggio naturale;
  • Text Generation: generazione automatic di un testo;
  • Automatic Summarization: produzione di una versione sintetica di uno o più documenti testuali;
  • Language Translation: traduzione di testi scegliendo, volta per volta, il significato migliore a seconda del contesto.

Vuoi restare sempre aggiornato sui temi dell'Osservatorio Artificial Intelligence?

Scopri gli abbonamenti

 

Le applicazioni di Natural Language Processing

Le imprese sono sempre più interessate alle soluzioni di Natural Language Processing. Sono diverse le opportunità di business dei sistemi di elaborazione del linguaggio naturale per il business:

  • analisi di email aziendali (es. per riconoscere messaggi indesiderati e classificare per argomento la posta in arrivo);
  • estrazione di informazioni da documenti di governance, quali report e procedure, per garantirne una rapida consultazione;
  • progetti per l’analisi di documenti amministrativi, quali fatture e contratti, e soluzioni per l’analisi delle comunicazioni interne all’azienda quali mail di help-desk;
  • analisi di post sui Social Network (es. per comprendere il sentiment degli utenti e consolidare la brand reputation dell’azienda);
  • algoritmi per comprendere le query di navigazione nei siti web e reindirizzare correttamente la ricerca;
  • soluzioni per l’analisi di notizie giornalistiche, ad esempio per riconoscere le fake news.

Quanto sono diffuse le soluzioni di NLP in Italia?

Tali applicazioni mostrano un livello di adozione ancora modesto nel nostro Paese. La spiegazione si trova in una serie di criticità rilevate dalle organizzazioni che hanno iniziato a lavorarci.

Innanzitutto bisogna fare i conti con la mancanza di dataset già pronti per l’addestramento del motore di intelligenza artificiale, di conseguenza occorrono investimenti significativi di tempo e risorse per preparare un dataset adeguato. Alcune imprese sfruttano dati di proprietà – che però devono essere puliti ed etichettati per il training – ma non mancano gli acquisti di dati da provider specializzati e collaborazioni con altri attori della filiera, quali Vertical Solution Provider, consulenti o System Integrator.

Inoltre, servono competenze interne specifiche per lo sviluppo di queste soluzioni e la lingua italiana non sempre garantisce prestazioni adeguate in termini di comprensione della lingua e delle sue declinazioni. A questo ostacolo, già critico, si aggiungono le difficoltà nel comprendere il sentiment del testo e nel dedurne di conseguenza il significato reale. E guardando al futuro, è proprio questa una delle sfide principali per l’NLP: il Quality Natural Language Understanding, ossia l’identificazione dell’ironia e del buon senso.

Machine Learning, Deep Learning e NLP

Il passato, il presente, ma soprattutto il futuro del NLP si intrecciano con le tecniche di Machine Learning e Deep Learning. Negli anni Novanta nasce il Natural Language Processing statistico, un insieme di approcci basati sull’utilizzo di Machine Learning, quindi sull’apprendimento dai dati, che hanno la capacità di arricchire il modello alla loro base a fronte di ulteriori dati.

Spostandoci intorno agli anni 2000 (ma soprattutto negli ultimi anni) si rilevano numerosi sviluppi nell’applicazione di reti neurali artificiali all’elaborazione del linguaggio naturale.

Oggi l’NLP ci pone di fronte all’analisi di frasi complesse, che per essere interpretate correttamente devono essere scomposte in unità elementari: le parole. E oltre all’analisi della singola parola, è necessaria la comprensione della semantica dell’intera frase. Da un punto di vista tecnico, per passare dalla dimensione di analisi della singola parola alla comprensione della frase nel suo complesso (Natural Language Understanding), sono principalmente tre i task da prendere in considerazione:

  • Word Sensing Disambiguation: associare alle parole, nel contesto, i corretti significati (es. nei motori di ricerca online);
  • Semantic Role Labeling: portare l’attenzione su una parola e cercare di evidenziare lo scenario di utilizzo e identificare i ruoli all’interno della frase (es. per eseguire comandi in ambito Smart Home);
  • Semantic Parsing: trasformare il testo in una rappresentazione semantica strutturata (nella pratica, rispondere a domande data una specifica frase e una collezione di documenti)

E in un contesto dove il Deep Learning sta potenziando sempre di più le capacità del NLP, nel 2020 è si è registrato un traguardo importante nel mondo dell’interpretazione del linguaggio naturale. OpenAI, organizzazione no profit per la ricerca sull’intelligenza artificiale, ha rilasciato il suo ultimo modello linguistico basato su reti neurali – GPT-3 o Generative Pre-trained Transformer 3 – che a oggi risulta la rete con più parametri mai addestrata. Questo modello è integrato interamente in Chat GPT e lo vede ulteriormente ottimizzato con l'utilizzo di GPT-4.

Ma se è vero che la nascita di reti neurali sempre più complesse apre la strada ad applicazioni sempre più sofisticati, non sempre è necessario ricorrere a modelli così complessi, soprattutto perché tali reti richiedono un’ingente quantità di dati per poter essere utilizzate.


Vuoi scoprire tutte le opportunità offerte dalle nuove tecnologie dell'AI?

Guarda i Webinar

  • Autore

Gli Osservatori Digital Innovation del Politecnico di Milano sono un punto di riferimento qualificato sull’Innovazione Digitale in Italia.