Ultimi Comunicati Stampa

Redazione ufficio stampa

Leggi gli ultimi comunicati stampa e naviga nell'archivio dell'Ufficio Stampa del Gruppo TIM. Leggi i comunicati

In questo articolo passiamo in rassegna le principali modalità mediante cui i Large Language Model e le altre tecnologie GenAI potranno avere un impatto, a 360 gradi, dal Marketing al Caring, dalla Rete alle funzioni di Staff. A seguire verrà descritta la metodologia che si sta seguendo in TIM per indirizzare in modo organico l’adozione di soluzioni basate sull’Intelligenza Artificiale generativa. Seguirà uno step di valutazione di impatto dei case candidati, al fine di determinare una short list di casi che saranno oggetto di PoC e di roll-out. Lo scopo è quello di muoversi in modo armonico, al fine di cogliere le opportunità che la tecnologia offre, senza lasciarsi trascinare da proposte estemporanee e vertical.

Scarica il PDF

Down

Generative AI sfida TIM ...

1887 KB

Il fenomeno della GenAI

L’Intelligenza Artificiale generativa offre, a partire dal turning point dell’introduzione di ChatGPT, a fine 2022, una varietà apparentemente infinita di opportunità per le aziende per rendere più efficienti e più efficaci i propri processi. I grandi gruppi consulenziali fanno a gara per alimentare l’hype che circonda questa nascente tecnologia: Forrester sostiene che il 10% delle Fortune 500 genererà contenuti usando la GenAI entro la fine di quest’anno; Accenture che, entro il 2028, ci sarà un incremento del 30% nella produttività degli impiegati grazie all’automazione e alla sintesi di insight. A queste mirabolanti previsioni si accompagnano investimenti concreti che aziende grandi e piccole stanno facendo nell’ambito della GenAI: è di gennaio la notizia che Microsoft ha investito 10 miliardi di dollari in OpenAI; a luglio erano più di 450 le startup al lavoro sui temi della GenAI; recentemente Amazon ha annunciato investimenti per 4 miliardi in Anthropic, l’azienda che ha sviluppato il modello Claude; la stessa SK Telecom ha investito 100 milioni sempre in Anthropic. Dal punto di vista dell’offerta dei modelli cosiddetti foundation, gli Hyperscaler si sono tutti messi in gioco: Microsoft, rivendendo le soluzioni OpenAI in contesto enterprise; Google, offrendo soluzioni chiavi in mano, come Vertex AI Search & Conversation, basato sul suo modello LLM Palm e promettendo l’arrivo a breve di un nuovo “super” modello, Gemini; Amazon segue una strada diversa e cerca di far leva sulle risorse della community e con Bedrock raggruppa soluzioni provenienti da Hugging Face, Anthropic, Stability, etc. Anche Meta, attualmente leader nelle soluzioni open source con il suo LLaMA, ha annunciato lo sviluppo di un nuovo modello in grado di competere con quelli dei rivali. Apple è attesa anche lei nella partita e pare stia investendo molto nel settore. Una delle grandi promesse della GenAI è quella di fungere da assistente, co-pilot, per i c.d. Knowledge Worker/White Collar, aumentandone la produttività e liberandone quota parte del tempo, che potrà essere dedicata alle attività di più alto livello strategico. La funzione della GenAI in qualità di assistente e non di sostituta del lavoratore: resterà comunque in capo al lavoratore stesso la responsabilità di adottare o meno la soluzione suggerita dalla GenAI, liberando quest’ultima dall’onere di fornire risultati corretti nel 100% dei casi, cosa che al momento non è in grado di garantire.
La frontiera della sperimentazione è data da veri e propri agenti [MS] che sono in grado di coniugare la conoscenza proveniente da documentazione aziendale con informazioni prelevate in real-time da Internet. Gli ultimi prototipi sono in grado, in totale autonomia, di generare codice in grado di reperire informazioni dalla rete, eseguirlo, eventualmente debuggandolo in caso di errore e, infine, integrare le informazioni reperite con la conoscenza estratta dalla documentazione per rispondere alle domande degli utenti.

GenAI e Telco

Le possibili applicazioni della GenAI coprono uno spettro molto ampio e la quasi totalità degli use case proposti dagli analisti si declinano contemporaneamente su più industry. A questi casi cross si aggiungono una serie di use case specifici del settore telco.

Opportunità strategiche
Case a maggior diffusione

Conversational AI su KB – a.k.a. Search & Summarize 
Si tratta dello use case di gran lunga più diffuso e prevede la creazione di un chatbot (o Conversational AI) in grado di dialogare con un esperto di dominio sul contenuto di un set di documenti di riferimento (manualistica, contratti, documentazione interna di Privacy & Compliance, etc.) [AWS]. L’esperto, a valle dell’“addestramento” iniziale del bot, può porgli delle domande e ottenere risposte. Le domande possono anche richiedere step di ragionamento da parte del bot, come l’aggregazione di informazioni o il confronto di punti di vista. Tecnicamente le soluzioni stanno ancora evolvendo, cercando di creare schemi di prompting capaci di “far ragionare” il LLM facendogli suddividere task ad oggi per lui troppo complessi in sotto-task più semplici. L’esecuzione di questi sottotask permette la raccolta delle informazioni necessarie per rispondere all’utente. Su questo fronte, è bene tener d’occhio anche le offerte evolutive delle applicazioni office: Microsoft Office 365 con Copilot, Google Duet AI, che promettono di abilitare capacità di interfacciamento conversazionale con i propri documenti.

Co-pilot per Customer Care, Vendite e attività di Operation dei tecnici; ChatBot
Questo case, che è una specializzazione del precedente, prevede la disponibilità per gli Operatori e per i tecnici di rete di interfacce conversazionali che li supportino da un lato nella risposta alle esigenze dei clienti [O2] [Acc] e dall’altro nel trovare soluzioni e guide durante fasi di delivery/manutenzione dei servizi [AWS]. In questi contesti la GenAI può essere utilizzata anche per generare in automatico riassunti di telefonate o di conversazioni piuttosto che e-mail di recap/follow-up da inviare come reminder ai clienti che hanno contattato l’assistenza o ai prospect che si sono informati su caratteristiche di prodotti o servizi. Un case molto popolare nel mondo Telco [AWS] [Acc] è quello dei chatbot, che prevede di esporre direttamente al cliente finale un’interfaccia conversazionale, come già si fa da anni. La differenza sta nel fatto che oggi il motore che genera le risposte del bot può essere un LLM e quindi capace di migliorate capacità di comprensione ed efficacia nelle risposte, al prezzo di un rischio di generazione di risposte non sempre corrette.

Code Generation for IT
In questo caso modelli LLM specializzati nella generazione del codice, come Codex di OpenAI, usato da GitHub Copilot, assistono i programmatori in vari task legati allo sviluppo e alla manutenzione del codice: code generation, debugging, refactoring, spiegazione e documentazione del codice, generazione di test automatici [AWS]. Le previsioni più ottimistiche sbandierano un vertiginoso 100% di incremento nella produttività (“twice as fast”) di chi scrive codice [McK]. Va osservato che, anche se venissero raggiunte queste vette, tuttavia le attività IT nel perimetro delle grandi aziende solo in parte si declinano in task di scrittura/evoluzione/ manutenzione del codice e comprendono, invece, e forse per la maggior parte, attività sicuramente più difficili da automatizzare legate alla gestione delle risorse, al coordinamento, alla stesura ed evoluzione delle specifiche e dei sistemi legacy e integrazioni che ne derivano.

Enhanced Data Analysis
Questo caso prevede che la GenAI venga usata per assistere le attività dei Data Analyst. Ad oggi, tipicamente, i Data Analyst hanno a disposizione degli ambienti analitici, come SAS, dove impostano delle query in linguaggi specializzati al fine di ottenere risposte a domande di business e insight di valore. La promessa della GenAI, in questo ambito, è quella di poter chiedere le risposte che si desiderano in linguaggio naturale, ottenendo risposte in forma di narrazione, di grafici o direttamente di report completi. Esistono plugin per ChatGPT specializzati nella generazione di SQL a partire da domande poste in linguaggio naturale, così come vari strumenti di BI ormai da tempo offrono capability di interrogazione in linguaggio naturale.

Generazione di contenuti creativi e iper-personalizzati
In questo caso i modelli generativi, non solo del linguaggio, ma soprattutto di immagini e video, quali DALL-E, Stable Diffusion e MidJourney, vengono utilizzati per creare immagini e contenuti testuali (copy) adatti alle esigenze di marketing o di caring [Acc]. I contenuti possono anche essere adattati alle caratteristiche del singolo cliente. Va osservato che questo tipo di attività porta con sé il rischio di incorrere in problemi di copyright infringement. Sono ormai all’ordine del giorno le cause intentate da famosi artisti a OpenAI per violazione dei diritti di copyright.

AI for AI
Si tratta di use case dove le capability di comprensione e processamento di Large Language Model vengono utilizzate al servizio di altri algoritmi di Intelligenza Artificiale, quali clustering, classificazione, recommendation, Natural Language Processing, Sentiment Analysis, Anonymization, pulizia dei dati.

Learning and re-skilling
Questo use case mira a fornire ai dipendenti strumenti a supporto dell’acquisizione di nuove competenze o aggiornamento di knowledge già appresa. Mediante l’interfaccia conversazionale un argomento da apprendere può essere affrontato in maniera personalizzata: l’utente può fare domande dal proprio punto di vista e anche dichiarando esplicitamente quali sono le proprie competenze di partenza; ad esempio: “Tieni conto che sono uno sviluppatore software esperto nel linguaggio Java e sto imparando Python; come faccio, in Python, a realizzare un programma parallelo? Quali librerie conviene usare? Quali sono gli idiomi tipici?”. Oppure l’IA può simulare il comportamento di un cliente che chiede assistenza su un certo argomento per abilitare nuove forme di training per gli operatori [Acc].

Generazione di dati sintetici
Questo caso d’uso prevede la generazione di dati finti, ma aventi le stesse caratteristiche statistiche di un certo dataset di partenza. In questo modo, i dati sintetici generati sono privi della presenza di dati personali e/o sensibili e possono essere utilizzati per addestrare modelli di Machine Learning con vincoli di privacy e compliance meno stringenti. Può essere il caso di modelli addestrati a partire dalle note degli Operatori piuttosto che dai dati di traffico dei clienti sulla rete.

Benefici

Ottimizzazione effort e costi
Il principale beneficio che viene sbandierato da tutti i sostenitori della rivoluzione della GenAI consiste nell’aumento della produttività dei lavoratori, nello specifico dei cosiddetti Knowledge Worker. Come conseguenza gli operatori e tecnici potranno dedicare il proprio tempo alla risoluzione delle problematiche più complesse e che non siano catturate nell’ambito delle procedure codificate, consentendo una miglior Customer Satisfaction dal punto di vista del cliente e una miglior Quality of Service della Rete. Ci si attende che le versioni future dei pacchetti di Office Automation (Teams, Office, Google Suite, etc.) integreranno strumenti di GenAI per abilitare scenari quali il riassunto automatico dei meeting, la ricerca conversazionale sui documenti presenti nella propria area personale oppure sull’intera Intranet, velocizzando procedimenti e ricerche che, ad oggi, risultano essere molto time-consuming.

Revenue Generation
La capacità di adattarsi alle caratteristiche dei clienti anche nel linguaggio e nel modo di porsi possono facilitare operazioni di upselling, cross-selling e Next Best Offer. La dimensione dell’incremento dei ricavi è impattata positivamente anche dall’aumentata capacità di produrre analisi e/o modelli analitici performanti.

Incremento della Customer Satisfaction e della Quality of Service
Clienti serviti in modo più efficace saranno più soddisfatti. Inoltre, gli strumenti abilitati dalla GenAI a supporto dell’operatività dei tecnici sulla rete ne determinerà un aumento della QoS di Rete. Anche la CS e la QoS, come la Revenue Generation, beneficiano della accelerata disponibilità di analisi e modelli ottenuta grazie all’applicazione della GenAI.

Standardizzazione delle risposte verso i Customer
Un effetto collaterale positivo dell’adozione di questi strumenti, per fornire risposte ai clienti, anche se non esclusivo della GenAI, è la standardizzazione delle risposte date ai clienti. Ad oggi, laddove i clienti si interfacciano con operatori human per la risoluzione delle proprie problematiche relative a prodotti e servizi dell’azienda, possono talvolta incappare in risposte che variano a seconda dell’operatore, per questioni di varietà di conoscenze e di skill. La generazione di risposte verso il cliente da parte di strumenti di GenAI produrrà risposte maggiormente standardizzate e univoche dal punto di vista concettuale, anche se diverse di volta in volta.

Acquisizione di Know-How
Utilizzando strumenti della AI generativa “addestrati” su documentazione, manualistica e anche, dove applicabile, su passate interazioni operatore/cliente o lavorazioni di Operations, i lavoratori potranno acquisire più velocemente il know-how necessario ad affrontare le varie situazioni lavorative in modalità personalizzata ed adeguata al proprio livello di conoscenza.

Ostacoli all’adozione

Allucinazioni, logica fallace e rischi di Prompt Injection
Sono celeberrimi i casi di allucinazioni di ChatGPT: il modello, infatti, è stato addestrato per rispondere nel modo più probabile alle domande degli utenti, con, ovviamente, un pizzico di varietà. Il modello non è stato, invece, addestrato per essere corretto o fattuale nelle risposte che fornisce. Da qui scaturiscono i casi in cui le riposte generate, pur essendo molto verosimili e convincenti, tuttavia, a una più attenta analisi, si rivelano false. Ne discende la necessità di adottare le soluzioni di GenAI in ambiti vincolati e monitorati, al fine di misurare e prevenire/mitigare i casi di allucinazioni. La fase di monitoring non può che essere svolta da persone esperte del dominio. Va osservato che, nel caso in cui si sviluppino applicazioni customer-facing, senza mediazione tra quanto prodotto dalla GenAI e il cliente finale, esiste un rischio di generazione di allucinazioni e, quindi, un rischio reputazionale per l’azienda. Ad oggi, la stessa OpenAI suggerisce di non sviluppare applicazioni direttamente affacciateverso il cliente, ma di prevedere sempre l’intermediazione di un esperto [OAI]. I modelli LLM sono molto bravi nel fare delle semplici deduzioni a partire da pochi semplici fatti. Questo è un loro punto di forza grandissimo, che abilita la capacità di rispondere a domande non banali. Tuttavia, quando la difficoltà delle domande aumenta e inizia a richiedere deduzioni complesse, aggregazioni di dati o computazioni, allora si manifestano abbastanza spesso episodi in cui la capacità di reasoning dell’LLM risulta fallace. Esistono delle tecniche per mitigare questo effetto (es.: Chain-of-Thought) e sono possibili integrazioni con strumenti esterni per sopperire, ad esempio, alle scarse capacità di computazione degli LLM. Anche in questo caso è richiesto un rigoroso e costante controllo human, ancorché necessariamente a campione, per comprendere i limiti della tecnologia e tarare il giusto equilibrio tra le sue capability e quanto si offre/ vende ai clienti o agli utilizzatori interni. Nel caso di applicazioni customer-facing esiste la concreta possibilità che utenti malintenzionati cerchino di piegare il comportamento dei modelli LLM e costringerli a bypassare i vincoli di buona condotta imposti dai fornitori dei foundation model (cosiddetto hijacking). In questi casi, esiste un rischio reputazionale dell’azienda che potrebbe vedere i propri chatbot generare contenuti scorretti o drammaticamente inadeguati.

Compliance , Security & Privacy
Molti degli use case di maggior valore richiedono che comunicazioni dei clienti con l’azienda e/o testo prodotto dai dipendenti e trascrizioni di riunioni siano elaborati da parte dei modelli LLM. La fattibilità normativa di tali elaborazioni va concordata con le funzioni di Security, Privacy e Compliance, anche tenendo conto del fatto che si tratta di servizi forniti esclusivamente in cloud dai vari Microsoft, Google, etc. Attenzione, inoltre, all’imminente AI Act [EU], che regolamenterà l’uso dell’AI in ambito europeo, con finalità di protezione della privacy dei cittadini e di utilizzo etico della tecnologia.

Costi di Consumption, Markup e Maintenance
Ovviamente i servizi dei modelli di GenAI hanno un costo, tipicamente basato su misure di consumo da corrispondere ai fornitori di foundation model. Oltre a tali costi, nel caso in cui ci si affidasse a soluzioni costruite on top degli LLM di base, ci sarebbe da corrispondere il markup richiesto dal fornitore di servizi di turno. [Squ] Inoltre, occorre provvedere all’organizzazione e alla spesatura di monitoraggi continui, a campione, e di maintenance per far fronte a cambiamenti che sicuramente avverranno nel tempo a livello di comportamento dei modelli foundation: i vendor si stanno attrezzando per offrire Long Term Support per almeno un sott’insieme dei LLM, ma gli orizzonti temporali visibili ad oggi sono di circa un anno di disponibilità garantita [Azu]; dopodiché il modello di base cambierà e tutte le applicazioni costruite on top ne potrebbero risentire.

Rischi di copyright infringement
Come già accennato, esiste il rischio che il contenuto generato dai modelli GenAI possa violare i diritti d’autore. In molti casi, per ora in ambito USA, i fornitori di foundation model sono stati chiamati in causa in tribunale per difendere il proprio operato [Wir].

Bias & Ethics
Altro rischio di tipo reputazionale per l’azienda, pur non essendo esclusivo dei modelli di GenAI, consiste nella possibilità che emergano nei contenuti prodotti i cosiddetti bias dei modelli foundation, legati a differenze, presenti nei documenti usati per il training iniziale dei modelli stessi, collegate al genere, al perimetro culturale di appartenenza, alle opinioni politiche, etc. Anche questo rischio può essere monitorato, campionando le conversazioni con le intelligenze artificiali ed eventualmente adoperandosi in modo proattivo per far emergere le problematiche per poi indirizzarle. Va riconosciuto che gli stessi fornitori di modelli foundation si adoperano da tempo per ingabbiare il comportamento dei modelli stessi in regole/meccanismi volti ad evitare comportamenti non fair.

Tabella 1: Mappatura degli UC più diffusi su Benefici/Ostacoli

Clicca qui per ingrandire l'immagine

Il challenge della GENERATIVE AI in ambito IT enterprise

Per analizzare le sfide che si pongono nell’adozione della AI generativa all’interno del dominio e delle applicazioni IT e nell’ambito dei dati proprietari e privati dell’azienda, vale la pena ripercorrere lo sviluppo di alcuni elementi tecnologici peculiari, per poi inquadrare la metodologia di selezione e di sviluppo delle soluzioni architetturali abilitanti e dei casi d’uso più interessanti per TIM. E’ necessario premettere che l’hype cycle delle nuove tecniche di Artificial Intelligence sta ponendo una pressione operativa su tutte le organizzazioni aziendali ed i dipartimenti IT, a livello mondiale, per i loro impiego e valorizzazione. Per questo motivo è importante avviare programmi di “early adoption” che sfruttino e sperimentino lo stato dell’arte oggi disponibile e consentano di misurare le tecnologie sulle aspettative di business, pur essendo consapevoli che i risultati ottenuti potrebbero essere superati in breve tempo dalle evoluzioni della ricerca e dei prodotti di mercato.

I driver tecnologici della Gen AI

La nascita della “Generative AI” è indissolubilmente legata all'ideazione dell’architettura “Transformer”, una rivoluzionaria tecnologia concepita nel 2018 da Google e tutt’ora in costante evoluzione presso tutti i più importanti attori del mondo industriale e accademico. L’architettura “Transformer” è realizzata da un encoder e un decoder costruiti collegando fra loro molteplici configurazioni di reti neurali profonde. Tra queste è presente un meccanismo innovativo di apprendimento chiamato “Self-Attention” capace di riconoscere pattern di correlazione molto sofisticati all’interno dei dataset di training. Questo meccanismo è il principale responsabile dell’espressività creativa che si riscontra nei contenuti prodotti dalla IA, in quanto è capace di ricostruire e apprendere in modo molto dettagliato il contesto del dato in input, misurando il peso semantico delle sue componenti. In questo senso le parole di un testo, oppure gli elementi grafici elementari all’interno di un’immagine, vengono correlate considerando ogni possibile angolazione. Da questa sofisticata ricostruzione contestuale nasce la conoscenza profonda del modello e la sua capacità di produrre per inferenza statistica un nuovo contenuto più ricco ed espressivo dell’esempio iniziale, quest’ultimo indicato tecnicamente con il termine “prompt”. Ma la meraviglia dei “Transformer” non si limita a queste proprietà predittive. Infatti, la soluzione si pone attualmente come ottimale anche in termini di consumo energetico, in quanto la sua architettura è intrinsecamente scalabile sulle moderne infrastrutture hardware oggi erogate dai principali cloud provider (GPU e TPU). Questa caratteristica è fondamentale per il deployment delle soluzioni in campo, poiché velocizza i tempi di training e di serving, riducendo le risorse impiegate di diversi ordini di grandezza rispetto alle precedenti tecnologie RNN e CNN ormai ritenute obsolete (“Recursive e Convolutional Neural Network”). In definitiva, grazie alla conoscenza contestuale profonda e all’intrinseca scalabilità, l’architettura “Transformer” è alla base dei “Large Language Model” (LLM), cioè dei modelli neurali che vengono pre-addestrati con enormi corpus di informazione e resi disponibili sul mercato enterprise dai più importanti vendor, tra cui spiccano Open AI, Google e Meta con i rispettivi ChatGPT, Palm2 e LL AMA2. Il processo di addestramento e tuning degli LLM di mercato è oneroso e complesso ma risulta differenziante per i vendor che investono notevoli risorse per aggiornare, pulire e arricchirne costantemente la conoscenza intrinseca dei loro modelli. Questo motiva le numerose partnership scaturite tra i protagonisti della AI e i principali cloud provider, tra cui la più nota OPEN AI con Microsoft, ma non meno importanti sono quelle di altri attori del mondo AI con GCP e AWS. Tuttavia, il pre-training non copre in modo sufficiente nessuna delle conoscenze strategiche fondamentali per l’impiego delle tecnologie in realtà corporate come TIM o altre Industry, in quanto il corpus di addestramento per definizione è costruito con dati “open” non vincolati da alcun IPR. Emerge dunque il terzo e fondamentale aspetto peculiare della tecnologia generativa in ambito enterprise, cioè la possibilità e la necessità di aggiungere autonomamente strati di nuova conoscenza proprietaria, specifica del dominio, al di sopra di quella nativa dei modelli pre-addestrati. Tutti i fornitori si stanno rapidamente allineando nel rendere disponibili tre diverse tecniche per abilitare questa stratificazione fornendo la possibilità di “Fine Tuning”, di “Parameter Efficient Fine Tuning” piuttosto che di “Reinforcement Learning with Human Feedbacks” (FT, PEFT e RLHF). Non è possibile entrare qui nel dettaglio, ma è sufficiente dire che con queste tecniche lo strato di conoscenza addizionale rimane confinato nel perimetro enterprise in cui viene svolto, semplificando, inoltre, la fase di “prompt engineering” delle soluzioni complessive. Per contro, si tratta di tecniche generalmente complesse da applicare con investimenti addizionali in risorse computazionali, in up-skill del personale e di ridisegno dei processi DevOps, in modo da mantenere accurata la risposta fornita anche a fronte del congenito disallineamento evolutivo dei dati e/o del contesto nel tempo (“data e context drift”). E’ dunque importante ed urgente, per le organizzazioni IT, attrezzarsi per approfondire e sfruttare in modo ottimale i driver sopra descritti, applicandoli in modo bilanciato e controllato, così da ottenere e verificare i benefici ed il ritorno dagli investimenti derivanti dall’adozione delle tecnologie nel dominio enteprise, sia in termini di produttività che di qualità e consistenza del risultato. Questo passaggio non è per nulla scontato, in quanto, sebbene nel settore delle telecomunicazioni i potenziali casi di applicazione della generative AI siano molteplici e impattino l’organizzazione nel suo complesso, per il loro successo risulta cruciale impostare una governance agile e rigorosa, che guidi l’adozione dell’innovazione in modo che sia orientata alla profittabilità e sia conforme ai principi dell'etica e della compliance, oltre che alla sicurezza dei dati e delle soluzioni preposte al loro trattamento.

Il funnel di selezione e i pattern architetturali prioritari

L’IT di TIM, sulla base delle priorità’ aziendali, ha avviato un processo di raccolta delle proposte e delle esigenze espresse internamente, per applicare la generative AI all’ottimizzazione dei rispettivi processi. Su questi casi d’uso è elaborata una valutazione di opportunità, per ottenere un ranking di priorità delle iniziative da perseguire, identificando le aree di trasformazione dei processi impattati ed i relativi KPI/KPO che misureranno l’efficacia dell’adozione della generative AI nel tempo. A seguito della fase di selezione, è previsto un framework operativo di “messa a terra” del funnel attraverso la predisposizione di una “Generative AI-FARM”, che rappresenta sia un centro di osservatorio e presidio tecnologico che un nucleo di prototyping agile che sperimenta nuove soluzioni in campo con un ciclo di progettazione e realizzazione rapido, così da garantire l’acquisizione e dissemination della conoscenza in parallelo alla sperimentazione delle soluzioni di GenAI attraverso PoC ed applicazioni sui casi di utilizzo più rilevanti, ed alimentando un processo incrementale e progressivo di adozione ed industrializzazione via via più vasto (Fig.1). Tra i primi risultati conseguiti dalla Generative AI-FARM, due in particolare sono rilevanti:

  • assessment e monitoraggio delle soluzioni disponibili rispetto alla costante evoluzione della AI in ambito enterprise e consumer;
  • pattern architetturali prioritari da realizzare per rispondere e supportare gli use case espressi dalle esigenze interne.

Figura 1: Il funnel della GENERATIVE AI-FARM di TIM

Clicca qui per ingrandire l'immagine

Sul primo punto si è constatato come le opzioni di deployment della Gen AI siano piuttosto complesse e in parte funzionalmente sovrapposte fra loro; per avere un riferimento comune con cui classificarle e confrontarle si è definito lo schema di Fig.2, che indica le tre seguenti “dimensioni caratteristiche” per descrivere le soluzioni generative:

  • AI SOLUTION ARCHITECTURE: è la dimensione che rappresenta la modalità con la quale gli LLM sono integrati all’interno della soluzione informatica complessiva. In prima analisi si possono riconoscere le tre seguenti modalità:
    • “Vertical Gen AI”: una soluzione make, con tuning sui dati privati dell’azienda e realizzata con minimo lock-in utilizzando le APIs native fornite dai vendor LLM;
    • “Product Embedded Gen AI”: qualsiasi soluzione third party che integra tecnologie LLM native con l’aggiunta di middleware e/o connettori proprietari;
    • “Search/Chatbot powerd by GenAI”: in generale le architetture basate su chat engine oppure motori di ricerca pubblici e/o enterprise integrati in client nativi o in plug-in forniti dai produttori di LLM.
  • DATA ORIGIN: questa dimensione indica se la soluzione consente l’utilizzo di dati enterprise e/o open;
  • INTERACTION MODEL: descrive l’interazione diretta (customer facing) o intermediata (man in the loop) degli utenti finali con le tecnologie generative.

Figura 2: Schema di riferimento per le soluzioni Generative AI

Clicca qui per ingrandire l'immagine

In prima battuta, nei contesti enterprise, il modello di interazione di tipo “Man In the Loop” si ritiene sia il più opportuno per gestire e controllare il rischio di allucinazione e tossicità degli LLM, cioè la generazione di risposte e contenuti non conformi a quanto atteso o contrari alle policy aziendali. Relativamente ai pattern architetturali, dall’analisi dei casi d’uso è emerso che questi ricadono principalmente soluzioni di tipo “Vertical Gen AI” ed in particolare convergano in modo significativo sui due seguenti patten architetturali appartenenti alla categoria RAG (“Retrieval Aumented Generation”):

  • AI Summarization Chain: a fronte di un sistema documentale contenente dati enterprise (immagini oppure testi), la soluzione consente di realizzare una catena di azioni più o meno complessa di “search”, “reorganization”, “formatting”, “prompting” in grado di generare un testo o delle immagini riassuntive di uno o più concetti semantici da trasmettere al cliente finale dopo intermediazione umana (es. brief di servizi, questionari, valutazioni, contenuti di caring support, etc..);
  • AI Data Analytics: a fronte di un data base enterprise contenente dati relazionali strutturati, oppure fogli di calcolo contenuti in sistemi di archiviazione, la soluzione consente di generare delle analisi dati che producano informazioni aggregate di sintesi, query specifiche dedotte da descrizioni in linguaggio naturale, grafici oppure tendenze da consumare internamente all’azienda, oppure trasmettere al cliente finale dopo intermediazione umana (es. BI reporting, interactive query, etc).

Moltissimi casi d’uso sono stati ricondotti a questi pattern nella cui prototipazione TIM sta attivamente investendo per perfezionarne l’applicazione in molteplici processi aziendali tra cui quelli del Caring, del Marketing Consumer e in generale nell’ottimizzazioneall’accesso delle principali sorgenti informative aziendali, preservando gli aspetti di privacy/GDPR e compliance.

Conclusioni

In questo articolo stati illustrati i punti chiave della tecnologia alla base dei Large Language Model e la strategia che si sta adottando in TIM per censire, raggruppare, filtrare e implementare use case di GenAI che siano al contempo di impatto, in termini di ritorno dei benefici sui costi, e di utilità per una molteplicità di funzioni aziendali. Sebbene i case di interesse promettano ritorni importanti in termini di aumento della produttività dei lavoratori, Customer Satisfaction e Revenue Generation, si pongono al contempo sfide di tipo tecnologico, normativo e anche di rischio reputazionale, da affrontare in modo organico, al fine di governare e mettere a valore le opportunità che questa rivoluzionaria tecnologia offre.

Bibliografia

  1. Acc – Accenture. (2023). Generative AI Workshop. Rome.
  2. AWS – Altman Solon, Report finanziato da Amazon AWS – Telecommunications Generative AI Study – https://pages.awscloud.com/GLOBAL-other-DL-generative-ai-for-telecom-whitepaper-2023-learn.html
  3. Azu – Azure OpenAI Services - Ritiro GPT-35-Turbo 0301 e GPT-4 0314 - https://learn.microsoft.com/it-it/azure/ai-services/openai/concepts/models#gpt-35-turbo-0301-and-gpt-4-0314-retirement
  4. EU - EU AI Act: first regulation on artificial intelligence - https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence
  5. McK – McKinsey - Unleashing developer productivity with generative AI - https://www.mckinsey.com/capabilities/mckinseydigital/our-insights/unleashing-developer-productivity-with-generative-ai
  6. MS – Microsot Research – AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation – https://www.microsoft.com/en-us/research/project/autogen/
  7. O2 - Virgin Media O2 - How Generative AI is Revolutionising the Telco Industry –https://medium.com/@vmo2techteam/howgenerative-ai-is-revolutionising-the-telco-industry-first-steps-56a0d49ea6e4
  8. OAI – Andrey Karpathy – OpenAI – State of GPT Speech - https://www.youtube.com/watch?v=bZQun8Y4L2A&ab_channel=MicrosoftDeveloper
  9. Squ - https://squirro.com/pricing/
  10. Wir – Wired - ChatGPT: George R.R. Martin, Jonathan Franzen e altri scrittori hanno fatto causa contro OpenAI - https://www.wired.it/article/chatgpt-george-r-r-martin-scrittori-americani-causa-open-ai/

Urlografia