Gruppo TIM
Gruppo TIM

La nostra visione ESG

ESG vision

Crediamo che la trasformazione digitale sia la chiave per lo sviluppo sociale ed economico del nostro Paese e per la tutela del nostro territorio. Approfondisci

Nel presente articolo vengono descritte le soluzioni di eXtended Reality e comunicazione evoluta di TIM. In particolare: la TIM eXtended Reality Platform, la sua evoluzione e le relative soluzioni innovative per la comunicazione avanzata e le opportunità di business con i possibili scenari applicativi.

Scarica il PDF

Down

eXtended Reality

2182 KB

Introduzione

La soluzione di eXtended Reality di TIM è composta da diverse componenti che consentono di realizzare esperienze immersive di realtà virtuale, aumentata e mista, comunicazione avanzata con avatar e video a 360°. Queste tecnologie possono essere utilizzate, in maniera singola oppure aggregata, per abilitare diversi scenari applicativi. “Content is king” diceva Bill Gates nel lontano 1996: mai come adesso questa affermazione, specialmente se applicata ad un universo virtuale parallelo a quello reale, il così detto Metaverso, assume un significato fondamentale. Oggi i gemelli digitali degli oggetti reali devono essere il più possibile realistici per avere la percezione di stare in un mondo che non sia una brutta copia di quello reale e per rendere il più naturale possibile il passaggio dal reale al virtuale e viceversa: ad esempio, devono avere le stesse caratteristiche di rifrazione della luce ed imitare i materiali con i quali sono realizzati.

La TIM eXtended Reality Platform

Scopo e architettura

La Piattaforma TIM eXtended Reality è una soluzione multi-tenant e cloud-native che permette - in modalità SaaS - di creare e gestire in modo facile e flessibile esperienze di realtà aumentata e virtuale con lo scopo di:

  • valorizzare i contenuti che un Cliente possiede o desidera possedere negli ambiti più disparati;
  • semplificare i processi industriali, ad esempio, nella gestione e manutenzione degli apparati;
  • migliorare la propria offerta commerciale con store aumentati o virtuali.

La Piattaforma è modulare e fa largo uso di micro-servizi in ambiente containerizzato in modo da semplificare sviluppi evolutivi e permettere una più facile integrazione di sistemi esterni (ad esempio, sorgenti di dati da mostrare in AR). La Fig.1 mostra la Piattaforma con la componente cloud e i dispositivi finali sui quali viene renderizzata l’esperienza di AR/VR/MR.

Figura 1: Architettura della Piattaforma TIM eXtended Reality

Clicca qui per ingrandire l'immagine

Esperienze di realtà aumentata

Per l’AR la Piattaforma fornisce:

  • una dashboard web (AR Web Composer) che consente di gestire in tempo reale esperienze di AR che permettano ad un utente Android o iOS di fruire di contenuti aumentati (come audio, video, immagini, modelli 3D, pannelli informativi, frecce di direzione, dati in near-realtime provenienti da dispositivi IoT) attivati da specifiche ancore (immagini, punti spaziali o coordinate GPS);
  • una app di editing (AR Mapper) con cui è possibile affinare l’esperienza creata, modificando in autonomia il posizionamento delle aumentazioni e gestendo le ancore spaziali;
  • un SDK per Android, iOS e app native Unity integrabile in app esistenti o in soluzioni verticali sviluppate dai nostri partner per abilitare la fruizione delle esperienze in AR così create. In Fig.2 si nota l’uso dell’AR in ambito industriale, mostrando informazioni sull’apparato inquadrato.

Figura 2: Esempio di aumentazione in ambito industriale

Clicca qui per ingrandire l'immagine

Esperienze di realtà virtuale

Per la VR la Piattaforma permette:

  • la creazione di esperienze VR in single e multi-player multi-device attraverso l’integrazione di un package Unity nella propria app VR. In questo modo è possibile creare app VR per visori VR tethered (connesso ad una workstation) e untethered (stand alone), per dispositivi Android, iOS oltre che PC;
  • di definire ruoli distinti tra i partecipanti di una sessione multi-player: guida e visitatore. Questo permette alla guida di gestire e moderare i visitatori;
  • la gestione di cataloghi di oggetti 3D che possono essere inseriti nella scena virtuale creando dei veri e propri allestimenti che possono essere salvati e riutilizzati in seguito.

Soluzioni Innovative per la Comunicazione Evoluta

Ad oggi la maggior parte delle esperienze immersive di XR viene gestita sul dispositivo utente e, spesso, questo comporta la necessità di avere visori 3D connessi via cavo ad un PC “potente” e costoso, in grado di aumentare la capacità computazionale del visore. Grazie al Telco Edge Cloud è possibile realizzare esperienze di XR che rivoluzionano la fruizione dei contenuti immersivi su qualsiasi dispositivo, accelerandone l’adozione di massa: libertà di movimento e realismo straordinario, limitando i costi dei device utente.

Edge Cloud XR Streaming

TIM sta già sperimentando una nuova modalità di fruizione di applicazioni di XR che sposta la capacità computazionale all’Edge, ai bordi della rete, “vicino” cioè all’utilizzatore. L’architettura evolutiva della piattaforma XR di TIM è rappresentata in Fig.3.

Figura 3: Architettura Evolutiva TIM XR Streaming Platform

Clicca qui per ingrandire l'immagine

Il dispositivo dell’utente viene “duplicato” nel Telco Edge Cloud e visto dalla piattaforma come un dispositivo ad alta capacità computazionale in grado di sfruttare la GPU in Edge Cloud per effettuare il rendering di contenuti 3D anche molto complessi. Il dispositivo “reale”, invece, si occupa solamente di visualizzare l’esperienza immersiva in base alle interazioni dell’utente (es. touch sullo schermo, movimenti, voce proveniente dal microfono). Tutto questo è possibile grazie all’alta capacità trasmissiva e soprattutto alla bassa latenza delle nuove reti di TIM. Il contenuto viene mostrato all’utilizzatore come un video in streaming (o due video – uno per occhio - quando si usano visori di realtà virtuale). La bassa latenza in questo caso è fondamentale perché ogni interazione che l’utilizzatore compie con il suo dispositivo (muovere la testa con un visore VR, interagire con i controller, cliccare su un tablet, usare una tastiera su PC) deve arrivare ai server istantaneamente. I server, a loro volta, rigenerano il nuovo contenuto in base alle azioni dell’utente e lo inviano di nuovo in streaming. Se il RTT (Round Trip Time) di questa operazione supera i 30ms si ha l’effetto chiamato “motion sickness”: un fastidioso senso di nausea che deriva dal fatto che, in seguito ad esempio al movimento della testa, l’occhio umano non si aspetta ritardo, bensì un cambio di scena istantaneo, così come avviene nella vita reale.

Comunicazione avanzata

L’interazione e la collaborazione con altri utenti che sono presenti nello stesso spazio virtuale è un altro aspetto fondamentale che TIM sta studiando. Ognuno, anche nel mondo virtuale, può osservare e manipolare i gemelli digitali degli oggetti, scambiarli con altre persone ed interagire verbalmente, esattamente come accade nella realtà, ma senza il limite di essere fisicamente nello stesso posto.

Avatar

L’Avatar è la nostra rappresentazione nel mondo virtuale è quindi fondamentale che questo gemello digitale umano ci rappresenti nel metaverso. TIM sta studiando diverse tipologie di avatar che si adattano a svariati scenari applicativi: dallo stile “cartoon” a quello più verosimigliante (Fig.4) ma entrambi replicano i movimenti sia del corpo che del volto (compresi espressioni e labiale).

Figura 4: Avatar in stile cartoon e verisimigliante

Clicca qui per ingrandire l'immagine

Ad oggi, tramite due iPhone di ultima generazione, uno per i movimenti del corpo e uno per i movimenti facciali, è possibile avere un’ottima riproduzione dei movimenti della persona. Per il viso si usa lo standard de-facto di Apple, basato su ARKit, mentre per riconoscere i movimenti del corpo si è scelta una tecnologia di MoCap (Motion Capture) che utilizza reti neurali e fotocamera 2D. Per replicare i movimenti del corpo con una precisione ancora più elevata (ad es. per performance di musica e danza) si utilizzano tute e guanti con sensori di rilevamento dei movimenti.

Virtual Room e Ologrammi

TIM sta inoltre integrando tutte queste tecnologie nella sua soluzione Virtual Room. Virtual Room offre un’esperienza immersiva ed interattiva, abilitando una video comunicazione evoluta e più coinvolgente per lo spettatore. Il conduttore, tramite un green screen, può apparire come ologramma all’interno del palcoscenico digitale (Fig.5), ma anche sfruttare la sua rappresentazione come avatar. Grazie all’integrazione con le soluzioni olografiche, il conduttore può anche comparire in strutture dedicate fornite dai partner di TIM, per realizzare eventi misti sia con partecipazione in fisico e interazione tramite holopresenza che digitali con accesso WEB attraverso la piattaforma Virtual Room.

Figura 5: Virtual Room: conduttore olografico e avatar

Clicca qui per ingrandire l'immagine

Video immersivi a 360°

I video immersivi a 360° sono un completamento alle tecnologie di realtà estesa e TIM li sta utilizzando in diversi ambiti applicativi rivolti sia a Clienti interni che esterni: a scopo di formazione evoluta per le sue Operations (Fig.6), per riprese immersive a supporto di eventi sportivi, culturali e musicali. Il video 360° dà al fruitore il potere di vivere un evento da “protagonista” e diventare “regista”, potendo osservare la scena da diverse angolazioni.

Figura 6: Video immersivo a 360° per formazione “Salita in quota”

Clicca qui per ingrandire l'immagine

Opportunità e Scenari Applicativi

Gli ambiti coperti dalle soluzioni TIM sono Turismo, Retail e Smart Maintenance: le offerte lanciate sul mercato sono propedeutiche a scenari evolutivi che vedranno la creazione di ambienti virtuali nel Metaverso, in cui far convergere più tecnologie come Digital Twin, blockchain e AI. In ambito Turismo, anche a seguito della pandemia, l’utilizzo delle tecnologie digitali è cresciuto sensibilmente tra i turisti impossibilitati a viaggiare, portando alla formazione della nuova figura del “turista digitale”. Il 30% di turisti italiani già nel 2020 avevano utilizzato strumenti di visita immersiva (Survey Google, 2020). Il crescente interesse nei confronti di queste tecnologie è inoltre riconducibile a obiettivi e finanziamenti previsti nel piano strategico “Turismo Italiano 2020” e al Piano Nazionale di Ripresa e Resilienza (PNRR).
Il percorso intrapreso da TIM con le Pubbliche Amministrazioni e gli enti museali, ha portato a una soluzione per la fruizione di percorsi turistici in XR. Esempi di successo sono la ricostruzione in VR del Mausoleo d’Augusto, la visita virtuale di Piazza Navona a Roma, le esperienze in VR al Museo del Risorgimento a Milano e in Mixed Reality al MANN di Napoli. Nel Retail l’utilizzo di piattaforme XR rappresenta uno dei maggiori ambiti d’interesse da parte delle aziende italiane (secondo NetConsulting a Luglio 2021, circa il 40% delle società intervistate dichiara di aver avviato investimenti in tal senso). Tuttavia, non è facile individuare success case recenti, principalmente a causa della cosiddetta “technological immaturity” dei retailer. Esistono tuttavia casi di successo, ad esempio la soluzione AR di Nespresso UK che permette ai consumatori di approfondire la conoscenza dei prodotti e accedere a tutorial di ricette.
Gli scenari applicativi variano molto a seconda del settore merceologico, con crescente interesse da parte della GDO verso tecnologie AR che possano supportare il consumatore nell’esperienza d’acquisto – ad esempio per accompagnare il cliente finale segnalando il posizionamento di un prodotto – nonché investimenti in aumento da parte del settore Fashion & Luxury per la creazione di sessioni immersive di shopping personalizzate. Negli ambiti di mercato manufacturing, energy, utilities & transportation, ma anche per education ed e-health, le tecnologie di XR possono costituire la base per la realizzazione di scenari “Smart Maintenance”. Una prima declinazione dello use case consente di gestire aumentazioni su riprese live per la visualizzazione di parametri di funzionamento di apparati e istruzioni per la maintenance. La fruizione di questa applicazione è in modalità self-service e si basa sull’identificazione di apparati e gestione di aumentazioni specifiche (es. dati operativi real time, istruzioni operative, messaggi di sicurezza), con utilizzo di coordinate GPS e/o marker specifici che migliorano il riconoscimento. Lo scenario evolutivo di maggior interesse è invece la creazione di ambienti virtuali collaborativi che consentono la digitalizzazione e la remotizzazione di asset e procedure. Si tratta di una vera e propria esperienza nel Metaverso che consente di condividere contenuti, interagire con i modelli 3D degli apparati e comunicare in real-time in un ambiente collaborativo immersivo. La fruizione è multiutente, e indirizza use case industriali B2B quali formazione del personale, training collaborativo e manutenzione, ma anche scenari B2C di assistenza tecnica rivolta ai clienti finali a cui sono venduti beni di consumo. Come accennato, lo scenario di training è applicabile anche alle attività delle scuole, e può abilitare scenari di e-health dove è importante la condivisione dell’esperienza da parte di esperti remoti altamente specializzati.

Conclusioni

Le soluzioni di XR e comunicazione evoluta descritte rappresentano le componenti di base che integrate, arricchite ed ingegnerizzate abilitano la creazione di un Metaverso TIM per svariati scenari applicativi, dedicati sia a Clienti interni che esterni. Le soluzioni immersive possono aprire importanti e nuove opportunità di business per le aziende, mirando ad offrire delle modalità di comunicazione avanzata innovative, più efficaci e coinvolgenti. L’obiettivo delle soluzioni XR di TIM è quello di fornire una piattaforma collaborativa multi-player e multi-device. Gli utenti sotto forma di avatar sempre più verosimiglianti devono poter collaborare tra loro e interagire con i digital twin in real-time, anche grazie a tecnologie di MoCap basate su intelligenza artificiale. Il Telco Edge Cloud garantisce il multidevice con un’adozione più ampia possibile e contenuti 3D ancora più realistici e dettagliati.

Bibliografia

Ansa.it – Zuckerberg visita in virtual reality Mausoleo di Augusto, Aprile 2021

Unioncamere Veneto – Turismo e Turisti – Marzo 2022

PMI.it - eXtended Reality: un nuovo modo di interagire con il mondo, Settembre 2021

Survey Google 2020 – Il nuovo turismo digitale

PwC “Entertainment & Media Outlook in Italy 2020 – 2024”

NetConsulting cube, CIO Survey 2021 – Report “I Principali Trend nel Retail”, Luglio 2021

Osservatorio Innovazione Digitale nel Retail - Il Retail in Italia e nel mondo: lo stato dell’arte dell’innovazione digital, Febbraio 2022

Rejeb, Abderahman, Karim Rejeb, and Horst Treiblmaier. "How augmented reality impacts retail marketing: A state-of-the-art review from a consumer perspective." Journal of Strategic Marketing (2021): 1-31.

Acronimi

Avatar     rappresentazione digitale di una persona che, nella XR, permette di interagire con l’ambiente e con le altre persone

AR     Augmented Reality, realtà che ci circonda e che viene arricchita con contenuti aggiuntivi come immagini, video, modelli 3D ecc. visualizzati tramite dispositivi mobili.

ARKit     Augmented Reality Kit, set di librerie Apple per iOS che permettono di fruire di esperienze di Realtà Aumentata sui propri dispositivi mobili

B2B     Business to Business

B2C     Business to Consumer

GDO     Grande Distribuzione Organizzata

MoCap     abbreviazione di Motion Capture, è il processo di registrazione del movimento del corpo umano

MR     Mixed Reality, AR mediante appositi visori che ne permettono la fruizione con le mani libere.

RTT     Round Trip Time

VR     Virtual Reality, realtà sintetica di fantasia o tratta da ricostruzioni 3D fedeli alla realtà o in cui il fruitore si estranea dalla realtà con diversi gradi di immersività a seconda del dispositivo utilizzato

XR     eXtended Reality, estensione della realtà mediante dispositivi che abilitano AR, VR, MR e tutte le loro combinazioni