Cos'è "Nex" per l'industria del gioco immersivo?

Una piattaforma di gioco con sede a San Francisco ha sviluppato una partnership di gioco coinvolgente e stellare con Sky Live

Ultima modifica: 3 agosto 2023

Demond Cureton

Mentre l’industria dei giochi eclissa il settore cinematografico e cinematografico, le aziende di gioco stanno sfruttando le loro tecnologie per creare esperienze coinvolgenti di livello superiore.

Aziende come Meta, holoride, Improbable, Steam, Sony e molte altre hanno iniziato a sfruttare le loro tecnologie di gioco per raggiungere questo obiettivo. Con le loro soluzioni innovative, sempre più aziende e le loro basi di clienti sono entrate nelle tecnologie emergenti tramite piattaforme di realtà mista (MR).

Comunemente utilizzato per la creazione di contenuti 3D in tempo reale (RT3D), il motion capture (mocap) è rapidamente diventato un pilastro nel mercato della realtà estesa (XR), utilizzato sui visori più recenti.

Utilizzando le fotocamere rivolte in avanti, il tracciamento di mani e occhi e 3-6 gradi di volo (DoF), le cuffie più famose al mondo hanno utilizzato strumenti di acquisizione del movimento per aumentare l'immersione dell'utente.

Un'azienda veterana nel settore della visione artificiale e dei giochi mocap ha condiviso le sue storie di successo con un approccio innovativo e più semplice.

XR Today ha il piacere di intervistareDavid Lee, cofondatore e amministratore delegato di Nex Team Inc . Nella nostra discussione, esploriamo l'ascesa delle tecnologie immersive di acquisizione del movimento per l'industria dei giochi.

Esaminiamo anche le soluzioni di gioco mocap Nex Playground della sua azienda, il suo kit di sviluppo movimento (MDK) basato su Unity e la sua partnership con Sky Live.

David Lee : Il nostro viaggio è iniziato nel 2017 quando volevamo creare motion capture utilizzando le fotocamere dei telefoni. Ciò è avvenuto intorno al rilascio del chip A12 Bionic di Apple. Apple aveva anche rilasciato CoreML, che sostanzialmente ha semplificato il modo in cui i modelli di machine learning vengono eseguiti sui dispositivi mobili.

Avanti veloce fino ad oggi e quel livello di potenza di elaborazione si trova in un numero crescente di processori System-on-a-chip (SoC).

I SoC di punta ora hanno queste funzionalità e le sfruttano per il mocap di base e il tracciamento del movimento sui dispositivi. Nex li utilizza in modo efficace nelle proprie caselle di configurazione, dove il fotogramma della fotocamera, catturato sul dispositivo, viene inviato all'unità di elaborazione neurale (NPU). È qui che l'analisi del machine learning (ML) estrae la posa del corpo e possiamo catturare il movimento dell'utente.

Questo viene successivamente passato al motore di gioco per disegnare i fotogrammi che rispondono ad esso. È il modo in cui possiamo effettivamente interpretare i movimenti dell'utente sullo schermo, consentendo ai giocatori di interagire con i contenuti.

Lavoriamo con questo da molto tempo e abbiamo integrato l'insieme di tecnologie nel nostro kit di sviluppo del movimento (MDK). Abbiamo due kit sviluppati sul motore di gioco Unity e funzionalità di tracciamento del movimento tramite un'unica fotocamera RGB.

Ciò distribuisce la funzionalità di motion capture su sistemi operativi come Android, che funziona su dispositivi Nex Playground. Disponiamo inoltre di accelerazione hardware, che sfrutta le capacità sottostanti del SoC, per potenziare l'inferenza ML per i modelli di posa. Contiene anche molti strumenti per costruire più facilmente giochi di movimento.

Utilizziamo noi stessi l'MDK e condividiamo la nostra strategia con studi esterni che creano videogiochi per Nex Playground. Alcune tecnologie sono realizzate internamente e altre provengono anche da partnership.

David Lee : Sky Live è una telecamera interattiva per le nostre telecamere TV interattive Sky Glass. Le spedizioni dei televisori sono iniziate lo scorso anno e le nostre fotocamere interattive sono state lanciate lo scorso giugno.

Questi sono dotati di chip SoC avanzati, che elaborano 30 fotogrammi al secondo per estrarre il movimento. Questa è la tecnologia fondamentale che consente alle persone di creare esperienze basate sul movimento.

Nel complesso, il dispositivo ha quattro casi d'uso principali: videoconferenza, visione di chiamate registrate, visione di spettacoli connessi e, infine, giochi di movimento e monitoraggio del fitness per feedback sugli allenamenti.

Nex è fondamentalmente uno dei principali partner di giochi in movimento di Sky e delle 27 esperienze fornite con il lancio, Nex è responsabile di 17 di quelle esperienze.

Funziona con un partner che va oltre lo streaming portando esperienze interattive nei salotti delle persone. Ci aiuterà anche ad espandere il modo in cui distribuiamo i giochi alle famiglie e ai consumatori nel mercato del Regno Unito.