FUN-Media consentirà comunicazioni multimediali immersive in rete di nuova generazione, garantendo la QoE attesa, permettendo comunicazioni empatiche, fornendo una reale sensazione di presenza, assicurando i contenuti attesi e l’autenticità dell’utente. Ciò è possibile grazie ai progressi tecnologici nel campo dei gemelli digitali, delle comunicazioni multimodali e multisensoriali, dell’interazione audio/acustica con l’utente, della distribuzione consapevole della QoE di contenuti affidabili, della generazione di media e delle rappresentazioni per esseri umani e macchine.

FUN-MEDIA fa parte dello Spoke 4 – Programmable Networks for Future Services and Media

PI di progetto: Enrico Magli

Sono stati compiuti progressi tecnici in diverse aree, tra cui:
  • gestione del progetto e acquisti per il Laboratorio Spoke
  • algoritmi di metronomo adattivo e occultamento della perdita di pacchetti per mitigare l'impatto della latenza
  • metodi per rilevare la manipolazione dell'audio
  • studio dell'impatto della compressione e degli artefatti di trasmissione su nuvole di punti dinamiche e dense con test soggettivi per esplorare la QoE degli utenti con diverse combinazioni di degrado (compressione e perdita di pacchetti)
  • controllo del movimento QoE-aware di uno sciame di droni per la videosorveglianza
  • studio dell'effetto dell'adozione della realtà aumentata e virtuale sulla qualità percepita dall'utente
  • previsione del viewport basata sull'apprendimento
  • schemi di compressione basati sull'apprendimento e su modelli di diffusione
  • metodi per la sparsificazione e la quantizzazione delle reti
  • compressione di nuvole di punti e campi di luce
  • un approccio all'apprendimento continuo federato asincrono.
Il progetto ha già generato diversi risultati pratici, molti dei quali sono stati consolidati in pubblicazioni scientifiche. Tra questi vi sono:
  • un metodo di compressione e trasmissione content-aware per i dati Lidar del settore automobilistico
  • un metodo di apprendimento continuo per la segmentazione semantica delle immagini
  • metodi per il rilevamento del parlato sintetico e manipolato
  • un metodo per il rilevamento di deepfake
  • un metodo per la previsione del viewport
  • un metodo di apprendimento continuo federato
  • uno studio sull'impatto della VR sull'attenzione degli utenti.
Si prevede che molti di questi metodi porteranno a tecnologie sfruttabili dall'industria nel corso del progetto, poiché i relativi casi d'uso sono stati scelti in modo tale da essere rilevanti per il mercato.
  • Publications
    Total number of publications (including journals and conference papers):
    Expected: 36
    Accomplished: 15
    Readiness: 42%

  • Joint publications
    (at least 30% of total number of publications)
    Expected: 12
    Accomplished: 2
    Readiness: 17%

  • Talk, dissemination and outreach activities
    (does not include conference presentations)
    Expected: 9
    Accomplished: 4
    Readiness: 44%

  • Innovations
    Expected: 10 items
    Accomplished: 2 items submitted to mission 7
    Readiness: 20%

  • Demo/PoC
    Expected: 5 PoCs by the end of the project
    Accomplished: 0
    Readiness: 0% (work according to plan, as demo/PoCs are expected starting from the second year of the project).
  • M1.1 First release of exploitation, dissemination and impact
    Expected M12
    Accomplished M12
    Readiness 100%

  • M1.2 Second release of exploitation, dissemination and impact monitoring monitoring
    Expected M24
    Accomplished M12
    Readiness 50%

  • M1.3 Third release of exploitation, dissemination and impact monitoring
    Expected M36
    Accomplished M12
    Readiness 33%

  • M3.1 First release of audio and acoustic signal processing system
    Expected M12
    Accomplished M12
    Readiness 100%

  • M3.2 Advanced release of audio and acoustic signal processing system
    Expected M24
    Accomplished M12
    Readiness 50%

  • M3.3 Release of proof-of-concept of audio and acoustic signal processing system
    Expected M36
    Accomplished M12
    Readiness 33%

  • M4.1 First release of experience-aware distribution system for authentic contents
    Expected M12
    Accomplished M12
    Readiness 100%

  • M4.2 Advanced release of experience-aware distribution system for authentic contents
    Expected M24
    Accomplished M12
    Readiness 50%

  • M4.3 Release of proof-of-concept of experience-aware distribution system for authentic contents
    Expected M36
    Accomplished M12
    Readiness 33%

  • M6.1 First release of innovative media generation and representation system
    Expected M12
    Accomplished M12
    Readiness 100%

  • M6.2 Advanced release of innovative media generation and representation system
    Expected M24
    Accomplished M12
    Readiness 50%

  • M6.3 Release of proof-of-concept of innovative media generation and representation system
    Expected M36
    Accomplished M12
    Readiness 33%

Proposte di collaborazione:

Elenco provvisorio (contattare il responsabile del progetto per maggiori informazioni):

  • una collaborazione sulla performance musicale in rete, che consente ai musicisti di collaborare ed esibirsi insieme in tempo reale, superando i confini geografici. L’obiettivo è sviluppare un’esperienza musicale collaborativa più fluida e coinvolgente;
  • una collaborazione su algoritmi efficienti basati su viewport per sistemi di streaming video omnidirezionali, che impiegano metodi di apprendimento automatico e sfruttano le informazioni di salienza;
  • una collaborazione su modelli di rilevamento deepfake per le informazioni visive che impiegano reti neurali profonde;
  • una collaborazione su campi di radianza neurali e splatting gaussiano per il rendering delle scene;
  • una collaborazione su reti neurali a bassa complessità (ad esempio binarie) per l’inferenza e la compressione su dispositivi embedded;

È possibile avanzare proposte di collaborazione sul progetto contattando il PI del progetto.

FUN-Media News: