FUN-Media consentirà comunicazioni multimediali immersive in rete di nuova generazione, garantendo la QoE attesa, permettendo comunicazioni empatiche, fornendo una reale sensazione di presenza, assicurando i contenuti attesi e l’autenticità dell’utente. Ciò è possibile grazie ai progressi tecnologici nel campo dei gemelli digitali, delle comunicazioni multimodali e multisensoriali, dell’interazione audio/acustica con l’utente, della distribuzione consapevole della QoE di contenuti affidabili, della generazione di media e delle rappresentazioni per esseri umani e macchine.

FUN-MEDIA fa parte dello Spoke 4 – Programmable Networks for Future Services and Media

PI di progetto: Enrico Magli

Sono stati compiuti progressi tecnici in diverse aree, tra cui:
  • gestione del progetto e acquisti per il Laboratorio Spoke
  • algoritmi di metronomo adattivo e occultamento della perdita di pacchetti per mitigare l'impatto della latenza
  • metodi per rilevare la manipolazione dell'audio
  • studio dell'impatto della compressione e degli artefatti di trasmissione su nuvole di punti dinamiche e dense con test soggettivi per esplorare la QoE degli utenti con diverse combinazioni di degrado (compressione e perdita di pacchetti)
  • controllo del movimento QoE-aware di uno sciame di droni per la videosorveglianza
  • studio dell'effetto dell'adozione della realtà aumentata e virtuale sulla qualità percepita dall'utente
  • previsione del viewport basata sull'apprendimento
  • schemi di compressione basati sull'apprendimento e su modelli di diffusione
  • metodi per la sparsificazione e la quantizzazione delle reti
  • compressione di nuvole di punti e campi di luce
  • un approccio all'apprendimento continuo federato asincrono.
Il progetto ha già generato diversi risultati pratici, molti dei quali sono stati consolidati in pubblicazioni scientifiche.

Tra questi vi sono:
  • un metodo di compressione e trasmissione content-aware per i dati Lidar del settore automobilistico
  • un metodo di apprendimento continuo per la segmentazione semantica delle immagini
  • metodi per il rilevamento del parlato sintetico e manipolato
  • un metodo per il rilevamento di deepfake
  • un metodo per la previsione del viewport
  • un metodo di apprendimento continuo federato
  • uno studio sull'impatto della VR sull'attenzione degli utenti
  • valutazione dello stress per AR basata sui movimenti della testa identificazione del segnale sensoriale principale nella realtà virtuale multimediale
  • un set di dati VR per studi di rete e QoE
  • un set di dati multimodali aerei con misurazioni di rete e dati di percezione
Si prevede che molti di questi metodi porteranno a tecnologie sfruttabili dall'industria nel corso del progetto, poiché i relativi casi d'uso sono stati scelti in modo tale da essere rilevanti per il mercato.

Papers:
A. Ferrarotti, S. Baldoni, M. Carli, F. Battisti, "Stress Assessment for Augmented Reality Applications based on Head Movement Features",  IEEE Transactions on Visualization and Computer Graphics, 2024 

Federico Miotello, Mirco Pezzoli, Luca Comanducci, Fabio Antonacci, Augusto Sarti, "Deep Prior-Based Audio Inpainting Using Multi-Resolution Harmonic Convolutional Neural Networks",  IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2023 

Daniele Ugo Leonzio, Luca Cuccovillo, Paolo Bestagini, Marco Marcon, Patrick Aichroth, Stefano Tubaro, "Audio Splicing Detection and Localization Based on Acquisition Device Traces", IEEE Transactions on Information Forensics and Security, 2023 
Il progetto sviluppa diverse tecnologie che possono essere oggetto di collaborazione e sfruttamento da parte dell’industria. Attualmente abbiamo due linee di collaborazione attive con l’industria. Uno dei partner del progetto, Wind3, fornisce il punto di vista aziendale sulle attività del WP3 e sull'ambito del WP4 ​​ed evidenzia le sinergie tra i diversi elementi della rete. Inoltre, con le chiamate a cascata abbiamo un nuovo partner industriale (Xenia Progetti) che aiuterà a definire e dimostrare un caso d'uso di impiego di gemelli digitali per performance musicali in rete.
Partner di programma: Partner bandi a cascata:
Ricerche recenti riguardano il ripristino di segnali audio con parti mancanti. Abbiamo sviluppato metodi basati sull'intelligenza artificiale per recuperare quelle parti e fornire una qualità di riproduzione quasi perfetta. Abbiamo anche affrontato il problema dello splicing audio, dove un utente malintenzionato potrebbe sostituire parti di un audio con altre dello stesso parlante, alterando il significato di ciò che viene detto; Ai può dirci se sono state applicate manipolazioni.
  • Publications
    Total number of publications (including journals and conference papers):
    Expected: 36
    Accomplished: 15
    Readiness: 42%

  • Joint publications
    (at least 30% of total number of publications)
    Expected: 12
    Accomplished: 2
    Readiness: 17%

  • Talk, dissemination and outreach activities
    (does not include conference presentations)
    Expected: 9
    Accomplished: 4
    Readiness: 44%

  • Innovations
    Expected: 10 items
    Accomplished: 2 items submitted to mission 7
    Readiness: 20%

  • Demo/PoC
    Expected: 5 PoCs by the end of the project
    Accomplished: 0
    Readiness: 0% (work according to plan, as demo/PoCs are expected starting from the second year of the project).
  • M1.1 First release of exploitation, dissemination and impact
    Expected M12
    Accomplished M12
    Readiness 100%

  • M1.2 Second release of exploitation, dissemination and impact monitoring monitoring
    Expected M24
    Accomplished M12
    Readiness 50%

  • M1.3 Third release of exploitation, dissemination and impact monitoring
    Expected M36
    Accomplished M12
    Readiness 33%

  • M3.1 First release of audio and acoustic signal processing system
    Expected M12
    Accomplished M12
    Readiness 100%

  • M3.2 Advanced release of audio and acoustic signal processing system
    Expected M24
    Accomplished M12
    Readiness 50%

  • M3.3 Release of proof-of-concept of audio and acoustic signal processing system
    Expected M36
    Accomplished M12
    Readiness 33%

  • M4.1 First release of experience-aware distribution system for authentic contents
    Expected M12
    Accomplished M12
    Readiness 100%

  • M4.2 Advanced release of experience-aware distribution system for authentic contents
    Expected M24
    Accomplished M12
    Readiness 50%

  • M4.3 Release of proof-of-concept of experience-aware distribution system for authentic contents
    Expected M36
    Accomplished M12
    Readiness 33%

  • M6.1 First release of innovative media generation and representation system
    Expected M12
    Accomplished M12
    Readiness 100%

  • M6.2 Advanced release of innovative media generation and representation system
    Expected M24
    Accomplished M12
    Readiness 50%

  • M6.3 Release of proof-of-concept of innovative media generation and representation system
    Expected M36
    Accomplished M12
    Readiness 33%

Ricercatori coinvolti: Il progetto prevede un numero stimato di persone/mese per ogni anno pari a circa 144, stimate in 5 ricercatori di RST-A, 5 dottorandi più 2 docenti equivalenti a tempo pieno. Ciò non include i partner dei bandi a cascata.

Proposte di collaborazione:

Elenco provvisorio (contattare il responsabile del progetto per maggiori informazioni):

  • una collaborazione sulla performance musicale in rete, che consente ai musicisti di collaborare ed esibirsi insieme in tempo reale, superando i confini geografici. L’obiettivo è sviluppare un’esperienza musicale collaborativa più fluida e coinvolgente;
  • una collaborazione su algoritmi efficienti basati su viewport per sistemi di streaming video omnidirezionali, che impiegano metodi di apprendimento automatico e sfruttano le informazioni di salienza;
  • una collaborazione su modelli di rilevamento deepfake per le informazioni visive che impiegano reti neurali profonde;
  • una collaborazione su campi di radianza neurali e splatting gaussiano per il rendering delle scene;
  • una collaborazione su reti neurali a bassa complessità (ad esempio binarie) per l’inferenza e la compressione su dispositivi embedded;

È possibile avanzare proposte di collaborazione sul progetto contattando il PI del progetto.

FUN-Media News: