FUN-Media consentirà comunicazioni multimediali immersive in rete di nuova generazione, garantendo la QoE attesa, permettendo comunicazioni empatiche, fornendo una reale sensazione di presenza, assicurando i contenuti attesi e l’autenticità dell’utente. Ciò è possibile grazie ai progressi tecnologici nel campo dei gemelli digitali, delle comunicazioni multimodali e multisensoriali, dell’interazione audio/acustica con l’utente, della distribuzione consapevole della QoE di contenuti affidabili, della generazione di media e delle rappresentazioni per esseri umani e macchine.

FUN-MEDIA fa parte dello Spoke 4 – Programmable Networks for Future Services and Media

Il progetto è stato attivo in tutti i workpackage, ad eccezione di quelli riservati ai bandi a cascata. Sono stati compiuti progressi tecnici in diverse aree, tra cui:
  • gestione del progetto e acquisti per il laboratorio Spoke
  • algoritmi di metronomo adattivo e occultamento della perdita di pacchetti per attenuare l'impatto della latenza
  • metodi per rilevare la manipolazione dell'audio
  • studio dell'impatto della compressione e degli artefatti di trasmissione su nuvole di punti dinamiche e dense con test soggettivi per esplorare la QoE degli utenti con diverse combinazioni di degrado (compressione e perdita di pacchetti)
  • studio dell'effetto dell'adozione della realtà aumentata e virtuale sulla qualità percepita dall'utente previsione del viewport basata sull'apprendimento
  • schemi di compressione basati sull'apprendimento e su modelli di diffusione
  • metodi di sparsificazione e quantizzazione della rete
  • compressione di nuvole di punti e campi di luce
  • un approccio all'apprendimento continuo federato asincrono.
Il progetto ha già generato diversi risultati pratici, attualmente soprattutto sotto forma di algoritmi. Mentre diverse attività e metodi non sono abbastanza maturi per essere riportati, altri sono stati consolidati in pubblicazioni scientifiche. Tra questi vi sono:
  • un metodo di compressione e trasmissione content-aware per i dati Lidar del settore automobilistico
  • un metodo di apprendimento continuo per la segmentazione semantica delle immagini
  • metodi per il rilevamento del parlato sintetico e manipolato
  • un metodo per il rilevamento di deepfake
  • un metodo per la previsione del viewport
  • un metodo di apprendimento continuo federato
  • uno studio sull'impatto della VR sull'attenzione degli utenti.
Si prevede che molti di questi metodi porteranno a tecnologie sfruttabili dall'industria nel corso del progetto, poiché i relativi casi d'uso sono stati scelti in modo tale da essere rilevanti per il mercato.
  1. Publications
    • Total number of publications (including journals and conference papers):
    • Expected: 36
    • Accomplished: 8
    • Readiness: 22%
  2. Joint publications (at least 30% of total number of publications)
    • Expected: 12
    • Accomplished: 0
    • Readiness: 0%
  3. Talk, dissemination and outreach activities (does not include conference presentations)
    • Expected: 9
    • Accomplished: 2
    • Readiness: 22%
  4. Innovations
    • Expected: 10 items
    • Accomplished: 2 items submitted to mission 7
    • Readiness: 20%
  5. Demo/PoC
    • Expected: 5 PoCs by the end of the project
    • Accomplished: 0
    • Readiness: 0% (work according to plan, as demo/PoCs are expected starting from the second year of the project).

Proposte di collaborazione:

  • una collaborazione sulla performance musicale in rete, che consente ai musicisti di collaborare ed esibirsi insieme in tempo reale, superando i confini geografici; l’obiettivo è sviluppare un’esperienza musicale collaborativa più fluida e coinvolgente.
  • una collaborazione su algoritmi efficienti basati su viewport per sistemi di streaming video omnidirezionali, utilizzando metodi di apprendimento automatico e sfruttando le informazioni di salienza.

È possibile avanzare proposte di collaborazione sul progetto contattando riccardo.leonardi at unibs.it


FUN-Media News: