InteRViR
Processing and
Transmission of Bulky Multimedia Signals for Telereality
(Integrácia reálneho a
virtuálneho sveta v prostredí zmiešanej reality)
VEGA 1/0605/23
Anotácia
Jednou z
hlavných výskumných tém v oblasti IKT je vytvorenie virtuálneho sveta pre
virtuálnu komunikáciu (napr. Metaverse). Virtualizácia komunikácie
umožňuje okrem iného jednoduchšiu technickú realizáciu ale aj tvorbu
virtuálnych svetov s vymyslenými vlastnosťami. Cieľom predkladaného
projektu je prepojiť virtuálny svet s reálnym svetom, ktorý je online
snímaný a zobrazovaný vo virtuálnom svete (virtuálny teleport VT). Rozlišujeme
dva druhy VT. Snímanie objektu/osoby a
prenos hologramu do virtuálneho sveta resp. snímanie vzdialeného reálneho sveta
a jeho sprítomnenie reálnym osobám.
Zodp.
riešiteľ projektu je autorom patentových prihlášok za STU. Ich predmetom
je unikátna koncepcia kamerového systému (vid obr. v pril.), ktorý
zabezpečuje sférické snímanie priestoru v stereo kvalite. Úlohou projektu
je integrovať aspoň časť takto zosnímaného
priestoru/objektu do virtuálneho sveta. Synchronizácia kamier, projekcia a
spájanie snímkov pre vytvorenie výsledného stereo pohľadu je silná vedecko-výskumná výzva.
Kľúčové slová
videokonferencia v prostredí zmiešanej
reality, virtuálny teleport, sledovanie 3D priestoru, spájanie obrazov
Vedecké ciele
Hlavným vedeckým cieľom je prepojenie
virtuálneho sveta typu Metaverse s reálnym svetom formou virtuálneho teleportu
vzdialeného priestoru alebo objektu/osoby.
Základné vedecké ciele sú koncentrované do
týchto oblastí:
1. Návrh
metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom
na doručovaniemultimediálneho obsahu vrátane jeho adaptácie so zameraním
na obsah: staticky obraz, 2D video, 3D video, 360° a multismerové video, 3D
telerealita, VR/AR
2. Návrh
a implementácia systému kamier pre neobmedzený všesmerový stereoskopický prenos
obrazovejinformácie zo vzdialeného priestoru a ich synchronizácia
3. Návrh
a realizácia metód a algoritmov pre spájanie obrazov v rámci navrhnutého
systému kamier
4. Návrh
metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom
na doručovanie multimediálneho obsahu vrátane jeho adaptácie so zameraním
na interakciu a spätnú väzbu.
5. Identifikácia,
návrh a overenie nových možností adaptácie doručovania multimediálneho
obsahu v 5G sieťach
6. Integrácia
takto vytvoreného teleportu priestoru alebo objektu/osoby do virtuálneho sveta
Anotation
One of the main research topics in the
field of ICT is the creation of a virtual world for virtual communication
(e.g. Metaverse). Virtualization of communication enables simpler technical
implementation but also the creation of virtual worlds with fictional
features. The aim of the presented project is to connect the virtual world
with the real world, which is scanned and displayed online in the virtual
world (virtual teleport VT).We distinguish two types of VT. Object/person
scanning and hologram transmission to the virtual world and capturing the
distant real world and presenting it.
The
principal investigator is the author of patent applications for STU. Their
subject is a unique concept of a camera system (see picture in the appx),
which ensures spherical space capturing in stereo quality. The task of the
project is to integrate at least part of the space/object captured in this
way into the virtual world.Camera synchronization, image stitching to
create the resulting stereo view is a research challenge
Scientific Goals
|
|
The main
scientific goal is to connect the Metaverse virtual world with the real world
in the form of a virtual teleport of a remote space or object / person.
1. Design of methods and algorithms for
interactive multimedia services and applications with emphasis on delivering
multimedia content, including its content-oriented adaptation: audio, static
image, 2D video, 3D video, 360 ° and omnidirectional video, 3D telereality, VR
/ AR
2. Proposal and implementation of a
camera system for unrestricted omnidirectional stereoscopic transmission of
image information from remote location.
3. Proposal and implementation of methods
and algorithms for image concatenation within the proposed camera system.
4. Design of methods and algorithms for
interactive multimedia services and applications with emphasis on delivering
multimedia content, including its adaptation within videoconferencing
5. Identification, proposal and
verification of new possibilities for adapting delivery of multimedia content
in 5G network
6. Integration of the created teleport of
a remote space or object/person with the virtual world.
Keywords
Videoconference
in Mixed Reality Environment, virtual teleport, streaming of 3D space and objects,
image stitching
Research team
Gregor Rozinaj (principal
investigator)
Podhradský Pavol
Oravec Milos
Pavlovicova Jarka
Medvecký Martin
Minarik Ivan
Vančo Marek
Vargic Radoslav