Know-how, előadás, standard mpeg-4,7,21
Összefoglaló: Az objektum megközelítései és a jelenet leírása. Audiovizuális jelenetek megformálása MPEG-4. Médiaobjektumok adatfolyamainak leírása és szinkronizálása. Profilok. Az adatfolyamok demultiplexelése, szinkronizálása és leírása, az MPEG-7 (DDL) meghatározási nyelve. Alfa maszkok.
- digitális televízió;
- interaktív grafikus alkalmazások (szintetikus tartalom);
- interaktív multimédiás világháló.
6.1. MPEG-4 szabvány
Az MPEG-4 szabvány technológiát kínál a fejlesztők, a szolgáltatók és a végfelhasználók igényeihez.
- az audio-, vizuális és audiovizuális információk blokkjait jelenti, úgynevezett "médiaobjektumok". Ezek a média objektumok természetes vagy mesterséges eredetűek lehetnek; azaz fényképezőgéppel vagy mikrofonnal lehet felvételt készíteni, vagy számítógéppel előállíthatók;
- leírja az objektumok összetételét, amikor kompozíciós média objektumokat hoz létre, amelyek audio-vizuális jeleneteket alkotnak;
- meghatározza a médiaobjektumokhoz kapcsolódó adatok multiplexelését és szinkronizációját úgy, hogy azokat hálózati csatornákon keresztül továbbíthassák, biztosítva a QoS-t, amely elfogadható az adott médiaobjektumok természete számára;
- Meghatározza a kölcsönhatást a fogadó oldalon kialakított audiovizuális jelenettel.
A média objektumok kódolt ábrázolása
Az MPEG-4 audiovizuális jelenetei több médiatárgyból állnak, hierarchikusan szervezve. A hierarchia perifériáján primitív médiaobjektumok, például:
Az MPEG-4 egységesíti az ilyen primitív médiaobjektumok számát, amelyek képesek mind a természetes, mind a szintetikus tartalomtípusok megjelenítésére, amelyek lehetnek 2- vagy 3-dimenziósak. A fentiekben említett médiaobjektumokon kívül az 1. ábrán látható. 3.1. Az MPEG-4 meghatározza az objektumok kódképzését, például:
- szöveg és grafika;
- beszélő szintetizált fej és társult szöveg beszédszintézishez és fej animációhoz;
- szintetizált hang.
A média objektum kódolt formában olyan leíró elemekből áll, amelyek lehetővé teszik az audiovizuális jelenet feldolgozását, és szükség esetén az adatfolyam hozzáadását is. Fontos megjegyezni, hogy az egyes médiaobjektumok kódolt formája a környezetétől vagy a háttértől függetlenül megjeleníthető.
A médiaobjektumok kódmegjelenítése a szükséges funkciók megszerzése szempontjából leghatékonyabb. Ilyen funkcionalitás például az ésszerű hibakezelés, az objektumok könnyű visszakeresése és szerkesztése, valamint az objektumok reprezentálható formában történő ábrázolása.
Médiaobjektumok összetétele
Az 1. ábrán. A 6.1 magyarázza az MPEG-4-ben található audiovizuális jelenetek leírásának módját, amely az egyes objektumokból áll. Az ábra összetett médiaobjektumokat tartalmaz, amelyek a primitív média objektumokat kombinálják. A primitív médiaobjektumok megegyeznek a leíró fa perifériájával, míg az összetett médiaobjektumok al-fák. Példaként: a beszélő személynek és a hangjának megfelelő vizuális objektumok egymással kombinálva alkotnak egy új kompozit média objektumot.
Ábra. 6.1. MPEG-4 jelenet példa
Ez a csoportosítás lehetővé teszi a fejlesztőknek, hogy összetett jeleneteket hozzanak létre, és a felhasználók manipulálják az ilyen objektumok egyéniségét vagy csoportjait.
Az MPEG-4 szabványosított módszert kínál a jelenetek leírására, lehetővé téve a következőket:
- helyezze a médiatárgyakat bárhol az adott koordináta rendszerbe;
- transzformációk alkalmazása a média objektum geometriai vagy akusztikai megjelenésének megváltoztatására;
- csoportos primitív média objektumokat kompozit médiaobjektumok létrehozásához;
- adathordozókat használhat a médiaobjektumok tulajdonságainak (például a hangnak, az objektumhoz tartozó mozgó textúrának, a szintetikus arcot vezérlő animációs paramétereknek) módosításához;
- interaktívan megváltoztathatja a felhasználó jelenlétét a színpadon (annak megfigyelési és hallgatási pontja).
A jelenet leírása sokféleképpen épül fel, mint a VRML (Virtual Reality Modeling Language).
Médiaobjektumok adatfolyamainak leírása és szinkronizálása
A médiaobjektumok adatfolyamot igényelhetnek, amely egy vagy több elemi áramká alakul át. Az objektumleíró a médiaobjektumhoz kapcsolódó összes szálat azonosítja. Ez lehetővé teszi, hogy hierarchikusan feldolgozza a kódolt adatokat, valamint a tartalomhoz kapcsolódó kapcsolódó médiainformációkat (úgynevezett "objektum-tartalomadatok").
Minden adatfolyamot az információ konfigurálásával kapcsolatos descriptor készlet jellemez, például a rögzítő eszköz szükséges erőforrásainak és a kódolt időinformáció pontosságának meghatározásához. Ezenkívül a leírók tartalmazhatnak az átvitelhez szükséges QoS-okat (pl. A bitek száma / s, a BER, a prioritás stb.),
Adatfolyamok átadása
A feladó adatfolyamának szinkronizált szállítása egy olyan címzett számára, amely a hálózaton elérhető különböző QoS-t használ, egy kétrétegű multiplexert tartalmazó szinkronizációs és kézbesítési réteg (lásd a 6.2. Ábrát) határozza meg.
Az első multiplex réteget a DMIF (Delivery Multimedia Integration Framework) specifikáció szerint kezeljük. Ez a multiplexelés megvalósítható a FlexMux MPEG multiplexerrel, amely lehetővé teszi számunkra, hogy az alacsonyabb redundanciájú ES (Elementary Streams) elemi áramokat csoportosítsuk. Ezen a szinten a multiplexelés használható például a hasonló QoS követelményekkel rendelkező ES csoportok csoportosítására a hálózati kapcsolatok vagy a késleltetési értékek számának csökkentése érdekében.
Ábra. 6.2. Az MPEG-4 rendszerréteg modell
A TransMux (Transport Multiplexing) réteg az 1. ábrán látható. 6.2 szimulálja a QoS követelményeinek megfelelő szállítási szolgáltatásokat. Az MPEG-4 csak a réteg interfészét határozza meg, míg az adatcsomagok fennmaradó követelményeit a szállítási protokoll határozza meg. Bármely meglévő szállítási protokollcsomag, például (RTP) / UDP / IP, (AAL5) / ATM vagy MPEG-2 Transport Stream. egy megfelelő összekötő réteg fölött a TransMux speciális esetévé válhat. A választás a végfelhasználó vagy a szolgáltató számára marad, és lehetővé teszi az MPEG-4 használatát számos operációs környezetben.
A FlexMux multiplexer használata opcionális, és amint az az 1. ábrán látható. 6.2. Ez a réteg üres lehet, ha az alapul szolgáló TransMux minden szükséges funkciót ellát. A szinkronizációs réteg azonban mindig jelen van. Ezt szem előtt tartva lehetséges:
- azonosítja a hozzáférési modulokat, a szállítási időbélyegeket és a referenciaidőt, valamint rögzíti az adatvesztést;
- opcionálisan feltölthet adatokat különböző elemi streamekről a FlexMux streamekbe;
- átviteli vezérlési információ;
- Jelölje meg a szükséges QoS szintet minden elemi menet és FlexMux áramlás esetén;
- fordítsa le ezeket a QoS követelményeket a tényleges hálózati erőforrásokra;
- összekapcsolja az elemi streameket a média objektumokkal;
- átadja az elemi áramok kötését a FlexMux és a TransMux csatornákhoz.
Interakció a média objektumokkal
A felhasználó egy olyan jelenetet lát, amelyet a fejlesztő tervezése alapján alakítanak ki. A fejlesztő által biztosított szabadság mértékétől függően a felhasználónak lehetősége van a jelenettel való interakcióra. A következő műveletek engedélyezhetők a felhasználó számára:
- megváltoztatja a megfigyelési pontot / tárgyalást a színpadon;
- mozgatni a tárgyakat a jeleneten keresztül;
- Hívja az eseménysorozatot bizonyos objektumokra kattintva, például az adatfolyam indításával vagy leállításával;
- válassza ki a kívánt nyelvet, ha ilyen választás lehetséges.
A szellemi tulajdon kezelése és azonosítása
Fontos, hogy képes legyen azonosítani az intellektuális tulajdont az MPEG-4 médiaobjektumokban. A szellemi tulajdon azonosítására vonatkozó követelmények teljes listája megtalálható az MPEG honlapján a "Szellemi tulajdon kezelése és védelme" c. Részben.
Az MPEG-4 magában foglalja a szellemi tulajdon azonosítását a nemzetközi számozási rendszerek által kibocsátott egyedi azonosítók tárolásával (pl. ISAN (International Audio-Visual Number), ISRC (International Standard Recording Code) stb.). Ezek a számok felhasználhatók a médiaobjektum jogainak jelenlegi tulajdonosának azonosítására. Mivel nem minden tartalom azonosítható ezzel a számmal, az MPEG-4 1. verziója képes azonosítani a szellemi tulajdont egy pár kulcsérték segítségével (például: zeneszerző / John Smith). Továbbá, az MPEG-4 szabványos felületet kínál, amely szorosan integrálva van a rendszerréteggel azok számára, akik olyan rendszert kívánnak használni, amely szabályozza a szellemi tulajdonhoz való hozzáférést. Ezzel a kezelőfelülettel a tulajdonjog-ellenőrző rendszerek könnyen integrálhatók a dekóder szabványos részével.
A probléma sürgősségére való tekintettel az MPEG-21 szabványt jelenleg fejlesztik, amely szabályozza a felhasználók egymás közötti és digitális objektumokkal való kapcsolatát.