ISO/IEC 23090-5: Visual Volumetric Video-based Coding (V3C) and Video-based Point Cloud Compression (V-PCC)
ISO/IEC 23090-5, bagian dari rangkaian standar MPEG-I (Moving Picture Experts Group Immersive), adalah standar untuk kompresi video volumetrik berbasis video (V3C) dan kompresi point cloud berbasis video (V-PCC). Standar ini dirancang untuk menangani data volumetrik besar yang digunakan dalam aplikasi seperti realitas virtual (VR), augmented reality (AR), dan representasi 3D lainnya.
Tujuan Standar
- Kompresi Efisien: Meminimalkan ukuran data volumetrik seperti point cloud tanpa mengurangi kualitas visual secara signifikan.
- Interoperabilitas: Memastikan data yang dikompresi dapat digunakan di berbagai platform dan perangkat.
- Skalabilitas: Mendukung berbagai resolusi dan kompleksitas untuk memenuhi kebutuhan aplikasi yang berbeda.
- Kompatibilitas dengan Format Video: Memanfaatkan infrastruktur video 2D yang ada untuk efisiensi.
Konsep Utama dalam ISO/IEC 23090-5
1. Video-based Coding (V3C)
- Definisi: Kerangka kerja yang mengatur representasi data volumetrik dalam format berbasis video.
- Fungsi:
- Mengatur data volumetrik menjadi serangkaian proyeksi 2D (video) yang dapat dikompresi menggunakan codec video konvensional seperti H.264/AVC atau H.265/HEVC.
- Mengurangi kebutuhan penyimpanan dan bandwidth untuk data volumetrik.
2. Video-based Point Cloud Compression (V-PCC)
- Definisi: Skema kompresi yang secara khusus dirancang untuk data point cloud menggunakan representasi berbasis video.
- Fitur Utama:
- Mengubah point cloud menjadi serangkaian video 2D dengan atribut seperti warna dan kedalaman.
- Memanfaatkan efisiensi codec video untuk kompresi.
- Menggabungkan metadata untuk merekonstruksi point cloud asli dari video yang terkompresi.
Komponen Teknis
1. Proyeksi dan Representasi
- Point cloud atau data volumetrik direpresentasikan dalam bentuk patches (potongan data kecil) yang diproyeksikan ke dalam frame video 2D.
- Jenis proyeksi yang digunakan:
- Orthogonal projection: Untuk data geometris sederhana.
- Spherical projection: Untuk lingkungan yang melibatkan pandangan omnidirectional.
2. Struktur Data
- Data volumetrik dikodekan dalam unit V3C, yang mencakup:
- Atlas: Sekumpulan frame video 2D yang merepresentasikan point cloud.
- Patch metadata: Informasi tentang orientasi, ukuran, dan lokasi setiap patch.
- Occupancy map: Menandai bagian mana dari video yang berisi data penting.
3. Pemrosesan Data
- Encoding:
- Data volumetrik diubah menjadi atlas 2D menggunakan algoritma segmentasi.
- Atlas kemudian dikompresi menggunakan codec video konvensional.
- Decoding:
- Video yang terkompresi didekodekan untuk menghasilkan atlas 2D.
- Point cloud direkonstruksi dari atlas dengan menggunakan metadata.
4. Penyimpanan dan Streaming
- Data yang dikompresi menggunakan V-PCC dapat disimpan atau dikirimkan menggunakan format file seperti MP4 atau MPEG Transport Stream.
- Kompresi yang tinggi memungkinkan streaming data volumetrik secara real-time, bahkan untuk aplikasi dengan bandwidth terbatas.
Fitur Utama
1. Kompresi Efisien
- V-PCC mengurangi ukuran data volumetrik hingga 100 kali dibandingkan ukuran aslinya.
- Kompatibel dengan codec video standar seperti H.265/HEVC dan AV1.
2. Skalabilitas
- Mendukung berbagai resolusi, dari low-resolution untuk aplikasi sederhana hingga high-resolution untuk representasi volumetrik berkualitas tinggi.
3. Interoperabilitas
- Data yang dikodekan menggunakan standar ini dapat digunakan di berbagai perangkat seperti headset VR/AR, smartphone, dan perangkat desktop.
4. Dukungan untuk Atribut Data
- Selain geometri, V-PCC mendukung atribut seperti:
- Warna (Color): Representasi RGB untuk setiap titik.
- Normal Vector: Untuk shading dan rendering.
- Material Properties: Untuk keperluan rendering fisik yang lebih realistis.
Aplikasi
1. Realitas Virtual (VR) dan Augmented Reality (AR)
- Representasi pengguna atau objek 3D dalam ruang virtual untuk pengalaman yang lebih imersif.
- Digunakan dalam aplikasi seperti konferensi video berbasis avatar 3D.
2. Industri Hiburan
- Streaming point cloud dalam film atau game 3D.
- Representasi karakter animasi dengan detail tinggi.
3. E-commerce
- Visualisasi produk dalam format 3D volumetrik yang dapat diputar dan diperbesar.
4. Pendidikan dan Pelatihan
- Simulasi interaktif berbasis data volumetrik untuk pelatihan medis atau teknik.
5. Pemodelan dan Desain
- Digunakan dalam CAD (Computer-Aided Design) dan pemodelan arsitektur.
Keunggulan ISO/IEC 23090-5
- Efisiensi Kompresi Tinggi: Menggunakan metode berbasis video memungkinkan pengurangan ukuran file data volumetrik secara drastis.
- Kompatibilitas Codec: Memanfaatkan infrastruktur yang sudah ada untuk pengolahan dan distribusi video.
- Fleksibilitas: Dapat digunakan untuk berbagai jenis data volumetrik, termasuk point cloud statis atau dinamis.
- Skalabilitas: Mendukung berbagai tingkat resolusi dan kompleksitas aplikasi.
Relasi dengan Standar Lain
- ISO/IEC 23090-2 (OMAF): Untuk pengemasan konten AR/VR.
- ISO/IEC 23008-2 (HEVC): Codec video yang sering digunakan bersama V-PCC.
- ISO/IEC 14496-15 (MP4): Format kontainer untuk menyimpan data V-PCC.
Kesimpulan
ISO/IEC 23090-5 V3C dan V-PCC adalah standar inovatif yang memungkinkan kompresi dan pemrosesan data volumetrik secara efisien. Dengan mendukung berbagai aplikasi, dari VR/AR hingga e-commerce dan pendidikan, standar ini memainkan peran penting dalam ekosistem teknologi 3D modern. Keunggulan dalam efisiensi, fleksibilitas, dan interoperabilitas membuatnya menjadi pilihan utama untuk implementasi data volumetrik masa depan.
