Новини
Чи може віртуальна реальність розрізати шнур?
Діджитал
Давайте не будемо обмірковувати слова: мене явно збуджує нова гарнітура віртуальної реальності
Vive, створений у співпраці з HTC, може похвалитися ідеальним відстеженням вашої голови і двома контролерами, зручною роздільною здатністю 2160 x 1200 і ультра-чітким OLED-дисплеєм з частотою 90 Гц. Він вийде цього року і пропонує інтерактивні віртуальні реальності, які забезпечують стійке відчуття фізичної присутності на віртуальній сцені.
Щоб зрозуміти, наскільки добре відстеження, подивіться це відео «The Gallery», віртуальної гри, в яку грають на Vive.
Виклик віртуальної реальності у вільному роумінгу
Vive це фантастика. Однак, якщо ви прочитаєте огляди прототипів гарнітур, які ви бачите, ви почнете помічати, що одна конкретна скарга продовжує з'являтися.
Венчурний ритм:
«Під час випробувань з прототипом я носив пояс, щоб не заважати пачці шнурів - і тепер, коли я думаю про це, Valve, мабуть, змусив когось ходити зі мною, щоб переконатися, що я не перечепився будь-яку слабину, яку я створив, переміщаючись по кімнаті».
ПК МАГ:
«Оскільки це повністю інтерактивна прогулянка, вам потрібно прибрати меблі з центру кімнати і постаратися не спіткнутися об кабель, що тягнеться назад до ПК».
Gizmodo:
"І це, напевно, головне слабке місце в HTC Vive. Це як Матриця в тому, що здається реальним, але і в тому, що ви підключені до ПК за допомогою кабелю, який виходить з потилиці. Це іноді обмежує ваш вільний рух і іноді (але не часто, з мого досвіду) становить небезпеку для спотикання. Це не дуже велика проблема, але вона помітна в будь-якому випадку ".
Частково це пов'язано з тим, що гарнітура є прототипом з п'ятьма кабелями (споживча версія повинна мати тільки один, комбінований кабель USB і HDMI, що з'єднує гарнітуру з ПК). Тим не менш, проблема, мабуть, є фундаментальною для дротових гарнітур, які дозволяють вам вільно ходити. Шнури - це небезпека спіткнутися, а також просто облом. Вони заважають вам виймати ваш пристрій VR з кімнати, а тим більше з дому.
Це стане більшою проблемою, коли ми почнемо використовувати VR як базовий інтерфейс для наших операційних систем.
У нас не було ПК дуже довго, перш ніж ми хотіли отримати мобільну версію (ноутбуки, смартфони і планшети). VR буде таким же чином, особливо коли ми почнемо інтегрувати функції доповненої реальності за принципом
На жаль, виявляється, що відключення віртуальних гарнітур від ПК є серйозною технологічною проблемою, яку ми досі не знаємо, як її вирішити. Однак на горизонті є дві багатообіцяючі технології, які можуть допомогти вирішити проблему.
Рішення № 1: потокове ПК
Одним з очевидних підходів до програми є використання вашого ПК для рендерінгу у віртуальному світі, а потім потокова передача візуалізованих зображень до гарнітури по WiFi (наприклад, Steamlink, яка транслює ігри з вашого ПК на телевізор). Проблема з цим підходом полягає в затримці. У віртуальній реальності ви хочете мінімізувати затримку між рухом і відображенням цього руху на екрані. Зазвичай вважається, що солодка пляма становить менше 20 мілісекунд.
Потік сучасного відео може бути менше однієї мілісекунди, що є відмінним початком. На жаль, незжатий відеопотік 1440p 90 Гц становить майже 8 гігабіт в секунду даних. Споживчі WiFi-роутери можуть обробляти близько 100 мегабіт. Навіть найбільш високопродуктивні промислові маршрутизатори працюють з максимальною швидкістю близько 800 мегабіт, що у вісім разів менше, ніж необхідно. Щоб виправити це, вам потрібно стиснути зображення перед їх відправкою. Процес стиснення і розпакування додає близько 80 мс часу очікування, що вас нудить.
Є кілька можливих рішень цієї проблеми:
Покращення пропускної здатності
Один з підходів - спробувати збільшити доступну пропускну здатність. Мережі 5G, які повинні з'явитися через п'ять років, можуть забезпечувати швидкість близько одного терабіт в секунду, що може обробляти футуристичні 8K HMD без стиснення. У найближчому майбутньому Li-Fi (інтернет-технологія, заснована на швидко пульсуючих світлодіодах) може забезпечити швидкість передачі 10 ГБ/с при дуже низьких затримках, що дозволить використовувати бездротові версії VR-гарнітур поточного покоління в найближчі кілька років, хоча технологія ще не доступна для споживачів.
Це, ймовірно, найкраще рішення проблеми, але воно не буде доступно споживачам як мінімум рік або два, може бути дорогим, і дозвіл, ймовірно, буде відставати від дротових гарнітур найвищого рівня, поки не з'являться належні мережі 5G.
Локальне деформування
Більш складним варіантом було б прийняти затримку в 80 мс і спробувати виправити її після доконаного факту, деформувавши старе зображення в нове положення голови. Це все ще проводить деяку затримку введення, але не нудотний вид руху голови.
Стандартним підходом до вирішення цієї проблеми є асинхронна тимчасова деформація, яка збирає дані з ПК і деформує їх за допомогою невеликого графічного процесора на гарнітурі, щоб відобразити старе зображення з нової точки зору, що дозволяє гарнітуре плавно оновлюватися, незважаючи на високу затримку,
На перший погляд це звучить як чарівна куля. На жаль, є деякі великі улови. За словами Михайла Антонова, дослідника Oculus,
"Позиційне тремтіння - один з найбільш очевидних артефактів зі зміною часу, орієнтованим тільки на орієнтацію. Коли ви переміщуєте голову, у створених ATW зображеннях відображається лише додатковий обертальний компонент, а будь-який поступальний рух голови з моменту візуалізації кадру ігнорується. Це означає, що, переміщуючи голову з боку в бік або навіть просто повертаючи голову, яка переводить ваші очі, ви побачите тремтіння декількох зображень на об'єктах, які знаходяться поруч з вами.
[…]
Одним з можливих способів вирішення проблеми визначення місця розташування є реалізація повного позиційного деформування, яке застосовує виправлення перекладу та орієнтації до вихідного візуалізованого кадру. Позиційна деформація повинна враховувати глибину вихідного візуалізованого кадру, зміщуючи частини зображення на різні величини. Проте, таке зміщення генерує артефакти зсуву на краях об'єкта, де області простору, які не мають даних у вихідному кадрі, не виявлені ".
Існує кілька методів створення даних для заповнення дірок, створених позиційною зміною часу, але всі вони залишають після себе артефакти, а ті, які залишають найменшу кількість артефактів, є найбільш дорогими в обчислювальному відношенні. Проблема аналогічна тій, з якою стикаються ті, хто намагається показати глибинне відео
Щоб повністю вирішити цю проблему, розробники повинні знайти спосіб передачі додаткових даних, щоб заповнити діри. Кілька можливих підходів:
- Рендеринг об'єктів дальнього та ближнього поля окремо та потокова передача обох зображень
- Візуалізація світлового поля, яке може бути повторно спроектовано на великі зміщення голови без розмикання
- Розробляйте надзвичайно складні моделі рухів голови та використовуйте прогнозування, щоб мінімізувати помилки при відхиленні
Не ясно, яке найкраще рішення тут. Жоден з відомих нам підходів не є ідеальним, а деякі з них потребують додаткових досліджень. З'ясування, чи є ре-проекція хорошою ідеєю, зводиться до того, наскільки ми можемо мінімізувати артефакти. Це багатообіцяюча можливість, але є багато питань без відповіді.
Рішення № 2: Локальний рендеринг
Зовсім інша стратегія полягає в тому, щоб забути про ПК і виконувати рендеринг локально на гарнітурі. Ось як працюють Microsoft HoloLens і Samsung Gear VR. Не так багато відомо про HoloLens., але Gear VR має ряд серйозних обмежень. Його мобільний графічний процесор може впоратися з деякими скромними враженнями від віртуальної реальності (з інтенсивною оптимізацією), але навряд чи. Управління тепловиділенням є проблемою, дозвіл і частота оновлення не підвищуються до рівня, необхідного для присутності в сцені, і гарнітура не має позиційного відстеження. Частково це відбувається через обмеження мобільних технологій, і скоро стане краще, спираючись на потік закону Мура.
Тим не менш, деякі з цих проблем є результатом необхідності розробки смартфона, не призначеного для віртуальної реальності. Якби ви створювали мобільну віртуальну гарнітуру з нуля, ви могли б зробити багато по-іншому. У дизайнерів можуть бути два високопродуктивних мобільних графічних процесора, екран з дуже високою частотою оновлення і велика батарея. Вони також можуть розподіляти компоненти для кращого розподілу ваги і розподілу тепла. Отриманий форм-фактор може сильно походити на Sony Morpheus.
Або, якщо інженери хотіли стати амбітними, вони могли б створити щось більш схоже на міні-ПК: маленький носимий блок компутронію, що містить один або кілька графічних процесорів для ноутбука, вентилятор і велику батарею. Цей пристрій матиме форм-фактор, схожий на Walkman, і керуватиме HMD через один кабель.
Поточний флагманський графічний процесор NVIDIA, GTX 980, який Oculus використовує для внутрішнього використання, всього на 40% швидше, ніж його мобільний аналог 980M, і він крихітний. Ймовірно, можна помістити два з них у фанні-пачку, щоб звільнити місце для решти кишки невеликого мобільного ПК.
Примітка для розробників обладнання: за жодних обставин преса не повинна описувати ваш продукт як «фанатський пакет».
Цей форм-фактор був би коротшим, ніж автономна гарнітура, не кажучи вже про дорожнечу - задня частина математичного конверта передбачає ціну близько 2500 доларів. Можливо, що сучасні споживачі не будуть зацікавлені в продуктах, які громіздки. Тим не менш, це єдиний спосіб для мобільної гарнітури VR забезпечити продуктивність, конкурентоспроможну з ПК VR, і я підозрюю, що хардкорні геймери та інші прихильники підуть на це. Існує довга історія ботаніків, які тримають передові позиції технологій, бажаючи носити продукти, які роблять їх смішними.
Прямо зараз мобільні гарнітури страждають від нездатності забезпечити позиційне відстеження, викликаючи нудотне відчуття, що світ прив'язаний до вашого тулуба, коли ви намагаєтеся рухатися. Однак ця проблема може бути скоро вирішена. У короткостроковій перспективі технологія позиційного відстеження Valve «маяк» є відмінним рішенням: лазерні проектори тупі, що означає, що їх можна укладати плиткою для покриття великих просторів, і вони можуть одночасно обслуговувати безліч пристроїв. В результаті протягом наступних декількох років відстеження маяків може стати недорогою послугою, яку надають будинки і підприємства, подібно до того, як сьогодні працює WiFi, дозволяючи використовувати мобільне обладнання VR в більшості приміщень.
У більш довгостроковій перспективі, оскільки глибинні камери покращують роздільну здатність і рівень шуму, має стати можливим використовувати їх для позиційного стеження з достатньою точністю, щоб забезпечити відчуття присутності VR. Це дозволить використовувати автономні VR-продукти, що підходять для використання на відкритому повітрі і в доповненій реальності.
Майбутнє мобільної VR
У довгостроковій перспективі мобільні гарнітури - це те, до чого прагнуть технології VR.
Ми можемо зробити математику закону Мура, з'ясувавши, скільки у нас подвоєнь від можливості рендерінгу фотореалістичних віртуальних світів на мобільних пристроях. Високоякісні ПК, можливо, в п'ять разів (ще одне покоління консолей) не здатні забезпечити фотореалістичні ігрові можливості у форматі 1080p. Для віртуальної реальності нам знадобиться одне подвоєння для 3D і ще три для рендерингу з 8K на око, необхідні для усунення розмиття і ефекту екранних дверей. Щоб врахувати мобільну платформу, нам потрібно ще чотири подвоєння, щоб наздогнати висококласні ПК.
Якщо скласти всі подвоєння і помножити на вісімнадцять місяців, продиктованих законом Мура, ви отримаєте приблизно двадцять років (2035), тобто момент, коли ніхто не зможе визначити різницю між сценою віртуальної реальності, що відображається на смартфоні, і один відображається на висококласному ігровому ПК. На цьому етапі більше не буде причин знову використовувати гарнітуру з ПК.
До тих пір, поки не настане цей день, я підозрюю, що деякий час ми побачимо як дротові, так і бездротові VR-гарнітури з управлінням від ПК. Бездротові гарнітури будуть більш зручними, але дротові гарнітури пропонуватимуть кращу роздільну здатність - принаймні, поки мережі 5G не стануть повністю зрілими.
З іншого боку, мобільні гарнітури будуть продовжувати вдосконалюватися і скорочувати частку ринку від ПК, коли ми досить далеко просуваємося по кривій спадній віддачі, і все більше і більше людей готові пожертвувати скромною вірністю заради гнучкості., Конкуренція буде жорсткою і, сподіваюся, корисною для споживача. Особисто я не можу чекати.
