Иммерсивный шлем Oculus Rift

Evernote Camera Roll 20150114 145747

 Самым продвинутым на сегодня иммерсивным устройством без сомнения является шлем виртуальной реальности Oculus Rift.

Производитель этих шлемов компания Oculus VR была недавно основана молодым предпринимателем Палмером Лаки. Он родился 19 сентября 1992 года и формально не окончил ни одного учебного заведения —  в школу он не ходил, так как мать обучала сына на дому, а Калифорнийский университет, где он проучился два года на журналиста, он бросил ради работы над виртуальным шлемом.  Первый предпринимательский опыт — это частный ремонт iPhone, а начальные деньги на разработку VR-шлема собраны через краудфандинговую платформу Kickstarter.

На форуме MTBS, где Палмер делился своими идеями, с проектом VR-шлема знакомится Джон Кармак, основатель легендарной компании id Software. Он связался с Палмером и, испытав один из ранних прототипов Oculus Rift, поддержал дальнейшее совершенствование разработки. На этом этапе к работе подключается Брендан Ирибе — еще один недоучившийся студент, который в настоящий момент является генеральным директором компании Oculus VR.

Палмер Лаки, в соответствие со свой фамилией, нашел кратчайший путь к миллиардному состоянию. В начале, он привлек для реализации своих идей через краудфандинг 2,4 миллиона долларов. В декабре 2013 года Andreessen Horowitz предоставляет ему из своего венчурного фонда 75 миллионов долларов. И наконец,  в 2014 — сделка с Марком Цуккербергом на два миллиарда долларов, которая профинансирована наличными на 400 млн. долларов (остальное оплачено акциями Facebook).

Есть информация, что в марте 2014 года Марк Цуккерберг принял решение купить компанию за такие огромные деньги после того, как испытал на себе демо-версию шлема, которая дает уникальный иммерсивный опыт. Тестовый образец требовал больших вычислительных мощностей, поэтому этот VR-шлем был подключен к мощному серверу и погружал в виртуальный мир, с такой высокой степенью пикселизации, что он визуально неотличим от реального.

Цукерберг убежден, что возможности применения виртуальных шлемов практически безграничны, и он является новым трендом в информационном секторе будущего. «Представьте, что вы сидите в первом ряду на спортивной игре, занимаетесь в аудитории со студентами и преподавателями со всего мира или получаете личную консультацию врача. И для этого нужно просто надеть шлем в своем доме», — восторженно говорил создатель соцсети Facebook после объявления о миллиардной сделке.

Энтузиазм Палмера Лаки и его партнеров разбудил виртуальный мир от спячки, поэтому он имел право сказать, что он спас иммерсивную индустрию от вымирания и воскресил ее из мертвых.

Image

Что делает  VR-шлем Oculus Rift таким успешным:

  1. Система передачи 3D изображения side-by-side с улучшенным объемным эффектом.
  2. Система слежения за движением головы.
  3. Большой угол обзора (110 градусов против 90 градусов у ближайших конкурентов).
  4. Отслеживание положения головы с частотой 1000 раз в секунду.
  5. Программное обеспечение для разработчиков.
  6. Подключение ведущих создателей  игр и прикладного обеспечения.
  7. Цена доступная для массового потребителя.

Сегодня в продажу поступила вторая версия Oculus Rift  для разработчиков  —  Dev Kit 2, которая претерпела ряд существенных изменений по сравнению с предыдущей. Прежде всего, были уменьшены габариты и вес. Теперь гарнитура весит 379 грамм.

Немало претензий пользователей было к низкому разрешению первой версии устройства, на которой использовалась ЖК-панель с разрешением 640×720 для каждого глаза. В новой версии разработчики получили OLED-панель разрешением  960×1080, или 1920×1080 на оба глаза.

Oculus Rift DK 2 использует в качестве дисплея экраны смартфонов Samsung от выпущенного в 2013 году Galaxy Note3. Причём помимо экрана обнаружены кабели с контроллером сенсорного ввода этого корейского производителя.

Oculus Rift используется один набор линз, обеспечивающий широкий угол обзора,  игнорируя при этом возможные геометрические искажения изображения, так как картинка проходит специальную корректировку на видеокарте компьютера, поэтому пользователь в результате получает нормальное изображение.

В устройстве имеются акселерометр, магнитометр и гироскоп, информация от которых объединяется с данными от высокоточной внешней камеры слежения.

Новый Oculus Rift  DK2 обзавёлся специальной внешней камерой, которая улучшает точность захвата движений и делает окружающий виртуальный мир более естественным. Вдобавок максимально сокращены артефакты размытия и время отклика на движения пользователя, что в целом  уменьшаем неприятные ощущения при иммерсии.

В начале января 2015 на шоу бытовой электроники в Лас Вегасе компания Oculus VR продемонстрировала потребительскую версию гарнитуры, названную Crescent Bay.

Image

Об иммерсивном шлеме Crescent Bay специалисты  Oculus заговорили еще сентябре 2014 года на своей конференции для разработчиков. Он имеет семидюймовый дисплей с глубиной цвета 24 бита на органических светодиодах с разрешением выше 1080 пикселей и увеличенным углом обзора.  Это означает, что левый глаз видит больше пространства слева, а правый справа. Это дает гарнитуре лучшее поле обзора по сравнению с предыдущими выпусками устройствами. VR-шлем оснащен датчиками движения с углом обзора 360 градусов. В гарнитуре будет улучшенный 3D звук. Предусмотрена возможность передачи данных по интерфейсам DVI, HDMI и USB, а также по беспроводной связи.

Шлем оснащен Adjacent Reality Tracker с частотой опроса 1000 Гц, состоящим из трехосевого гироскопа, магнитометра и акселерометров. Это уменьшает торможение при слежении.

Выпуск потребительской версии шлема назначен на осень 2015 года по цене 200 — 300 долларов.

Продаваться VR-шлем  будет по себестоимости, сколько бы разработчикам не пришлось вложить в его создание. Это стало возможным после слияния с Facebook. Теперь у компании есть необходимые финансовые ресурсы, что позволяет не тянуть средства с покупателей. Основной доход будет состоять из платежей за использование лицензии.

Теперь самое интересное в политике продаж компании Oculus VR — руководство пока не дает разрешение на выполнение предварительных заказов на шлем виртуальной реальности Oculus Rift DK2 для России и Китая. Официально представители компании объяснили такую политику проблемами с таможней и внутренней доставкой, дескать, они не смогут гарантировать поставку всем и вовремя. И, как это часто бывает, не сказали ни слова насчет того, когда же все-таки выполнение заказов разрешат.

Американский магазин Best Buy недавно начал продажу гарнитуры Gear VR от Samsung за 199 долларов на своем вебсайте BestBuy.com, тем самым подготавливая почву для появления устройства в своей сети физических магазинов. Начало распространения продукта через сеть магазинов Best Buy сделает устройство доступным для массового покупателя. 

 

Иммерсивные шлемы

Evernote Camera Roll 20150314 164231Часто шлем виртуальной реальности, далее «иммерсивный шлем» или коротко «VR-шлем», называют очками виртуальной реальности, что вносит некоторую неточность в терминологию этих различных устройств. VR-шлем, в отличие от очков, полностью изолирует человека от внешних источников света и звука, что приводит к переключению ведущих органов чувств на восприятие только симулированного мира, заслоняющего реальность. В этом основное отличие шлема от очков, таких как Google Glass, которые точнее называть устройствами дополненной реальности — ведь человек продолжает видеть и слышать окружающий мир.

История развития иммерсивных устройств полная надежд и разочарований показала, что виртуальная реальность нуждается, прежде всего, в высококачественном, дешевом и удобном VR-шлеме, отвечающем пяти техническим требованиям, а именно:

  1. Слежение должно иметь

— шесть степеней подвижности (свободы), то есть способность следить за всеми тремя поступательными и тремя вращательными передвижениями;

— субмиллиметровую точность и отсутствие фликкер-шума (дрожание при неподвижности объекта слежения);

— комфортный объем пространства, в пределах которого можно отслеживать все шесть степеней свободы.

  1. Временные параметры должны быть

— менее 20 мс от движения до излучения последнего фотона при интеграции оптического слежения и данных инерциальных измерительных устройств;

— менее 3 мс на включение и выключение импульсов для уменьшения размытости.

  1. Частота обновления должна быть не менее 90 Гц во избежание видимого мерцания.
  1. Разрешение должно быть не менее 1000 x 1000 пикселей для каждого глаза при правильной стереоскопической (3D) передаче и отсутствии видимой структуры пикселей (типа RGB или пентайла).
  1. Оптика должна иметь

— широкий угол обзора, то есть более 90 градусов по горизонтали;

— минимальное и максимальное расстояния от глаза до линзы, обеспечивающие комфортное изображение;

— высококачественную калибровку, а также коррекцию искривления и хроматической аберрации, подходящие под характеристики линзы.

Этим требованиям в той или иной степени отвечают следующие наиболее известные разработки VR-шлемов:

— Oculus Rift;

— Morpheus (Sony Project);

— GearVR (Samsung);

— Silico MicroDisplay ST1080;

— Cardboard (Google);

— VR Travel и Fibrum (Россия).

Иммерсивные устройства

img201411242259170

Иммерсивные устройства — это набор оборудования для пребывания и взаимодействия с виртуальной и дополнительной реальностью. Это оборудование призвано дополнить или, в той или иной степени, заменить ощущения реального мира на симулированные с помощью иммерсивных технологий, тем самым погружая человека в измененный или полностью виртуальный мир.

Прилагательное «иммерсивный» происходит от английского «immersive», означающее «создающий эффект присутствия». Термин, который ранее применяли специалисты для обозначения соответствующей технологии и оборудования, входит в широкий обиход, дублируя  и иногда заменяя понятие «виртуальный». Появляются понятия иммерсивное видео, иммерсивное телевидение, иммерсивный кинематограф, иммерсивный интернет и т. п. Для самого процесса пребывания в виртуальном мире подходит слово «иммерсия» от лат. «immersio», англ.  «immersion», означающих в переводе «погружение».

Основным органом чувств, получающим информацию об окружающем мире для современного человека, является зрение, поэтому определяющим устройством в процессе иммерсии (погружения) служит виртуальный шлем, снабженный наушниками, он задействует второй по важности орган — слух. Для голосового общения шлем имеет микрофон, а также оборудован гироскопом, акселератором, датчиками движения глаз, головы и внешними видеокамерами, чем частично компенсирует недостаток чувства ориентации в новом пространстве. Наиболее сложные в симуляции тактильные ощущения требуют громоздкого и неудобного в повседневном применении оборудования, ведь органом чувств  является все наше тело. Разработчики пытаются создать всевозможные костюмы и жилеты, движущиеся платформы, кресла и беговые дорожки. Но, как и в случае с запахом, чтобы не фантазировали энтузиасты виртуальной реальности, иммерсивные аппараты должны оставаться компактными и сугубо персональными, а не похожими на аттракционы в парке развлечений. Поэтому при погружении в виртуал на сегодняшний день достаточно обойтись шлемом  и устройствами управления движением в виртуальном мире, такими как 3D клавиатуры, джойстики, контроллеры, браслеты и перчатки.

Современный уровень разработки устройств для пребывания в мире компьютерной симуляции позволяет не только присутствовать в виртуальной реальности, но и взаимодействовать с ней. Эта возможность открывает новую парадигмальную эру, в которой человек может существовать в пространстве и времени принципиально отличном от реального.

Сегодня для человека виртуальный в той или иной степени мир: кино, телевидение, видео, компьютерные игры, актуальнее и понятнее, чем реальная действительность за окном. Образы медиа героев стали ближе, чем живые люди, соседи, друзья, даже родные и близкие. Наступает эпоха тотальной виртуализации.

То, что мировое развитие информационных технологий поворачивается в сторону визуализации уже явленного нам виртуального пространства-времени, подтверждает своим высказыванием Марк Цукерберг — создатель Facebook и человек, остро чувствующий современные тенденции: «Сегодня главенствующую роль занимают мобильные платформы, но мы смотрим в будущее. Я думаю, что наибольший интерес и перспективы находятся в области визуального восприятия человека, что даёт возможность создать новый опыт иммерсии (погружения), т.е. повышения яркости, увеличения детализации и  пределов картинки».

Но всё, о чем говорит Цукербург — это «воспоминание о будущем». В 1956 году Артур Кларк в своем романе «Город и звезды» описал прообраз игровой виртуальной реальности, а десятью годами позже, был разработан первый авиасимулятор, воплотивший в жизнь предсказание фантаста.

В начале 90-х годов иммерсивная технология, на волне популярности компьютерных игр и фильмов в стиле «Матрица», ощущалась вполне достижимой. На приведенном ниже видеоклипе вполне современно выглядит дизайн иммерсивных устройств из фильма «Разоблачение» (‘Disclosure’) 1994 года. Главный герой фильма, которого играет Майкл Дуглас, двадцать лет назад использует VR шлем и перчатку, движущуюся платформу и контроллеры положения тела, — все эти разработки сегодняшнего дня в комплекте с иммерсивной операционной системой.

Правда, стоило лишь начать применение реальных, а не киношных устройств того времени, как весь восторг быстро улетучивался — компьютеры и VR-системы имели скромные графические возможности и  были слишком дорогими для повседневного применения.

Историю виртуальной и дополненной реальности начали два человека: Томас Циммерман и Джарон Ланье. Они работали в компании Atari. Имея некоторый опыт в передовых компьютерных разработках они создали компанию VPL Research, которая в 1988 году предложила всем желающим систему Reality Built for Two (RB2), состоящую из графической станции, VR-шлема, перчатки DataGlove для ввода данных, звуковой системы объёмного звучания и движка для 3D-рендеринга. В то время это всё было сплошным новаторством, но, к сожалению, их идеи не могли быть коммерчески успешными. Мощность персональных компьютеров тогда была низкой, а стоимость иммерсивной системы — заоблачно высокой. В итоге к 1990 году компания разорилась.

Evernote Camera Roll 20150507 221845

Практически параллельно с VPL Research, еще один энтузиаст иммерсивных технологий — Джонатан Уолдерн создал фирму Virtuality для проектирования и изготовления VR-оборудования под названием Trocadero. Стоимость комплекта устройств достигала 65 тысяч долларов, что было не по карману рядовым пользователям и не могло принести достаточно прибыли производителям и продавцам.

Позднее Virtuality начала сотрудничать с Atari и Sega для создания домашних игровых VR-консолей. Компания Sega вовремя поняла, что браться за эту работу было ошибкой, а вот Atari и Virtuality успели изготовить прототип VR-консоли Jaguar, которая впоследствии ушла в небытие.

Следующая попытка состоялась в 1995 году, когда Nintendo представила свою разработку VirtualBoy. Были очень большие ожидания, так как участвовал автор ранее успешного консоли GameBoy — Ганпей Йоко. Однако аппарат имел монохромный дисплей и фактически отсутствовало ощущение 3D пространства. Это оттолкнуло потребителя, и гаджет не вышел за пределы Японии. Под конец 90-х пользователи уже пресытились обещаниями, и скептически смотрели на новые попытки иммерсивных устройств проникнуть на массовый рынок.

Несмотря на поднятый шум, виртуальная реальность не была реализована в девяностые годы. Даже фанаты виртуала, тестировавшие VR-гарнитуры были недовольны их большими габаритами и весом. Иммерсивная технология была дорогой и неудобной для рядового потребителя. Сфера её использования ограничилась тематическими парками, аттракционами и исследовательскими лабораториями.

Тем не менее потребность в иммерсии требовала удовлетворения, что оказалось достижимым значительно более скромными техническими средствами, чем VR-шлем, требующий уникальной графической станции. Развитие иммерсивной технологии пошло по пути редукции. Место шлема занял обычный дисплей. Связка «клавиатура + мышь + экран» позволила заменить датчики положения головы, перчатки и другую иммерсивную периферию. Оказалось, что мозг с успехом может заменять управление мышцами шеи и глаз на контроль за движениями пальцев, а повороты туловища и жесты рук — на скольжение мыши. Стереоизображение стали симулировать  с помощью различных текстур, цветов и перспективного сокращения размера предметов, чем добились более или менее удовлетворительного восприятия глубины и объема пространства, при этом сохранив за этим зрительным обманом название «3D-графика» и «виртуальное пространство».

Редукция процесса иммерсии, особенно в массовых мобильных устройствах, привела в дискредитации самого понятия «виртуальный», что и стало сегодня причиной использования термина «иммерсивный» для технологии, которая создает высокий уровнь психологической достоверности погружения, максимально задействуя органы чувств и исключая подмену основных принципов функционирования тела.

После виртуального бума 90-х иммерсивными технологиями занимались в основном энтузиасты и фанатики виртуала. В своих экспериментах они использовали постоянный прогресс в компьютерных и мобильных системах, возможности скоростных информационных сетей и наконец, вплотную подошли к созданию иммерсивного шлема с достойной 3D графикой и периферией.

 

Перспектива разработки оборудования, создающего полноценный эффект иммерсии по цене доступной массовому потребителю, вновь заинтересовала ведущие компании IT-индустрии. Сегодня мы наблюдаем настоящий бум в производстве и применении всевозможных иммерсивных устройств для виртуальной и дополнительной реальности.

Bach Prelude in B minor ar. Siloti BWV 855a & WTC I Prelude No 10 in E minor BWV 855

Bach Prelude in B minor BWV855a arr. Siloti — Sokolov
l_278f5d85  Piano — Grigory Sokolov
Vimeo
YouTube
VOB (Mega)
MP4 (Mega)

Bach Prelude in B minor arr. Siloti BWV 855a — Gilels
l_6fb7c7d2   Piano —  Emil Gilels
Vimeo
YouTube
VOB (Mega)
MP4 (Mega)

Bach Prelude in B minor arr. Siloti BWV 855a — Tharaud
Alexandre THARAUD Bach Siloti prelude in b minor[02-46-14] Piano — Alexandre Tharaud
Vimeo

Youtube
MP4 (Mega)

Bach The Well-Tempered Clavier Book I Prelude No 10 BWV 855 — TharaudBach WTK I Prelude and Fugue No 10 in E minor BWV 855 Prelude - Tharaud[16-09-47]Piano — Alexandre Tharaud, 2015
YouTube
MP4 (Mega)

Bach The Well-Tempered Clavier Book I Prelude No 10 BWV 855 — ‘Nostalghia’
Bach WTK I Prelude and Fugue No 10 in E minor BWV 855 tr. Kempff - 'Nostalghia'[(003343)16-43-11]
nostalgia  Clip from the movie Tarkovsky «Nostalghia» (1983)
Kempff-01   Piano — Wilhelm Kempff
Vimeo
MPG (Mega)
FLAC (Mega)

Bach WTK I Prelude and Fugue No 10 in E minor BWV 855 — GavrilovKMP-DVD[(001713)02-41-52]   Piano — Andrey GavrilovBach WTK I Prelude and Fugue No-07
Vimeo
YouTube
VOB (Mega)

Bach WTC I No 10 in E minor BWV 855 Prelude & Fugue — Gulda

hqdefault
Played by Friedrich Gulda; recorded 1972, MPS-Tonstudio, Villingen, Germany
Youtube

Bach WTC I No 10 in E minor BWV 855 Prelude — Gould
glenn-gould.1192198956 Piano Glenn Gould, 1963
FLAC (Mega)

Bach WTC I No 10 in E minor BWV 855 Prelude tr. Kempff

Wilhem Kempff  Piano — Wilhelm Kempff

FLAC (Mega)

Bach WTC I No 10 in E minor BWV 855 Prelude — Leon Berben harpsichord

Leon-Berben_medium  Harpsichord — Leon Berben

FLAC (Mega)