Работа Apple с дополненной и виртуальной реальностью

Apple изучает технологии виртуальной реальности (далее VR) и дополненной реальности (AR) в течение почти 20 лет на основе патентных заявок, но с ростом популярности виртуальной и дополненной реальности с запуском ARKit, увлечение Apple становится все более серьезным и, как ожидается, приведет к продукту AR / VR в 2022 или 2023 году.

В Apple есть исследовательское подразделение с сотнями сотрудников, работающих над AR и VR и изучающих способы использования новых технологий в будущих продуктах Apple.

За последние несколько лет найм AR / VR увеличился, и Apple приобрела несколько компаний AR / VR, поскольку она активно продвигает свою работу в данном направлении.

Apple работает, по крайней мере, над двумя проектами AR, которые включают в себя гарнитуру дополненной реальности, которая будет выпущена в конце 2022 или 2023 года, за которой последует более гладкая пара очков дополненной реальности, которая появится позже.

Эти два проекта вызвали некоторую путаницу в отношении того, что произойдет, но теперь ясно, что будет выпущена гарнитура AR / VR (или смешанной реальности), за которой последуют очки дополненной реальности.

Первоначально слухи предполагали, что гарнитура Apple AR / VR выйдет в какой-то момент в 2022 году, возможно, на WWDC в июне, но есть проблемы с разработкой, которые Apple должна преодолеть.

На данный момент похоже, что мы не увидим гарнитуру AR / VR до конца 2022 или 2023 года.

Надежные источники, такие как аналитик Apple Минг-Чи Куо и Марк Гурман из Bloomberg, указали, что гарнитура, скорее всего, увидит дату запуска в 2023 году, а очки последуют в 2024 или 2025 году.

Гарнитура AR / VR, которую Apple имеет в разработке, будет автономным устройством с мощными процессорами A-серии, которые поставят производительность на один уровень с Apple Mac.

Он будет иметь два чипа внутри, что позволит ему выполнять сложные задачи и обрабатывать возможности виртуальной реальности, плюс он сможет работать независимо от iPhone или Mac.

Apple также может включать в себя альтернативные устройства ввода, одно из которых может напоминать наперсток, надеваемый на палец.

Несколько модулей 3D- зондирования будут включены для обнаружения жестов рук и объектов, которые находятся вокруг владельца, и он будет поддерживать голосовое управление, обнаружение кожи, пространственное обнаружение и обнаружение выражения.

Наряду с захватывающим видео, гарнитура также будет использовать пространственный звук для иммерсивного звука.

Apple разрабатывает App Store для гарнитуры, а контент будет сосредоточен на играх, потоковом видео и видеоконференциях. Он будет работать под управлением «rOS», новой операционной системы, разработанной специально для гарнитуры.

Поскольку гарнитура AR / VR является совершенно новой категорией продуктов, использующих передовые технологии, она не будет дешевой.

Слухи предполагают, что он может стоить более 2000 долларов.

Гарнитура будет сосредоточена на VR с некоторыми ограниченными возможностями AR, но у Apple есть более глубокие амбиции дополненной реальности.

Ожидается, что после гарнитуры AR / VR, Apple выйдет с набором очков дополненной реальности, которые будут выглядеть похожими на стандартные очки, но с возможностями AR.

Гарнитура смешанной реальности AR/VR

Первая гарнитура Apple будет поддерживать возможности AR и VR, технологию, которую обычно называют «смешанной реальностью».

Дополненная реальность (AR) и виртуальная реальность (VR) являются похожими технологиями, но их потенциальные применения значительно различаются.

Виртуальная реальность относится к полному иммерсивному опыту в виртуальном мире, в то время как дополненная реальность относится к модифицированному взгляду на реальный мир.

С опытом VR реальный мир в значительной степени закрыт, чтобы сосредоточиться на полностью виртуальном опыте, но дополненная реальность накладывает виртуальные элементы на ваше реальное представление.

Google Glass, продукт Google является примером устройства дополненной реальности, в то время как Oculus и PlayStation VR являются примерами головных устройств виртуальной реальности.

Apple работает над обеими этими технологиями, но первоначальный продукт будет больше похож на Oculus, чем на Google Glass.

Виртуальная реальность сосредоточена исключительно на иммерсивном (eng. immersive – погружать) потреблении контента, потому что она заставляет владельца чувствовать, что он на самом деле испытывает то, что происходит в моделируемом мире с помощью визуальной, тактильной и звуковой обратной связи.

Виртуальная реальность связана с играми прямо сейчас, но она также имеет потенциал для воссоздания реального мира в образовательных или учебных целях.

Дополненная реальность не зависит от иммерсивного контента, и, хотя она менее захватывающая, потому что она дополняет реальность, а не заменяет ее, она имеет более широкий спектр потенциальных применений, и это технология, в которой Apple в конечном итоге, кажется, больше всего заинтересована.

Гарнитура Apple будет поддерживать как AR, так и VR, что называется смешанной реальностью, и это то, что мы видели в таких продуктах, как HoloLens от Microsoft.

Смешанная реальность объединяет реальный контент и виртуальный контент для создания новых сред, где физические и цифровые объекты могут просматриваться и взаимодействовать вместе.

На практике мы еще не совсем знаем, какой именно опыт предоставит гарнитура Apple, но мы можем рассчитывать на захватывающие игры, более интерактивный FaceTime и чат, а также новые инструменты обучения.

Проектирование

С точки зрения дизайна, гарнитура будет похожа на другие гарнитуры на рынке, такие как Facebook Oculus Quest, но она будет иметь более гладкий дизайн и легкую сборку для обеспечения комфорта.

Два дисплея micro OLED с высоким разрешением до 3000 пикселей на дюйм обеспечат захватывающий просмотр, а также может быть дополнительный дисплей сбоку для периферийного зрения.

Некоторые детали дизайна были раскрыты в слухах, и The Information даже видела прототип, поэтому у нас есть хорошее представление о том, чего ожидать.

Гарнитура будет использовать ткани и легкие материалы для обеспечения комфортной посадки. Она была описана, как имеющий «гладкий, изогнутый козырек, прикрепленный к лицу сетчатым материалом и сменными оголовьями».

Рендеры ниже от дизайнера Яна Зельбо основаны на этих описаниях гарнитуры.

Ремешок на задней панели, изготовленный из материала, похожего на ремешок Apple Watch, будет удерживать гарнитуру на голове владельца, а мягкая сетка сделает посадку удобной на передней части лица.

Оголовья сменяются и поставляются с опциями регулировки размера. Одно оголовье предположительно оснащено пространственной аудиотехнологией, такой как AirPods Pro, для объемного звучания, в то время как другое обеспечивает дополнительное время автономной работы в дороге.

Гарнитура также сможет реагировать на движения глаз и жесты рук владельца, в то время как один прототип гарнитуры также имел физический циферблат на стороне козырька.

Конструкция блокирует периферийное зрение, чтобы предотвратить утечку света в поле зрения владельца, и, возможно, будет козырек, обращенный наружу, для показа графики другим.

Говорят, что современные прототипы гарнитур весят от 200 до 300 граммов, но Apple стремится снизить окончательный вес до 100-200 граммов, если технические проблемы могут быть решены, что сделает гарнитуру легче, чем существующие устройства VR.

Дисплей

Слухи предполагают, что гарнитура AR / VR будет иметь два-три дисплея.

Будет два дисплея высокого разрешения 4K micro OLED с разрешением до 3000 пикселей на дюйм.

Ожидается, что Sony поставит дисплейные модули, которые Apple будет использовать.

Также может быть третий AMOLED-дисплей, который будет более низкого качества.

Вполне возможно, что Apple будет использовать AMOLED-дисплей для периферийного зрения, где более низкое разрешение будет приемлемым.

Apple использует линзы «Pancake», которые позволят получить тонкий и легкий дизайн.

Блинные линзы дороже, чем технология линз Френеля, используемая для других гарнитур VR, но в результате получат гораздо более тонкое устройство.

Из- за плотного прилегания гарнитуры к лицу пользователи не смогут носить очки, поэтому может быть возможность вставки линз по рецепту на экраны.

Apple встраивает в гарнитуру более десятка камер для отслеживания движений рук и жестов, что станет одним из методов управления наряду с отслеживанием глаз.

Гарнитура будет оснащена более чем дюжиной оптических камер для отслеживания движений рук, картографирования окружающей среды и проецирования визуальных впечатлений.

Восемь модулей камеры, как сообщается, будут использоваться для сквозной дополненной реальности для пользователя, в то время как еще шесть модулей будут использоваться для «инновационной биометрии». Одна камера также будет доступна для обнаружения окружающей среды.

Появится набор камер обнаружения глаз, которые якобы позволят пользователям «читать мелкий шрифт» и видеть других людей, стоящих перед виртуальными объектами и позади них.

Гарнитура сможет точно отображать поверхности, края и размеры комнат.

Методы управления Apple изучает несколько методов ввода для гарнитуры AR / VR, включая жесты рук, отслеживание глаз и ввод с носимого устройства, подключенного к гарнитуре.

Говорят, что передовая система отслеживания глаз обеспечивает интуитивно понятный визуальный опыт, который легко взаимодействует с внешней средой, а также облегчает управление движениями глаз.

Распознавание радужной оболочки глаза будет включено как часть системы отслеживания глаз, которая может быть методом аутентификации.

Предположительно будет четыре модуля 3D- зондирования для обнаружения жестов рук и близлежащих объектов с помощью пространственного обнаружения, а гарнитура также будет оснащена голосовым управлением и поддержкой команд Siri.

Он также обнаружит кожу и сможет отслеживать выражение.

Apple работает над несколькими методами управления, в том числе над «наперсткообразным устройством, которое можно носить на пальце человека».

Процессоры

Два процессора уровня Mac будут включены в гарнитуру AR / VR для беспрецедентной вычислительной мощности в носимом устройстве.

Чипы, используемые для гарнитуры, еще более продвинуты, чем кремниевые чипы Apple, которые Apple использует для своей линейки Mac, и Apple, как сообщается, примет адаптер питания мощностью 96 Вт для зарядки гарнитуры из-за мощных чипов.

Будет высокопроизводительный основной процессор, похожий на чип M1, который Apple дебютировала для своих Кремниевых Mac Apple в прошлом году, а также процессор более низкого класса для управления аспектами устройства, связанными с датчиками.

Один из таких чипов представляет собой 4-нанометровый чип, который является новейшей технологией TSMC, а другой — 5-нанометровый чип.

Гарнитура не будет зависеть от iPhone или Mac для вычислительной мощности, и она будет иметь независимое питание и хранилище.

Apple завершила работу над SoC для гарнитуры AR / VR и будет оптимизировать беспроводную передачу данных, сжатие и распаковку видео, а также энергоэффективность для максимального времени автономной работы, хотя у них нет нейронного двигателя, как у некоторых других чипов Apple.

Операционная система rOS

Ожидается, что гарнитура AR / VR будет работать под управлением новой операционной системы под названием «rOS», которая расшифровывается как Reality Operating System.

Apple хочет создать App Store для гарнитуры, уделяя особое внимание играм, потоковому видеоконтенту и видеоконференциям. Он был описан Bloomberg как «всеобъемлющая 3D-цифровая среда», предназначенная для игр, потребления мультимедиа и общения.

Apple, возможно, планирует работать с медиа- партнерами для создания контента, который можно смотреть в VR, и может быть VR FaceTime-подобный опыт с Animojis и другими функциями.

Гарнитура, скорее всего, будет интегрирована с существующими сервисами Apple, такими как Apple TV + и Apple Arcade.

WiFi 6E

Предстоящая гарнитура смешанной реальности От Apple будет предлагать поддержку WiFi 6E, которая является последней спецификацией WiFi.

Apple, как говорят, планирует внедрить WiFi 6E, чтобы обеспечить высококачественный, захватывающий опыт с надежной беспроводной связью.

WiFi 6E имеет все преимущества WiFi 6, но добавляет спектр 6 ГГц в дополнение к диапазонам 2,4 ГГц и 5 ГГц для увеличения пропускной способности и уменьшения помех между устройствами.

Проблемы с разработкой

Гарнитура Ar / VR от Apple может столкнуться с еще одной задержкой, поскольку Apple сталкивается с проблемами разработки, которые необходимо преодолеть.

По данным Bloomberg, Apple уже несколько раз отодвигала планы по выпуску гарнитуры.

Apple первоначально планировала запустить гарнитуру в 2021 году и выпустить ее в 2022 году, а затем отложила это до WWDC 2022 года.

Теперь маловероятно, что мы получим представление о гарнитуре на Всемирной конференции разработчиков в этом году, потому что Apple еще предстоит решить несколько проблем.

С мощным процессором внутри гарнитура перегревается, а также возникают проблемы с камерой и программным обеспечением.

По крайней мере, один из чипов, предназначенных для гарнитуры, находится на одном уровне с M1 Pro от последних моделей MacBook Pro, а тепловые требования чипа вызывают проблемы с рассеиванием тепла.

Apple рассматривает возможность отсрочки запуска гарнитуры AR / VR до конца 2022 или 2023 года, а партнерам компании по цепочке поставок сообщили, что она вряд ли будет выпущена до 2023 года.

Apple, однако, подталкивает поставщиков к тому, чтобы иметь устройства, доступные к концу 2022 года.

С задержкой Apple планирует сосредоточиться на гарнитуре во время Всемирной конференции разработчиков 2023 года.

Apple будет поощрять разработчиков начать создавать приложения дополненной и виртуальной реальности для App Store «rOS».

История развития

Apple уже давно работает над технологиями дополненной и виртуальной реальности, и у компании есть огромная команда сотрудников, разрабатывающих головные AR/VR продукты.

Считается, что в будущем устройства AR / VR заменят iPhone, что может произойти уже через 10 лет.

iPhone является самым прибыльным и важным продуктом Apple, поэтому технология гарнитуры AR / VR заменит iPhone, дает нам некоторое представление о том, насколько это важно для будущего Apple.

Слухи предполагают, что оригинальный дизайн гарнитуры включал в себя вентилятор и мощные процессоры, но устройство было слишком тяжелым.

Ранние проекты также требовали, чтобы гарнитура использовала вычислительную мощность подключенного iPhone или Mac, но Apple изменила дизайн и добавила высококачественные чипы к самой гарнитуре.

Ранние прототипы были описаны как имеющие дисплей 8K для каждого глаза, и был один слух, который сказал, что гарнитура будет подключаться к «выделенной коробке» с использованием высокоскоростной беспроводной технологии ближнего радиуса действия под названием 60 ГГц WiGig.

Коробка будет оснащена пользовательским 5-нанометровым процессором Apple, который «более мощный, чем все, что доступно в настоящее время». Коробка, по-видимому, напоминает башню ПК, но это «не будет настоящий компьютер Mac».

Внутренние разногласия сформировали и изменили цели Apple для своей AR-гарнитуры с течением времени,и слухи предполагают, что Apple не пошла с «коробочным» дизайном, потому что бывший дизайнер Apple Джони Айв не хотел продавать устройство, которое потребовало бы отдельного, стационарного дополнения для полной функциональности.

Айв хотел гарнитуру с менее мощной технологией, которая могла бы быть встроена непосредственно в устройство, но лидер команды AR / VR Майк Роквелл хотел более мощное устройство. Это было противостояние, которое длилось месяцами, и Тим Кук в конечном итоге встал на сторону Айва, изменив направление дизайна гарнитуры Apple.

Ценообразование

Цены на гарнитуру могут начинаться где-то около 3000 долларов, что сделает ее намного дороже, чем iPhone.

Начнем с того, что он не будет ориентирован на обычных потребителей, а вместо этого будет позиционироваться как устройство для разработчиков, создателей контента и профессионалов.

Apple рассчитывает продавать только одну гарнитуру в день в каждом розничном магазине, и она сообщила поставщикам, что ожидает продаж от семи до 10 миллионов единиц в течение первого года доступности.

Дата выпуска

Первоначально Apple ориентировалась на WWDC 2022 в качестве даты открытия гарнитуры AR / VR, но из-за проблем, описанных выше, теперь похоже, что самое раннее, что мы можем увидеть гарнитуру в конце 2022 года, а 2023 год, возможно, будет еще более вероятным.

Аналитик Apple Минг-Чи Куо считает, что гарнитура будет запущена в конце 2022 или 2023 года, а Марк Гурман из Bloombergнедавно сказал, что, хотя Apple нацелена на середину 2022 года для презентации, теперь это было перенесено на конец года или 2023 год.

Яблочные очки

За гарнитурой Apple AR / VR последует продукт дополненной реальности, который, по слухам, называется Apple Glasses.

Apple Glasses будут больше повседневным носимым продуктом, чем гарнитура, так как они будут напоминать традиционные очки.

Говорят, что очки похожи на обычные очки, причем оба объектива имеют дисплеи, с которыми можно взаимодействовать с помощью жестов.

Будет возможность получить очки без рецептурных линз по возможной стартовой цене 499 долларов США, а линзы по рецепту доступны за дополнительную плату.

По данным Bloomberg,очки находятся на ранней стадии разработки,даже раньше, чем гарнитура AR/VR, над которой работает Apple. Очки были описаны как «через несколько лет».

Apple якобы планирует использовать «передовые» OLED-микродисплеи, поставляемые Sony для своих очков дополненной реальности.

OLED- микродисплеи Sony отличаются сверхбыстрой скоростью отклика, сверхвысокой контрастностью, широкой цветовой гаммой, высокой яркостью, низким коэффициентом отражения и встроенными драйверами для тонкого и легкого дизайна. Говорят, что очки оснащены 0,5-дюймовым дисплеем с разрешением 1280×960. Куо ожидает, что очки AR будут продаваться как аксессуар для iPhone и в первую очередь возьмут на себя роль дисплея, разгружая вычисления, сети и позиционирование на iPhone, а очки обеспечивают мобильный «оптический сквозной ar-опыт».

Предложение очков AR в качестве аксессуара для iPhone позволит Apple сохранить их тонкими и легкими.

Джон Проссер утверждает, что очки будут похожи на Ray-Ban Wayfarers или очки, которые носит Тим Кук, в то время как Bloomberg заявил, что текущий прототип напоминает высококачественные солнцезащитные очки с толстыми оправами, в которых находится батарея и чипы.

Проссер также говорит, что Apple работает над ограниченной версией умных очков «Steve Jobs Heritage», которые предназначены для того, чтобы выглядеть как круглые, безрамочные очки, которые носил Стив Джобс, но Марк Гурман из Bloombergназвал этот слух «полной выдумкой».

Мы пока не знаем, когда Apple Glasses будут запущены, но поскольку этот продукт ожидается после гарнитуры AR / VR, 2023 или 2024 год кажется самой ранней возможной целевой датой.

Команда Apple AR/VR Работа Apple над виртуальной и дополненной реальностью насчитывает несколько лет, но слухи появились, начиная с марта 2015 года, когда появились новости о том, что у Apple есть небольшая команда людей, работающих над дополненной реальностью.

В 2015 году и в начале 2016 года команда Apple росла, поскольку компания наняла сотрудников с опытом работы в технологии AR / VR и сделала несколько связанных с этим приобретений.

Команда Apple AR / VR включает в себя несколько сотен инженеров со всей Apple, все из которых имеют опыт работы в виртуальной и дополненной реальности.

Команда работает в офисных парках в Купертино и Саннивейле, а Apple изучает несколько аппаратных и программных проектов под кодовым названием «T288».

Команда дополненной реальности Apple сочетает в себе «сильные стороны своих ветеранов аппаратного и программного обеспечения» и возглавляется Майком Роквеллом, который пришел из Dolby.

Бывшие сотрудники таких компаний, как Oculus, Amazon (из команды VR), Lytro, Microsoft, 3D-анимационная компания Weta Digital и Lucasfilm работают над AR в Apple.

Бывший директор по аппаратному обеспечению Apple Дэн Риччио в январе 2021 года перешел на новую должность, где он курирует работу Apple над гарнитурой AR / VR.

Проект столкнулся с проблемами разработки, и руководители Apple считают, что фокус Риччио может помочь.

Исполнительный директор Apple по программному обеспечению Ким Воррат также входит в команду дополненной реальности, и ее описывают как «мощную силу», обеспечивающую соблюдение сотрудниками сроков, а также устраняющую ошибки.

Apple наняла ряд известных экспертов по AR/ VR и искусственному интеллекту, в том числе профессора информатики Дуга Боумана,бывшего инженера Magic Leap Зейю Ли,бывшего ученого-исследователя Oculus Юрия Петрова,эксперта по AR и бывшего сотрудника НАСА Джеффа Норриса,эксперта по приложениям VR Стерлинга Криспинаи производителя VR-камер Артура ван Хоффа..

Приобретения и партнерские отношения в области AR/VR Многие члены команды Apple AR / VR, возможно, присоединились к компании через приобретения.

С 2015 года Apple приобрела несколько компаний, которые создали продукты, связанные с AR / VR, а некоторые из ее приобретений AR / VR даже датируются несколькими годами.

Акония Голографика

Apple в августе 2018 года купила Akonia Holographics,стартап, который производит линзы для очков дополненной реальности.

Akonia Holographics рекламирует «первую в мире коммерчески доступную объемную голографическую отражающую и волноводную оптику для прозрачных элементов отображения в умных очках».

Говорят, что дисплеи, которые он производит, используют технологию HoloMirror компании для «ультра-чистой, полноцветной производительности», чтобы обеспечить «самые тонкие, самые легкие головные дисплеи в мире».

Врвана

В ноябре 2017 года Apple приобрела Vrvana, компанию, которая разработала гарнитуру смешанной реальности под названием Totem.

Totem, который никогда не был выпущен для общественности, был разработан для объединения технологий дополненной и виртуальной реальности в одной гарнитуре, объединяя полные возможности VR с сквозными камерами для обеспечения функций дополненной реальности на основе экрана.

Totem по существу использовала набор камер для проецирования реальных изображений на свой встроенный OLED-дисплей 1440p, несколько уникальный подход, который отличает его от конкурирующих продуктов, таких как HoloLens от Microsoft, который использует прозрачный дисплей для сочетания виртуальной и дополненной реальности.

Apple может планировать использовать некоторые технологии Totem в будущем продукте.

ПраймСенс

Apple приобрела израильскую фирму по 3D-зондированию тела PrimeSense в 2013 году, вызвав предположения о том, что возможности на основе движения будут реализованы в Apple TV.

Технология 3D-глубины PrimeSense и возможности обнаружения движения использовались в первоначальной платформе Microsoft Kinect.

PrimeSense использовал ближний ИК-свет для проецирования невидимого света в комнату или сцену, который затем считывается датчиком изображения CMOS для создания виртуального изображения объекта или человека.

Это позволяет управлять программными интерфейсами на основе движения, но также может выполнять такие вещи, как измерение виртуальных объектов и обеспечение относительных расстояний или размеров, что полезно для приложений дополненной реальности, таких как интерактивные игры, картографирование помещений и многое другое.

Технология PrimeSense также может создавать высокоточные 360-градусные сканирования людей и объектов, потенциально полезные для приложений виртуальной реальности.

Метайо

Apple приобрела стартап дополненной реальности Metaio в мае 2015 года.

Metaio создала продукт под названием Metaio Creator, который можно было использовать для создания сценариев дополненной реальности всего за несколько минут.

До покупки Apple программное обеспечение Metaio использовалось такими компаниями, как Ferrari, которые создали шоу-рум дополненной реальности.

Технология Metaio также использовалась в Берлине, чтобы позволить людям, посещающим место Берлинской стены, использовать смартфон или планшет, чтобы увидеть, как выглядел этот район, когда Берлинская стена все еще стояла.

Технология Metaio потенциально может быть использована для реализации возможностей дополненной реальности в приложениях Apple, таких как Maps.

Сдвиг лица

Apple приобрела Faceshift в августе 2015 года, отметив свою вторую покупку дополненной реальности в 2015 году.

До приобретения Apple Faceshift работала с игровыми и анимационными студиями над технологией, предназначенной для быстрого и точного захвата выражений лица с помощью 3D-датчиков, превращая их в анимированные лица в режиме реального времени.

Faceshift также работал над продуктом, ориентированным на потребителя, который позволил бы людям превращать свои лица в мультяшные или монстры в режиме реального времени в Skype.

Технология Faceshift имеет широкий спектр возможных вариантов использования, и Apple, похоже, использует эту функцию для питания Animoji в iPhone, оснащенных фронтальной системой камер TrueDepth.

Emotient, компания, которая создала инструменты для анализа выражения лица, была приобретена Apple в январе 2016 года.

Технология Emotient использует искусственный интеллект и машинное обучение для чтения человеческих эмоций, функций, которые использовались в реальном мире рекламодателями для определения эмоциональных реакций на рекламу.

Есть десятки вещей, которые Apple может сделать с Emotient, начиная от лучшего распознавания лиц в приложении «Фотографии» до анализа чувств клиентов в розничных магазинах Apple и разблокировки устройств iOS, но у него также есть потенциальные возможности использования AR / VR.

Как и Faceshift, технология Emotient может быть использована для анализа и преобразования выражений лица для создания виртуальных аватаров, полезных для целей социальных сетей и игр. Эмоциональная технология, вероятно, использовалась для Animoji.

Флайбэй Медиа

Приобретенная в начале 2016 года, Flyby Media — еще одна компания, которая работала над дополненной реальностью.

Flyby создал приложение, которое работало со смартфоном Google с 3D-датчиком «Project Tango», позволяя прикреплять сообщения к объектам реального мира и просматривать их другими с помощью одного из устройств Google. Взгляните на приложение Flyby Messenger до того, как оно было извлечено из App Store, через TechCrunch.

Например, человек может «отсканировать» достопримечательность, такую как мост Золотые Ворота в Сан-Франциско, и написать прикрепленное к ней сообщение. Человек, посещающий мост позже, сможет отсканировать мост с помощью приложения Flyby, чтобы увидеть сообщение.

Приложение Flyby, вероятно, привлекло внимание Apple, потому что оно было способно распознавать и понимать различные объекты, которые были отсканированы, технология, которая может быть использована Apple несколькими способами в таких приложениях, как «Фотографии» и «Карты».

РеалФейс

В феврале 2017 года Apple приобрела RealFace,компанию по кибербезопасности и машинному обучению, которая специализируется на технологии распознавания лиц, которые потенциально могут быть использованы для будущих функций дополненной реальности.

RealFace разработала технологию распознавания лиц, интегрирующую искусственный интеллект для беспроблемного распознавания лиц.

Технология RealFace, вероятно, была использована в iPhone X,первом смартфоне Apple с возможностями распознавания лиц в виде Face ID.

СледующаяVR Apple в мае 2020 года приобрела NextVR, калифорнийскую компанию, которая объединила виртуальную реальность со спортом, музыкой и развлечениями, предлагая VR-опыт для просмотра живых событий на гарнитурах VR от PlayStation, HTC, Oculus, Google, Microsoft и других производителей.

Apple в августе 2020 года приобрела VR- стартап Spaces, компанию, которая разработала опыт виртуальной реальности, который люди могли бы испытать в торговых центрах и других местах, таких как «Terminator Salvation: Fight for the Future».

Spaces также создал опыт виртуальной реальности для приложений для видеосвязи, таких как Zoom, что Apple потенциально может включить в будущий продукт AR / VR.

Согласно тайваньскому сайту DigiTimes,Apple сотрудничает с разработчиком игр Valve для своей гарнитуры AR.

Valve выпустила свою первую ГАРНИТУРУ VR, Valve Index, в апреле 2019 года.

Valve ранее работала с Apple, чтобы обеспечить встроенную поддержку гарнитуры VR в macOS High Sierra, используя поддержку eGPU с версией программного обеспечения SteamVR для Mac.

Патенты

AR/VR Apple подала несколько патентов, которые напрямую относятся к гарнитуре виртуальной реальности, все из которых датируются несколькими годами. Хотя технологии, вероятно, продвинулись несколько дальше, они дают интересный взгляд на идеи, которые Apple исследовала в прошлом.

Патентная заявка 2008 года охватывала довольно базовую «персональную систему отображения», предназначенную для имитации опыта пребывания в кинотеатре при просмотре видео.

Второй патент описывал«Head Mounted Display System»с «лазерным двигателем», который проецировал изображения на прозрачный стеклянный дисплей, надеваемый на глаза, похожий на очки. В этой конфигурации гарнитура подключается к портативному видеоплееру, такому как iPod, для обеспечения вычислительной мощности.

Третий патент, первоначально поданный в 2008 году, был похож по дизайну, охватывая видеогарнитуру, похожую на очки, предназначенную для того, чтобы пользователи могли смотреть фильмы и другой контент. Он очертил два регулируемых оптических модуля, выстроенных в линию с глазом пользователя, которые могли бы обеспечить коррекцию зрения и позволить просматривать 3D-контент.

Apple описала это как предложение личного просмотра мультимедиа. Четвертый патент от 2008 года охватывал рамку для видеогарнитуры, похожую на Google Glass, которая позволила бы пользователю вставлять свой iPhone или iPod в гарнитуру для обеспечения видео.

Гарнитура была описана как продукт дополненной реальности, который позволит пользователям делать такие вещи, как просмотр видео или проверка электронной почты, следя за своим окружением.

Помимо патентов, связанных с гарнитурами, Apple также подала заявку на патенты, описывающие другие способы реализации функций виртуальной и дополненной реальности в своих устройствах.

Например, патентная заявка 2009 года охватывала 3D-дисплеи, оснащенные камерой, которые смещались в перспективе в зависимости от относительного положения пользователя. Такой дисплей будет обнаруживать движение головы, позволяя пользователю перемещать голову, чтобы смотреть на 3D-изображение под разными углами, а также включать элементы среды пользователя.

Патенты 2010 и 2012 годов описывали использование датчиков движения для создания 3D-интерфейса для устройств iOS с использованием методов дополненной реальности. Apple описала интерфейс как «виртуальную комнату», в которой осуществляется навигация путем манипулирования ориентацией устройства через встроенные датчики или с помощью жестов.

В 2011 году Apple подала патент на функцию дополненной реальности в приложении Maps, связанную с отображением расстояния до заметных достопримечательностей. С помощью камеры пользователь может смотреть на область вокруг себя и получать оценки расстояния между двумя точками в режиме реального времени вместе с наложением соответствующей информации.

Патент, поданный в 2014 году и выданный в 2017 году, охватывает мобильную систему дополненной реальности, способную обнаруживать объекты в окружающей среде и накладывать на них виртуальную информацию с помощью камер, экрана и пользовательского интерфейса.

Apple описывает систему как идеальную для головного дисплея, но она также показывает, что она используется в смартфонах.

Apple работает над технологией виртуальной реальности, которая может быть использована в автономных транспортных средствах.

Несколько патентов Apple описывают систему, которая включает в себя автомобильную систему виртуальной реальности с гарнитурой VR, надеваемой для обеспечения развлечений и смягчения карискости от таких задач, как чтение и работа во время движения транспортного средства.

Патентная заявка в июле 2020 года охватывает возможные методы ввода с помощью Apple Glasses, описывая систему, в которой очки используют инфракрасное тепловое зондирование для обнаружения, когда кто-то касается объекта реального мира, позволяя очкам затем проецировать элементы управления на реальную поверхность.

С помощью этого метода Apple Glasses могут проецировать интерфейс управления AR на любой реальный объект в реальном мире для эффекта наложения смешанной реальности.

Apple в феврале 2021 года подала ряд патентов, связанных с ее работой над гарнитурой смешанной реальности, с патентами, охватывающими элементы дизайна, настройку объектива, технологию отслеживания глаз и программное обеспечение.

Apple разработала несколько методов для того, чтобы сделать гарнитуру более удобной для ношения, а также сохранить ее безопасной и блокировать свет, а также есть подробная система регулировки объектива, которая использует жидкость для плавного смещения объективов, чтобы сделать посадку настроенной для каждого пользователя.

Apple также подробно описывает систему отслеживания глаз, которая использует инфракрасный свет для определения положения, а также патент на то, как документы могут быть отредактированы в виртуальном 3D-пространстве с использованием гарнитуры и обнаружения жестов.

Apple запатентовала системы для записи видео с гарнитуры, где встроенные датчики отслеживания взгляда могут обеспечить индикацию того, куда человек в данный момент смотрит, что может направить встроенную камеру для записи сцены, где расположены глаза пользователя, вместо того, чтобы просто записывать то, что находится перед пользователем.

Другая патентная заявка, поданная в феврале 2021 года, показала, что Apple исследует устройство, установленное на пальце, с массивом датчиков и тактильной обратной связью, которое будет использоваться в качестве устройства управления для гарнитуры смешанной реальности.

Устройство управления имеет форму, которая позволяет пользователям естественным образом ощущать объекты в окружающей среде и может точно определить, как пользователь двигает пальцем и взаимодействует с поверхностями.

Говорят, что система настолько точна, что может обнаружить, насколько сильно пользователь давит на поверхность и точное направление этой силы, обеспечивая тактильную обратную связь в ответ.

В сочетании с гарнитурой AR или VR Apple говорит, что это устройство, установленное на пальце, может «предоставить пользователю ощущение взаимодействия на физической клавиатуре, когда пользователь делает касания пальцем по поверхности стола» или «позволить пользователю поставлять ввод типа джойстика» для игр, используя только движение кончиков пальцев пользователя.

Гарнитура AR/VR второго поколения Хотя гарнитура AR / VR первого поколения еще не запущена, Apple уже работает над версией второго поколения,по словам аналитика Apple Минг-Чи Куо. Ожидается, что гарнитура AR / VR, которая появится в 2024 году, будет иметь обновленный дизайн, который легче, плюс у нее будет новая система батареи и более быстрый процессор.

Планы Apple на будущее в области AR/VR

Аналитик Apple Минг-Чи Куо считает, что Apple может планировать «контактные линзы» дополненной реальности, которые могут быть запущены где-то в 2030-х годах.

По словам Куо, линзы перенесут электронику из эпохи «видимых вычислений» в «невидимые вычисления».

В настоящее время для контактных линз «нет видимости», и это не гарантированный продукт, который Apple будет разрабатывать.

VRsystems — виртуальная реальность. Последние новости.