Apple хочет отслеживать каждое движение пользователя для здоровья, AR и многого другого

36
Apple хочет отслеживать каждое движение пользователя для здоровья, AR и многого другого
Apple хочет отслеживать каждое движение пользователя для здоровья, AR и многого другого

Apple запатентовала систему, которая будет отслеживать мельчайшие движения человека.

Apple хочет знать каждый раз, когда вы двигаете мышцами любой части тела, чтобы более точно составить картину вашей физической формы, а также, возможно, лучше определять ваше местоположение в помещении.
Apple уже использует такие технологии, как акселерометры в часах Apple Watch, что позволяет им автоматически определять, что вы идете, даже если вы забыли включить тренировку Outdoor Walk. Недавно компания также подала заявку на патент на камеру в Apple Watch, которая, помимо фотосъемки, предназначена для обнаружения движения.

Теперь стало известно о двух отдельных патентных заявках, которые, несмотря на то, что были поданы с разницей в год, обе направлены на обнаружение каждого движения – и его использование.

Заявка “Обнаружение и классификация перехода позы с использованием связанной биомеханической модели” была подана в сентябре 2021 года, а раскрыта только сейчас. На 17 страницах описания – около 8 000 слов – речь идет именно об обнаружении изменения позы.

“Существующие мобильные устройства включают датчики движения, которые предоставляют данные о движении, такие как ускорение и скорость вращения мобильного устройства”, – говорится в патентной заявке Apple. “Например, цифровой шагомер может использовать данные об ускорении для подсчета шагов, чтобы определить, что пользователь идет или бежит”.

“Хотя эти широкие классификации активности полезны для многих мобильных приложений”, – говорится далее, – “некоторые мобильные приложения выиграют, если узнают, изменилась ли физическая поза пользователя, например, он встал из сидячего положения или наоборот”.

Apple хочет отслеживать каждое движение пользователя для здоровья, AR и многого другого
Apple хочет отслеживать каждое движение пользователя для здоровья, AR и многого другого

Как всегда в патентных заявках, основное внимание уделяется тому, как что-то может быть достигнуто, а не тому, для чего это может быть использовано. Тем не менее, в тексте упоминаются явные примеры использования, например, когда пользователь надевает гарнитуру и перемещается как в реальной, так и в виртуальной среде.

Когда носимые устройства могут рассчитывать положение всего тела и предсказывать, куда приведет вас движение, они могут предупреждать вас о реальных или виртуальных препятствиях. Предположительно, эта способность может быть использована таким же образом, чтобы помочь людям с ослабленным зрением передвигаться по реальному миру.

Apple мало говорит о вариантах использования, но достаточно конкретики, чтобы показать, что эта функция определения осанки не просто для того, чтобы компания могла придираться к вам за то, что вы не делаете сидячие упражнения.

“В одном из вариантов реализации пространственного аудио данные о движении гарнитуры и движении устройства-источника объединяются в устройстве-источнике”, – говорит Apple, – “таким образом, относительное положение и отношение могут быть рассчитаны устройством-источником для использования в отслеживании позы головы в определенных сценариях отслеживания, чтобы обеспечить правильное центрирование пространственного звукового полотна”.

“В частности, отслеживание позы головы с использованием относительного движения полезно для определения того, поворачивается ли голова пользователя, в то время как его туловище неподвижно, или туловище пользователя переместилось”, – говорится далее. “Оба типа движения будут восприниматься гарнитурой и будут неразличимы”.

Это повторяющийся момент в патентной заявке, что, возможно, уже можно обнаружить движение, но не суметь правильно или полностью интерпретировать его.

Apple неоднократно заявляет, что ее предложение касается использования комбинаций устройств для определения нужных параметров. “Как правило, использование данных о движении гарнитуры и сопутствующего устройства позволяет определять более сложные изменения позы пользователя”, – говорится в заявке.

Определение позы всего тела

Эта комбинация устройств также занимает центральное место во втором недавно раскрытом патенте. Патент “Оценка позы всего тела путем извлечения характеристик из нескольких носимых устройств”, поданный в 2022 году, посвящен обнаружению всего возможного – с помощью всех возможных устройств.

Определение позы всего тела
Деталь из патента, показывающая некоторые математические выкладки, лежащие в основе определения позы

“Носимые устройства сегодня широко распространены в обществе”, – говорит Apple. “Многие потребители ежедневно носят как смарт-часы, так и ушные устройства… [и многие из этих носимых устройств включают инерционные датчики, которые чувствуют движение пользователя]”.

“Например, инерционные датчики, встроенные в смарт-часы, могут фиксировать движение руки пользователя, которое затем может быть использовано фитнес-приложением для вычисления различных фитнес-метрик, таких как количество калорий, сожженных пользователем во время тренировки”, – говорится далее. “Некоторые ушные устройства (например, наушники) включают инерционные датчики, которые управляют воспроизведением аудио, предоставляют данные об ориентации микрофона, используемые для формирования луча для уменьшения фонового шума, и отслеживают положение головы для закрепления пространственного звукового поля, воспроизводимого через ушные устройства”.

“[Все это вместе] может обеспечить более точную скелетную модель всего тела, которая может дать подробное представление о движениях пользователя”, – говорит Apple, – “позволяя улучшить отслеживание прогресса в различных видах фитнеса или мониторинге здоровья”.

“Дополнительным преимуществом является то, что существующие устройства, уже принадлежащие пользователю”, – говорится в патентной заявке, – “могут быть использованы в сочетании с недорогими компактными сенсорными модулями (инерционные датчики, высотомер и камера), которые можно легко прикрепить к различным местам тела или одежды пользователя для создания распределенной сенсорной системы”.

“Использование нескольких камер и инерционных датчиков, расположенных в разных местах тела пользователя, в сочетании с данными о глубине всего тела позволяет создать более точную трехмерную модель скелета”, – говорится в сообщении Apple.

“[Эти данные] могут быть использованы в различных приложениях, – продолжает компания, – таких как приложения, определяющие, упал ли человек или болен, приложения, автономно обучающие правильному режиму тренировок, спортивным техникам и танцам…”.

В патентных заявках всегда описывается как можно более широкий спектр применения, и в данном случае он простирается от фитнеса до того, как такие системы могут “понимать язык жестов всего тела. (например, сигналы взлетно-посадочной полосы аэропорта, сигналы дорожных полицейских и т.д.)”.

Эти две патентные заявки необычны тем, что они посвящены созданию способа соединения того, что уже существует. Но обе они правы в том, что у нас есть устройства, которые могут обнаруживать эти данные, поэтому система, которая правильно вычисляет позы всего тела и затем использует это для нашего здоровья и фитнеса, – это хорошо.

Деталь из патента, показывающая использование данных о позе всего тела
Деталь из патента, показывающая использование данных о позе всего тела

Или, по крайней мере, пока эти данные остаются с нами.

В каждой из двух патентных заявок используется, похоже, стандартный раздел о конфиденциальности. Вместо того чтобы комментировать какие-либо конкретные вопросы конфиденциальности, поднятые в заявках на патенты, стандартный текст предполагает, что “организации, ответственные” за сбор таких данных, “будут соблюдать установленную политику конфиденциальности”.

Патент на осанку принадлежит четырем изобретателям, включая Адитью Сарати, чья предыдущая работа в Apple включает патентную заявку на “Мониторинг осанки и движения с помощью мобильных устройств”.

Над патентом на все тело работали три изобретателя, включая Уэсли В. Зубера. Его предыдущая работа включает патент на обратную связь на основе прикосновений, например, тактильную систему в Apple Pencil.