Восьмибитная музыка в ритме VR

5

2017-04-04

Восьмибитная музыка в ритме VR

Музыканты постоянно находятся в поиске новых музыкальных форматов и технологий, так что любая яркая новика может сыграть им на руку в наборе популярности. Многим же хочется повторить взлет команды эпохи господства рейва, когда несколько новшеств в звуковой палитре могли сразу же обратить внимание и помочь в формировании аудитории.

M83 — «Meet Me At Go!»

Недавно вышла новая игра от французской электро-поп группы M83, погружающая слушателей в мир восьмибитной музыки и киберпанка 80-х. Чаще всего разработчики игр сначала создают концепцию игры и находят и пишут под нее музыкальное сопровождение. Но в последнем проекте Music x Technology, вышедшем в начале февраля 2017 года, все наоборот. Для 8-битного ремикса на песню «Go!» от французского музыкального проекта M83, была разработана ретро-игра.

Идея соприкосновения со слушателями через игру появилась благодаря фронтмену M83, Энтони Гонсалесу, который является геймером с детства. В результате работы была выпущена браузерная игра под названием «Meet Me at Go!» в которой вы участвуете в гонке за утраченной любовью, перемещаясь на машине по городу с ретро-футуристическим пейзажем, собирая предметы и обходя препятствия.

Каждый звук на оригинальном треке был изначально закодирован в 8-бит, далее был наложен вокал. После этого команда разработчиков создала игру на движке Unity, которая была экспортирована на платформу UWP. Одной из интересных особенностей можно выделить проработку соответствия звукового эффекта происходящему на экране: когда машина ускоряется, музыка также начинает ускорятся, и наоборот. Meet Me at Go! оптимизирована для любых устройств, в том числе с сенсорным экраном. К дизайну и цветовой гамме игры команда проекта также подошла с особым вниманием: можно заметить, что все цвета позаимствованы из важных фильмов в жанре киберпанк начала 80-х и 90-х — «Робокоп» и «Вспомнить все».

Childish Gambino — «Awaken, My Love!»

Технологии виртуальной и смешанной реальности можно встретить в кардинально противоположных сферах жизни: кто-то разрабатывает игры, кто-то занимается лечением психологических отклонений, кто-то применяет их для обучения. Childish Gambino с их помощью решил показать своим слушателям как выглядит его музыка.

Проект Childish Gambino представляет собой музыкальное альтер эго Дональда Гловера, актера, снимавшегося в фильме «Марсианин», получившего премию «Золой глобус» в 2017 году за лучшую мужскую роль в комедийном сериале, а также двукратного номинанта на премию «Грэмми». В дополнении, к 2018 году он сыграет роль Лэндо Калриссиана во втором фильме из серии «Звездные войны: Антология», центральным персонажем которого станет молодой Хан Соло.

В декабре прошлого года музыкант вернулся на сцену после долго перерыва с мощным видео «Me And Your Mama» из нового альбома «Awaken, My Love!». Клип позиционируется как превью-версия виртуального мира, который был представлен на шоу Pharos.

Главной идеей Childish Gambino стала гармония между физическим и цифровым, существующим и мнимым. До начала фестиваля для погружения в атмосферу музыки Дональд разработал уникальный сценарий: призрачные существа и зомби раскачиваются вокруг зрителей в такт музыки, сам музыкант выступает на сцене в желтой юбке из травы, с длинными косичками, светящимися в темноте, и все шоу заканчивается полетом через вселенную.

Для того, чтобы воплотить в жизнь свои идеи он обратился к команде Microsoft. «У нас долгие взаимоотношения с командой Childish Gambino, и как-то раз зашла речь о программе Music x Technology, — рассказывает Эми Сорокес, директор по стратегическим партнерствам Microsoft Brand Studios. — «В ее рамках мы сотрудничаем с различными исполнителями для того, чтобы найти новые способы художественного выражения музыканта и взаимодействия с аудиторией с помощью технологий. Это действительно помогает найти такие точки соприкосновения с человеком, что он буквально начинает ощущать музыку вокруг себя».

В основу технической реализации задуманного сценария легли две составляющие: проект смешанной реальности и мобильное приложение. Для того, чтобы зрители смогли действительно оказаться «в голове» Childish Gambino, музыкант принимал участие в создании каждого визуального эффекта. Например, движения всех персонажей в виртуальном мире на самом деле являются движениями самого Дональда и еще одного танцора из его команды. Они были зафиксированы с помощью датчиков Kinect в студии Microsoft и стали основой для создания 18 частей, использовавшихся в рамках шоу. Следующим шагом стала обработка данных с помощью Azure и отрисовка анимации.

Broods — «Heartlines»

Визуальные эквалайзеры погружают слушателей в зрительные образы любимых песен, но не позволяют «видеть музыкантов». Дуэт Broods решил провести эксперимент и «показать» зрителям сердечные ритмы вокалистки во время съемок клипа, с помощью фитнес-браслета.
Новозеландский инди-поп дуэт Broods — это творческий союз брата и сестры. Калеб и Джорджия Нотт выросли в семье музыкантов и с детства выступали вместе с родителями в группе, исполнявшей кавер-версии композиций ABBA. В школьные годы они были участниками группы Peasants и после ее распада основали Broods. Их первая песня «Bridges» за несколько месяцев покорила хит-парады Новой Зеландии и вошла в Топ 10 New Zealand Singles Chart. Еще через полгода они выпустили новый альбом и стали победителями в номинации «Прорыв года» на 2014 New Zealand Music Awards.

В середине 2016 года вышел красивый клип на песню «Heartlines» из последнего альбома дуэта. В нем иллюстрируется история о любви между юношей и девушкой, главной мыслью которой становится романтическое желание почувствовать линии сердца на его ладони.

Между сценами про влюблённых, можно увидеть танец Джорджии с полупрозрачными геометрическими фигурами вокруг неё, которые на самом деле являются визуальным эквалайзером её ритмов сердца во время танца. Идея создания новых музыкальных впечатлений с помощью фитнес-браслета родилась в креативном музыкальном агентстве Listen, за плечами которого есть работы для TED, Jim Beam, Tinder и не только.

«Мы экспериментируем с различными технологиями, чтобы понять, как мы можем подарить новые впечатления слушателями», —рассказывает Стив Милтон, сооснователь Listen. — В какой-то момент мы поняли, что у фитнес-браслетов есть большой потенциал и искали подходящих исполнителей, чтобы реализовать интересный проект. Так мы узнали, что Broods планируют выпуск нового клипа с идеальным названием «Heartlines» для нашей идеи».

Можно обратить внимание, что на протяжении всего видео на запястье вокалистки находится Microsoft Band, с помощью которого фиксируются различные биомаркеры Джорджии. Во время съемки клипа, были зафиксированы показатели частоты сердечных сокращений и кожно-гальванической реакции, а также данные акселерометра, которые были переведена в геометрические фигуры на этапе постпродакшена.

«Музыка нужна не только для получения удовольствия только с помощью слуха. Она затрагивает все чувства, — говорит Калеб. — Наша песня «Heartlines» как раз о тех чувствах, которые мы не можем видеть, но с помощью фитнес-браслета мы смогли их визуализировать. Искусство не имеет границ». Летом 2017 года Broods планируют отправиться в тур по США с био-интерактивным шоу, зрители которого смогут увидеть вживую ритмы сердца Джорджии и Калеба.

Grimes — «Realiti»

В 2016 году на фестивале Moogfest в Эшвилле (Северная Каролина, США) была представлена инсталляция, позволяющая посетителям создать ремикс на трек «Realiti» от хедлайнера — канадской певицы Граймс.

Граймс на самом деле зовут Клер Буше, она давно на виду и считается одной из артисток, чьи идеи всегда немного опережают свое время. Она считает своей личной героиней средневекового мистика Хильдегарду фон Бинген (героиню фильма Маргарете Фон Тротта «Видения»), также известную под именем Рейнская Сивилла. Хильдегарда считала, что каждый человек сам по себе — микрокосмос, и после занятий медитацией у нее были видения. Однажды Граймс решила повторить этот эксперимент и заперлась в квартире на три недели, заклеив окна черной бумагой.

Помимо неординарных поступков, Клер пишет необычную музыку, которая на первый взгляд может показаться клубной, но любой специалист по грегорианскому хоралу сразу заметит в ней григорианский бит. Выступая на Moogfest, Граймс не изменила своему оригинальному стилю и создала целый мир, объединяющий в себе технологии, творчество и музыку.

Была создана специальная сетчатая установка, в которой располагались четыре сенсорных датчика Kinect, которые захватывали все движения посетителей. Установка была разделена на четыре зоны, которые включали в себя четыре разные части из трека Граймс. Перемещаясь внутри, с помощью движений рук, поклонники могли менять разные части песни.

В момент движения рук или прикосновения к сетке происходит ретрансляция данных движения, фиксируемого датчиками, и преобразование их в звук, выдаваемый в 22 динамиках. После чего полученные данные группируются и распределяются по 4 группам для 4 зон. Это происходит в режиме реального времени, с использованием Ableton Live и Max MSP. В итоге получился целый мир с уникальными звуками и визуальными эффектами, которые посетители создают сами.

Matthew Dear — «Immersive»

Сегодня музеи становятся все меньше похожи на традиционные места аккумулирования ценных артефактов для будущих поколений. Фокус смещается на вовлечение людей в знакомство с культурными ценностями. Одним из таких проектов стала интерактивная среда Мэттью Дира в нью-йоркском музее New Museum.

По словам Мэттью свой музыкальный путь он начал с увлечения детройтским техно в 90-х. Свою популярность он завоевал в 2003 году, когда стал пионером в мире музыки, выпустив свой первый студийный альбом, сочетающий в себе поп-музыку и минимал-техно.«Я всегда ищу что-то новое для себя, — говорит Мэттью. — Думаю, что каждый из нас делает так же, чтобы вдохновиться».

Новаторский подход музыканта продолжает удивлять поклонников: прошлым летом посетители NEW INC. Gallery оказались в иммерсивной среде, погружающей в мечты о звуке, свете и цвете.

Проект был разработан за два месяца агентством из Нью-Йорка Listen и командой специалистов начиная от медиа-художников и заканчивая дизайнерами окружающей среды. С помощью 44 динамиков, световых установок и датчиков Kinect, был создан иммерсивный лабиринт, в котором бесконечное множество музыкальных эффектов воспроизводилось на основе движений людей. Например, при движении рук в воздухе перед посетителем возникали «рисунки».

«Моя музыка меняется, потому что технологии становятся все мощнее и умнее, а креативные люди пробуют новые вещи, например, создают усовершенствованные синтезаторы, или разрабатывают новые плагины и программное обеспечение. Технологии и творчество идут для меня рука об руку» – рассказывает Мэттью. Мудрая мысль немецкого писателя Лиона Фейхтвангера «Талантливый человек талантлив во всем», не теряет своей актуальности уже несколько столетий. Творческие люди часто ищут самовыражения в смежных сферах, создавая порой совершенно необычные проекты, которые открывают перед нами новые миры.

Phantogram — «Smells like Sound»

Наверняка многие помнят оптическую иллюзию, при которой двумерное изображение, искаженное особым образом, под определенным углом кажется трехмерным. Оно называется Phantogram, так же называется иинди-поп группа из Нью-Йорка, которая создаёт в своих концертах иллюзии в реальном времени.

Сара Бартел и Джош Картер познакомились ещё в школьные годы и в 2007 году создали свою группу. Технологии стали одной из фундаментальных частей их музыки, так спустя год после создания творческого союза, они начали сотрудничество с Блэром Нилом для разработки необычных визуальных эффектов в своих выступлениях. На тот момент по большей части их разработки заключались в использовании заранее отснятых видео и синхронизации их с музыкой на концертах.

«Я бы сказал, что технологии — это большая часть того, что мы делаем как группа, — говорит Джош. — У нас есть огромное количество идей, которые пока еще не реализованы. Мы стараемся максимально экспериментировать в выступлениях, чтобы они стали увлекательнее и ближе для наших слушателей». В 2015 году Блэр решил пойти дальше и использовать датчики захвата движений для нового шоу, чтобы участники группы стали элементами светового шоу.

Разработав уникальное программное обеспечение, Блэр нашел способ изолировать контуры Сары и Джоша на сцене, не захватывая при этом предметы вокруг, как, например, микрофон. Это позволило превратить Phantogram в уникальные геометрические узоры. Например, музыканты во время выступления могли раствориться в воздухе или превратиться в пылающую фигуру.

Недавно один из исследователей Microsoft Research предложила новый термин «фузионизм» для описания проектов, в которых встречаются абсолютно разные области, например, фермеры работают с программистами, ученые с дизайнерами. Истории, описанные выше, можно назвать яркими представителями нового веяния, представляющие собой сплав творчества, технологий и науки.

Источник