Попробуйте приложение ARMA, в котором можно создавать техно-музыку из воздуха

Нам удалось удачно совместить наши знания и навыки. Мой партнер Святослав Иванов — профессиональный звукорежиссер и программист; также он занимался съемками, был и режиссером, и оператором. Я по образованию дизайнер и ресечер. Люблю искусство и все, что с ним связано, а также работаю моделью.

Мы со Святославом стараемся все делать вместе, но два года назад мне нужно было уезжать в Барселону заканчивать магистратуру по специальности «Исследования для инноваций». Свят в этот момент перестал заниматься съемками и начал осваивать программирование. Мы периодически затевали всякие творческие проекты, а на этот раз нам пришлось это делать на расстоянии, и мы перенесли его в цифровой вид. Поскольку оба увлекались электронной музыкой, начали исследовать это направление и обнаружили, что мобильным девайсам вполне хватает мощности для трекинга человеческого тела. Так родилась идея превратить танец в музыку. ARMA — уникальный продукт. Это интерактивный музыкальный плеер, в котором пользователь играет музыку руками в воздухе перед экраном смартфона. Приложение распознает жесты, для чего мы разработали систему управления с помощью пальцев, и синтезирует звуки.

По нашей задумке, артист придумывает некую музыкальную «сцену», которой сможет управлять пользователь. Это похоже на инсталляцию, которую ты скачиваешь себе на телефон. Мы хотим, чтобы человек мог зайти в нашу платформу и «сыграть» новый трек любимого артиста. Было много трудных моментов. Когда создаешь что-то новое и не знаешь куда идешь, легко сдаться. Сложнее всего было наладить отношения с нейронной сетью, чтобы добиться четкого распознавания жестов. Мы обучали ее сначала самостоятельно с помощью фотографий себя и фотографий друзей, потом нашли готовую базу изображений. Эта работа заняла около года.Мы быстро поняли, что обнаружили нечто невероятное и что до нас этого никто не делал. Мы поняли, что можем также создать профессиональный музыкальный инструмент, но он выходил крайне сложным в использовании, и требовалось много сил и концентрации, чтобы звучало что-то человеческое. Мы же хотели, чтобы каждый мог почувствовать себя музыкантом или дирижером. Поэтому концепция профессионального инструмента осталась, но это будет уже совсем другой проект. В будущем надеемся, что платформа ARMA станет местом, где пользователь встречается с артистами, которые готовят для него звуковые сцены, с художниками, которые позаботятся о красивых спецэффектах, и брендами.

А расшифровывается ARMA как Augmented Reality Music Act — музыкальный акт в дополненной реальности. Совпадение с названием «Arma» у нас вызвало восторг, и мы не знакомы с основателями клуба, но в будущем надеемся сделать совместный проект.