Как найти музыкальный инструмент по звуку

Разработчики из MIT создали нейросеть, которая самостоятельно находит музыкальный инструмент на видео и определяет, как он звучит. Если на записи присутствует несколько инструментов, программа позволяет пользователю выбрать, какой именно он хочет послушать, просто кликнув на него. При этом для обучения программы не требуется размеченных данных, сообщается в работе, которая будет представлена на сентябрьской конференции по компьютерному зрению European Conference on Computer Vision (ECCV).

Очень часто для того, чтобы нейросеть научилась распознавать объекты на изображении или отдельные источники в звуковой дорожке, требуется большой набор размеченных данных. Однако проставлять метки приходится вручную, что занимает довольно много времени. Поэтому исследователи в последнее время все чаще используют альтернативные подходы к обучению программ, которые позволяют алгоритму самостоятельно получать необходимые знания.

Авторы новой работы под руководством Хан Чжао (Hang Zhao) создали нейросеть под названием PixelPlayer. Она состоит из трех компонентов — графического, аудио и синтезирующего. Первая нейросеть анализирует графические элементы видео, в то время как вторая анализирует спектрограмму аудиодорожки. Затем синтезатор сопоставляет определенные области на кадрах (фактически, наборы пикселей) с определенными звуками, чтобы определить, как звучит тот или иной инструмент.

Для обучения системы ИИ программисты использовали 714 видео, на которых музыканты играют соло или дуэтом — суммарно записи длились 60 часов. Всего в них было представлено 11 категорий инструментов: аккордеон, акустическая гитара, виолончель, кларнет, эрху (китайская скрипка), флейта, саксофон, труба, туба, скрипка и ксилофон. Главная особенность алгоритма заключается в том, что он использует «самоконтролируемое» глубинное обучение: ему не требуется размеченных данных, которые бы указывали на то, как выглядит или звучит тот или иной инструмент. Всю необходимую информацию он извлекает самостоятельно, поэтому исследователи точно не знают, какие именно особенности входных данных система считает значимыми.

На демонстрационном видео показано, что пользователю достаточно кликнуть в область кадра, где запечатлен инструмент, и программа сделает его звук громче. Кроме того, PixelPlayer позволяет регулировать громкость инструментов с помощью бегунка и, таким образом, редактировать аудиотрек. 

В будущем группа Чжао надеется улучшить качество звука, использовав больше обучающего материала. В будущем PixelPlayer может стать удобным инструментом для редактирования аудио, позволяя например улучшать или восстанавливать старые записи концертов. Кроме того, алгоритм может лечь в основу системы, которая позволит роботам различать источники окружающих звуков. 

В прошлом исследователи из лаборатории Facebook Research разработали метод превращения музыкальных записей в записи с другими инструментами, стилем и жанром. Она смогла переделать симфонию Моцарта в запись пианиста, играющего музыку Бетховена.

Кристина Уласович

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

В нашей жизни может возникнуть ситуация, когда мы случайно услышали какую-либо музыкальную композицию, и теперь страстно желаем её найти. Мы не знаем ни названия, ни исполнителя трека, и подчас всё, что у нас есть – это зациклившийся мотив у нас в голове, или пара слов из пропетых вокалистом куплетов. Обнадёжу читателя – этого может быть вполне достаточно, ведь в сети существуют ряд онлайн ресурсов, позволяющих легко найти музыку онлайн. В данном материале я расскажу, как узнать музыку онлайн, какие сетевые ресурсы нам в этом помогут, и как с ними работать.

Лучшие сервисы для распознавания музыки в режиме онлайн

Перейдём к описанию сетевых сервисов, позволяющих найти песню онлайн. Абсолютное большинство из них обладает своей собственной базой треков, сравнивая полученный от пользователя трек (записанный через микрофон или полученный в виде аудио-файла) с имеющимися в базе композициями.

При нахождении совпадения сервис информирует пользователя о найденном результате, включая название композиции, её исполнителя, ссылку на видеоролик по данной композиции на YouTube, слова песни и другую соответствующую информацию.

При этом учтите, что чем выше качество источника звука, тем выше будет уровень распознавания нужной вам песни.

Midomi — быстро определит песню

Сетевой сервис «Midomi» — один из наиболее популярных сетевых сервисов англоязычного сегмента. Это не только инструмент для распознавания музыки, а и сообщество общающихся между собой пользователей.

Сервис обладает своей собственной базой музыки объёмом в более чем 2 миллиона композиций. При этом он не только идентифицирует звучащую музыку, но и хорошо работает с человеческим голосом, напевающим понравившуюся композицию через обычный микрофон.

1. Для работы с сервисом Мидоми перейдите на него по вышеприведённой ссылке.
2. Нажмите на большую кнопку «Click and Sing or Hum», предоставьте сервису доступ к вашему микрофону, и проиграйте (или напойте) отрезок нужной композиции для её последующей идентификации.

Затем вновь кликните на данную кнопку для остановки процедуры идентификации, система поищет совпадения в своей базе, а затем и выдаст вам результат.

AudioTag — простой поиск музыки по отрывку

Сервис «AudioTag», позволяющий выполнить поиск музыки онлайн, работает несколько по другому принципу, нежели сервис «Midomi». Здесь вы загружаете на сервис аудиофайл с неопознанной музыкой, сервис проводит её распознавание, а затем выдаёт вам результат.

Это может быть полезным, когда вы записали какую-то песню из Интернета, или у вас какая-то старая кассета, треки на которой вы желаете опознать.

При этом учтите, что загружаемый аудиотрек должен быть продолжительностью не менее 15 секунд. Поддерживаются музыкальные форматы MP3, WAV, FLAC, OGG Vorbis, , AMR, FLV, и MP4.

1. Для работы с сервисом перейдите на него, нажмите на кнопку «Browse», и укажите сайту путь к нужному аудиофайлу на вашем ПК.
2. Затем нажмите на «Upload» для загрузки файла на ресурс (также можно просто указать ссылку на файл в сети в соответствующем поле, а затем нажать на «Proceed»).

Система предложит вам сложить пару цифр (для доказательства, что вы не робот). После этого вы получите искомый результат.

Читайте также: 10 лучших проигрывателей музыки для Windows.

Text-You.Ru — позволяет искать музыку по словам

Если вы помните только пару слов из понравившейся песни, можно поискать совпадения по ним на специальных ресурсах, в которых находятся тексты миллионов песен. К примеру, таким русскоязычным ресурсом является Text-You.Ru, позволяющий выполнять поиск по имени исполнителя, или по словам из песни.

Перейдите на данный ресурс, введите в специальную строку слова из запомнившейся вам песни, выберите поиск в тексте песни, а затем нажмите на кнопку «Начать поиск».

Англоязычным аналогом ресурсов такого типа является, к примеру, ресурс «Lyrster».

WatZatSong — отличный сервис идентификатор

Если предыдущие сервисы никак не продвинули вас на пути идентификации нужной вам композиции, то англоязычный ресурс «WatZatSong» позволит вам выполнить опознание музыки онлайн с помощью «человеческого фактора». Вы просто загружаете на ресурс нужный вам музыкальный отрезок, а имеющееся там пользовательское сообщество пробует на слух опознать ваш трек.

1. Для работы с сервисом перейдите на него, нажмите на кнопку «Post a sample».
2. Система предложит вам пройти процедуру регистрации.
3. После подтверждения регистрации на е-мейл вновь нажмите на «Post a sample», в появившемся меню выберите вариант предоставления трека (record — через микрофон, upload — загрузка на ресурс).
4. Определитесь с жанром (genre) и языком (language), при необходимости напишите комментарий к треку в самой нижней строке, а затем нажмите на «Confirm» (подтвердить). О полученных ответах вы будете уведомлены на е-мейл.

Сервис Moomash

Сервис «Moomash» позволит вам узнать музыку в режиме онлайн, которая имеется в видеоролике на Ютуб. Просто перейдите на данный сервис, скопируйте ссылку с Ютуб-ролика в соответствующее окно, а затем нажмите на кнопку «Start».

Процесс идентификации может занять некоторое время, после чего вы получите искомый результат.

Программа Shazam

Если же говорить о наиболее эффективном инструменте для распознания музыки по отрывку, то таким инструментом является программа «Shazam» для Android и iOS. Она демонстрирует наиболее высокие результаты в процессе распознавания музыки, потому те читатели, которые ещё не знакомы с её функционалом, могут попробовать её в деле, насладившись её  практичностью и удобством в работе.

Заключение

В данной статье мной были описаны сервисы, позволяющие выполнить распознавание музыкального трека в формате онлайн. Работа с данными сайтами довольно проста, и не вызовет у пользователей никаких проблем. Если же вы желаете обладать самыми эффективными инструментами, тогда присмотритесь к мобильным приложения «Shazam» и «SoundHound» — они демонстрируют наиболее высокие результаты в распознавании аудио онлайн.