Ученые перевели активность мозга во фрагменты классической рок-песни
Музыка занимает центральное место в том, что значит быть человеком, однако ученые не знают, что происходит в нашем мозгу, когда мы слушаем любимые мелодии. Теперь исследование открыло новые возможности, показав, что можно реконструировать песню, которую кто-то слышал, только по паттернам активности их мозга — и, если вы думаете, что это звучит как научная фантастика, вы можете послушать сами (видео можно посмотреть ниже). Исследование опубликовано в PLOS Biology.
Помимо более глубокого понимания того, как мозг воспринимает музыку, в этом исследовании есть еще одно направление. Интерфейсы мозг-компьютер постоянно совершенствуются. Для людей, которые потеряли способность говорить из-за черепно-мозговой травмы или болезни, есть устройства, которые могут помочь им общаться, например, то, что использовал покойный Стивен Хокинг.
Разновидности этих устройств, иногда называемые нейропротезами, были разработаны, чтобы позволить людям с параличом набирать текст, воображая, что он пишет от руки, или составлять предложения, используя только свои мысли. Но когда дело доходит до речи, одна вещь, которую, как известно, трудно уловить, — это ритм и эмоции, стоящие за словами, называемые просодией. Лучшее, что мы смогли сделать, звучит отчетливо роботизированно.
«Сейчас эта технология больше похожа на клавиатуру для ума», — сказал в своем заявлении ведущий автор Людовик Белье. «Вы не можете читать свои мысли с клавиатуры. Вам нужно нажимать на кнопки. И это делает своего рода роботизированный голос; наверняка меньше того, что я называю выразительной свободой».
Команда, стоящая за новым исследованием, обратилась к музыке, которая, естественно, включает в себя ритмические и гармонические компоненты, чтобы попытаться создать модель для декодирования и реконструкции более просодического звука. И, к счастью, идеальный набор данных просто ждал анализа.
Более десяти лет назад 29 пациентов с резистентной к лечению эпилепсией приняли участие в исследовании, в ходе которого с помощью электродов, расположенных внутри их мозга, были сделаны записи их мозговой активности, когда они слушали трехминутный фрагмент классической песни Pink Floyd Another Brick in.
В то время, в 2012 году, профессор Калифорнийского университета в Беркли Роберт Найт был частью команды, которая первой реконструировала слова, которые человек слышит, только по активности его мозга. С тех пор дела в этой области пошли быстрыми темпами, и теперь Найт вместе с Белье руководил исследованием новой проблемы восприятия музыки.
Белье повторно проанализировал записи и использовал искусственный интеллект, чтобы создать модель, которая могла бы декодировать активность мозга, записанную в слуховой коре, и использовать ее для восстановления формы звуковой волны, предназначенной для воспроизведения музыки, которую человек слушал в то время.
Беллье, музыканту на протяжении всей жизни, перспектива казалась убедительной: «Спорим, я был взволнован, когда получил предложение».
И результаты впечатляют.
В реконструированном аудио ритм и мелодия узнаваемы, и даже слова «В общем, это был просто кирпич в стене» можно разобрать.
Исследование также позволило команде выявить новые области мозга, участвующие в обнаружении ритма — в данном случае бренчания гитары. Наиболее важной оказалась часть правой верхней височной извилины, которая находится в слуховой коре сразу за ухом и над ним.
Они также обнаружили, что в то время как восприятие языка происходит в большей степени в левом полушарии мозга, восприятие музыки имеет смещение в сторону правого полушария.
Белье и Найт вместе со своими соавторами надеются, что проект может привести к улучшению технологии интерфейса мозг-компьютер.
«Поскольку вся эта область интерфейсов мозг-машина развивается, это дает вам возможность добавить музыкальности будущим мозговым имплантатам для людей, которые в этом нуждаются», — пояснил Найт. «Это дает вам возможность декодировать не только лингвистическое содержание, но и часть просодического содержания речи, часть аффекта. Я думаю, это то, что мы действительно начали взламывать код».
Было бы особенно полезно иметь возможность делать записи мозга неинвазивно, но Белье объяснил, что мы еще не достигли этого: «Неинвазивные методы сегодня недостаточно точны. Будем надеяться, ради пациентов, что в будущем мы сможем просто с электродов, размещенных снаружи на черепе, считывать активность из более глубоких областей мозга с хорошим качеством сигнала. Но мы далеки от этого».
В один из этих дней это может быть возможно. Но прослушивание музыки, расшифрованной только по активности мозга, по-прежнему оставляло нас потерянными для слов. И, как заключили авторы в своей статье, они, безусловно, добавили «еще один кирпичик в стену нашего понимания обработки музыки человеческим мозгом».
Обсудим?
Смотрите также:
