Исследования – декодирование изображений мозговой активности в режиме реального времени

В каждый момент каждого дня наш мозг тщательно преобразует множество сенсорных сигналов в значимые представления об окружающем нас мире. Однако то, как на самом деле работает этот непрерывный процесс, остается малоизученным.

image-decoding-paper (отчет)

Сегодня Meta* объявляет о важной вехе в решении этого фундаментального вопроса. Используя магнитоэнцефалографию (МЭГ), неинвазивный метод нейровизуализации, при котором в секунду проводятся тысячи измерений мозговой активности, мы демонстрируем систему искусственного интеллекта, способную декодировать разворачивание визуальных представлений в мозге с беспрецедентным временным разрешением.

Мы обучаем эту архитектуру на общедоступном наборе данных МЭГ-записей, полученных от здоровых добровольцев и выпущенных Things, международным консорциумом академических исследователей, обменивающихся экспериментальными данными на основе той же базы данных изображений.Сначала мы сравним производительность декодирования, полученную с помощью различных предварительно обученных модулей изображения, и покажем, что сигналы мозга наилучшим образом согласуются с современными системами искусственного интеллекта компьютерного зрения, такими как DINOv2, недавняя самоконтролируемая архитектура, способная усваивать насыщенные визуальные представления без каких-либо человеческих комментариев. Этот результат подтверждает, что самоконтролируемое обучение позволяет системам искусственного интеллекта усваивать представления, подобные мозговым: Искусственные нейроны в алгоритме, как правило, активируются аналогично физическим нейронам мозга в ответ на одно и то же изображение.

Это функциональное согласование между такими системами искусственного интеллекта и мозгом затем может быть использовано для создания изображения, подобного тому, что участники видят на сканере. Хотя наши результаты показывают, что изображения лучше декодируются с помощью функциональной магнитно-резонансной томографии (ФМРТ), наш МЭГ-декодер можно использовать в любой момент времени и, таким образом, он создает непрерывный поток изображений, декодированных с помощью мозговой активности.

Хотя сгенерированные изображения остаются несовершенными, результаты показывают, что восстановленное изображение сохраняет богатый набор высокоуровневых характеристик, таких как категории объектов. Однако система искусственного интеллекта часто генерирует неточные низкоуровневые объекты, неуместно размещая или неправильно ориентируя некоторые объекты на сгенерированных изображениях. В частности, используя набор данных Natural Scene Dataset, мы показываем, что изображения, полученные с помощью МЭГ-декодирования, остаются менее точными, чем декодирование, полученное с помощью ФМРТ, сравнительно медленного, но пространственно точного метода нейровизуализации.

В целом, наши результаты показывают, что MEG можно использовать для расшифровки с точностью до миллисекунды нарастания сложных представлений, генерируемых в мозге. В более общем плане это исследование укрепляет долгосрочную исследовательскую инициативу Meta по пониманию основ человеческого интеллекта, выявлению его сходства, а также различий по сравнению с современными алгоритмами машинного обучения и, в конечном счете, направляет разработку систем искусственного интеллекта, предназначенных для того, чтобы учиться и рассуждать, как люди”.

* Meta, в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.

Источник