Нейросеть научилась "читать мысли" по активности мозга

Реконструкция изображений по нейронной активности уже неоднократно удавалась; к примеру, Брайс Кюль из Университета США поставил несколько успешных опытов по расшифровке данных об активности головного мозга, позволивших воссоздать изображения человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об однажды виденных лицах. Однако до сих пор во всех подобных экспериментах компьютерные алгоритмы, обрабатывавшие данные, не реконструировали изображение непосредственно из данных об активности мозга, а сравнивали наблюдаемые паттерны активности с уже имевшимися в библиотеке.

В этом году японские нейробиологи из Университета Киото завершили эксперимент, в котором нейросеть реконструировала изображения по паттернам активности мозга, не обращаясь к существующей базе данных. Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.

Нейросеть, созданная в Киото, не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.

Результат реконструкции. Yukiyasu Kamitani et al., 2018.

После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.

Препринт статьи опубликован в репозитории bioRxiv.org.

Коментарі

Рекомендуємо прочитати

Чиновник преміював дружину: отримав звинувачення у корупції

У Київській області чиновник преміював дружину і в результаті отримав звинувачення у корупції....

Загрузка...

Це може бути цікавим

Россия готовится к завершающему этапу оккупации Донбасса

Россия, в лице путинского режима готовится к завершающему этапу оккупации Донбасса - выдачи паспортов....

Новости партнеров

Дивіться, що пишуть

Донька військовополоненого моряка звернулась до міжнародної спільноти

Родичі українських військовополонених моряків у Москві поспілкувались з представниками дипломатичних місій країн Великої сімки та держав-членів Євросоюзу....

Загрузка...
Загрузка...