Нейросеть научилась "читать мысли" по активности мозга

Реконструкция изображений по нейронной активности уже неоднократно удавалась; к примеру, Брайс Кюль из Университета США поставил несколько успешных опытов по расшифровке данных об активности головного мозга, позволивших воссоздать изображения человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об однажды виденных лицах. Однако до сих пор во всех подобных экспериментах компьютерные алгоритмы, обрабатывавшие данные, не реконструировали изображение непосредственно из данных об активности мозга, а сравнивали наблюдаемые паттерны активности с уже имевшимися в библиотеке.

В этом году японские нейробиологи из Университета Киото завершили эксперимент, в котором нейросеть реконструировала изображения по паттернам активности мозга, не обращаясь к существующей базе данных. Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.

Нейросеть, созданная в Киото, не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.

Результат реконструкции. Yukiyasu Kamitani et al., 2018.

После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.

Препринт статьи опубликован в репозитории bioRxiv.org.

Коментарі

Рекомендуємо прочитати

Депортація блогера. Україна відправила до Азербайджану опозиціонера

Ельвіна Ісаєва депортували через порушення міграційного законодавства Україна 12 грудня депортувала до Азербайджану опозиційного блогера Ельвіна Ісаєва....

Це може бути цікавим

Молодая женщина выпрыгнула из окна

У погибшей остался маленький ребенок На проспекте Лобановского в Киеве женщина выпрыгнула из окна десятого этажа....

Новости партнеров

Дивіться, що пишуть

Германия нуждается в рабочей силе - Меркель

В противном случае немцам придется переносить свои производства в другие страны В Германию необходимо привлекать квалифицированных работников из стран, не входя....

Загрузка...