Поиск

​Американские ученые разработали систему, позволяющую воспринимать мемы незрячим

Технологию, которая позволяет воспринимать мемы людям с нарушения зрения, разработали учены американского Университета Карнеги.

Ученые предлагают идентифицировать мемы с помощью предварительно написанных шаблонов, кроме того, исследователи предлагают использовать для описания генерирующий текст, который затем можно озвучить, сообщает Naked Science.

Технология распознания мемов, которую ученые предлагают использовать людям с нарушением зрения, предусматривает использование методов компьютерного зрения. Это позволяет описывать образы, лежащие в основе каждого мема, — будь то знаменитость, плачущий ребенок, персонаж мультфильма или какая-либо сцена. Исследователи также применили оптические методы распознавания символов для расшифровки наложенного на картинку текста.

Мемы могут показаться не самой важной проблемой, но не нам выбирать для людей то, что заслуживает их внимания. Многие люди используют мемы, и поэтому они должны быть доступны, - заявил один из авторов работы Джефф Бигэм.

По словам авторов технологии, для каждого типа мема достаточно создать только один шаблон, описывающий изображение, после чего программе остается проанализировать наложенный на изображение текст. При этом описать то, что на самом деле передает мем, оказалось сложнее, чем думали исследователи. Для ряда картинок ученым удалось подобрать точное описание, а некоторые все же пришлось исключить из программы.

Кроме того, ученые создали платформу для перевода мемов в звук, а не в текст. Пользователям доступен поиск по звуковой библиотеке, в ходе которого элементы достаточно перетащить в шаблон. Эта система была сделана для перевода существующих мемов и передачи настроения через музыку и звуковые эффекты. Одной из ключевых причин создания такой платформы исследователи назвали то, что простое озвучивание описания мемов может «убить шутку».

По мнению авторов разработки, внедрить их технологию в реальный мир на данный момент сложно. Для этого необходимо задействовать крупные социальные сети, например, Twitter и Facebook, которые бы могли добавить функцию озвучивания мемов в свою платформу.

Про новости в мире науки и техники читайте в разделе #Х-Files на Соцпортале.

Комментарии