Не так давно специалисты Google показали нейронную сеть, способную модифицировать обычные изображения в потрясающие воображение абстрактные картины. Исследователи из Стенфордского университета не отстают от своих коллег по разработке искусственного интеллекта. Их детище NeuralTalk может описать привычным человеческим языком то, что попадает в поле его зрения.

Над созданием искусственного интеллекта NeuralTalk работает группа ученых под управлением руководителя Лаборатории ИИ Фей-Фей Ли. Разработанное исследователями программное обеспечение может детально исследовать нужное изображение, определить, что именно на нем показано, и затем описать картинку обычной разговорной речью.

Например, если на изображении виден играющий на гитаре человек в темной футболке, то NeuralTalk именно так и опишет фотографию: «человек в темной футболке играет на гитаре». Естественно, что пока NeuralTalk находится в разработке, он частенько допускает ошибки, порою очень забавные. Для распознавания ИИ вычленяет в изображении отдельные целые объекты, дает им названия, и затем строит из полученных объектов связное предложение. В интерфейсе системы исследователи могут увидеть, как происходит процесс распознавания нового изображения. Те объекты, которые NeuralTalk распознает уверенно, отмечаются зеленым цветом, желтым отмечаются менее точные распознавания, красным – предметы, узнавание которых представляет для ИИ определенные затруднения.

Как и разработка Deep Dream от компании Google, ИИ NeuralTalk в своей основе содержит нейронную сеть. Заложенный в систему алгоритм сравнивает запечатленные на изображении объекты с уже существующими в его базе. Процесс обучения напоминает знакомство маленького ребенка с окружающим миром, когда взрослым нужно объяснить малышу, что находится вокруг него. Ученые подобным образом непрерывно рассказывают NeuralTalk, как выглядят те или иные вещи, после чего ИИ может использовать полученные знания в своих описаниях увиденного.

Объем предстоящей работы по обучению ИИ просто огромен. Исследователям необходимо досконально описать своему детищу миллионы и миллионы объектов, чтобы NeuralTalk смог в дальнейшем самостоятельно распознавать на фотографиях запомненные им предметы. После описания простых объектов ученым необходимо объяснить NeuralTalk смысл различных ситуаций и действий, чтобы их разработка могла описывать увиденное более полно.

После обучения исследователи планируют использовать свой ИИ для создания поискового робота, способного быстро найти в Интернете нужное изображение по простому словесному описанию. В дальнейшем, по мере накопления опыта и базы объектов, разработка стенфордских исследователей с большой вероятностью сможет находить не только отдельное фото, но и определенный кадр с фильме или видеоролике на сайтах видеохостинга вроде Vimeo или YouTube.