Показаны сообщения с ярлыком АНИМЭ. Показать все сообщения
Показаны сообщения с ярлыком АНИМЭ. Показать все сообщения

среда, 9 декабря 2015 г.

Семантический морфинг для принцесс и драконов


Глубокое обучение добралось до изучения мира аниме и манги, и там был предложен новый "научный инструмент визуальной литературы": semantic morphing -- Given two query illustrations, a semantically smooth transition from one to another is computed (each column), by which drawers can find reference illustrations that are not reachable by traditional keyword-based search (http://illustration2vec.net/, A Semantic Vector Representation of Illustrations).

Народ уже играется: превращают через deep dream фотографии в иллюстрации из манги (https://medium.com/@samim/adversarial-machines-998d8362e996#.8ufq5bqad): 
Синтез изображений уже не такая уж проблема (http://www.bloomberg.com/news/articles/2015-12-02/computers-learn-how-to-paint-whatever-you-tell-them-to, https://github.com/Newmu/dcgan_code с арифметикой изображений и морфингом окон в телевизоры). 

Люди ещё не понимают, что дают распределенённые представления (в том числе embeddings):
-- работа с пространством значений, в том числе теми его местами, которые не обозначены словами (но это не значит, что там нет значений!).
-- уравнивают тексты, картинки, настроения, кинестетику и т.д.: всё это оказывается местами в пространстве значений. Вплоть до того, что описание картинки оказывается переводом с языка картинки на естественный язык (и делается это тем же методом, что перевод с одного естественного языка на другой! Это прежде всего работы Kyunghyun Cho).