среда, 9 декабря 2015 г.

Семантический морфинг для принцесс и драконов


Глубокое обучение добралось до изучения мира аниме и манги, и там был предложен новый "научный инструмент визуальной литературы": semantic morphing -- Given two query illustrations, a semantically smooth transition from one to another is computed (each column), by which drawers can find reference illustrations that are not reachable by traditional keyword-based search (http://illustration2vec.net/, A Semantic Vector Representation of Illustrations).

Народ уже играется: превращают через deep dream фотографии в иллюстрации из манги (https://medium.com/@samim/adversarial-machines-998d8362e996#.8ufq5bqad): 
Синтез изображений уже не такая уж проблема (http://www.bloomberg.com/news/articles/2015-12-02/computers-learn-how-to-paint-whatever-you-tell-them-to, https://github.com/Newmu/dcgan_code с арифметикой изображений и морфингом окон в телевизоры). 

Люди ещё не понимают, что дают распределенённые представления (в том числе embeddings):
-- работа с пространством значений, в том числе теми его местами, которые не обозначены словами (но это не значит, что там нет значений!).
-- уравнивают тексты, картинки, настроения, кинестетику и т.д.: всё это оказывается местами в пространстве значений. Вплоть до того, что описание картинки оказывается переводом с языка картинки на естественный язык (и делается это тем же методом, что перевод с одного естественного языка на другой! Это прежде всего работы Kyunghyun Cho).
-- задают альтернативу логическим онтологическим построениям (деревьям, графам и т.д.). Онтология оказывается представлена просто пространством! Что есть в мире -- всё, что есть в пространстве значений!!! Можно совмещать пару пространств значений и ожидать мэппинга имеющихся выделенных значений (т.е. мэппинга онтологий-в-классическом смысле). Какую-то похожую работу я уже видел, просто ссылки не запомнил.


-- работа с векторами в этом пространстве, которые неожиданно оказываются вполне семантичными -- отношениями! Например, отношения "столица - её страна", "объект мужского пола -- аналогичный объект женского пола". Более того, там оказывается линейность (http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1)
-- можно проводить рассуждения, хотя это не логика. Вот пример вычисляемых ответов на вопросы (знаменитые 20 тестов Facebook по ответам на вопросы таки по факту пройдены на 100%):http://arxiv.org/abs/1511.06426, предлагаются reasoning models in tensor space with learning capabilities. 


Это смена текущей айтишной парадигмы, это другой способ думать о мире, другой способ "нелогического" вывода, другой способ обработки данных, всё другое. В этом странном мире даже парсеры синтаксисвыучивают и становятся лучше, чем те написанные вручную парсеры, на результатах которых их обучали (ошибки ручных парсеров они считают шумом! а внутри них в нейронной сетке уже не "грамматика", а что-то совсем другое): http://arxiv.org/abs/1412.7449, работа называется Grammar as a Foreign Language, грамматику учат нейронной сеткой просто как ещё один язык! Вчитайтесь в последнюю фразу этой статьи: "This work shows that domain independent models with excellent learning algorithms can match and even outperform domain specific models" -- это и есть слом парадигмы, а также ход на компактификацию разбитого по факультетам знания.

Это всё только цветочки, ягодки же будут в интеграции нейро-подхода и традиционного логического подхода -- http://www.neural-symbolic.org/CoCo2015/ (там двухдневный семинар 11-12 декабря 2015 в рамках NIPS 2015 в Монреале, 23 ежегодная конференция по Neral Information Processing,https://nips.cc/).

8 декабря 2015, 21:46

Комментариев нет:

Отправить комментарий