Вот тут интересное обсуждение про компактификацию разного знания с использованием математического знания: http://sober-space.livejournal.com/1251
Вытащу из того обсуждения свой коммент (всё одно хотел пост на эту тему писать, поэтому все ссылки под рукой оказались):
Классический заход на "символьные вычисления aka логика в распределённых представлениях aka линейной алгебре"http://verbs.colorado.edu/~llbecker/pap
Я встречал прямые указания на то, что всё это про одно и то же: логика, квантовая механика и неуловимость естественного языка -- они опираются на одну и ту же математику. Например, вот этот уже не слишком свежий текст (2007г.): This paper has been submitted to a symposium on Quantum Mechanics (QM) and AI, so what is the connection to QM? The mathematical theory of QM is based on Hilbert spaces; the objects in which we have situated word meanings are Hilbert spaces. The operator we have proposed for combining word meanings is the tensor product; composite systems in QM, formed by interacting quantum-mechanical systems, are represented using tensor products (Hughes 1989). This link suggests that work in NLP which uses vector spaces may benefit from borrowing more from the well-developed mathematical theory of QM.
Other possible links exist. NLP is currently dominated by probabilistic models. How to integrate probabilistic models with the distributional models described here is another interesting question. The mathematical theory of QM, as well as being based on Hilbert spaces, is a probabilistic theory. (Widdows 2004) suggests a link between quantum logic and the lattices he uses to model negation. (van Rijsbergen 2004) has proposed a quantum mechanical theory for modelling relevance in IR. Our proposal is that the interaction of QM and language is a fruitful area of research for AI.
Основные исследования по этому стыку статистики, линейной алгебры и выражения в них сущностей реального мира происходят сейчас вокруг deep learning, там какие-то чудеса чуть ли не ежедневно в результатах. Вот краткий намёк на state of the art в понимании естественного языка --https://drive.google.com/file/d/0B16RwC
Отдельно замечание Осману: я хотел написать Cho письмо, не занимается ли уже кто переводом между языками программирования (напомню, что по-английски там слово используется одно и то же -- translation). При этом ведь тоже должно появиться "общее language-agnostic пространство значений" и все рассуждения о побуквенности, больших контекстах и даже modality-agnostic ;-)
И ссылки на то, что уже заметили в работах по распределённым представлениям (word vectors) связь с теорией категорий, я давал тут рядом, но повторю до кучи: типа http://arxiv.org/abs/1401.5980 илиhttp://mlg.eng.cam.ac.uk/yarin/PDFs/TMS
Происходящее сейчас в этой области deep learning и смежных с ней меня завораживает. Я уже несколько раз писал, что мне это напоминает происходящее сто лет назад в физике в связи с появлением квантовой физики и теории относительности. Тут примерно такого же интеллектуального масштаба явление, и всё по экспоненте развивается уже года три (с 2012 года, когда пошли реальные результаты в распознавании речи, распознавании изображений, повтор за неделю машинного счёта достижений десятков лет лабораторий классической компьютерной лингвистики -- одним алгоритмом для всех языков!, и т.д.).
Комментариев нет:
Отправить комментарий