Задача: Проработать локальную карту знаний сайта
Проработать локальную карту знаний сайта
Понять, какое компактное описание собственного знания должен уметь предоставлять каждый сайт для работы в большом кластере.
Проблема
Центральный агент не должен каждый раз читать весь сайт или запрашивать последние сущности, чтобы понять, что сайт знает. При росте кластера такой обход становится основной лишней работой.
Нужно исследовать понятие локальной карты знаний сайта: достаточно компактного представления, позволяющего понять состав и структуру знания, не копируя весь контент в центральную систему.
Что хочется получить
Карта должна помогать ответить на вопросы: какие темы и сущности представлены на сайте, какие материалы являются источниками этих знаний, что изменилось с предыдущего просмотра, какие явные связи уже существуют.
Необходимо определить разумную границу между картой и самим контентом. Сайт должен оставаться источником истины, а центральный контур — иметь возможность сначала работать с описанием и обращаться за полным материалом только когда это действительно нужно.
Связано с центральным информационным узлом, синхронизацией и существующей задачей управления качеством концептов и фактов.
Вопросы исследования
Пока не следует фиксировать, что карта обязана быть графом, набором embeddings или конкретной схемой. Нужно сначала понять минимально полезный состав карты, требования к provenance, идентичности узлов, времени изменения и связям, а также насколько она может строиться автоматически из уже существующих Concepts, Facts, Resources и других сущностей.