Knowledge Assistant (RAG)
Knowledge Assistant — AI-продукт на основе RAG (Retrieval-Augmented Generation), который объединяет поиск по базе знаний организации с генерацией ответов на основе LLM.
Продукт существует в двух вариантах: для внутренних пользователей (сотрудников) и для внешних (клиентов).
Назначение
Knowledge Assistant решает задачу быстрого доступа к знаниям организации. Вместо ручного поиска по документам пользователь задаёт вопрос на естественном языке и получает сгенерированный ответ с ссылками на источники.
Архитектура RAG
Типовая архитектура RAG-системы включает следующие компоненты:
- Загрузка документов — подключение к источникам данных
- Чанкинг — разбиение документов на фрагменты
- Эмбеддинг — векторизация фрагментов
- Векторное хранилище — индексация и хранение эмбеддингов
- Поиск (Retrieval) — нахождение релевантных фрагментов по запросу
- Генерация (Generation) — формирование ответа на основе найденных фрагментов через LLM
- Ответ пользователю — ответ с цитатами и ссылками на источники
Ключевые аспекты
При разработке и эксплуатации Knowledge Assistant необходимо учитывать:
- Качество данных — ответы хороши ровно настолько, насколько хороши исходные документы
- Релевантность поиска — точность retrieval напрямую влияет на качество ответов
- Контроль галлюцинаций — LLM может генерировать недостоверную информацию
- Управление доступом — пользователь должен видеть только те документы, к которым у него есть доступ
- Актуальность данных — документы требуют регулярного обновления в индексе
Два варианта продукта
Knowledge Assistant реализуется в двух вариантах с различными требованиями:
| Аспект | Внутренний | Внешний |
|---|---|---|
| Пользователи | Сотрудники | Клиенты |
| Данные | Внутренние документы, политики | Публичная документация, FAQ |
| Толерантность к ошибкам | Средняя | Низкая |
| Управление доступом | По ролям и подразделениям | По продуктам и тарифам |
| Эскалация | К эксперту | К оператору поддержки |