Система базы знаний RAG - Интеллектуальная интеграция чат-бота
Вопросы и ответы на базе RAG с интеграцией документов, FAQ и новостей
Описание проекта
Этот проект реализует комплексную систему базы знаний с использованием технологии Retrieval-Augmented Generation (RAG) для интеллектуальных вопросов и ответов в чат-боте. Система интегрирует документы, FAQ и новостные статьи для предоставления контекстных ответов с использованием OpenAI GPT-4o-mini. Включает векторный поиск для сходства документов, формат TOON для эффективного форматирования контекста, автоматическое хранение вопросов без ответа и бесшовную интеграцию с системой управления документами.
Основные функции
Генерация ответов на базе RAG
OpenAI GPT-4o-mini со структурированными JSON-ответами
Векторный поиск
Поиск сходства документов на основе эмбеддингов
Интеграция документов
Автоматическая индексация и векторизация документов
Интеграция FAQ
Поиск FAQ на основе ключевых слов со скорингом
Интеграция новостей
Поиск новостных статей как резервный источник информации
Управление вопросами
Автоматическое хранение и управление вопросами без ответа
Технологический стек
Backend-фреймворк
ИИ & ML
Frontend
Управление данными
Рабочий процесс
- Запрос пользователя: Пользователь задает вопрос в чат-боте
- Поиск FAQ: Система ищет в файлах FAQ с сопоставлением ключевых слов и скорингом
- Поиск в базе знаний: Если оценка FAQ низкая, система ищет в векторизованных документах
- Форматирование контекста: Результаты поиска форматируются как TOON (Token-Oriented Object Notation)
- Генерация ответа: OpenAI GPT-4o-mini генерирует ответ на основе контекста с JSON-схемой
- Отображение источников: Соответствующие источники документов отображаются с информацией о чанках
- Хранение вопросов: Если ответ не найден, вопрос автоматически сохраняется для проверки
- Резервные новости: Если нет совпадения документов, система ищет в новостных статьях