RAG: почему нейросеть отвечает по вашему сайту
Ещё говорят: Retrieval Augmented Generation, генерация с поиском, RAG-архитектура
RAG (Retrieval Augmented Generation, генерация с поиском) — схема работы нейросети, при которой она сначала находит подходящие документы, а потом пишет ответ, опираясь на них. Термин ввели исследователи Facebook AI в 2020 году. На этой схеме работают и ответы поисковиков, и корпоративные боты по базе знаний.
Для владельца сайта RAG объясняет главное: в ответ попадает конкретный кусок текста, который система нашла и передала модели.
Память против поиска
Языковая модель знает только то, что было в обучении, и знает это приблизительно: точные цифры и свежие факты она путает. Если спросить её про цены конкретной компании, она с одинаковой уверенностью назовёт и верную сумму, и выдуманную — это и называют галлюцинацией.
RAG закрывает дыру просто: перед ответом система идёт в поиск, забирает несколько подходящих фрагментов и передаёт их модели вместе с вопросом. Модель отвечает по принесённому тексту и может поставить ссылку на источник.
Как это работает по шагам
- Вопрос превращается в запрос иногда в несколько: «сколько стоит продвижение сайта услуг» может разложиться на запросы про цены, про сроки и про состав работ.
- Система ищет документы по обычному поисковому индексу или по своей базе — в зависимости от того, чей это бот.
- Из документов режутся фрагменты не страница целиком, а абзацы и таблицы, которые ближе всего к вопросу.
- Фрагменты уходят в модель вместе с инструкцией «ответь по этим материалам и сошлись на них».
- Модель пишет ответ связывает куски в текст и расставляет ссылки на источники.
Весь этот конвейер и стоит за AI-поиском — и за Нейро у Яндекса, и за режимом поиска в чат-ботах.
Что из этого следует для сайта
- Цитируется фрагмент страницы. Страница может быть отличной в целом, но если нужного ответа в ней нет отдельным куском — её не возьмут.
- Формулировка важнее объёма. Прямой абзац на три предложения работает лучше, чем экран рассуждений вокруг ответа.
- Структура помогает резать. Таблица цен, список условий, вопрос в заголовке — всё это готовые границы фрагмента.
- Противоречия убивают доверие. Если цифры на сайте, в каталоге и в статье расходятся, система скорее возьмёт источник, где расхождений нет.
- Без индексации ничего не будет. Документ, которого нет в поиске, не найдётся на первом же шаге. Поэтому индексация остаётся базой.
RAG внутри компании
Та же схема работает в корпоративных ботах: документы компании режут на фрагменты, складывают в поисковый индекс, и бот отвечает сотрудникам по ним со ссылкой на исходный файл. Логика одна — меняется только база, по которой идёт поиск.
Частые вопросы
RAG — это отдельная нейросеть?
Нет, это схема сборки: поиск плюс языковая модель. Модель может быть любой, а качество ответа сильно зависит от того, что именно нашёл поисковый слой.
Почему нейросеть иногда называет неверные цены?
Возможны два случая. Либо она отвечает по памяти без поиска — тогда цифра выдумана. Либо поиск принёс устаревший источник: старую статью, чужой каталог, кэш страницы. Второе лечится тем, чтобы актуальные цифры лежали на сайте в явном виде и совпадали везде.
Можно ли попасть в ответ, если сайта нет в топ-10?
Да. Поисковый слой в RAG отбирает документы под конкретный фрагмент вопроса, и это не то же самое, что топ обычной выдачи. Но шансы сильно выше у страниц, которые в принципе хорошо ранжируются.
