Короткий ответ
Относитесь к базе знаний как к набору документов, за которыми ухаживают, а не как к умной модели. Назначьте каждому документу одного владельца и срок пересмотра, при изменении фактов заменяйте файл, а не добавляйте новый, велите ассистенту называть источник и признаваться, когда он не знает, ограничьте поиск по ролям и после каждого обновления прогоняйте постоянный список контрольных вопросов.
Устаревший файл опаснее слабой модели
Ассистент, который отвечает по вашим собственным документам, не знает, какой из них действует сейчас. Он находит фрагменты, ближе всего подходящие к вопросу, и строит вокруг них гладкий ответ. Если весенний прайс-лист всё ещё лежит в папке рядом с нынешним, вернуться может любой из них, и в обоих случаях ответ прозвучит одинаково уверенно.
У такой схемы есть название — генерация с дополненной выборкой, по-английски retrieval-augmented generation. Amazon Web Services описывает её как способ заставить языковую модель перед ответом свериться с надёжным сводом знаний, лежащим за пределами её обучающих данных. В том же обзоре перечислено, с чем модели без такой помощи справляются плохо, и среди прочего — устаревшие сведения там, где человек ждал точного и свежего ответа. Поиск исправляет это только при условии, что актуальны сами документы.
Для небольшой компании это хорошая новость. Обновление ИИ-базы знаний — в основном наведение порядка, знакомое любому владельцу или офис-менеджеру, а не наука о данных. Вопросы простые: кто отвечает за каждый документ, когда он перестаёт быть верным, как его заменяют, кому можно его читать и как проверяются ответы. Дальше они разобраны по порядку.
У каждого документа в базе один владелец с именем
Каждому файлу, который может прочитать ассистент, нужен один человек, отвечающий за него. Не отдел и не «команда», а имя. Владелец подтверждает, что содержание верно сегодня, меняет его, когда меняются факты, и убирает, когда документ больше не нужен. Без такого имени устаревшие условия доставки ничьи и живут в индексе ещё год.
Второе правило — у каждого факта один дом. Базовая цена услуги записана в прайс-листе и больше нигде: шаблон коммерческого предложения и памятка для новичков ссылаются на него, а не повторяют цифру. Если одно и то же число набрано в пяти документах, при следующем изменении один из них пропустят, а поиск не умеет отличить забытую копию от исправленных.
Результат сведите в реестр — подойдёт обычная таблица: документ, владелец, откуда берутся факты, дата последнего подтверждения, срок пересмотра и кому разрешено чтение. Профиль генеративного ИИ, опубликованный Национальным институтом стандартов и технологий США (NIST AI 600-1), требует того же на языке организаций: роли и обязанности ясно определены, включая периодичность пересмотра. Документ добровольный, и реестр на одну страницу — соразмерный способ следовать ему для фирмы из десяти человек.
Срок годности делает старые факты заметными
Документ без даты считается верным навсегда. Назначьте каждому срок пересмотра по тому, как быстро меняется его предмет. Прайс-лист в сезон, когда поставщики поднимают цены, возможно, придётся подтверждать каждую неделю; условия доставки — когда их меняет перевозчик; правила возврата — раз в квартал; историю компании — раз в год. Интервалы выбираете вы. Важно, чтобы у каждого документа такой срок был и был записан.
Дату ставьте в двух местах. Внутри документа — простой строкой вроде «действует с 1 марта, пересмотреть до 31 марта», чтобы ассистент мог повторить её в ответе. И в реестре или в свойствах файла, чтобы просроченный документ можно было исключить из поиска или пометить, пока владелец не подтвердит его заново. В профиле NIST приведено определение достоверной информации, которое точно подходит прайс-листу: она «создаёт разумные ожидания относительно того, когда может истечь срок её действительности».
Некоторые факты устаревают быстрее, чем любой документ. Складские остатки, сегодняшний курс валют и свободные окна для записи меняются каждый час, и файл, в который их скопировали, неверен почти сразу после сохранения. Либо подключите ассистента к системе, где хранится живая цифра, либо велите ему говорить, где она находится и кто может её подтвердить. Честная отсылка полезнее точного числа за прошлый вторник.
Еженедельный порядок обновления: заменить, убрать, переиндексировать
Обновление ИИ-базы знаний срывается, когда держится на чьей-то памяти. Назначьте день и короткий порядок действий. Каждый владелец смотрит, что изменилось за неделю — цена поставщика, правило, часы работы или снятый с продажи товар, — и правит документ, в котором записан этот факт. После этого старая версия полностью покидает индексируемую папку. Положить новый файл рядом со старым — самый частый способ получить две правды.
Индекс должен успевать за документами. В обзоре AWS поднята проблема устаревания внешних данных и дан ответ: обновлять нужно и документы, и построенные по ним сохранённые представления — непрерывно, автоматическим процессом, или пакетами через заданные промежутки. В документации Microsoft к её поисковому сервису мысль та же: инкрементная индексация названа там средством сохранять содержимое свежим. Каким бы продуктом вы ни пользовались, выясните, когда он перечитывает ваши файлы и действительно ли удалённые исчезают из ответов.
Заодно ищите дубликаты. Старые PDF на общем диске, прайс-лист, приложенный к прошлогодней переписке, и файлы с названием «финал-v2» — всё это кандидаты в ответ, если инструмент до них дотягивается. Перенесите их в архив за пределами папок, которые читает ассистент. В конце добавьте одну строку в журнал изменений: что изменилось, кто это сделал и какого числа. Когда ответ позже вызовет вопросы, по журналу быстрее всего понять причину.
Научите ассистента говорить, что он не знает
Опасен не отказ, а уверенная догадка. NIST называет её конфабуляцией: это уверенно изложенное, но ошибочное или ложное содержание, в обиходе — галлюцинация. AWS выбирает более бытовой образ и сравнивает языковую модель с рьяным новичком, который не следит за событиями, но на любой вопрос отвечает с полной уверенностью. База знаний уменьшает число догадок, только если ассистенту сказано, что делать, когда поиск ничего не нашёл.
Запишите правило в его инструкции простыми словами. Отвечать только по найденным документам. Если ни один из них не покрывает вопрос или у подходящего прошёл срок пересмотра — сказать об этом и назвать человека, к которому обратиться. Никогда не выводить цену, скидку или срок из общих знаний. Вопросы о договорах, трудовых спорах и возвратах за рамками письменных правил передавать человеку, а не пытаться ответить.
Каждый раз требуйте источник. Ответ, который заканчивается названием документа и его датой, проверяется за десять секунд, а AWS отмечает, что ответы со ссылками позволяют пользователям самим открыть исходные документы. NIST добавляет предостережение, о котором стоит помнить: модель способна выдать и выдуманные ссылки, будто бы подтверждающие её ответ. Поэтому ссылка должна вести на настоящий файл в вашей базе, а не быть названием, которое модель сочинила.
Права доступа важнее удобства
Ассистент, которому доступно всё, рано или поздно расскажет кому-то то, чего тот видеть не должен. В документации Microsoft приведён хрестоматийный случай: финансовые данные, которые должны оставаться у финансового отдела, даже если вопрос чат-боту задаёт высокопоставленный руководитель. Требование изложено кратко — люди и программные агенты должны получать только то, что им разрешено видеть, — а среди средств контроля названа фильтрация на уровне документов, при которой результаты отбираются по правам спрашивающего.
Небольшой фирме редко нужны сложные роли. Обычно хватает трёх-четырёх аудиторий: все сотрудники, руководители, те, кто ведёт финансы и кадровые документы, и владелец. Разложите документы по папкам или коллекциям по этому признаку и подключите каждую группу пользователей только к своим. Проверьте, наследует ли ваш инструмент права исходного хранилища или их нужно задавать заново: это разное поведение, и разницу легко упустить.
Решите, что не попадает в базу никогда. Зарплатным ведомостям, договорам с конкретными людьми, медицинским сведениям, жалобам клиентов с персональными данными и паролям не место в общей базе знаний, каким бы удобным ни был быстрый ответ. Если ассистентом будут пользоваться и клиенты, дайте ему отдельную и намного меньшую базу — только то, что вы опубликовали бы на сайте. Доступ уволившегося закрывайте в день ухода, как и почту.
Постоянный список контрольных вопросов после каждого изменения
Задать три вопроса и остаться довольным — это не проверка. Профиль NIST говорит о том же по-своему: он советует не судить о работе системы по узким, несистематическим и случайным оценкам и рекомендует сравнивать её ответы с набором заведомо верных данных. Для малого бизнеса это письменный список вопросов, где к каждому указаны правильный ответ, документ, из которого он должен быть взят, и дата этого документа.
Составьте список из жизни: возьмите из чатов и почты вопросы, которые сотрудники задавали в прошлом месяце. Для начала хватит двадцати-тридцати. Добавьте ловушки трёх видов. Первая — вопрос, ответ на который недавно изменился: так ловится старая цена. Вторая — вопрос, на который в базе ответа нет: так видно, отказывается ли ассистент. Третья — вопрос о закрытом документе, заданный с обычной учётной записи: так проверяются права.
Прогоняйте весь список после каждого обновления документов и после любой смены модели, настроек или инструкций: каждое из этих изменений способно испортить ответы, которые раньше были верными. Профиль рекомендует заново оценивать риски после внедрения поиска по документам и проверять источники и ссылки как до запуска, так и в ходе постоянного наблюдения. Оценивайте каждый ответ по трём пунктам — верны ли факт, источник и дата — и не выпускайте обновление, пока не объяснены все сбои.
Как заметить дрейф базы и когда ставить ассистента на паузу
Между проверками самый дешёвый контроль — сами пользователи. Дайте им один очевидный способ сообщить о неверном ответе, будь то кнопка, общий канал или адрес почты, и следите, чтобы каждое сообщение доходило до владельца нужного документа. У NIST это есть среди рекомендуемых действий: оценивать проблемное содержание, о котором сообщают пользователи, и учитывать их отзывы в обновлениях. Каждое такое сообщение становится новой строкой в списке контрольных вопросов.
Читайте и отказы. Журнал вопросов, на которые ассистент ответил «не знаю», — карта того, чего базе не хватает; по нему видно, какой документ писать следующим. Раз в неделю считайте просроченные документы: если их всё больше, порядок обновления перестал работать, как бы ни выглядели ответы. Время от времени просматривайте несколько настоящих ответов, потому что именно ту систему, которая обычно права, люди перестают проверять. NIST называет эту привычку предвзятостью автоматизации — чрезмерным доверием к автоматическим системам.
Оставьте за собой право отключить тему. Во время смены цен, инвентаризации или переписывания правил ассистенту безопаснее сказать, что сведения обновляются, и назвать контактное лицо, чем отвечать по документам в переходном состоянии. Начните с одной узкой области, где факты в порядке, — например, с цен и доставки — и расширяйте охват, только когда реестр, порядок обновления и проверки несколько недель отработают без происшествий. База знаний с ИИ в небольшой компании сначала становится привычкой ухаживать за документами и лишь потом технологией.
Практический чеклист
- Перечислите все документы, которые читает ассистент, и рядом с каждым запишите имя владельца и срок пересмотра.
- Держите каждый факт в одном документе, а предыдущую версию при замене убирайте из индексируемой папки.
- Впишите в инструкции ассистента правило отказа: нет источника — нет ответа, зато есть имя человека, к которому обратиться.
- Разложите документы по аудиториям, подключите каждую группу только к своим папкам, а зарплаты и персональные данные оставьте вне базы.
- Ведите список контрольных вопросов с ожидаемыми ответами, источниками и датами и прогоняйте его после каждого обновления.
Вопросы и ответы
Что такое ИИ-база знаний в небольшой компании?
Это набор собственных документов компании, в которых ИИ-ассистент ищет сведения перед тем, как ответить, чтобы ответ опирался на ваш прайс-лист или регламент, а не на общие знания модели. Сам приём называется генерацией с дополненной выборкой. Ассистент точен ровно настолько, насколько точны эти документы, поэтому владельцы, даты и обновления важнее выбора программы.
Как часто нужно обновлять документы, по которым отвечает ИИ-ассистент?
Так часто, как меняются записанные в них факты, а это зависит от документа. Цены и наличие товаров могут требовать еженедельной сверки, регламенты — ежеквартальной, справочные материалы — ежегодной. Назначьте каждому документу срок пересмотра, в этот день подтвердите или замените его и одновременно удалите прежнюю версию из индексируемой папки.
Что должен делать ассистент, если ответа в документах нет?
Сказать, что источника по этому вопросу у него нет, и подсказать, к кому обратиться. Такое поведение нужно прямо прописать в инструкциях: языковая модель, предоставленная самой себе, склонна вместо этого выдать правдоподобный текст. Регулярно проверяйте его вопросами, на которые база заведомо не отвечает, и любой выдуманный ответ считайте дефектом, который устраняют до расширения доступа.
Могут ли сотрудники с разными ролями пользоваться одним внутренним ассистентом?
Да, если поиск учитывает права доступа. Каждый должен получать ответы только из тех документов, которые ему разрешено открывать; на практике это значит разложить файлы по аудиториям и выяснить, как ваш инструмент применяет права. Чувствительные записи вроде зарплат и персональных данных лучше не загружать вовсе. Проверьте схему, запросив закрытый документ с обычной учётной записи.
Как владельцу без технических знаний проверить правильность ответов?
С помощью письменного списка настоящих вопросов и ожидаемых ответов, где указаны документ и дата, на которые ассистент должен сослаться. Задавайте их все после каждого изменения и сравнивайте ответы вручную: для списка в несколько десятков вопросов специальные программы не нужны. Включите вопросы, на которые следует отказ. Если ответ неверен, сначала выясните, в чём причина — в документе, индексе или инструкции.