Короткий ответ
Чтобы оценить ИИ-сервис, запустите его на собственных реальных задачах по критериям приёмки, записанным заранее. Затем получите письменные ответы на пять вопросов: где и сколько хранятся ваши данные, во что обходится готовая задача с учётом проверки человеком, что происходит, когда система ошибается или недоступна, чем независимо подтверждены заявления о безопасности и как вы уходите. Покупайте только после короткого пилота с правилом остановки.
Демо идёт на задачах поставщика, а ваши задачи другие
На демонстрации любой ИИ-сервис выглядит толковым. Входные данные подобрали те, кто его продаёт, неудобные случаи убрали, а попытки, не удавшиеся до встречи, никто не считал. Обмана здесь нет. Просто это ничего не говорит о том, как сервис поведёт себя на ваших документах, с вашими клиентами и вашими исключениями.
В добровольном рамочном документе Национального института стандартов и технологий США (NIST) по управлению рисками ИИ, AI Risk Management Framework, это сказано одной фразой: измерения точности всегда должны сопровождаться чётко определёнными и реалистичными тестовыми наборами, которые отражают условия предполагаемого использования. Для покупателя качество, заявленное где угодно, кроме ваших собственных материалов, остаётся гипотезой.
Ниже — как выбрать ИИ-сервис на условиях покупателя: семь проверок, от пробы на своих задачах, обращения с данными и цены готовой задачи до поведения при сбое, подтверждений безопасности, условий выхода и пилота с правилом остановки. Большинство из них — вопросы, которые ничего не стоит задать, а готовность поставщика ответить письменно уже сама по себе результат.
До пробы запишите задачу и то, что считать хорошим результатом
Начните на шаг раньше, чем с продукта. Управление комиссара по информации Великобритании (ICO) пишет, что внедрение ИИ-системы для обработки персональных данных должно опираться на доказательства того, что проблема существует, и на обоснованный довод, что ИИ — разумное её решение, а не на саму доступность технологии. Руководство британского правительства Guidelines for AI procurement («Рекомендации по закупкам ИИ»), выпущенное в 2020 году для центральных ведомств, советует покупателям давать ясную постановку задачи вместо подробной спецификации.
Поэтому до разговора с кем бы то ни было запишите три строки. Какая задача выполняется сегодня, кем и сколько времени она занимает? Что будет означать, что машина справилась достаточно хорошо? Чего не должно произойти никогда? Третья строка важнее всех: инструмент, который иногда пишет корявую фразу, раздражает, а тот, который иногда выдумывает срок доставки, создаёт вам обязательства перед клиентом.
В тех же рекомендациях «определение приемлемого качества модели» названо среди практик, которые стоит искать у поставщика. Сделайте это сами, заранее и простыми словами: например, ответ приемлем, если старший коллега отправил бы его, не меняя фактов. Критерии, написанные после получения результатов, обычно с этими результатами совпадают.
Запустите сервис на своей работе, включая неудобные случаи
Соберите реальные примеры задачи: обычные, трудные и несколько таких, где правильный ответ — отказаться или передать вопрос человеку. Уберите персональные данные, которые для пробы не нужны. Стандартного числа примеров нет; правильный размер набора тот, при котором один странный результат не способен перевернуть вывод.
Пусть результаты по вашим критериям оценивают те, кто делает эту работу сегодня, причём вслепую, не зная, какой поставщик что выдал, если вы сравниваете нескольких. Считайте отдельно три исхода: годится как есть, годится после правки, не годится. В средней категории и прячется настоящая цена сервиса, потому что каждая правка — оплаченное время.
Рекомендации по закупкам описывают проверку концепции как способ испытать технологию до ввода решения в работу и называют «тестирование модели в разных условиях» признаком добросовестного поставщика. Потребуйте такого разнообразия и в своей пробе: прогоните одни и те же примеры в разные дни, попробуйте длинные тексты и плохие сканы и отметьте, остаются ли ответы стабильными.
Куда уходят ваши данные, сколько хранятся и кому ещё доступны
Вопросы о данных задавайте раньше вопроса о цене: ответы могут закончить разговор. Где данные обрабатываются и хранятся? Сколько времени сохраняются запросы, ответы и журналы? Используются ли они для обучения или улучшения моделей и можно ли исключить это договором? Какие субподрядчики получают данные? Что удаляется, когда вы уходите, и чем подтверждается удаление?
Руководство ICO по ИИ объясняет в терминах британского права о защите данных, почему это ваши вопросы, а не только поставщика. Организация, которая решает, какие персональные данные обрабатываются, с какой целью и как долго хранятся, считается контролёром (controller), как бы её ни назвали в договоре. Покупателям руководство предписывает формулировать требования ещё на этапе закупки. А если не удаётся оценить, будет ли сторонняя система соответствовать закону, хорошей практикой там названо выбрать другую.
Две оговорки, чтобы не обещать лишнего. Руководство ICO относится к британскому праву о защите данных, и на его страницах стоит пометка, что оно пересматривается после принятия Data (Use and Access) Act, так что читайте актуальную версию; в других странах действуют свои правила. Если сервис будет работать с данными клиентов или сотрудников, покажите письменные ответы поставщика своему консультанту по защите данных до подписания.
Считайте цену готовой задачи, а не места или тысячи токенов
Прайс-листы ИИ-сервисов составлены в единицах, удобных продавцу: рабочие места, кредиты, запросы, токены. Ваша единица — готовая задача, то есть результат, который приняли и использовали. Чтобы перейти от одной к другой, возьмите итоги пробы и добавьте то, чего в прайсе нет: отброшенные попытки, минуты, потраченные людьми на проверку и правку, работы по настройке и ежемесячные часы на поддержание сервиса в рабочем состоянии.
Арифметику показывает пример с условными круглыми числами. Месяц работы стоит 300 в виде платы за сервис и даёт 1000 черновиков, из которых принято 800. Сотрудники тратят на проверку и правку 40 часов по 25 за час, это 1000. Итого 1300 за 800 готовых задач, примерно 1,63 за каждую, хотя одна плата за сервис обещала 0,30. Цифры условные и не отражают рыночных цен; урок в разрыве между двумя величинами.
Затем пропустите через тот же расчёт ручной процесс с его собственными ошибками и переделками и сравнивайте сопоставимое. Рекомендации по закупкам просят покупателей учитывать стоимость на всём сроке службы, включая текущую поддержку и сопровождение. Спросите поставщика, как менялись его цены и лимиты использования за последний год.
Ошибся, не уверен, недоступен: как сервис ведёт себя в плохой день
Сбои бывают у любой системы, и покупаете вы то, как именно она сбоит. Попросите показать, что происходит, когда сервис не знает ответа: говорит ли он об этом или всё равно выдаёт уверенный текст? Документ NIST ожидает, что пределы знаний системы описаны, а сама она отказывает безопасно, когда её заставляют работать за этими пределами.
Дальше — путь к человеку. Когда система сдаётся или клиент возражает, кто получает обращение, с каким контекстом и как быстро? В документе перечислены процессы человеческого надзора, каналы, по которым пользователи могут сообщать о проблемах и оспаривать результаты, и закреплённая ответственность за отключение системы, результаты которой расходятся с её назначением. В небольшой компании это может быть один названный по имени человек и выключатель.
И последнее — простой сервиса. NIST просит иметь план на случай сбоев и инцидентов в сторонних ИИ-системах, которые организация относит к высокорисковым. Решите, как задача будет выполняться в день, когда сервис не работает, и держите этот ручной маршрут в рабочем состоянии. Запросите у поставщика статистику доступности и условия уведомления об инцидентах и прочитайте, что договор даёт вам, если он их нарушит.
Безопасность и соответствие подтверждают документами, а не эпитетами
«Корпоративный уровень», «безопасность, заложенная в архитектуру» и «полное соответствие требованиям» — это описания. У доказательства есть автор, границы и дата. Запросите последний отчёт независимого аудита или оценки и прочитайте, что именно он охватывал, краткие итоги последнего теста на проникновение, список субподрядчиков, историю инцидентов и документ, где описаны пределы системы и условия, в которых её испытывали.
Рамочные документы говорят о том же. NIST ожидает, что безопасность и устойчивость системы оценены и задокументированы, а в регулярных оценках участвуют независимые эксперты или сотрудники, которые не были её непосредственными разработчиками. Рекомендации по закупкам предлагают покупателям подумать о требовании независимого аудита и искать надёжные и соразмерные меры защиты: инструменту, который переписывает открытые описания товаров, нужна менее строгая проверка, чем тому, что читает клиентские досье.
Уточняйте, что стоит за ссылкой на рамочный документ. Документ NIST добровольный, и в нём самом сказано, что перечисленные действия не являются чек-листом, а организация может выбирать из его категорий. Поэтому слова «соответствует NIST» — заявление, которое нужно раскрыть: спросите, какие практики действуют и где они записаны. Версию 1.0 институт выпустил в январе 2023 года, а когда мы проверяли эту статью в октябре 2026 года, на его сайте было сказано, что она пересматривается, так что уточните действующую редакцию, прежде чем ссылаться на номера его подкатегорий.
Сначала читайте условия выхода: привязка возникает в день подписи
Привязка к поставщику редко бывает уловкой. Она накапливается: запросы, отточенные под один продукт, документы, переведённые в один формат, сотрудники, привыкшие к одному экрану. Рекомендации по закупкам советуют покупателям избегать «чёрных ящиков» и зависимости от поставщика и называют открытые стандарты хорошей практикой.
Спросите, что вы сможете забрать и в каком виде: свои документы, инструкции и настройки, написанные для вас, тестовые примеры с результатами, журналы. Спросите, кому принадлежит созданное за время работы и что происходит с вашими данными в системах поставщика после расторжения. Рекомендации советуют определить роли и порядок действий обеих сторон при окончании договора, а ICO пишет, что покупатель должен иметь возможность сменить провайдера, если использование внешнего сервиса перестало соответствовать требованиям.
Вторая половина выхода — изменения. Модель, на которой работает сервис, будут обновлять, и поведение, которое вы проверили, может сдвинуться без единого действия с вашей стороны. Спросите, за сколько вас предупредят об изменении модели или цены, можно ли какое-то время оставаться на прежней версии и вправе ли вы заново прогнать свои тестовые примеры до того, как изменение дойдёт до ваших клиентов.
Платный пилот с правилом остановки и дата следующей проверки
Сведите проверки в короткий платный пилот. Запишите на одной странице критерии приёмки, тестовые примеры, срок и дату решения и заранее договоритесь, какой результат означает «стоп». Рекомендации по закупкам советуют предусмотреть точки решения «продолжать или остановиться», а NIST описывает этот же момент как определение того, достигает ли система заявленных целей и стоит ли продолжать внедрение. Пилот без правила остановки — это покупка в рассрочку.
Успешный пилот не завершает оценку. В рекомендациях сказано прямо: проверять нужно на протяжении всего срока службы, это не разовое решение, и покупателю следует договориться с поставщиком о том, как модель будет контролироваться после запуска. Сохраните тестовые примеры, добавляйте к ним каждый реальный сбой и прогоняйте набор в назначенный день и после каждого объявленного обновления модели.
Некоторые ответы должны заканчивать разговор сразу. Поставщик, который не готов провести пробу на ваших материалах, не может сказать, где лежат ваши данные, не предлагает пути к человеку при сбое или молчит об уходе, уже показывает, какими будут отношения. Поставщик, письменно ответивший на все семь проверок, включая неприятные, проделал за вас заметную часть оценки рисков.
Практический чеклист
- До обращения к поставщику запишите задачу, критерии приёмки и тот единственный исход, которого не должно быть никогда.
- Соберите реальные примеры, включая трудные и не имеющие ответа, и поручите оценку каждого результата тем, кто делает эту работу.
- Получите письменные ответы о месте хранения данных, сроках, обучении моделей, субподрядчиках и удалении и покажите их консультанту по защите данных.
- Посчитайте стоимость одной принятой задачи с учётом времени на проверку и проведите через тот же расчёт ручной процесс.
- До подписания согласуйте запасной маршрут, срок уведомления об изменении модели и цены и выгрузку ваших материалов.
Вопросы и ответы
Сколько должна длиться проба ИИ-сервиса?
Стандартного срока нет. Проба должна быть достаточно долгой, чтобы минимум дважды прогнать весь набор примеров и увидеть обычную неделю реальной работы. Подготовка важнее длительности: когда критерии и примеры готовы в первый день, короткий пилот даёт более ясный ответ, чем длинный, начавшийся со знакомства. Дату решения назначьте до старта пилота.
Что спросить у поставщика ИИ о своих данных?
Пять вещей, письменно: в каких странах и системах данные обрабатываются и хранятся, каков срок хранения запросов, ответов и журналов, используется ли что-либо из этого для обучения или улучшения моделей, какие субподрядчики получают данные и что стирается по окончании договора. Если речь о персональных данных, передайте ответы консультанту по защите данных. Поставщик, который не может ответить точно, сообщил вам нечто важное.
Высокий результат поставщика в бенчмарке — повод покупать?
Это повод включить его в короткий список, но не купить. Бенчмарк измеряет качество на чужом тестовом наборе в чужих условиях. Документ NIST просит показывать качество в условиях, близких к тем, где система будет применяться, а для покупателя это его документы, вопросы его клиентов и его определение приемлемого результата.
Может ли небольшая компания сделать это без технической команды?
Да. Большая часть проверок — это вопросы и таблица: список реальных примеров, столбец на каждого поставщика, три возможные оценки и отметка о времени, ушедшем на правку. Лучшие судьи результата — сотрудники, которые выполняют задачу сейчас. За внешнюю помощь стоит заплатить в двух местах: при чтении условий о защите данных и при разборе подтверждений безопасности.
Какие тревожные признаки бывают при покупке ИИ-сервиса?
Отказ от пробы на ваших материалах, расплывчатые ответы о хранении данных и обучении моделей, отсутствие описания того, что происходит при сбое, доказательства из одних прилагательных и договор без условий о выгрузке и расторжении. В тот же список входит давление с требованием подписать до конца пилота. Один такой признак — вопрос, который надо дожать; несколько сразу — причина уйти.