Как Visa определяла успешную ИИ‑покупку

5 ноября 2026 года Visa опубликовала первый раунд Agentic Commerce Benchmark. В испытании участвовали 22 модели из 12 лабораторий; каждая получила три попытки в 15 сценариях, связанных, например, с выбором телевизора, ноутбука или прибора для ухода. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Сценарий содержал требования, которые покупатель не сообщал сразу. Модель должна была выяснить их в разговоре, обосновать решение и выбрать соответствующий товар. Если подходящего варианта не было, правильным результатом считался отказ от покупки. Угаданного товара без выяснения условий было недостаточно. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

По данным Visa, общий показатель успешности составил 57,2%. Лучшая модель прошла 82,2% попыток, худшая — 28,9%. Пять моделей, которые выявляли больше скрытых требований, в среднем достигли 70,2% против 44,4% у пяти моделей с наименьшим числом уточнений. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Повторяемость оказалась слабее разового результата: все три попытки в одном сочетании модели и сценария были успешны лишь в 34,2% случаев. В 54% проваленных попыток система всё равно выбирала покупку — либо неподходящего товара, либо до выяснения всех условий. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Что результаты говорят продавцу — и чего тест ещё не измеряет

Тест показывает, что качество покупающего агента зависит не только от поиска по каталогу. Модель должна задавать вопросы, переводить ответы в ограничения и уметь остановиться. Для интернет‑магазина это означает, что конверсия сама по себе не подходит как показатель качества: покупка может состояться вопреки потребности клиента. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Цена вычислений не гарантировала точность. Пять самых дорогих моделей в среднем прошли 67,1% попыток, пять самых дешёвых — 50,2%. Практический показатель для бизнеса — стоимость одной корректно завершённой задачи с учётом повторов, проверок человеком, возвратов и обращений в поддержку. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

В первом раунде не проверялись оформление заказа, оплата и размещение заказа; Visa собирается добавить эти этапы позднее. Публикация также не называет модели и не показывает результаты по каждому сценарию, поэтому нельзя определить, какие архитектуры или товарные категории создавали основные ошибки. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026] [2 · Visa Payments Frontier · открытая площадка теста]

Перед внедрением продавцу нужен собственный набор задач на реальном каталоге: товары с несовместимыми характеристиками, отсутствующие варианты, ограничения бюджета, доставки и возврата. Агент должен проходить тест на уточнение условий, корректный отказ и стабильность повторного решения до доступа к оплате. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Комментарий эксперта

Установленный результат ограничен выбором товара: средняя успешность равна 57,2%, а оплата и реальное размещение заказа ещё не проверялись. Поэтому исследование нельзя читать как долю удачных покупок в действующих магазинах. Оно точнее показывает, насколько трудно агенту восстановить потребность из неполного разговора и принять верное решение. Поскольку названия моделей скрыты, результат также нельзя напрямую перенести на конкретный сервис, которым пользуется продавец. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Для электронной торговли особенно тревожны 54% провалов, закончившихся выбором покупки. Такой агент способен повышать формальную конверсию и одновременно ухудшать соответствие товара задаче. Последствия проявятся позже: отмена, возврат, спор по платежу, обращение в поддержку или потеря доверия. Метрика «заказ оформлен» здесь может вознаграждать ошибку. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Разрыв между 70,2% у моделей, задававших больше нужных вопросов, и 44,4% у наименее внимательных подчёркивает роль диалога. Каталог должен передавать агенту не только название и цену, но и совместимость, ограничения, условия доставки и признаки отсутствия подходящего варианта. Без структурированных товарных данных даже сильная модель будет вынуждена угадывать. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Низкая повторяемость меняет требования к контролю качества. Если три запуска подряд успешны лишь в 34,2% сочетаний задачи и модели, одиночная демонстрация мало говорит о надёжности. Продавцу нужен серийный тест одних и тех же запросов, журнал причин выбора и порог, после которого система передаёт решение человеку или просит подтверждение клиента. Такой порог следует задавать отдельно для дешёвых повседневных товаров и покупок с высокой ценой ошибки. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Более дорогие модели показали лучший средний результат, но не устранили ошибки. Экономический выбор следует строить по полной стоимости корректной покупки: вычисления плюс проверка, поддержка, возвраты и потерянная маржа. Дешёвая модель с хорошим правилом остановки может оказаться выгоднее дорогой, если последняя чаще уверенно выбирает неподходящий товар. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

В ближайших версиях теста важны результаты оформления и оплаты: соответствие финальной суммы, сохранение согласия, устойчивость к изменению цены и возможность отменить действие. Для реального внедрения стоит наблюдать долю корректных отказов, неподходящих покупок, уточняющих вопросов, повторяемость, возвраты и жалобы. Улучшение этих показателей подтвердит пользу агента лучше, чем рост числа начатых заказов. [1 · Visa · Agentic Commerce Benchmark · 5 ноября 2026]

Источники

  1. Visa · Agentic Commerce Benchmark · 5 ноября 2026 — Первичное сообщение о методе и результатах первого раунда: 22 модели, 15 сценариев, три попытки на сценарий и показатели успешности.
  2. Visa Payments Frontier · открытая площадка теста — Официальная площадка Visa, где опубликован Agentic Commerce Benchmark и доступна интерактивная версия испытания.