Сценариум

Какие ошибки AI-агентов не исправит новая модель

Новая модель или более длинная инструкция не исправят ошибки, заложенные в устройство работы. Если по письму нельзя однозначно понять, кто его отправил, более сильная модель всё равно выберет одну из правдоподобных трактовок и может ошибиться так же, как прежняя. Такие ошибки повторяются от эксперимента к эксперименту, потому что агентам пишут промпты и учатся принимать у них результат, но не проектируют для них работу. Часть таких ошибок можно исключить ещё при проектировании, если с самого начала учитывать, что агент интерпретирует ситуацию.

Третий тип исполнителя

Когда появились компьютеры, работу для них не стали описывать так же, как для служащих. Машина не понимает замысла, поэтому работу пришлось описывать так, как её способен исполнить новый исполнитель, — алгоритмами.

Для людей своя дисциплина сложилась задолго до этого: регламенты, квалификация, руководитель, последствия. Она работает, потому что человек понимает смысл правил и меняет поведение после оценки.

Агент — третий тип исполнителя. Он интерпретирует ситуацию, как человек, но без норм, опыта и последствий, которые человек приносит с собой. Поэтому ни алгоритм, ни регламент в чистом виде для него не годятся. Подробнее — в статье «Почему AI-агент не цифровой сотрудник».

Поймать или исключить

Посмотрите, как в публикациях о внедрении агентов разбирают их ошибки. Агент выдал неприемлемый результат, и дальше обсуждается, как такую ошибку поймать и кто за неё отвечает. Вопрос, можно ли было устроить работу так, чтобы этой ошибки не было, почти не возникает.

Но с такими ошибками можно разобраться раньше, ещё при проектировании: часть исключить, а остальные ловить там, где это проще.

С чего начать проектирование

  1. Проектируйте от работы, а не от агента. Сначала определите, какую ошибку вы не готовы принять и после какого действия её уже не исправить. Только потом решайте, что поручить агенту. → Электричество не стирает бельё

  2. Решите, что агенту не нужно интерпретировать. Всё, что можно установить независимо, передайте ему уже подтверждённым. Интерпретацию оставьте там, где ради неё агент и нужен. → Где ставить контроль в работе AI-агента

  3. Определите, как примете результат, до запуска и отдельно от агента. Когда критерии приёмки известны заранее, работа для агента проектируется точнее, а результат принимать проще. → Работа уходит к агентам. Как организация будет принимать их работу?