Чому ШІ впевнено помиляється: як перевіряти AI-агентів і не втрачати гроші
Олександр Гурбич — фахівець із практичного застосування штучного інтелекту — розповів, чому навіть найсучасніші AI-моделі можуть давати переконливі, але неправильні відповіді, як ламаються AI-агенти та що варто врахувати бізнесу під час їх впровадження.
ШІ не розуміє — він передбачає
Одна з головних помилок у роботі з AI — сприймати його відповідь як гарантовано правильну. За словами Олександра Гурбича, сучасні мовні моделі фактично передбачають наступні токени на основі контексту.
Тому модель може дати впевнену відповідь навіть тоді, коли вона помилкова.
«АІшка робить помилки. Завжди. Якщо ви мене спитаєте, що треба зробити, щоб АІшка не робила помилок, не може такого бути».
Олександр навів власний приклад: він попросив AI прорецензувати наукову статтю. Модель зробила висновок, який суперечив математичній логіці. Після прохання перевірити його вона визнала помилку.
Проблема полягає не лише в самій помилці. Якщо AI-агент будує довгий ланцюжок дій, одна неправильна дія на початку може вплинути на всі наступні.
Чим довший ланцюжок — тим більше ризиків
AI-агент відрізняється від простої моделі тим, що має певну роль і доступ до інструментів. Наприклад, агент може отримувати доступ до пошти, CRM, календаря чи інших систем і виконувати конкретні дії.
Але кожен додатковий крок створює нову можливість для помилки.
Олександр виділяє чотири основні області, де можуть ламатися агентні системи:
- міркування — агент неправильно інтерпретує або узагальнює ціль;
- інструменти — агент плутає доступні інструменти або параметри;
- пам'ять і контекст — система втрачає важливу інформацію через надмірний контекст;
- оркестрація — кілька агентів неправильно взаємодіють між собою.
Один із практичних підходів — не давати одному агенту надто багато інструментів. Замість цього можна створити агента-оркестратора, який розподіляє завдання між вузькоспеціалізованими агентами.
«Практика показує, що чим більш вузькоспеціалізована задача, тим кращий агент з нею справляється».
Не давайте AI абстрактних цілей
Окремий ризик виникає, коли агент отримує лише одну високорівневу метрику.
Наприклад, якщо головна мета сапорт-агента — мінімізувати час закриття тікета, він може знайти простий спосіб покращити показник: швидко закривати звернення шаблонною відповіддю, навіть якщо проблема клієнта не вирішена.
Тобто агент виконує поставлену метрику, але не ту бізнес-мету, яку насправді мав на увазі користувач.
Тому критерії якості потрібно описувати конкретно: що саме вважається правильною відповіддю, коли тікет можна закрити, які умови мають бути виконані.
Олександр також рекомендує використовувати окремий агент або інший механізм для перевірки результату.
AI може спиратися на неправильні джерела
Ще одна проблема — звідки модель бере інформацію.
Під час демонстрації Олександр попросив AI знайти найкращі CRM для малого бізнесу в Україні. Модель назвала кілька популярних сервісів, але частину інформації взяла з блогів та оглядових статей.
Проблема в тому, що такі матеріали можуть бути написані самими компаніями або містити застарілу інформацію.
Тому недостатньо просто поставити агенту завдання. Потрібно також визначити:
- які джерела використовувати;
- як перевіряти інформацію;
- які критерії застосовувати;
- що робити, якщо джерела суперечать одне одному.
Перевіряти потрібно не лише точність, а й стабільність
Для оцінки AI-агента Олександр радить починати з реальних сценаріїв використання.
Потрібно мати набір тестових кейсів — наприклад, 50 реальних запитів і правильні відповіді на них. Частину кейсів варто залишити як внутрішній тестовий набір, якого команда розробки не бачить під час роботи над системою.
Окремо потрібно перевіряти стабільність. Один і той самий запит варто повторити кілька разів і подивитися, наскільки часто система дає однаковий правильний результат.
Адже AI-моделі є недетермінованими: однаковий запит не гарантує однакової відповіді.
AI-агент має мати «план Б»
Повністю уникнути помилок неможливо. Тому бізнесу потрібно заздалегідь визначити допустимий рівень помилок і сценарій на випадок відмови системи.
Наприклад, якщо агент не може обробити запит, він передає його людині.
«Агенти агентами, а люди в штаті все рівно залишаються».
Особливо це важливо для незворотних дій. Якщо AI створює рахунок, його можна перевірити перед відправкою. Але якщо агент уже відправив неправильний invoice клієнту, виправити ситуацію значно складніше.
Тому критичні незворотні дії краще залишати під контролем людини або окремого механізму перевірки.
AI має бути дешевшим за процес, який він замінює
Ще один критерій — економіка.
Якщо команда з десяти людей коштує бізнесу 100 тисяч гривень на місяць, а після автоматизації витрати на токени та інфраструктуру становлять 150 тисяч, така автоматизація не має сенсу.
Тому ще до запуску потрібно порахувати вартість обробки одного типового запиту та порівняти її з поточними витратами.
AI — це насамперед автоматизація бізнес-процесу. Якщо автоматизація не створює економічної цінності, сама по собі наявність AI нічого не вирішує.
Що прописувати в договорі
Окрему частину виступу Олександр присвятив роботі з розробниками, фрілансерами та підрядниками.
У договорі варто чітко зафіксувати:
- хто використовує систему;
- які інтеграції потрібні;
- хто за що відповідає;
- дедлайни та проміжні результати;
- що входить і не входить у роботу;
- критерії приймання;
- гарантії та підтримку;
- що саме передається замовнику після завершення роботи;
- умови розірвання договору;
- рівень автономності AI-агента.
За словами Олександра, чим детальніше описаний результат, тим менше простору для різного трактування.
Він навів приклад із розробкою системи білінгу: замовник і виконавець можуть однаково погодитися на формулювання «зробити систему», але мати зовсім різні уявлення про те, що саме в неї входить.
Впроваджувати автономність краще поступово
Не обов'язково одразу створювати повністю автономного агента.
Олександр описує три рівні:
- AI готує результат, людина перевіряє та виконує дію.
- AI виконує дію, але винятки передаються людині.
- Система працює повністю автономно, а людина втручається лише у складні випадки.
Такий підхід дозволяє поступово перевіряти систему в реальних умовах і зменшувати ризики.
Головний висновок Олександра Гурбича простий: сучасні AI-системи вже можуть виконувати складні бізнес-завдання, але їх не варто сприймати як безпомилкових цифрових працівників. Надійний AI-агент — це не просто сильна модель, а система з чіткими ролями, обмеженнями, перевірками, моніторингом, зрозумілими критеріями якості та людиною в потрібних точках процесу.