Почему ИИ отвечает уверенно — и мимо
Как ChatGPT пишет ответ по кусочку, почему он уверенно угадывает факты о вашей компании и что меняется, когда его подключают к данным.
Сотрудник спрашивает ChatGPT: «Какая у нас оптовая скидка для постоянных клиентов?» Ответ приходит сразу: десять процентов. Уверенно, красиво — и мимо. По прайсу компании скидка семь процентов. Чтобы понять, откуда взялись десять, нужно знать, как такой ИИ пишет ответ.
Ответ пишется по кусочку
ChatGPT не достаёт готовый ответ из памяти целиком. Он пишет его по кусочку: на каждом шаге выбирает, какое продолжение наиболее вероятно после уже написанного текста.
Простой пример. Фраза: «Столица Кыргызстана — это…» Продолжение «Бишкек» — почти наверняка. «Ош» — редко. «Париж» — почти никогда. Модель выбирает вероятный вариант, добавляет его к тексту и переходит к следующему шагу. Так, кусочек за кусочком, складывается весь ответ.
Когда вопрос про общеизвестное, вероятное продолжение почти всегда оказывается верным. Модель видела такие тексты много раз.
Где начинается угадывание
А вот скидок конкретной компании ChatGPT не видел. Прайса Азамата в его обучении не было. Но механизм от этого не меняется: на каждом шаге всё равно найдётся вероятный кусочек. «Десять процентов» звучит правдоподобно — и модель его пишет.
В этом и ловушка. У «Бишкека» один вариант намного вероятнее остальных. А когда модель не видела факта, варианты близки друг к другу — на схеме в ролике это условные 0,21, 0,18 и 0,16. Но текст всё равно пишется так же гладко и уверенно. По тону ответа не отличить, знает модель или угадывает.
Что делают в бизнесе
Поэтому в работе ИИ подключают к данным компании — прайсу, договорам, внутренним документам. Тогда порядок меняется: прежде чем писать ответ, система находит нужное место в данных и пишет ответ по нему.
С прайсом ответ на тот же вопрос — семь процентов. И видно, откуда он взят: система показывает источник. Сотрудник может открыть прайс и проверить.
Как этим пользоваться
- На вопросы о фактах вашей компании ChatGPT без доступа к данным отвечает догадкой, даже если звучит уверенно.
- Уверенный тон — не признак точности.
- Полезная привычка: просить источник. Если ИИ не может показать, откуда взят ответ, считайте его версией, а не фактом.
Коротко
- ChatGPT пишет ответ по кусочку, выбирая вероятное продолжение.
- Про общеизвестное вероятное обычно верно, про вашу компанию — угадано.
- Подключённый к данным ИИ находит ответ и показывает источник.
Скидки, вероятности и компания в ролике — условный пример.
