Часы, которые встали: почему ИИ не знает, что было вчера
Почему языковая модель не знает свежих новостей, что такое дата среза знаний и как поиск в интернете помогает — но не меняет память модели.
ИИ прочитал больше текста, чем стоит на полках огромной библиотеки. Но спросите его о вчерашних новостях — сам он этого не знает, а иногда спокойно отвечает устаревшим. Разберём на условном примере, почему так происходит. Цифры и даты в ролике — схема, а не данные конкретной модели.
Обучение — это зал библиотеки
Перед обучением для модели собирают огромную стопку текстов: книги, статьи, сайты. Модель читает её неделями и запоминает не страницы целиком, а закономерности — какие слова и мысли обычно идут рядом. Именно поэтому она умеет связно отвечать на самые разные вопросы.
Дверь закрывают: дата среза
Стопку собирают до какого-то дня. Этот день называют датой среза знаний. В нашем примере часы на стене встали 1 марта. Всё, что вышло позже, в обучение не попало — оно осталось за дверью.
Почему отставание растёт
После обучения модель ещё месяцами проверяют и готовят к выходу. Потом ею пользуются, а дни за дверью копятся. Спрашиваете в октябре — а за дверью уже больше двухсот дней новостей. Переучивать большую модель каждый день слишком долго и дорого.
Изнутри дверь не видна
Модель не всегда понимает, где кончаются её знания. Спросите, сколько сегодня стоит доллар, — она может ответить по последним «газетам» на своей полке, спокойно и уверенно, будто это сегодняшний курс. Исследователи отмечают, что модели часто неточно называют и собственную дату среза.
Окно — поиск в интернете
Поэтому к модели приделывают окно — поиск. Перед ответом она находит свежие страницы, читает их и пересказывает со ссылками. Но память от этого не меняется: окно закрыли — и модель снова знает только то, что было до даты среза.
Что из этого следует
ИИ не глупый — он живёт в зале, где часы остановились. Когда спрашиваете о свежем, проверьте, открыто ли окно: есть ли в ответе ссылки на свежие источники. В бизнесе тот же принцип: чтобы ИИ отвечал про сегодняшние остатки, цены или заявки, ему нужно «окно» к вашим актуальным данным, а не только память.
Этот материал в соцсетяхTelegram