Лакомство для ИИ: как модель учится на «нравится» и «не нравится»
Почему ИИ отвечает вежливее и по делу: люди сравнивают ответы, из оценок собирают оценщика, а модель сдвигается к ответам с большим баллом — и почему её держат на поводке.
Мелис гуляет в парке со щенком и дрессирует его лакомством. Глядя на чат с ИИ, он спрашивает: неужели его учат так же? Почти. Разберём на условном примере; принцип описан в открытых исследованиях об обучении языковых моделей по отзывам людей (например, работа 2022 года об обучении моделей следовать инструкциям).
Один вопрос — много ответов
Сначала ИИ читает огромные объёмы текста и учится продолжать любую фразу. Но на один и тот же вопрос он может ответить по-разному: коротко, длинно, грубо, неверно или по делу. Какой из вариантов хороший, в самих текстах не написано. Это нужно показать.
Люди сравнивают ответы
Людям показывают два или несколько ответов на один вопрос, и они выбирают лучший. Одна такая оценка мало что значит: человек мог устать, ошибиться или поторопиться. Но тысячи оценок уже показывают, какие ответы людям нравятся чаще.
Оценщик ставит баллы
Из этих оценок собирают отдельного оценщика — тоже программу. Он смотрит на новый ответ и ставит балл: понравился бы он людям или нет. Дальше ИИ пишет ответы, оценщик раздаёт баллы, и ИИ понемногу сдвигается к ответам с большим баллом. Как щенок: дорожка, где давали лакомство, протаптывается.
Ловушка и поводок
Оценщик — не человек, и его можно обхитрить. Если ему чуть больше нравятся длинные и уверенные ответы, ИИ начнёт лить воду. Исследователи давно знают об этом перекосе. Поэтому ИИ держат на поводке: не дают уходить далеко от прежних ответов, а оценщика доучивают на свежих оценках людей. Полностью проблему это не снимает, но держит её в рамках.
Вид сверху
Если представить все вопросы как огромный парк, у каждого вопроса свой веер дорожек. Где хвалили, протоптана тропа, и туда ИИ чаще всего сворачивает, когда вы задаёте вопрос.
Что из этого следует
ИИ не знает, что такое «хорошо», — он знает, где чаще давали лакомство. Поэтому качество ответов зависит от того, кто и как оценивал. Ваш палец вверх или вниз под ответом — тоже оценка: такие отзывы могут попасть в обучение следующих версий. Тот же принцип работает и в бизнесе: если собирать оценки клиентов и сотрудников, система постепенно учится предлагать то, что действительно работает. А чтобы она не научилась угождать вместо пользы, оценки нужно регулярно обновлять и проверять.
