RLHF: как нейросеть учится отвечать так, как нравится людям — разбор лекции Стэнфорда

После предобучения языковая модель уже умеет продолжать текст и знает очень много. Но это ещё не ассистент: она не обязана следовать инструкциям, быть вежливой или признавать, что чего-то не знает. Превращает «знающую модель» в «полезного собеседника» отдельный этап — RLHF, Reinforcement Learning from Human Feedback, обучение с подкреплением на человеческой обратной связи.

Как он устроен, подробно разбирается в лекции курса Stanford CS229 «Building Large Language Models (LLMs)». Ниже — её логика простыми словами и то, что из неё следует для тех, кто работает с нейросетями каждый день.

Три ступени: знания, инструкции, предпочтения

Путь модели к ассистенту обычно проходит три этапа:

• Pretraining — модель читает огромные массивы текста. Результат: умеет говорить и много знает.
• SFT, supervised fine-tuning — модели показывают примеры хороших ответов на запросы. Результат: учится выполнять инструкции.
• RLHF — модель учится отвечать так, как предпочитают люди.

У SFT есть слабое место: людям дорого и сложно каждый раз писать идеальный эталонный ответ. Для RLHF придумали более удобный вид обратной связи — сравнение. Человеку гораздо проще посмотреть на два-три варианта и сказать «этот лучше», чем сочинить безупречный ответ с нуля.

Как работает RLHF

flowchart TD
    A["Запрос пользователя"] --> B["LLM генерирует\nнесколько вариантов ответа"]
    B --> C["Люди ранжируют\nответы по качеству"]
    C --> D["На предпочтениях обучается\nreward model"]
    D --> E["Основную LLM оптимизируют:\nбольше reward — лучше"]
    E -. "новые ответы" .-> B

По шагам:

1. Запрос подаётся в модель.
2. Модель генерирует несколько вариантов ответа.
3. Люди ранжируют ответы по качеству.
4. На этих предпочтениях обучается reward model — отдельная модель, которая пытается предсказать, какой ответ человек выбрал бы.
5. Основную модель дообучают так, чтобы она чаще получала высокую оценку reward model. В классическом RLHF для этого часто используют алгоритмы reinforcement learning вроде PPO.

Например, на запрос «объясни юридический термин простыми словами» модель создаёт три ответа. Оценщик выбирает тот, что точнее, понятнее и без лишних утверждений. После множества таких сравнений система постепенно учится предпочитать ответы такого типа.

Что RLHF меняет, а что нет

Главная роль RLHF — не добавить модели новые факты, а изменить её поведение. Он помогает сделать её:

• полезнее и понятнее;
• вежливее и последовательнее;
• безопаснее;
• ближе к человеческим предпочтениям.

Это важное различие: pretraining формирует знания и базовые способности, а RLHF — то, как модель ими пользуется. Поэтому одна и та же база может превратиться в очень разных ассистентов в зависимости от того, чьи предпочтения заложили в обучение. Общую картину всего конвейера — от данных до финальной полировки — мы разбирали в статье «Как делают GPT и Claude: конвейер из 5 этапов».

Подвох: reward model — не измеритель истины

Reward model не знает, что верно. Она лишь приближённо учится предсказывать человеческие предпочтения. Отсюда главная проблема: если она несовершенна, основная модель может начать оптимизироваться под её слабые места.

Иными словами, модель учится делать не то, что действительно лучше, а то, что выглядит лучше для оценщика. Например, reward model может слишком часто предпочитать длинные, уверенные и хорошо структурированные ответы — даже когда они не точнее коротких.

Это частный случай reward hacking: система находит способ получить высокий балл, не достигая настоящей цели.

Ограничения и альтернатива: DPO

RLHF упирается в несколько вещей:

• человеческие оценки субъективны;
• разные оценщики предпочитают разные стили;
• reward model наследует эти предпочтения и смещения (biases);
• процесс дорогой: нужны люди, генерация множества ответов и дополнительное обучение.

Поэтому в лекции рядом обсуждается более простой метод — DPO, Direct Preference Optimization. Он учит модель напрямую на парах «предпочтительный ответ / отвергнутый ответ», без отдельной reward model и без полного RL-пайплайна с PPO.

	SFT	RLHF	DPO
Какая обратная связь	Эталонные ответы	Ранжирование вариантов	Пары «лучше / хуже»
Отдельная reward model	Нет	Да	Нет
Алгоритм	Обычное дообучение	Обучение с подкреплением (PPO)	Прямая оптимизация по парам
Главная сложность	Дорого писать эталоны	Дорого и сложно настраивать	Качество пар предпочтений

Что из этого следует на практике

1. Уверенный тон — не признак точности. Модель обучена нравиться оценщикам, а людям нравятся ясные, структурированные, убедительные ответы. Красивое оформление и уверенность — повод проверить факты, а не расслабиться.

2. Особенно в задачах, где ошибка дорого стоит. RLHF может сделать ответы по юридическим, финансовым или медицинским темам яснее и аккуратнее, но не гарантирует истинность. Ответ, предпочтительный для человека, и фактически верный — не одно и то же. Ссылки на нормы, судебные решения, цифры и факты всё равно нужно проверять отдельно.

3. Просите модель показывать основания. Попросите ссылки на источники, отдельно отметить неуверенные места и разделить «известно» и «предполагаю». Это снижает эффект «выглядит убедительно» и облегчает проверку. Как формулировать такие правила, чтобы модель их держала, разобрано в руководстве по промптингу.

4. Поведение моделей отличается не только знаниями. Две модели с похожими знаниями ведут себя по-разному, потому что их учили на разных предпочтениях. Поэтому стоит тестировать модель на своих задачах, а не только смотреть рейтинги.

Итог

Pretraining — модель умеет говорить и много знает. SFT — учится выполнять инструкции. RLHF — учится отвечать так, как предпочитают люди. И последнее — главное ограничение: «нравится людям» не равно «верно», поэтому проверку фактов никакая оптимизация под человеческие предпочтения не отменяет.

Читайте также

🧭 Оценить свою маркетинг-готовностьБесплатно, в Telegram-боте @uspeshnyybot