Как делают GPT и Claude: конвейер из 5 этапов простыми словами

Большинство пользуется ChatGPT и Claude каждый день, не представляя, как они устроены. А между тем каждая топовая модель — GPT, Claude, все — построена одним и тем же конвейером из пяти этапов. Компании различаются масштабом, данными и тысячей инженерных деталей, но форма процесса везде одна. Выучите форму — поймёте, как сделаны все.

Честная оговорка: модель уровня GPT или Claude с нуля на ноутбуке вы не обучите — это десятки миллионов долларов вычислений. Цель другая: понять конвейер так глубоко, чтобы суметь собрать крошечную рабочую версию, рассуждать о поведении больших моделей и перестать видеть в них магию.

Весь конвейер — одной схемой:

flowchart TD
  D["1. Данные<br/>сбор → очистка → токены"] --> P["2. Предобучение<br/>предсказание следующего токена"]
  P --> BM["Базовая модель<br/>знает язык, ноль манер"]
  BM --> SFT["3. Дообучение (SFT)<br/>примеры «вопрос → хороший ответ»"]
  SFT --> A["Полезный ассистент"]
  A -->|"генерирует варианты ответов"| H["Люди ранжируют:<br/>этот лучше того"]
  H --> RM["4. Модель вознаграждения<br/>имитирует человеческое суждение"]
  RM --> RL["5. RLHF<br/>сгенерировал → оценили → улучшился"]
  A --> RL
  RL --> F["Готовая модель:<br/>ChatGPT, Claude"]

Этап 1. Данные — фундамент всего

До модели есть текст. Огромное количество текста: значительная часть публичного интернета, книги, репозитории кода. Но сырой текст грязный, поэтому основная работа этапа — не сбор, а очистка: фильтрация мусора, удаление дублей (один и тот же абзац тысячу раз исказил бы обучение), отсев низкокачественного и вредного.

Старый принцип работает: мусор на входе — мусор на выходе. Модель, обученная на меньшем, но чистом корпусе, учится лучше, чем на большем и грязном. Качество данных — один из самых важных и наименее гламурных рычагов в отрасли.

Дальше шаг, который удивляет новичков: токенизация. Модель не читает текст — текст режется на токены, куски размером примерно с часть слова. С этого момента модель видит только числа, никогда — буквы. Именно поэтому модели иногда ошибаются, считая буквы в слове: они не видели букв, только токены.

Что делать, чтобы освоить этап: прогоните текст через токенизатор и посмотрите, как он режется; возьмите небольшой датасет и почистите его руками; сравните, что маленькая модель выучивает из чистых и из грязных данных.

Этап 2. Предобучение — здесь модель учит язык

Этап, который стоит миллионы, — и здесь модель выучивает почти всё, что знает.

Задача предобучения красиво проста: предсказать следующий токен. Модели показывают последовательность, она угадывает продолжение, догадку сравнивают с реальностью и миллиарды внутренних параметров чуть-чуть подправляют. И так снова и снова — на триллионах токенов.

Из этой абсурдно простой цели вырастает нечто замечательное: чтобы хорошо предсказывать следующий токен по всему человеческому тексту, модель вынуждена выучить грамматику, факты, паттерны рассуждений, синтаксис кода и структуру аргументов — всё это помогает угадывать. Грамматике её никто не учил. Она выучила грамматику, потому что грамматика помогает угадать следующее слово.

Результат — базовая модель: мощный языковой движок, но сырой. Она не знает, что должна быть полезным ассистентом. Задайте вопрос — она может просто продолжить ваше предложение или сгенерировать список похожих вопросов. Огромные знания, ноль манер.

Понять этот этап — главный «анлок» всей статьи. Когда осознаёшь, что ядро моделей — предсказание следующего токена в колоссальном масштабе, их беглость и их галлюцинации обретают смысл одновременно: они построены продолжать правдоподобно, а не говорить правду. Правду добавляют следующие этапы — и ваша собственная инженерия.

Этап 3. Дообучение — модель учат быть полезной

Теперь гениальную, но невоспитанную базовую модель учат её работе. Supervised fine-tuning (SFT): модели показывают тысячи примеров желаемого поведения — вопрос с хорошим ответом, инструкция с корректным выполнением, задача с ясным решением.

Обучение то же — предсказание токенов, — но данные теперь курируемые демонстрации того, как должен отвечать полезный ассистент. Данных на порядки меньше, чем в предобучении: не триллионы токенов, а тысячи или десятки тысяч примеров, зато качественных, продуманных и точечных, часто написанных людьми. Небольшой объём отличных демонстраций превращает сырую модель в нечто, ведущее себя как ассистент.

Этап 4. Модель вознаграждения — учат понимать, что такое «хорошо»

Этап, который пропускают почти все объяснения, — а это хитрое сердце полировки современных моделей.

Проблема: после SFT модель отвечает хорошо, но «хорошо» не задаётся примерами. У большинства вопросов нет одного правильного ответа — есть лучше и хуже. Как научить модель предпочитать лучший ответ, если правило не написать?

Решение элегантно. Модель генерирует несколько разных ответов на один промпт. Люди их ранжируют: этот лучше того. Набирается много таких сравнений — и на них обучают вторую модель, модель вознаграждения, чья единственная работа — смотреть на любой ответ и предсказывать, как его оценил бы человек.

Смысл: людей не хватит оценивать каждый ответ — но модель вознаграждения, обученная на выборке человеческих суждений, становится автоматическим заместителем человеческого вкуса и может оценить миллионы ответов. Это мост между «что нравится людям» и «что компьютер может оптимизировать». Пользователи её никогда не видят — это судья за кулисами.

Этап 5. Обучение с подкреплением — финальная полировка

Финал обычно называют RLHF — обучение с подкреплением на человеческой обратной связи. Пазл складывается: дообученная модель из этапа 3 генерирует ответы, модель вознаграждения из этапа 4 их оценивает, и генератор подталкивают к ответам с более высокой оценкой. Цикл: сгенерировал → оценили → улучшился → повторить.

Поскольку модель вознаграждения может оценивать бесконечно, основная модель тренируется далеко за пределами того, что дали бы прямые человеческие примеры. За множество раундов она становится полезнее, связнее, тоньше следует нюансам и лучше отказывается от того, чего делать не должна. Отсюда — полировка, здравый смысл и значительная часть безопасности.

Современная вариация: часть человеческой обратной связи заменяют обратной связью, сгенерированной по написанному своду принципов, — подход называют RLAIF или «конституционными» методами. Дух тот же: масштабировать обратную связь, направляемую ясно сформулированными ценностями.

Весь конвейер на одном дыхании

Собираете и чистите гору текста, превращаете в токены. Учите модель предсказывать следующий токен — из этого вырастает базовая модель, знающая язык, но без манер. Дообучаете на курируемых примерах — она начинает вести себя как ассистент. Собираете человеческие ранжировки её ответов и учите модель вознаграждения имитировать человеческое суждение. И через обучение с подкреплением полируете ассистента, пока он не станет полезным и выровненным.

Данные, предобучение, дообучение, модель вознаграждения, обучение с подкреплением. Пять этапов. Так сделана каждая топовая модель.

Этап	Масштаб данных	Что даёт модели
1. Данные	Триллионы токенов (сырых)	Чистое «сырьё» для обучения
2. Предобучение	Триллионы токенов	Язык, факты, рассуждения — и галлюцинации
3. Дообучение (SFT)	Тысячи–десятки тысяч примеров	Формат полезного ассистента
4. Модель вознаграждения	Много пар «этот ответ лучше»	Автоматический судья вместо человека
5. RLHF	Бесконечные циклы оценки	Полировку, здравый смысл, безопасность

Зачем это понимать

Поняв конвейер, вы перестаёте быть пассивным пользователем и начинаете рассуждать об инструментах. Вы понимаете, почему модели галлюцинируют (предсказание следующего токена). Почему промптинг работает (вы формируете то, что будет предсказано). Почему одни модели ощущаются «выровненнее» других (качество этапов 4–5). И почему ваши собственные данные в ваших экспериментах с дообучением так важны.

Что с этим делать

От себя. Для маркетолога здесь два практических вывода. Первый: модель «продолжает правдоподобно, а не говорит правду» — поэтому любой контент из нейросети нуждается в вашей фактуре: цифрах, кейсах, примерах из практики. Второй: этапы 3–4 — это в миниатюре то, что я делаю с клиентскими системами: собираю «демонстрации» правильного тона и «ранжировки» удачных текстов бренда, чтобы конвейер выдавал ваш голос, а не среднее по интернету. Как это устроено — в методологии 4 слоёв.

Хотите, чтобы нейросети писали в голосе вашего бренда, а не «как все»? Напишите «система» в Telegram — покажу на 15-минутном разборе.