# Как делают GPT и Claude: конвейер из 5 этапов простыми словами
> Каждая топовая нейросеть построена одним и тем же конвейером: данные → предобучение → дообучение → модель вознаграждения → RLHF. Поняв его, вы перестанете видеть в AI магию.
Источник: https://blog.uspeshnyy.ru/blog/kak-obuchayut-llm-5-etapov/
Автор: Александр Успешный · blog.uspeshnyy.ru
Опубликовано: 2026-05-12
Теги: нейросети
---
Большинство пользуется ChatGPT и Claude каждый день, не представляя, как они устроены. А между тем каждая топовая модель — GPT, Claude, все — построена одним и тем же **конвейером из пяти этапов**. Компании различаются масштабом, данными и тысячей инженерных деталей, но форма процесса везде одна. Выучите форму — поймёте, как сделаны все.
Честная оговорка: модель уровня GPT или Claude с нуля на ноутбуке вы не обучите — это десятки миллионов долларов вычислений. Цель другая: понять конвейер так глубоко, чтобы суметь собрать крошечную рабочую версию, рассуждать о поведении больших моделей и перестать видеть в них магию.
Весь конвейер — одной схемой:
## Этап 1. Данные — фундамент всего
До модели есть текст. Огромное количество текста: значительная часть публичного интернета, книги, репозитории кода. Но сырой текст грязный, поэтому основная работа этапа — не сбор, а **очистка**: фильтрация мусора, удаление дублей (один и тот же абзац тысячу раз исказил бы обучение), отсев низкокачественного и вредного.
Старый принцип работает: мусор на входе — мусор на выходе. Модель, обученная на меньшем, но чистом корпусе, учится лучше, чем на большем и грязном. Качество данных — один из самых важных и наименее гламурных рычагов в отрасли.
Дальше шаг, который удивляет новичков: **токенизация**. Модель не читает текст — текст режется на токены, куски размером примерно с часть слова. С этого момента модель видит только числа, никогда — буквы. Именно поэтому модели иногда ошибаются, считая буквы в слове: они не видели букв, только токены.
Что делать, чтобы освоить этап: прогоните текст через токенизатор и посмотрите, как он режется; возьмите небольшой датасет и почистите его руками; сравните, что маленькая модель выучивает из чистых и из грязных данных.
## Этап 2. Предобучение — здесь модель учит язык
Этап, который стоит миллионы, — и здесь модель выучивает почти всё, что знает.
Задача предобучения красиво проста: **предсказать следующий токен**. Модели показывают последовательность, она угадывает продолжение, догадку сравнивают с реальностью и миллиарды внутренних параметров чуть-чуть подправляют. И так снова и снова — на триллионах токенов.
Из этой абсурдно простой цели вырастает нечто замечательное: чтобы хорошо предсказывать следующий токен по всему человеческому тексту, модель вынуждена выучить грамматику, факты, паттерны рассуждений, синтаксис кода и структуру аргументов — всё это помогает угадывать. Грамматике её никто не учил. Она выучила грамматику, потому что грамматика помогает угадать следующее слово.
Результат — **базовая модель**: мощный языковой движок, но сырой. Она не знает, что должна быть полезным ассистентом. Задайте вопрос — она может просто продолжить ваше предложение или сгенерировать список похожих вопросов. Огромные знания, ноль манер.
Понять этот этап — главный «анлок» всей статьи. Когда осознаёшь, что ядро моделей — предсказание следующего токена в колоссальном масштабе, их беглость и их галлюцинации обретают смысл одновременно: **они построены продолжать правдоподобно, а не говорить правду**. Правду добавляют следующие этапы — и ваша собственная инженерия.
## Этап 3. Дообучение — модель учат быть полезной
Теперь гениальную, но невоспитанную базовую модель учат её работе. Supervised fine-tuning (SFT): модели показывают тысячи примеров желаемого поведения — вопрос с хорошим ответом, инструкция с корректным выполнением, задача с ясным решением.
Обучение то же — предсказание токенов, — но данные теперь курируемые демонстрации того, как должен отвечать полезный ассистент. Данных на порядки меньше, чем в предобучении: не триллионы токенов, а тысячи или десятки тысяч примеров, зато качественных, продуманных и точечных, часто написанных людьми. Небольшой объём отличных демонстраций превращает сырую модель в нечто, ведущее себя как ассистент.
## Этап 4. Модель вознаграждения — учат понимать, что такое «хорошо»
Этап, который пропускают почти все объяснения, — а это хитрое сердце полировки современных моделей.
Проблема: после SFT модель отвечает хорошо, но «хорошо» не задаётся примерами. У большинства вопросов нет одного правильного ответа — есть лучше и хуже. Как научить модель предпочитать лучший ответ, если правило не написать?
Решение элегантно. Модель генерирует несколько разных ответов на один промпт. Люди их **ранжируют**: этот лучше того. Набирается много таких сравнений — и на них обучают вторую модель, **модель вознаграждения**, чья единственная работа — смотреть на любой ответ и предсказывать, как его оценил бы человек.
Смысл: людей не хватит оценивать каждый ответ — но модель вознаграждения, обученная на выборке человеческих суждений, становится автоматическим заместителем человеческого вкуса и может оценить миллионы ответов. Это мост между «что нравится людям» и «что компьютер может оптимизировать». Пользователи её никогда не видят — это судья за кулисами.
## Этап 5. Обучение с подкреплением — финальная полировка
Финал обычно называют **RLHF** — обучение с подкреплением на человеческой обратной связи. Пазл складывается: дообученная модель из этапа 3 генерирует ответы, модель вознаграждения из этапа 4 их оценивает, и генератор подталкивают к ответам с более высокой оценкой. Цикл: сгенерировал → оценили → улучшился → повторить.
Поскольку модель вознаграждения может оценивать бесконечно, основная модель тренируется далеко за пределами того, что дали бы прямые человеческие примеры. За множество раундов она становится полезнее, связнее, тоньше следует нюансам и лучше отказывается от того, чего делать не должна. Отсюда — полировка, здравый смысл и значительная часть безопасности.
Современная вариация: часть человеческой обратной связи заменяют обратной связью, сгенерированной по написанному своду принципов, — подход называют RLAIF или «конституционными» методами. Дух тот же: масштабировать обратную связь, направляемую ясно сформулированными ценностями.
## Весь конвейер на одном дыхании
Собираете и чистите гору текста, превращаете в токены. Учите модель предсказывать следующий токен — из этого вырастает базовая модель, знающая язык, но без манер. Дообучаете на курируемых примерах — она начинает вести себя как ассистент. Собираете человеческие ранжировки её ответов и учите модель вознаграждения имитировать человеческое суждение. И через обучение с подкреплением полируете ассистента, пока он не станет полезным и выровненным.
**Данные, предобучение, дообучение, модель вознаграждения, обучение с подкреплением.** Пять этапов. Так сделана каждая топовая модель.
| Этап | Масштаб данных | Что даёт модели |
|---|---|---|
| 1. Данные | Триллионы токенов (сырых) | Чистое «сырьё» для обучения |
| 2. Предобучение | Триллионы токенов | Язык, факты, рассуждения — и галлюцинации |
| 3. Дообучение (SFT) | Тысячи–десятки тысяч примеров | Формат полезного ассистента |
| 4. Модель вознаграждения | Много пар «этот ответ лучше» | Автоматический судья вместо человека |
| 5. RLHF | Бесконечные циклы оценки | Полировку, здравый смысл, безопасность |
## Зачем это понимать
Поняв конвейер, вы перестаёте быть пассивным пользователем и начинаете **рассуждать** об инструментах. Вы понимаете, почему модели галлюцинируют (предсказание следующего токена). Почему [промптинг работает](/blog/gayd-anthropic-po-promptingu-fable-5/) (вы формируете то, что будет предсказано). Почему одни модели ощущаются «выровненнее» других (качество этапов 4–5) — и, уже на практике, [какие модели 2026 доверить бизнесу](/blog/novye-ai-modeli-2026-chto-doverit-biznesu/), а какие оставить для черновиков. И почему ваши собственные данные в ваших экспериментах с дообучением так важны.
## Что с этим делать
От себя. Для маркетолога здесь два практических вывода. Первый: модель «продолжает правдоподобно, а не говорит правду» — поэтому любой контент из нейросети нуждается в вашей фактуре: цифрах, кейсах, примерах из практики. Второй: этапы 3–4 — это в миниатюре то, что я делаю с клиентскими системами: собираю «демонстрации» правильного тона и «ранжировки» удачных текстов бренда, чтобы конвейер выдавал ваш голос, а не среднее по интернету. Как это устроено — в [методологии 4 слоёв](/blog/ai-sistema-pod-klyuch-metodologiya/).
> Хотите, чтобы нейросети писали в голосе вашего бренда, а не «как все»? Напишите «система» в [Telegram](https://t.me/uspeshnyy) — покажу на 15-минутном разборе.
## Читайте также