Как обучается нейросеть: три этапа от данных до ответа
Никто не пишет ей правила и не загружает энциклопедию. Что на самом деле происходит внутри, пока модель учится, почему это стоит как завод и почему в вашем чате она не учится вовсе.
Вопрос «как обучается нейросеть» звучит академически, а отвечает на практические: почему модель врёт, почему не запоминает ваши правки и что продают под словом «дообучим под вас». Схему трёх этапов для языковых моделей я сверял по работе OpenAI об InstructGPT, открытой 17 октября 2026 года: там же приведён результат, что модель на 1,3 миллиарда параметров после обучения на оценках людей нравилась им больше, чем в сто раз большая без него.
Порядок: что такое веса и ошибка, как выглядит один шаг обучения, затем три этапа для языковой модели по порядку, отдельно картинки, отдельно почему в чате модель не учится и что такое дообучение. Если нужно определение самой нейросети, оно в гайде что такое нейросеть простыми словами, здесь только про обучение.
Главное в одну строку
Нейросеть учится, угадывая ответ на примере и сдвигая свои внутренние числа в сторону меньшей ошибки; миллиарды таких сдвигов и есть обучение, а в чате оно уже закончено.
Часть 1 · Ответ
Как обучается нейросеть, если коротко
Ответ
Модели показывают пример, она выдаёт ответ, ответ сравнивают с правильным и считают ошибку. Затем веса, числа внутри модели, чуть сдвигают так, чтобы на этом примере ошибка стала меньше. Повторяют на миллиардах примеров. Для языковой модели пример это текст, а правильный ответ следующее слово в нём.
Из этого следует всё остальное. Модель не хранит правила, она хранит веса. Она не знает фактов, она знает вероятности продолжений. Она не учится в разговоре, потому что веса в этот момент заморожены. Дальше каждое из этих следствий разобрано отдельно.
Часть 2 · Устройство
Что внутри: веса и ошибка
- Веса. Числа, которые определяют, насколько сильно каждый входной сигнал влияет на следующий слой. В больших языковых моделях их миллиарды. Когда говорят «модель на 70 миллиардов параметров», речь именно о числе весов. В начале обучения они случайные, и модель выдаёт шум.
- Ошибка. Число, которое показывает, насколько ответ модели далёк от правильного. Для языковой модели это, грубо, насколько маленькую вероятность она дала настоящему следующему слову. Чем меньше, тем лучше.
- Градиент. Для каждого веса вычисляется, в какую сторону его сдвинуть, чтобы ошибка уменьшилась. Способ посчитать это для всех весов сразу называется обратным распространением ошибки, и именно он сделал обучение глубоких сетей возможным. История метода в гайде про глубокое обучение.
- Шаг. Веса сдвигаются на крошечную величину. Не на весь градиент, а на малую долю, иначе модель будет перескакивать через хорошие решения.
Часть 3 · Цикл
Один шаг обучения по порядку
- Взять пачку примеров. Не один текст, а сразу сотни, чтобы сдвиг весов был устойчивее.
- Прогнать вперёд. Каждый пример проходит через все слои, на выходе вероятности следующего слова.
- Посчитать ошибку. Сравнить вероятности с тем, какое слово стояло в тексте на самом деле.
- Прогнать назад. Посчитать для каждого веса, куда его двигать.
- Сдвинуть веса. На малую долю в сторону уменьшения ошибки.
- Повторить. Миллионы раз, пока ошибка на отложенных примерах, которые модель не видела, перестанет падать.
Последний пункт важен: качество меряют не на том, что модель уже видела, а на отложенной части данных. Если на виденных примерах ошибка падает, а на новых растёт, модель заучила примеры вместо закономерности. Это называется переобучением, и оно разобрано в гайде про способы обучения.
Часть 4 · Этап 1
Предобучение: угадать следующее слово на всём интернете
Первый и самый дорогой этап. Модели дают огромный корпус текстов: сайты, книги, код, статьи. Задача одна: по началу текста угадать следующее слово. Правильный ответ всегда известен, он стоит в тексте, поэтому размечать ничего не нужно.
- Что модель из этого выносит. Грамматику, факты, которые встречались часто, стиль разных жанров, структуру кода, связи между понятиями. Всё это не записано правилами, а разложено по весам.
- Чего она после этого не умеет. Отвечать на вопросы. Предобученная модель продолжает текст: на «как испечь хлеб» она может выдать ещё десять похожих вопросов, потому что в интернете за вопросом часто идёт список вопросов.
- Почему это дорого. Триллионы токенов, месяцы работы тысяч видеокарт. Поэтому с нуля модели обучают считанные компании, а все остальные берут готовые веса.
- Откуда берутся ошибки в фактах. Редкий факт встретился мало раз и слабо отпечатался в весах; модель подставляет более вероятное похожее. Разбор этого механизма в гайде про галлюцинации.
Часть 5 · Этап 2
Дообучение на примерах: научить отвечать, а не продолжать
Второй этап короче и дешевле. Люди пишут примеры хороших диалогов: вопрос и ответ, инструкция и выполнение, просьба переписать и результат. Таких примеров тысячи, а не триллионы. Модель продолжают обучать тем же способом, но на этих примерах.
- Результат. Модель начинает вести себя как ассистент: на вопрос отвечает, инструкцию выполняет, формат соблюдает. Это тот момент, когда из «продолжателя текста» получается чат.
- Ограничение. Примеров мало, и они не покрывают всё. Модель перенимает форму ответов, но её знания всё ещё из первого этапа.
- Где вы с этим сталкиваетесь. Когда модель упрямо добавляет вводные фразы или списки, это привычка, вынесенная из примеров второго этапа. Инструкция в запросе её перебивает, но не всегда с первого раза.
Часть 6 · Этап 3
Обучение на оценках людей: научить нравиться
Третий этап не даёт модели готовых ответов. Ей дают запрос, она выдаёт несколько вариантов, люди расставляют их по качеству. На этих сравнениях обучают отдельную модель-оценщика, а затем основную модель обучают выдавать то, за что оценщик ставит больше. Это и есть обучение с подкреплением на человеческих оценках.
- Зачем это нужно. Невозможно написать правильный ответ на каждый возможный запрос. А сравнить два готовых ответа человек может быстро. Сравнений собирают сотни тысяч.
- Что получается. По работе OpenAI об InstructGPT, модель на 1,3 миллиарда параметров после этого этапа предпочитали ответам модели GPT-3 на 175 миллиардов без него. Размер проиграл выравниванию.
- Обратная сторона. Модель учится нравиться, а не быть правой. Отсюда согласие с пользователем, уверенный тон при ошибке и склонность не спорить. Это не баг конкретного сервиса, а свойство этапа.
- Как это выглядит у агентов. Тот же механизм, но награду считают не люди, а проверка: прошли ли тесты, решена ли задача. Так учат рассуждать и писать код. Подробно в гайде про обучение с подкреплением.
Часть 7 · Картинки
Как нейросеть обучается распознавать объекты
Тот же цикл, другие данные. Модели показывают миллионы картинок с подписями и заставляют угадывать подпись. За ошибку веса сдвигаются.
- Что получается по слоям. Первые слои начинают реагировать на края и пятна цвета, следующие на углы и текстуры, дальше на части объектов, последние на целые объекты. Никто это не проектировал, так сложились веса.
- Почему нужны миллионы примеров. Кошка в разных позах, при разном свете, частично закрытая, нарисованная. Модель должна увидеть достаточно вариантов, чтобы выучить общее, а не конкретные фотографии.
- Где ломается. На том, чего не было в примерах: редкие ракурсы, новые предметы, намеренно искажённые картинки. Про то, как модели «видят», отдельный гайд про компьютерное зрение.
Часть 8 · Миф
Почему в чате модель не учится
После трёх этапов веса замораживают. Модель, с которой вы разговариваете, только применяет их: прогон вперёд есть, прогона назад и сдвига весов нет. Ваши поправки в чате не меняют модель ни на один бит.
- Что тогда «запоминает» сервис. Память приложения и инструкции проекта: текст, который подставляется в начало каждого разговора. Как она устроена, в гайде про память нейросети.
- Что происходит с вашими диалогами. Они могут попасть в данные для обучения следующей версии, если это разрешено настройками приватности сервиса. Это отдельный переключатель, и влияет он на будущую модель, а не на ту, что отвечает сейчас.
- Почему это хорошо. Модель предсказуема: один и тот же вопрос в чистом чате даёт ответы одного качества, и чужие разговоры не портят вашу.
Часть 9 · Практика
Что значит «дообучить под себя» и когда это не нужно
Дообучение это продолжение второго этапа на ваших примерах: сотни или тысячи пар «запрос и правильный ответ», после которых веса сдвигаются под вашу задачу. Звучит заманчиво, но для большинства задач есть три способа дешевле, и их стоит перебрать по порядку.
- Инструкция. Описать правила, стиль и формат текстом в начале разговора или в системном промпте. Как его написать, в гайде про системный промпт. Закрывает большинство «хочу, чтобы отвечала как я».
- Примеры в запросе. Три-пять образцов нужного результата прямо в сообщении. Модель повторяет форму без изменения весов.
- Поиск по вашим документам. Если нужны ваши знания, а не ваш стиль, их не вшивают в веса, а подставляют под вопрос из базы. Это RAG, разобран в гайде про RAG простыми словами.
- Дообучение. Только когда три способа выше перепробованы, задача узкая и повторяющаяся, а примеров тысячи. Пять путей с ценой каждого разобраны в гайде как создать свою нейросеть.
Часть 10 · Сверка
Таблица: этап, данные, результат
| Этап | На чём учится | Что получается |
|---|---|---|
| Предобучение | триллионы токенов текста, ответ это следующее слово | знание языка и фактов, умение продолжать текст |
| Дообучение на примерах | тысячи диалогов, написанных людьми | поведение ассистента: отвечает, выполняет инструкции |
| Обучение на оценках | сравнения ответов людьми или проверкой | ответы, которые предпочитают; у агентов умение решать задачи |
| Разговор в чате | ни на чём, веса заморожены | применение выученного; память даёт сервис |
| Дообучение под себя | ваши сотни и тысячи пар запрос и ответ | узкая специализация; обычно заменяется инструкцией |
Часть 11 · Ошибки
Три заблуждения про обучение
Чего не ждать
Не ждите, что модель «со временем поймёт вас лучше» сама по себе. Веса не меняются, а меняется только то, что вы подставляете в контекст: инструкция, память, примеры.
- «Ей загрузили энциклопедию». Нет базы фактов, есть вероятности продолжений. Поэтому факт нужно проверять там, где цена ошибки высока.
- «Чем больше модель, тем лучше». Результат InstructGPT: малая модель с третьим этапом обошла в сто раз большую без него. Размер решает меньше, чем кажется.
- «Дообучим под вас» как первый шаг. Это последний шаг. Сначала инструкция, примеры и поиск по документам, они дешевле и обратимы.
Часть 12 · Памятка
Что запомнить про обучение нейросети
Коротко
- Обучение это сдвиг весов в сторону меньшей ошибки на примерах.
- Правил модели не пишут, они складываются из статистики данных.
- Этап 1: предобучение, угадать следующее слово, самый дорогой.
- Этап 2: дообучение на диалогах, модель становится ассистентом.
- Этап 3: обучение на оценках, модель учится нравиться и решать задачи.
- Картинки учатся так же: подписи вместо следующего слова.
- В чате веса заморожены, модель не учится на разговорах.
- Память сервиса это подстановка текста, а не обучение.
- Перед дообучением: инструкция, примеры, поиск по документам.
- Малая модель с третьим этапом обошла большую без него.
FAQ
Частые вопросы
Как обучается нейросеть, если коротко
Ей показывают примеры и заставляют угадывать ответ, а затем чуть-чуть поправляют внутренние числа, веса, в сторону меньшей ошибки. Миллиарды таких поправок на миллиардах примеров и есть обучение. Для языковой модели пример это кусок текста, а задача угадать следующее слово. Правил ей никто не пишет, они складываются из статистики примеров.
Что такое веса нейросети простыми словами
Это числа внутри модели, которые определяют, как сильно каждый входной сигнал влияет на результат. В начале обучения они случайные, и модель выдаёт мусор. Каждый пример слегка сдвигает веса так, чтобы ошибка стала меньше. После обучения веса замораживаются: именно их скачивают, когда говорят «скачать модель», и именно они не меняются от ваших разговоров в чате.
Сколько этапов обучения у языковой модели вроде ChatGPT
Три. Предобучение на огромном корпусе текстов, где модель учится угадывать следующее слово. Дообучение на примерах хороших ответов, написанных людьми, после которого модель начинает отвечать на вопросы, а не просто продолжать текст. И обучение на оценках: люди сравнивают ответы, модель учится выдавать те, что предпочитают чаще. Эту схему описала OpenAI в работе об InstructGPT в 2022 году.
Учится ли нейросеть на моих вопросах в чате
Нет, в момент разговора веса не меняются. Модель обучена заранее, и в чате она только применяет то, что уже знает. Если кажется, что она «запомнила» ваш стиль, это память сервиса или инструкции проекта, которые подставляются в контекст, а не обучение. Попадут ли ваши диалоги в данные для обучения будущих версий, решают настройки приватности сервиса.
Как нейросеть обучается распознавать объекты на фото
Так же, как и текст: на размеченных примерах. Ей показывают миллионы картинок с подписями «кошка», «велосипед», «светофор» и заставляют угадывать подпись. За ошибку веса сдвигаются. Со временем первые слои сети начинают реагировать на края и пятна, следующие на формы, последние на целые объекты. Никто не объясняет модели, что такое кошка, она выводит это из примеров.
Что значит дообучить нейросеть под себя
Взять уже обученную модель и продолжить обучение на своих примерах, обычно от сотен до тысяч пар «запрос и правильный ответ». Веса сдвигаются под вашу задачу: стиль, термины, формат. Это дороже и сложнее, чем кажется, и чаще всего не нужно: инструкция проекта, примеры в запросе и поиск по вашим документам закрывают большинство задач без изменения весов.
Почему обучение нейросети стоит так дорого
Потому что каждый пример требует прогнать текст через все веса модели вперёд и назад, а примеров триллионы токенов. Это месяцы работы тысяч видеокарт и счёт за электричество, сравнимый с бюджетом завода. Поэтому с нуля модели обучают считанные компании, а все остальные берут готовую и либо дообучают, либо просто пишут ей инструкцию.
Откуда нейросеть знает факты, если её никто им не учил
Из статистики текстов. Если во множестве текстов после «столица Франции» стоит «Париж», модель выучит это как сильную закономерность. Это же объясняет ошибки: редкий факт встречался мало раз, и модель уверенно подставляет похожий. Знание у модели это не база фактов, а вероятности продолжений, поэтому её ответы нужно проверять там, где цена ошибки высока.
Что такое обучение с учителем и без учителя
С учителем, когда у каждого примера есть правильный ответ: подпись к картинке, перевод фразы. Без учителя, когда ответов нет и модель ищет структуру сама, например группирует похожие документы. Предобучение языковых моделей ближе ко второму: подписи не нужны, следующее слово в тексте и есть ответ. Третий способ, с подкреплением, использует оценки вместо готовых ответов.
Можно ли обучить свою нейросеть дома
Маленькую да: на обычном компьютере за вечер обучают классификатор картинок или простую модель на табличных данных, в учебных целях это полезно. Языковую модель уровня чата дома обучить нельзя, но можно дообучить небольшую открытую модель на своих данных на одной видеокарте. Для рабочих задач проще взять готовую модель и настроить её инструкцией.
Читать дальше
Платформа и сообщество, где я по шагам показываю, как поставить ИИ на рутину: контент, код, продажи, аналитика. Заходи и забирай рабочие связки, которыми пользуюсь сам.
Посмотреть, что внутриtelegram
Канал с полезными материалами про нейросети
Разборы, новые инструменты и приёмы по ИИ — то, чем пользуюсь сам, без воды. Подпишись, чтобы не потерять.
