Обучение с подкреплением: что делает агент и где это работает
Единственный способ обучения, где правильных ответов нет вовсе, только оценка. Пять слов, которых хватит для теста, пять примеров, где это работает, и почему агент здесь не тот агент, что выполняет ваши задачи.
Обучение с подкреплением попадает в тесты по ИИ-грамотности чаще, чем в рабочие задачи, и вопрос почти всегда один: что делает агент. Два факта, на которых стоит разбор, сверены по первоисточникам 17 октября 2026 года: работа OpenAI об InstructGPT описывает дообучение языковой модели на человеческих оценках, а работа о DeepSeek-R1 показывает, что способность к рассуждению можно вырастить чистым обучением с подкреплением.
Порядок: пять слов, из которых состоит метод, затем ответ на вопрос из теста, отличие от обучения с учителем, пять примеров, связь с чатами и рассуждающими моделями, отдельно развод двух значений слова «агент». Если нужен выбор между тремя способами обучения под свою задачу, это в гайде про обучение с учителем и без, здесь только подкрепление.
Главное в одну строку
Агент выбирает действия в среде, получает за них награду и учится выбирать так, чтобы суммарная награда была больше; готовых правильных ответов ему не показывают.
Часть 1 · Ответ
Что такое обучение с подкреплением, если коротко
Ответ
Обучение с подкреплением это способ обучения, при котором модели не показывают правильных ответов. Ей дают среду, возможность действовать и число-награду за результат. Модель пробует, получает оценку и постепенно выстраивает поведение, которое приносит больше награды.
Отличие от двух других способов в одном слове: оценка вместо ответа. При обучении с учителем модель подтягивают к готовому ответу. Здесь готового ответа никто не знает, известно только, что получилось хорошо или плохо.
Часть 2 · Устройство
Пять слов: агент, среда, состояние, действие, награда
- Агент. Обучаемая программа, которая принимает решения. В шахматах это игрок, в роботе это контроллер, при дообучении языковой модели это сама модель.
- Среда. Всё, с чем агент взаимодействует: доска, физический мир или его симуляция, человек-оценщик. Среда отвечает на действия агента.
- Состояние. То, что агент видит в данный момент: позиция на доске, показания датчиков, текст запроса.
- Действие. Что агент может сделать: ход, поворот колеса, следующее слово ответа.
- Награда. Число от среды после действия: очки, расстояние до цели, оценка ответа. Цель агента не разовая награда, а сумма наград за всё время.
Цикл: агент видит состояние, выбирает действие, среда выдаёт награду и новое состояние, агент выбирает следующее действие. После множества таких циклов веса агента сдвигаются так, чтобы действия с большой наградой выбирались чаще. Как именно сдвигаются веса, разобрано в гайде как обучается нейросеть.
Часть 3 · Тест
Что делает агент в обучении с подкреплением: вопрос из теста
Формулировка встречается в тестах дословно. Верный вариант всегда про выбор действий ради награды.
- Верно. Агент наблюдает состояние среды, выбирает действие, получает награду и обновляет своё поведение так, чтобы в будущем получать больше награды.
- Неверно: «выполняет заранее заданные инструкции». Это описание обычной программы. У агента инструкций нет, есть награда.
- Неверно: «запоминает правильные ответы из обучающей выборки». Это обучение с учителем. Правильных ответов в подкреплении не существует.
- Неверно: «группирует похожие объекты». Это обучение без учителя.
Подсказка для любой переформулировки: ищите вариант со словами «действие» и «награда» или «вознаграждение». Вариант со словами «правильный ответ», «метка», «инструкция» неверный.
Часть 4 · Отличие
Чем отличается от обучения с учителем
- Что есть у примера. С учителем: правильный ответ. С подкреплением: только оценка результата, часто с задержкой.
- Откуда берутся данные. С учителем: размеченный набор, собранный заранее. С подкреплением: агент создаёт данные сам, действуя в среде.
- Что можно выучить. С учителем: то, что люди уже умеют размечать. С подкреплением: стратегии, которых люди не знают, например ходы в го, которые удивили чемпионов.
- Цена. С подкреплением дороже: миллионы проб, нужна среда, где ошибаться безопасно. Поэтому в бизнесе применяется реже.
Часть 5 · Примеры
Пять примеров, где это работает
- Игры. Самая известная витрина метода: системы, которые обыграли людей в го и в сложных компьютерных играх, учились, играя сами с собой миллионы партий. Награда: выигрыш.
- Робототехника. Ходьба, захват предметов, балансировка. Обучают сначала в симуляции, потом переносят на железо. Награда: расстояние до цели, устойчивость.
- Управление и оптимизация. Охлаждение дата-центров, расписания, ставки в рекламе. Награда: сэкономленная энергия, выполненный план.
- Дообучение языковых моделей на оценках людей. Третий этап обучения чатов. Награда: предпочтение оценщика.
- Обучение рассуждению. Модель решает задачи с проверяемым ответом, награда за правильный результат. Так появились модели, которые думают перед ответом.
Часть 6 · Чаты
При чём здесь ChatGPT и другие чаты
Это тот случай, когда абстрактный метод стоит за кнопкой, которой вы пользуетесь каждый день.
- Схема. Модель выдаёт несколько ответов на запрос. Люди расставляют их по качеству. На сравнениях обучают отдельную модель-оценщика. Затем основную модель учат с подкреплением выдавать то, за что оценщик ставит больше. Это называется обучением с подкреплением на человеческих оценках.
- Результат. По работе OpenAI об InstructGPT, модель на 1,3 миллиарда параметров после такого обучения предпочитали ответам GPT-3 на 175 миллиардов без него.
- Побочный эффект. Модель учится нравиться, а не быть правой. Уверенный тон, согласие с пользователем, нежелание спорить. Это свойство метода, разбор в гайде про галлюцинации.
Часть 7 · Рассуждение
Как с подкреплением учат рассуждать
Второй случай, который касается вас напрямую: модели с режимом рассуждения.
- Среда. Задачи с проверяемым ответом: математика, код с тестами, логика. Проверка автоматическая, человек не нужен.
- Действие. Модель пишет цепочку рассуждений и ответ.
- Награда. За правильный ответ. За формат, если он требуется.
- Результат. По работе о DeepSeek-R1, способность к рассуждению можно вырастить чистым обучением с подкреплением на таких задачах. Модель сама научилась проверять шаги и возвращаться, когда зашла не туда.
Чем режим рассуждения отличается от обычного ответа и от режима исследования, разобрано в гайде про режимы рассуждения и исследования.
Часть 8 · Развод понятий
Два агента: в обучении и в терминале
Слово «агент» в двух соседних темах значит разное, и на этом теряют балл.
- Агент в обучении с подкреплением. Обучаемая программа, которая учится выбирать действия ради награды. Её веса меняются по ходу обучения. Задача: научиться.
- ИИ-агент в работе. Уже обученная языковая модель с инструментами и циклом: получил задачу, выбрал шаг, выполнил, посмотрел на результат. Веса не меняются, награды нет. Задача: сделать. Пять отличий от чата в гайде что такое ИИ-агент.
- Что общего. Только идея цикла «действие, результат, следующее действие». И то, что ИИ-агент, возможно, учили подкреплением на этапе подготовки. Но в вашем терминале он не учится.
- Как не перепутать в тесте. Если рядом слова «награда», «среда», «политика», речь об обучении. Если «инструменты», «задача», «цикл выполнения», речь об ИИ-агенте.
Часть 9 · Сложность
Почему это сложно и применяется реже других способов
- Награда с задержкой. Партия проиграна на сороковом ходу, а ошибка была на двенадцатом. Понять, какое действие виновато, отдельная задача.
- Разведка против использования. Если агент всегда делает проверенное, он не найдёт лучшего. Если всегда пробует новое, он не накопит результат. Баланс настраивается руками.
- Лазейки в награде. Агент максимизирует число, а не смысл. Если награда за «собранные очки», он может крутиться на месте, собирая очки, вместо того чтобы пройти уровень. У языковых моделей та же история: награда за «нравится оценщику» даёт лесть.
- Нужна среда. Миллионы безопасных проб. В игре есть, в симуляторе есть, в реальном бизнесе обычно нет. Поэтому для большинства рабочих задач берут обучение с учителем.
Часть 10 · Сверка
Таблица: формулировка и ответ
| Как спрашивают | Правильный ответ | Где подробно |
|---|---|---|
| Что делает агент | выбирает действия ради суммарной награды | раздел про тест |
| Чем отличается от обучения с учителем | оценка результата вместо готового ответа | раздел про отличие |
| Что такое награда | число от среды после действия | пять слов |
| Где применяется | игры, роботы, управление, дообучение моделей | пять примеров |
| Как связано с ChatGPT | третий этап обучения на оценках людей | раздел про чаты |
| Чем отличается от ИИ-агента | тот учится, этот выполняет; веса не меняются | два агента |
Часть 11 · Ошибки
Три ошибки, на которых теряют балл
Чего не делать
Не выбирайте вариант по слову «обучение»: оно есть во всех трёх способах. Решает слово «награда» или «вознаграждение».
- Считать, что агенту показывают правильные действия. Не показывают, это суть метода.
- Путать два значения слова «агент». В обучении агент учится, в терминале агент выполняет.
- Думать, что награда это всегда человек. Чаще это число из среды или автоматическая проверка. Человек-оценщик только один из вариантов.
Часть 12 · Памятка
Что запомнить про обучение с подкреплением
Коротко
- Правильных ответов нет, есть оценка результата.
- Пять слов: агент, среда, состояние, действие, награда.
- Агент выбирает действия ради суммарной награды, не разовой.
- Данные создаёт сам агент, действуя в среде.
- Примеры: игры, роботы, управление, дообучение чатов, рассуждение.
- Третий этап обучения ChatGPT это подкрепление на оценках людей.
- Рассуждающие модели выращены подкреплением на проверяемых задачах.
- Побочный эффект: модель учится нравиться, а не быть правой.
- Агент в обучении учится, ИИ-агент в терминале выполняет.
- Сложно: задержка награды, баланс разведки, лазейки, нужна среда.
FAQ
Частые вопросы
Что такое обучение с подкреплением простыми словами
Это способ обучения, при котором модели не показывают правильных ответов. Ей дают среду, возможность действовать и число-награду, которое говорит, стало лучше или хуже. Модель пробует, получает оценку и постепенно выстраивает поведение, приносящее больше награды. Так учат играть в игры, управлять роботами и дообучают языковые модели на человеческих предпочтениях.
Что делает агент в обучении с подкреплением
Наблюдает состояние среды, выбирает действие, получает награду и новое состояние, и повторяет. Его цель максимизировать суммарную награду за всё время, а не за один шаг. Агентом здесь называют обучаемую часть системы: программу, которая принимает решения. Это тестовая формулировка, и верный ответ в ней всегда про выбор действий ради награды, а не про выполнение инструкций.
Чем агент в обучении с подкреплением отличается от ИИ-агента
Это два разных значения одного слова. В обучении с подкреплением агент это обучаемая программа, которая учится выбирать действия ради награды, его веса меняются по ходу обучения. ИИ-агент, который выполняет ваши задачи в терминале, это уже обученная языковая модель с инструментами и циклом; его веса не меняются, и награды он не получает. Общее у них только слово и идея «действие, результат, следующее действие».
Что такое награда в обучении с подкреплением
Число, которое среда выдаёт после действия: плюс за хороший исход, минус или ноль за плохой. В игре это очки, в управлении роботом расстояние до цели, при дообучении языковой модели оценка ответа человеком или проверкой. Главная сложность в том, что награда часто приходит с задержкой: ход в шахматах оценивается по результату всей партии, и модели нужно понять, какое именно действие привело к выигрышу.
Чем обучение с подкреплением отличается от обучения с учителем
При обучении с учителем у каждого примера есть правильный ответ, и модель к нему подтягивают. При обучении с подкреплением правильного действия никто не знает, есть только оценка результата. Это дороже и дольше, потому что модель вынуждена пробовать, но подходит для задач, где правильный ответ нельзя заранее написать: стратегия в игре, управление, выбор лучшего из нескольких текстов.
При чём здесь ChatGPT и другие чаты
Третий этап обучения языковых моделей это обучение с подкреплением на человеческих оценках. Модель выдаёт несколько ответов, люди их сравнивают, на сравнениях обучают модель-оценщика, а затем основную модель учат выдавать то, что оценщик ставит выше. Работа OpenAI об InstructGPT 2022 года показала, что после этого небольшая модель нравилась людям больше, чем в сто раз большая без такого этапа.
Как обучение с подкреплением связано с рассуждающими моделями
Напрямую. Модели, которые думают перед ответом, учат так: дают задачу с проверяемым ответом, например математическую или программистскую, модель пишет рассуждение и ответ, проверка выдаёт награду за правильный результат. Работа DeepSeek-R1 показала, что способность к рассуждению можно вырастить чистым обучением с подкреплением на таких задачах. Человек здесь не нужен, награду считает проверка.
Где обучение с подкреплением применяют на практике
Игры, где машины обыграли людей в го и в сложных компьютерных играх. Робототехника: ходьба, захват предметов. Управление: оптимизация охлаждения дата-центров, расписаний, рекламных ставок. Дообучение языковых моделей на предпочтениях людей и на проверяемых задачах. В обычном бизнесе применяется реже двух других способов, потому что нужна среда, где можно безопасно ошибаться миллионы раз.
Почему обучение с подкреплением сложное
Три причины. Награда приходит с задержкой, и неясно, какое действие её заслужило. Нужно балансировать между проверенными действиями и пробой новых, иначе модель застрянет на посредственной стратегии. И модель находит лазейки: если награда задана неточно, она максимизирует число, а не смысл, например крутится на месте, собирая очки, вместо того чтобы дойти до цели.
Нужно ли понимать обучение с подкреплением, чтобы работать с нейросетями
Для работы через чат и агента достаточно одного следствия: модель обучена нравиться оценщикам, поэтому уверенный тон не признак правды, а согласие с вами не признак вашей правоты. Для ответа на тест нужны пять слов: агент, среда, состояние, действие, награда. Для построения таких систем самому нужна отдельная подготовка, это одна из самых сложных областей машинного обучения.
Читать дальше
Платформа и сообщество, где я по шагам показываю, как поставить ИИ на рутину: контент, код, продажи, аналитика. Заходи и забирай рабочие связки, которыми пользуюсь сам.
Посмотреть, что внутриtelegram
Канал с полезными материалами про нейросети
Разборы, новые инструменты и приёмы по ИИ — то, чем пользуюсь сам, без воды. Подпишись, чтобы не потерять.
