Что такое машинное обучение и чем оно не ИИ
Слово стоит в вакансиях, в тестах и в описании каждого второго сервиса. Шесть ответов: что это, чем отличается от ИИ и от нейросетей, что такое модель и алгоритм, три способа обучения и где это работает прямо сейчас.
Машинное обучение проще, чем звучит, и объясняется одним предложением: программа выводит правила из примеров, а не получает их от человека. Всё остальное в этом гайде следствия. Определения здесь без формул, потому что для постановки задачи нейросети и для ответа на тест формулы не нужны, нужны три слова: данные, модель, алгоритм.
Порядок: сама идея, три слова, три способа обучения, пример от начала до конца, где это работает каждый день, при чём здесь нейросети и чаты, почему модель ошибается. Если вам нужна история области и работы, на которых она держится, это в гайде про глубокое обучение, здесь основа.
Главное в одну строку
Машинное обучение это создание программ, которые выводят правила из примеров; результат обучения называется моделью, а нейросети один из способов такие модели строить.
Часть 1 · Ответ
Что такое машинное обучение, если коротко
Ответ
Машинное обучение это способ создавать программы, в которых правила не пишет человек, а выводит сама программа из примеров. Показали тысячу писем с пометкой «спам» и тысячу без, и алгоритм нашёл признаки спама. Результат называется моделью. Это часть искусственного интеллекта, а нейросети один из его методов.
Если в тесте спрашивают «что такое машинное обучение» с четырьмя вариантами, верный тот, где есть слова «на основе данных» или «из примеров» и нет слов «по заранее заданным правилам». Вариант про «обучение машин ремонту» и подобные стоят для отсева.
Часть 2 · Идея
Правила из данных вместо правил от человека
До машинного обучения программы работали одинаково: человек описывал правила, программа их выполняла. Это работает, пока правила можно сформулировать.
- Где правила написать можно. Расчёт налога, проверка заполнения формы, сортировка списка. Чёткие условия, чёткий результат. Здесь машинное обучение не нужно и вредно: обычная программа точнее.
- Где нельзя. Отличить кошку от собаки на фото, понять, что письмо это спам, перевести фразу, предсказать, купит ли клиент. Попробуйте написать правило «кошка это когда…» и упрётесь через минуту.
- Что делает машинное обучение. Вместо правила вы даёте примеры с ответами, а алгоритм подбирает такую функцию, которая на этих примерах отвечает правильно и, если повезёт, на новых тоже.
- Цена. Правила выведены, но прочитать их нельзя: они разложены по числам. Объяснимость меняется на возможность решать задачи, для которых правил нет.
Часть 3 · Слова
Модель, алгоритм, данные: три слова, которых хватит
- Данные. Примеры, на которых учатся. Письма с пометками, фото с подписями, история продаж. Качество модели упирается в данные сильнее, чем во всё остальное: мало примеров, перекос, ошибки в разметке переносятся в модель целиком.
- Алгоритм. Процедура, которая по данным строит модель. Линейная регрессия, деревья решений, градиентный бустинг, нейросети. У каждого свой способ искать закономерности, и выбор зависит от типа данных.
- Модель. Результат работы алгоритма: структура и числа, которые по входу выдают ответ. Модель спам-фильтра принимает письмо и выдаёт вероятность спама. Это то, что потом работает в сервисе; алгоритм к тому моменту уже отработал.
Главная путаница новичков: «обучить алгоритм». Обучают модель, алгоритмом. Второе слово, которое стоит знать, инференс: это применение готовой модели к новому входу, то есть то, что происходит, когда вы пишете в чат. Обучение и инференс это разные этапы, и в чате идёт только второй.
Часть 4 · Способы
Три способа обучения
- С учителем. У каждого примера есть правильный ответ. Подпись к фото, диагноз к снимку, «купил» или «не купил» к клиенту. Самый распространённый способ, большинство рабочих задач здесь.
- Без учителя. Ответов нет. Модель ищет структуру сама: группирует похожих клиентов, находит аномалии в платежах, сжимает данные. Предобучение языковых моделей ближе к этому: подписей нет, следующее слово в тексте само служит ответом.
- С подкреплением. Модель действует в среде и получает оценку: стало лучше или хуже. Так учат играть в игры, управлять роботами и дообучают языковые модели на человеческих предпочтениях. Разбор в гайде про обучение с подкреплением.
Как выбрать способ под задачу и что такое переобучение, разобрано в гайде про обучение с учителем, без учителя и с подкреплением.
Часть 5 · Пример
Пример от начала до конца: спам-фильтр
- Собрать данные. Десять тысяч писем, у каждого пометка: спам или нет. Пометки ставили люди, и часть из них ошибочна, это нормально.
- Превратить письмо в числа. Сколько раз встречается слово «бесплатно», есть ли ссылки, длина, доля заглавных букв. Это признаки. Для нейросетей признаки выделяются сами, для классических алгоритмов их придумывает человек.
- Отложить часть. Две тысячи писем не показывать модели вовсе. На них потом проверять.
- Обучить. Алгоритм подбирает веса признаков так, чтобы на восьми тысячах писем ошибок было меньше всего.
- Проверить на отложенных. Если на них ошибок столько же, сколько на обучающих, модель выучила закономерность. Если сильно больше, она заучила примеры.
- Применять. Каждое новое письмо прогоняется через модель. Это инференс. Модель не учится на новых письмах, пока её не переобучат заново на обновлённых данных.
Часть 6 · Примеры
Где машинное обучение работает каждый день
- Почта. Антиспам, один из старейших рабочих примеров.
- Лента и магазин. Рекомендации: что показать следующим.
- Банк. Антифрод и кредитный скоринг. Здесь часто классические алгоритмы, потому что нужна объяснимость решения.
- Навигатор. Прогноз времени в пути по истории поездок.
- Телефон. Распознавание лица, улучшение фото, голосовой ввод.
- Поиск и перевод. Нейросети целиком.
Двенадцать мест с разбором, что именно там делает модель, в гайде про применение ИИ в жизни. Отдельно про рекомендации в гайде про рекомендательные системы.
Часть 7 · Связь
При чём здесь нейросети и чаты
- Нейросеть это алгоритм машинного обучения. Один из. Он особенно силён на сложных данных: тексте, картинках, звуке, потому что признаки выделяет сам, а не ждёт их от человека.
- Глубокое обучение это нейросети с множеством слоёв. Направление внутри машинного обучения, которое дало почти все заметные результаты последних лет.
- Языковая модель это глубокая нейросеть на текстах. Обучена с учителем без разметки, где ответом служит следующее слово, и дообучена с подкреплением. Как это проходит по этапам, в гайде как обучается нейросеть.
- Чат это сервис поверх модели. Когда вы пишете в чат, идёт инференс. Обучение закончилось до вас, разбор в гайде что такое LLM.
Поэтому про ChatGPT верны все четыре слова: искусственный интеллект, машинное обучение, нейросеть, языковая модель. Каждое следующее уже предыдущего.
Часть 8 · Ошибки модели
Почему модель машинного обучения ошибается
- Не было похожих примеров. Модель переносит ближайшую известную закономерность, часто неверную. Распознаватель, не видевший снега, назовёт его чем-то знакомым.
- Перекос в данных. Если в примерах одного класса в десять раз больше, модель предпочитает его. Если разметка содержала ошибки, модель выучила ошибки.
- Переобучение. Модель заучила примеры вместо закономерности: на обучающих данных идеальна, на новых плоха. Ловится отложенной выборкой.
- Мир изменился. Модель обучена на прошлом. Новые слова, новые схемы мошенничества, новый сезон спроса в данных отсутствуют, пока модель не переобучат.
Для языковых моделей к этому добавляется уверенная подача ошибки, разбор в гайде про галлюцинации. Лечение везде одно: данные, проверка, переобучение. Уговорами модель не чинится.
Часть 9 · Сверка
Таблица: задача, способ, алгоритм
| Задача | Способ обучения | Чем решают |
|---|---|---|
| Спам или нет | с учителем | классические алгоритмы или небольшая нейросеть |
| Прогноз продаж на завтра | с учителем | градиентный бустинг на таблицах |
| Группы похожих клиентов | без учителя | кластеризация |
| Что на фото | с учителем | глубокие нейросети |
| Ответить на вопрос текстом | предобучение плюс подкрепление | языковая модель |
| Научить робота ходить | с подкреплением | агент в среде с наградой |
Часть 10 · Практика
Нужно ли это знать, если вы не программист
Три вещи нужны, остальное нет.
- Модель учится на примерах. Поэтому ваши примеры в запросе работают лучше описаний: три образца нужного результата дают больше, чем абзац требований.
- Качество упирается в данные. Поэтому модель, которой дали ваш документ, отвечает по нему лучше, чем по памяти. И поэтому «дообучить под нас» без тысяч чистых примеров не имеет смысла.
- Модель ошибается там, где примеров не было. Поэтому редкие факты, свежие события и узкие темы проверяются обязательно.
Строить модели самому это отдельная профессия со статистикой и программированием. Для работы через чат и агента она не нужна, нужен план на неделю из гайда нейросети для начинающих.
Часть 11 · Путаницы
Три путаницы, которые стоят балла на тесте
Главная
Машинное обучение и искусственный интеллект не синонимы. ИИ это цель, машинное обучение это способ. Вариант «машинное обучение это то же самое, что ИИ» в тестах неверный.
- Алгоритм и модель. Алгоритм строит, модель работает. «Обучить алгоритм» неточно, обучают модель.
- Обучение и инференс. В чате идёт инференс, обучение закончилось раньше. Модель не учится на ваших сообщениях.
- Нейросети и машинное обучение. Нейросети это часть, не целое. Кредитный скоринг может быть машинным обучением без единой нейросети.
Часть 12 · Памятка
Что запомнить про машинное обучение
Коротко
- Правила выводятся из примеров, а не пишутся человеком.
- Данные, алгоритм, модель: алгоритм по данным строит модель.
- Три способа: с учителем, без учителя, с подкреплением.
- Инференс это применение готовой модели; в чате идёт он.
- Качество упирается в данные: мало, перекос, ошибки разметки.
- Проверка на отложенных примерах ловит переобучение.
- Нейросети это один из алгоритмов, глубокое обучение их часть.
- ИИ цель, машинное обучение способ, не синонимы.
- Модель ошибается там, где примеров не было: проверять редкое и свежее.
FAQ
Частые вопросы
Что такое машинное обучение простыми словами
Это способ создавать программы, в которых правила не пишет человек, а выводит сама программа из примеров. Показали тысячу писем с пометкой «спам» и тысячу без, и алгоритм нашёл признаки спама сам. Результат такого обучения называется моделью. Машинное обучение это часть искусственного интеллекта, а нейросети это один из его методов, самый распространённый сегодня.
Чем машинное обучение отличается от искусственного интеллекта
Искусственный интеллект это цель: программы, решающие задачи, требовавшие человеческого ума. Машинное обучение это главный способ этой цели достигать: учить программу на данных вместо написания правил. Был и другой способ, системы правил, написанных экспертами, но он уступил, потому что для сложных задач правила написать невозможно. Сегодня почти весь ИИ это машинное обучение.
Что такое модель машинного обучения
Это результат обучения: набор чисел и структура, которая по входу выдаёт ответ. Модель спам-фильтра принимает письмо и выдаёт вероятность спама. Модель прогноза спроса принимает историю продаж и выдаёт число на завтра. Языковая модель принимает текст и выдаёт вероятности следующего слова. Алгоритм это способ получить модель, а модель это то, что потом работает.
Что такое алгоритм машинного обучения
Процедура, которая по данным строит модель. Линейная регрессия, деревья решений, градиентный бустинг, метод ближайших соседей, нейросети: каждый по-своему ищет закономерности в примерах. Выбор алгоритма зависит от данных: для таблиц часто берут бустинг, для картинок, звука и текста почти всегда нейросети. Новичку важнее понимать разницу между алгоритмом и моделью, чем знать все алгоритмы.
Какие бывают виды машинного обучения
Три основных. С учителем: у каждого примера есть правильный ответ, например подпись к картинке. Без учителя: ответов нет, модель ищет структуру сама, например группирует похожих клиентов. С подкреплением: модель действует и получает оценку, а не готовый ответ, так учат играть в игры и дообучают языковые модели. Большинство рабочих задач это обучение с учителем.
Где машинное обучение используется каждый день
Антиспам в почте, рекомендации в лентах и магазинах, прогноз пробок в навигаторе, распознавание лиц и голоса в телефоне, антифрод в банке, скоринг при выдаче кредита, перевод текста, поиск. Большинство этих систем работает много лет и никогда не называлось искусственным интеллектом в рекламе, потому что стало обычной частью сервисов.
Как связаны машинное обучение и нейросети
Нейросеть это один из алгоритмов машинного обучения, который особенно хорошо работает на сложных данных: тексте, картинках, звуке. Глубокие нейросети с множеством слоёв выделяют в отдельное направление, глубокое обучение. ChatGPT и похожие сервисы это глубокое обучение, то есть нейросети, то есть машинное обучение, то есть искусственный интеллект, и все четыре слова про них верны.
Нужна ли математика, чтобы понимать машинное обучение
Чтобы пользоваться и ставить задачи, нет. Достаточно понимать три вещи: модель учится на примерах, качество зависит от данных, модель ошибается там, где примеров не было. Чтобы строить модели самому, нужны основы статистики и линейной алгебры, это отдельная профессия. Для работы через чат и агента эта математика не требуется.
Почему модель машинного обучения ошибается
По трём причинам. В данных не было похожих примеров, и модель переносит ближайшую закономерность. Данные были с ошибками или перекосом, и модель их выучила. Модель заучила примеры вместо закономерности, это называется переобучением. Во всех случаях лечится данными, а не уговорами: больше примеров, чище разметка, проверка на отложенной части.
С чего начать изучение машинного обучения новичку
С понимания, как устроены модели, которыми вы уже пользуетесь: откуда берутся ответы чата и почему он ошибается. Затем один практический курс или книга с задачами на таблицах, если хочется строить модели самому. Для работы с нейросетями через чат и агента отдельного курса по машинному обучению не нужно, хватает гайдов про устройство модели и обучение.
Читать дальше
Платформа и сообщество, где я по шагам показываю, как поставить ИИ на рутину: контент, код, продажи, аналитика. Заходи и забирай рабочие связки, которыми пользуюсь сам.
Посмотреть, что внутриtelegram
Канал с полезными материалами про нейросети
Разборы, новые инструменты и приёмы по ИИ — то, чем пользуюсь сам, без воды. Подпишись, чтобы не потерять.
