Основы машинного обучения

01Идея: выводить правила из примеров

В обычном программировании правила пишете вы: если в письме есть «free money», пометить как спам. В машинном обучении вы даёте примеры — тысячи писем, каждое помечено как спам или нет, — и алгоритм сам находит правила. Вспомните, как ребёнок узнаёт, что такое собака: никто не даёт ему определения; он видит много собак и не-собак и вырабатывает интуицию. Модель — это математическая функция с настраиваемыми числами, которые называются параметрами (или весами). Обучение — это подстройка этих параметров, чтобы выходы модели как можно точнее совпадали с известными ответами. Каждый вход описывается признаками (features) — измеримыми свойствами вроде суммы заказа, времени суток или истории клиента, — а ответ, который мы хотим предсказать, называется меткой (label) или целевой переменной (target).

• Feature: входной признак (цена, число слов, значения пикселей)
• Label / target: ответ, которому нужно научиться (спам, цена, категория)
• Model: функция с параметрами, которые подстраиваются при обучении

02Виды обучения

Supervised learning (обучение с учителем) использует размеченные примеры. Если метка — категория (спам / не спам, какая категория товара), это классификация; если число (цена дома, время доставки) — регрессия. Unsupervised learning (без учителя) работает без меток и сам находит структуру: кластеризует клиентов в сегменты, выявляет необычные транзакции или сжимает данные. Reinforcement learning (обучение с подкреплением) учится методом проб и ошибок по наградам, как агенты для игр и управление роботами. Self-supervised learning создаёт метки из самих данных — например, скрывает следующее слово в предложении и предсказывает его. Так большие языковые модели предобучаются на огромных объёмах текста, прежде чем их доводят с помощью обратной связи от людей. Для большинства бизнес-задач начинать стоит с обучения с учителем на табличных данных.

03Training и inference

Training — фаза обучения: модель видит примеры, делает прогнозы, измеряет, насколько ошиблась, с помощью функции потерь (loss function) и слегка сдвигает параметры, чтобы уменьшить потери, — обычно градиентным спуском, который раз за разом делает маленькие шаги «под гору» по поверхности ошибки. Это вычислительно тяжело и происходит время от времени. Inference — фаза использования: обученная, теперь замороженная модель получает новые входы и возвращает прогнозы. Это происходит постоянно, в продакшене, и должно быть быстрым и дешёвым. Это разделение важно для инженерии: обучению нужны пайплайны данных, эксперименты и часто GPU; inference — API, мониторинг и бюджеты задержки. Когда вы вызываете LLM API, вы делаете inference на модели, которую обучил кто-то другой.

1from sklearn.model_selection import train_test_split
2from sklearn.ensemble import RandomForestClassifier
3from sklearn.metrics import classification_report
4 
5X, y = load_orders_features()  # features and labels (1 = fraud, 0 = ok)
6X_train, X_test, y_train, y_test = train_test_split(
7    X, y, test_size=0.2, stratify=y, random_state=42
8)
9 
10model = RandomForestClassifier(n_estimators=300, random_state=42)
11model.fit(X_train, y_train)            # training
12 
13pred = model.predict(X_test)           # inference on unseen data
14print(classification_report(y_test, pred))

04Обучающая, валидационная и тестовая выборки

Модель, которую проверяют на тех же данных, на которых она училась, будет выглядеть блестяще и провалится в реальной жизни — как студент, выучивший наизусть ответы на прошлогодний экзамен. Поэтому данные делят на три части. Обучающая выборка (train) — для обучения. Валидационная (validation) — для решений, которые принимаете вы: какой алгоритм, какие настройки (гиперпараметры), какие признаки. Тестовая (test) заперта и используется один раз в конце, чтобы честно оценить качество в реальном мире. Типичные пропорции — 70/15/15 или 80/10/10. Кросс-валидация прогоняет валидационную часть по нескольким фолдам, чтобы получить более стабильную оценку на небольших датасетах. Для данных, зависящих от времени, — продажи, цены, отток — делите по времени: обучайте на прошлом, тестируйте на будущем, потому что именно так модель и будет использоваться.

05Переобучение и недообучение

Переобучение (overfitting) означает, что модель выучила шум и причуды обучающих данных вместо общей закономерности: отличные результаты на обучении, плохие на новых данных. Недообучение (underfitting) — противоположность: модель слишком проста, чтобы уловить закономерность, и плохо работает везде. Представьте, что вы проводите кривую через точки: прямая может недообучиться, безумно извилистая линия через каждую точку переобучается, а плавная кривая обобщает. Признак переобучения — большой разрыв между результатами на обучении и валидации. Лекарства: больше разнообразных данных, более простая модель, регуляризация (штраф за экстремальные параметры), early stopping, dropout в нейросетях и удаление признаков, через которые «протекает» ответ. Цель всегда — обобщение: хорошо работать на данных, которых модель никогда не видела.

• Высокий результат на train, низкий на validation → переобучение
• Низкий результат и на train, и на validation → недообучение
• Лечится данными, более простыми моделями, регуляризацией, early stopping

06Метрики: что значит «хорошо»

Accuracy — доля верных прогнозов — вводит в заблуждение, когда классы несбалансированы. Если мошеннических транзакций 1%, модель, которая всегда отвечает «не мошенничество», имеет accuracy 99% и бесполезна. Поэтому используют метрики получше. Precision: из всего, что помечено как мошенничество, сколько действительно им было? Recall: из всего реального мошенничества сколько мы поймали? F1 объединяет обе. ROC-AUC и PR-AUC показывают, насколько хорошо модель ставит положительные примеры выше отрицательных при всех порогах. Для регрессии MAE (mean absolute error) легко объяснить в реальных единицах, а RMSE сильнее штрафует за большие ошибки. Всегда привязывайте метрику к стоимости для бизнеса: в антифроде пропущенное мошенничество может стоить гораздо дороже ложной тревоги, поэтому порог решения настраивают соответственно, часто в пользу recall.

1from sklearn.metrics import precision_score, recall_score, f1_score, roc_auc_score
2 
3proba = model.predict_proba(X_test)[:, 1]
4pred = (proba >= 0.3).astype(int)   # threshold chosen from business costs
5 
6print("precision", precision_score(y_test, pred))
7print("recall   ", recall_score(y_test, pred))
8print("f1       ", f1_score(y_test, pred))
9print("roc_auc  ", roc_auc_score(y_test, proba))

07Градиентный спуск и как учатся нейросети

Обучение — это задача оптимизации. Функция потерь превращает «насколько модель ошибается» в одно число — cross-entropy для классификации, mean squared error для регрессии. Градиент — это направление, в котором потери растут быстрее всего по каждому параметру; градиентный спуск сдвигает параметры на небольшой шаг в обратную сторону. Размер шага — это learning rate: слишком большой — и обучение расходится или скачет, слишком маленький — и оно ползёт. На практике используют мини-батчи (стохастический градиентный спуск) и адаптивные оптимизаторы вроде Adam, которые подбирают размер шага для каждого параметра. Нейросети считают градиенты через все слои с помощью backpropagation — эффективного применения цепного правила. Большие модели добавляют приёмы — warm-up и затухание learning rate, слои нормализации, gradient clipping, — но базовый цикл тот же: предсказать, измерить потери, посчитать градиенты, обновить.

1import numpy as np
2 
3# Linear regression y ≈ w*x + b with plain gradient descent
4x = np.array([1, 2, 3, 4, 5], dtype=float)
5y = np.array([3, 5, 7, 9, 11], dtype=float)   # true: w=2, b=1
6w, b, lr = 0.0, 0.0, 0.05
7 
8for epoch in range(500):
9    pred = w * x + b
10    err = pred - y
11    loss = (err ** 2).mean()
12    w -= lr * 2 * (err * x).mean()   # gradient of loss w.r.t. w
13    b -= lr * 2 * err.mean()         # gradient of loss w.r.t. b
14 
15print(round(w, 2), round(b, 2), round(loss, 4))

08Компромисс bias–variance и регуляризация

Ошибка прогноза состоит из трёх частей: bias (смещение — ошибка из-за неверных допущений, когда модель слишком проста, чтобы уловить закономерность), variance (разброс — ошибка из-за чувствительности к конкретной обучающей выборке, когда модель настолько гибкая, что сильно меняется от небольших изменений данных) и неустранимый шум. У простых моделей высокий bias и низкий variance; у сложных — наоборот. Регуляризация намеренно добавляет немного bias, чтобы снизить variance: L2 (ridge) уменьшает все веса, L1 (lasso) зануляет часть из них и тем самым отбирает признаки, деревья ограничивают глубину или размер листа, а нейросети используют weight decay, dropout и early stopping. Ансамбли тоже снижают variance: random forest усредняет множество декоррелированных деревьев, а gradient boosting добавляет маленькие деревья, исправляющие предыдущие ошибки. Современный deep learning усложняет классическую картину — очень большие сети могут хорошо обобщать, несмотря на огромную ёмкость, — но в повседневных табличных задачах этот компромисс — надёжный ориентир.

09Утечка данных и ловушки оценки

Утечка — самая частая причина, по которой модель отлично выглядит офлайн и проваливается в продакшене. Target leakage: признак кодирует исход, например «account_closed_date» при прогнозе оттока. Temporal leakage: агрегаты, посчитанные по всему датасету включая будущее, или случайное разбиение данных, упорядоченных по времени. Group leakage: один и тот же клиент или пациент попадает и в train, и в test, и модель узнаёт конкретных людей, а не закономерности, — используйте разбиения с учётом групп. Pre-processing leakage: масштабирование, заполнение пропусков или отбор признаков на всём датасете до разбиения; обучайте эти шаги внутри пайплайна только на обучающих данных. Быстрый тест: если качество кажется слишком хорошим, чтобы быть правдой, посмотрите на важность признаков и для каждого топового спросите себя: «а я правда буду знать это значение в момент прогноза?»

1from sklearn.pipeline import make_pipeline
2from sklearn.preprocessing import StandardScaler
3from sklearn.linear_model import LogisticRegression
4from sklearn.model_selection import GroupKFold, cross_val_score
5 
6# Scaling is fitted inside each fold -> no pre-processing leakage
7pipe = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
8 
9# Same customer never in both train and validation folds
10scores = cross_val_score(pipe, X, y, groups=customer_ids,
11                         cv=GroupKFold(n_splits=5), scoring="roc_auc")
12print(scores.mean(), scores.std())

10Из ноутбука в продакшен (основы MLOps)

Модель в ноутбуке — это эксперимент; модель в продакшене — это сервис с зависимостями. Основное: воспроизводимое обучение (версионированный снапшот данных, коммит кода, random seeds, окружение), реестр моделей, хранящий артефакты вместе с метриками, и абсолютно одинаковая логика признаков при обучении и в serving — расхождения здесь (training–serving skew) — классический тихий баг, от которого призваны защищать feature store. Отдавайте модели через API или batch-задачу с валидацией входа, бюджетами задержки и fallback-правилом. Мониторьте три уровня: система (задержка, ошибки), данные (распределения признаков, пропуски, дрейф) и результат (реальные метрики, когда появятся метки). Выкатывайте через shadow mode или canary, сравнивайте с текущей моделью и держите откат простым. Переобучайте по расписанию или по триггеру и каждый раз заново проверяйте справедливость и качество по подгруппам.