Машинное обучение

👶 Традиционный способ (обычное программирование)

Мы объясняем ребёнку правила:

• «Собака — это животное с 4 лапами»
• «У неё есть шерсть»
• «У неё есть уши»
• «У неё есть хвост»

❌ Проблемы:

• У кошек тоже 4 лапы, шерсть, уши и хвост
• У некоторых собак нет хвоста
• У одних собак стоячие уши, у других — висячие
• Есть крошечные собаки и огромные
• Невозможно записать все правила!

🧒 Способ машинного обучения

Мы показываем ребёнку тысячи изображений:

• «Это собака» (смотрит 1000 изображений)
• «Это не собака» (смотрит 1000 изображений кошек, кроликов и т. д.)

✅ Что происходит:

• Ребёнок сам усваивает закономерности
• Он не может точно объяснить, откуда знает, — но знает
• Он узнаёт новых собак, которых никогда не видел

📊 Шаг 1: Сбор данных

Собираем много примеров. Обычно чем больше, тем лучше.

Пример: 10 000 изображений собак и 10 000 изображений не-собак

🏷️ Шаг 2: Разметка (иногда)

Размечаем данные — какой правильный ответ у каждого примера.

Пример: каждое изображение помечено как «собака» или «не собака»

🏋️ Шаг 3: Обучение (training)

Компьютер проходит все примеры, анализирует их и ищет закономерности.

Это как «готовиться к экзамену»: компьютер практикуется снова и снова, пока не начнёт справляться.

Время: от минут до недель — зависит от сложности

🎯 Шаг 4: Модель

Результат — «модель»: математическая структура, которая отражает то, чему компьютер научился.

Модель — как «мозг», построенный в процессе обучения.

🔮 Шаг 5: Вывод (inference)

Теперь модели можно дать новый вход, и она «угадает» ответ.

Пример: новое изображение → модель говорит: «с вероятностью 93% это собака»

📈 Шаг 6: Оценка и улучшение

Проверяем, как часто модель права. Если ошибок много — улучшаем и корректируем.

Это итеративный процесс постоянного улучшения.

Как это работает:

Как учёба с учителем, который даёт упражнения с решениями:

• Компьютер видит: вход (X) → ответ (Y)
• Компьютер учится: какая связь между X и Y?
• Теперь, когда есть новый X → компьютер угадывает Y

Примеры из реальной жизни:

• Обнаружение спама: тысячи писем с метками «спам» / «не спам» → модель учится их различать
• Прогноз цены дома: данные о проданных домах и ценах → модель предсказывает цену нового дома
• Медицинская диагностика: рентгеновские снимки с метками «здоров» / «болезнь» → модель выявляет заболевания
• Распознавание лиц: изображения с именами → модель узнаёт, кто на фото
• Перевод: миллионы переведённых предложений → модель учится переводить

Как это работает:

• Компьютер получает неразмеченные данные
• Ищет сходство между точками данных
• Кластеризует или находит скрытую структуру

Примеры из реальной жизни:

• Сегментация клиентов: система анализирует покупательское поведение и делит на группы (VIP, разовые, «спящие»…)
• Обнаружение аномалий: поиск необычных операций по кредитной карте
• Сжатие данных: поиск более эффективного представления информации
• Рекомендательные системы: группировка похожих товаров/пользователей
• Анализ социальных сетей: поиск сообществ

Как это работает:

Как дрессировка собаки:

• Агент: кто учится (собака / программа)
• Среда: мир, в котором он действует
• Действия: что агент может делать
• Награда: обратная связь по действиям (+1 за успех, −1 за неудачу)

Агент постепенно учится, какие действия приносят наибольшую награду.

Примеры из реальной жизни:

• AlphaGo: научился играть в го на уровне чемпиона мира
• Роботы: учатся ходить, брать предметы
• Автономное вождение: обучение на опыте вождения
• Видеоигры: ИИ, который обыгрывает людей
• Оптимизация: управление электропитанием в центрах обработки данных

Как это работает:

• Нейроны: небольшие вычислительные единицы, которые принимают вход и выдают выход
• Слои: нейроны организованы в слои
• Связи: каждый нейрон связан с нейронами следующего слоя
• Веса: у каждой связи есть «вес», который задаёт её влияние

В процессе обучения система подстраивает веса, чтобы улучшить результаты.

Пример — распознавание лиц:

• Ранние слои: обнаруживают края и простые кривые
• Средние слои: обнаруживают формы (глаза, нос, рот)
• Глубокие слои: распознают целые лица и личность

Каждый слой учится всё более абстрактным представлениям.

CNN — свёрточные нейронные сети (Convolutional Neural Networks)

Специализируются на изображениях и видео. Используются для распознавания лиц, обнаружения объектов, анализа медицинских снимков.

RNN / LSTM — рекуррентные нейронные сети (Recurrent Neural Networks)

Специализируются на последовательностях (текст, время). Используются для перевода, анализа тональности, прогнозирования.

Трансформеры (Transformers)

Революционная архитектура 2017 года. Основа GPT, BERT и большинства современных языковых моделей. Могут обрабатывать длинный вход и понимать далёкие связи в тексте.

🏥 Медицина — диагностика рака

Проблема: врачи иногда пропускают небольшие опухоли на снимках

Решение:

• Обучение на миллионах размеченных снимков
• Модель учится распознавать признаки опухоли
• Показывает врачу «подозрительные области»

Результат: уровень выявления 95%+, иногда лучше, чем у врачей-специалистов

🏦 Банки — обнаружение мошенничества

Проблема: миллионы операций в день, вручную всё не проверить

Решение:

• Модель учится, что для каждого клиента «нормально»
• Обнаруживает аномалии: необычное место, сумма, характер покупок
• Отправляет оповещение или блокирует операцию

Результат: экономия миллиардов долларов в год

🎵 Spotify — рекомендации музыки

Проблема: десятки миллионов песен — как найти то, что вам понравится?

Решение (сочетание подходов):

• Collaborative Filtering: «людям, которым нравилось X, также нравилось Y»
• Content-Based: музыкальный анализ (темп, инструменты, жанр)
• NLP: анализ текстов песен и описаний
• Audio Analysis: анализ самого звука

Результат: Discover Weekly — персональный список, который каждую неделю вас удивляет

🚗 Tesla — автономное вождение

Проблема: вождение требует понимания сложной среды и реакций в реальном времени

Решение:

• Камеры: 8 камер вокруг автомобиля
• Компьютерное зрение: обнаружение машин, пешеходов, знаков, полос
• Прогноз: предсказание поведения других участников движения
• Планирование пути: решение, куда ехать
• Обучение флота: каждая поездка Tesla учит систему

Результат: миллиарды километров данных о вождении

💬 ChatGPT — языковая модель

Проблема: создать естественный разговор с компьютером

Решение:

• Предобучение (pre-training): обучение на триллионах слов из интернета
• Задача: предсказать следующее слово в тексте
• Дообучение (fine-tuning): настройка на примерах хороших диалогов
• RLHF: обучение с подкреплением по обратной связи от людей

Результат: модель, которая может ответить почти на любой вопрос на естественном языке

📊 1. Данные — топливо

Без данных машинного обучения нет. Нужны:

• Количество: обычно чем больше, тем лучше (от тысяч до миллиардов)
• Качество: чистые, точные данные без ошибок
• Разнообразие: данные, которые представляют все возможные случаи
• Разметка: при обучении с учителем ответы должны быть отмечены

💻 2. Вычислительные ресурсы

Обучение моделей требует тяжёлых вычислений:

• GPU: графические процессоры, которые отлично справляются с параллельными вычислениями
• TPU: специальные чипы Google для ML
• Облако: AWS, Google Cloud, Azure предлагают мощное оборудование

Стоимость: обучение модели масштаба GPT-5 оценивается в десятки–сотни миллионов долларов.

🧮 3. Алгоритм

Математический метод, которым компьютер учится:

• Выбор архитектуры (CNN, Transformer и т. д.)
• Целевая функция (что модель пытается улучшить?)
• Оптимизация (как обновлять веса?)
• Гиперпараметры (скорость обучения, размер пакета и т. д.)

👨‍💻 4. Экспертиза

Нужны люди, которые понимают:

• Data Scientists — анализируют данные и строят модели
• ML Engineers — внедряют и разворачивают системы
• Domain Experts — разбираются в конкретной предметной области

⏰ 5. Время

Обучение занимает время:

• Небольшая модель: минуты–часы
• Средняя модель: часы–дни
• Большая модель (например, GPT-5): недели–месяцы

🎯 Переобучение (overfitting)

Когда модель «запоминает» обучающие данные вместо того, чтобы усвоить общие закономерности.

Пример: ученик выучил все ответы тренировочного теста — но проваливает настоящий экзамен.

Решение: больше данных, регуляризация, проверка на новых данных.

📉 Недообучение (underfitting)

Когда модель слишком простая и не может усвоить закономерности.

Решение: более сложная модель, больше признаков (features), больше обучения.

🔄 Обучающая / валидационная / тестовая выборки (Training / Validation / Test Sets)

Данные делят на три набора:

• Обучение (70%): для обучения модели
• Валидация (15%): для настройки и калибровки
• Тест (15%): для итоговой оценки — не трогать до конца!

📊 Accuracy, Precision, Recall

Метрики качества модели:

• Accuracy (доля верных ответов): как часто мы были правы в целом
• Precision (точность): когда мы сказали «да» — как часто мы были правы?
• Recall (полнота): из всех настоящих «да» — сколько мы нашли?

⚖️ Предвзятость (bias)

Когда модель систематически дискриминирует. Бывает из-за несбалансированных данных.

Пример: модель найма, обученная на существующих сотрудниках (в основном мужчинах), дискриминирует женщин.