Машинное и глубокое обучение

Об учебнике

Приветствую, уважаемый посетитель. Этот онлайн-учебник посвящен увлекательной, перспективной и бурно развивающейся теме машинного обучения (machine learning) и глубокого обучения (deep learning), позволяющей наделять компьютерные программы возможностью принимать сложные интеллектуальные решения, автоматически настраиваемые по наблюдаемым данным.

Онлайн-учебник создан и написан Виктором Владимировичем Китовым и содержит базовые темы читаемых автором курсов на факультете вычислительной математики и кибернетики (ВМК) в МГУ им. М.В.Ломоносова и в бакалавриате Т-Банка для студентов МФТИ.

Учебник занял призовое место в номинации "ИИ для всех" от компании МТС Web Services на фестивале науки и технологий RuCode (2025), а курс "Методы машинного обучения", на котором учебник основан, победил в конкурсе компании VK (ВКонтакте) среди курсов IT направленности (2024).

Структура учебника

Учебник состоит из двух частей, посвящённых машинному и глубокому обучению.

Первая часть учебника посвящена классическим алгоритмам машинного обучения. Рассматривается полный цикл решения задач регрессии и классификации. В учебнике раскрываются следующие темы:

• Какие задачи решаются с помощью машинного обучения?
• Какие существуют алгоритмы машинного обучения?
• Как объединять несколько прогнозирующих моделей в ансамбль так, чтобы итоговые прогнозы получались ещё точнее?
• Как подготовить данные для обработки?
• Как настраивать модели машинного обучения?
• Как оценить качество полученных моделей?
• Как проинтерпретировать их прогнозы?

Вторая часть учебника посвящена нейронным сетям. В ней рассматриваются следующие темы:

• Какие задачи можно решать с помощью нейронных сетей?
• Как с их помощью обрабатывать изображения, последовательности, временные ряды, тесты и графы?
• Какие бывают виды нейронных сетей?
• Как обучать нейросетевые модели? Как сделать обучение более эффективным?
• Какие есть подходы к регуляризации (упрощению) нейронных сетей?

Помимо классических задач регрессии и классификации рассматриваются и более специфические задачи для каждой предметной области:

• Как на изображениях выделить объекты заданных типов? (например, машины и людей)
• Как обрабатывать тексты и последовательности произвольной длины, чтобы при обработке помнить все исторические наблюдения?
• Как с помощью нейросетей описать сложные объекты более экономично и компактно?
• Как закодировать слова текста так, чтобы близким по смыслу словам отвечали похожие кодировки?
• Как генерировать в качестве прогноза модели не вектор чисел, а последовательность произвольной длины?
• Как построить вопросно-ответную систему и систему машинного перевода с одного языка на другой?
• Как обрабатывать данные, заданные в виде графа?
• Как строить прогнозы для графа целиком и для его отдельных вершин и рёбер? Как восстанавливать недостающие рёбра графа?

Если вас интересуют только нейронные сети, то вам из первой части учебника всё равно пригодятся общие сведения о том, какие типы задач бывают, как подготавливать данные для обработки, как оценивать качество моделей и интерпретировать их прогнозы.

Задача учебника

Мои образовательные курсы проходят по презентациям и с мелом у доски. Однако мне, как автору, была близка идея создать максимально комфортные условия для освоения предмета моими студентами, а также всеми, кому тема машинного и глубокого обучения близка и интересна. Если вам помогли материалы учебника, пишите на deepmachinelearning@yandex.ru, обратная связь очень ценна! Также вы можете распространить информацию об учебнике среди ваших друзей и коллег по работе.

Составление учебника велось исходя из следующих принципов:

• Дать полноту картины, чтобы читатель, последовательно читающий главы, мог понять контекст каждой темы и её связь со смежными темами.
• Сделать текст максимально доступным, описывая решаемую в каждом случае задачу на простых примерах и сопровождая текст поясняющими иллюстрациями и схемами.
• Дать возможность читателю разобраться в принципах работы основных алгоритмов не только на интуитивном уровне, но и по сути за счёт объяснения их работы математическими формулами и псевдокодом.

По уровню сложности учебник сделан для широкого круга читателей, уверенно владеющих основами высшей математики (это язык data science). Учебник подходит для изучения темы с нуля, поскольку повествование ведётся с самых основ, с разбором мотивации, лежащей в основе каждого принципа и метода, с приведением иллюстративных примеров, а также с изучением основных параметров и настроек. Читателям, уже знакомым с машинным и глубоким обучением, учебник может быть полезен для расширения кругозора, а также как справочный материал, поскольку повествование сопровождается ссылками на статьи-первоисточники, а также на другие рекомендуемые материалы по каждой теме.

Акцент учебника сделан на детальном описании базовых принципов, алгоритмов и блоков машинного и глубокого обучения, на основе которых читатель уже может составлять собственные решения или модифицировать имеющиеся за пределами пресловутого "stack more layers", то есть механического наращивания дополнительных слоёв нейросети. А самые современные методы вы впоследствии всегда можете изучить здесь и здесь (могут не работать из России).

Задачей учебника было хотя бы частично устранить информационный дисбаланс между англоязычным и русскоязычным интернетом по фундаментальным темам машинного и глубокого обучения, сделать их изучение на русском языке более доступным и комфортным, поддерживая при этом полноту покрытия взаимосвязанных тем.

Надеюсь, онлайн-учебник позволит читателям глубже разобраться в машинном обучении и нейронных сетях, сделать карьеру в data science и реализовать свои самые смелые мечты в духе моего музыкального трека (созданного, впрочем, без использования ИИ).

Связь с учебником Яндекса от ШАД

По общей тематике и онлайн-формату учебник больше всего похож на учебник по машинному обучению от уважаемых коллег из школы анализа данных Яндекса, дающей качественное образование в области Data Science на уровне лучших мировых стандартов. Поэтому их открытые материалы представляют большую ценность и вносят неоценимый вклад в развитие отечественного образования.

Чтобы избежать повторений и обеспечить новизну контента, материалы данного учебника создавались независимо на основе англоязычных учебников и статей-первоисточников, а учебник Яндекса практически не использовался. Поэтому содержимое учебников получилось различным по структуре и форме подачи материала, с разными авторскими акцентами. Часть тем присутствует только в этом учебнике, а часть - только в учебнике Яндекса. Также учебник Яндекса покрывает много дополнительных тем, выходящих за пределы базового курса по машинному и глубокому обучению. Данный же учебник ставит задачу детального разбора именно базовых тем этой области.

Использование материалов

Материалы учебника охраняются законом об авторских правах, с правами использования вы можете ознакомиться в разделе лицензия.

Разработка и систематизация материалов поддержана грантом некоммерческого фонда развития науки и образования «Интеллект».

Логотип: designed by freepik.