СПб.: Питер, 2018. — 480 с. — ISBN 978-5-496-02536-2.
Первая книга о глубоком обучении, написанная на русском языке.
Глубокие модели оказались ключом, который подходит ко всем замкам
сразу: новые архитектуры и алгоритмы обучения, а также
увеличившиеся вычислительные мощности и появившиеся огромные наборы
данных, привели к революционным прорывам в компьютерном зрении,
распознавании речи, обработке естественного языка и многих других
типично "человеческих" задачах машинного обучения. Эти
захватывающие идеи, вся история и основные компоненты революции
глубокого обучения, а также самые современные достижения этой
области, доступно и интересно изложены в книге. Максимум
объяснений, минимум кода, серьезный материал о машинном обучении и
увлекательное изложение - в этой уникальной работе замечательных
российских ученых и интеллектуалов.
Как обучать нейронные сети
От биологии к информатике, или We need to go deeper
Революция обучения глубоких сетей
Искусственный интеллект и машинное обучение
Немного о словах: каким бывает машинное обучение
Особенности человеческого мозга
Пределы нейробиологии: что мы на самом деле знаем?
Блеск и нищета современных нейронных сетей
Предварительные сведения, или Курс молодого бойца
Теорема Байеса
Функции ошибки и регуляризация
Расстояние Кульбака — Лейблера и перекрестная энтропия
Градиентный спуск: основы
Граф вычислений и дифференцирование на нем
И о практике: введение в TensorFlow и Keras
Перцептрон, или Эмбрион мудрого компьютера
Когда появились искусственные нейронные сети
Как работает перцептрон
Современные перцептроны: функции активации
Как же обучаются настоящие нейроны
Глубокие сети: в чем прелесть и в чем сложность?
Пример: распознавание рукописных цифр на TensorFlow
Основные архитектуры
Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
Регуляризация в нейронных сетях
Как инициализировать веса
Нормализация по мини-батчам
Метод моментов: Ньютон, Нестеров и Гессе
Адаптивные варианты градиентного спуска
Сверточные нейронные сети и автокодировщики, или Не верь глазам своим
Зрительная кора головного мозга
Свертки и сверточные сети
Свертки для распознавания цифр
Современные сверточные архитектуры
Автокодировщики
Пример: кодируем рукописные цифры
Рекуррентные нейронные сети, или Как правильно кусать себя за хвост
Мотивация: обработка последовательностей
Распространение ошибки и архитектуры RNN
LSTM
GRU и другие варианты
SCRN и другие: долгая память в обычных RNN
Пример: порождаем текст символ за символом
Новые архитектуры и применения
Как научить компьютер читать, или Математик − Мужчина + Женщина = ...
Интеллектуальная обработка текстов
Распределенные представления слов: word2vec
Русскоязычный word2vec на практике
GloVe: раскладываем матрицу правильно
Вверх и вниз от представлений слов
Рекурсивные нейронные сети и синтаксический разбор
Современные архитектуры, или Как в споре рождается истина
Модели с вниманием и encoder-decoder
Порождающие модели и глубокое обучение
Состязательные сети
Практический пример и трюк с логистическим сигмоидом
Архитектуры, основанные на GAN
Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом
Обучение с подкреплением
Марковские процессы принятия решений
От TDGammon к DQN
Бамбуковая хлопушка
Градиент по стратегиям и другие применения
Нейробайесовские методы, или Прошлое и будущее машинного обучения
Теорема Байеса и нейронные сети
Алгоритм EM
Вариационные приближения
Вариационный автокодировщик
Байесовские нейронные сети и дропаут
Заключение: что не вошло в книгу и что будет дальше
Благодарности
Литература
От биологии к информатике, или We need to go deeper
Революция обучения глубоких сетей
Искусственный интеллект и машинное обучение
Немного о словах: каким бывает машинное обучение
Особенности человеческого мозга
Пределы нейробиологии: что мы на самом деле знаем?
Блеск и нищета современных нейронных сетей
Предварительные сведения, или Курс молодого бойца
Теорема Байеса
Функции ошибки и регуляризация
Расстояние Кульбака — Лейблера и перекрестная энтропия
Градиентный спуск: основы
Граф вычислений и дифференцирование на нем
И о практике: введение в TensorFlow и Keras
Перцептрон, или Эмбрион мудрого компьютера
Когда появились искусственные нейронные сети
Как работает перцептрон
Современные перцептроны: функции активации
Как же обучаются настоящие нейроны
Глубокие сети: в чем прелесть и в чем сложность?
Пример: распознавание рукописных цифр на TensorFlow
Основные архитектуры
Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
Регуляризация в нейронных сетях
Как инициализировать веса
Нормализация по мини-батчам
Метод моментов: Ньютон, Нестеров и Гессе
Адаптивные варианты градиентного спуска
Сверточные нейронные сети и автокодировщики, или Не верь глазам своим
Зрительная кора головного мозга
Свертки и сверточные сети
Свертки для распознавания цифр
Современные сверточные архитектуры
Автокодировщики
Пример: кодируем рукописные цифры
Рекуррентные нейронные сети, или Как правильно кусать себя за хвост
Мотивация: обработка последовательностей
Распространение ошибки и архитектуры RNN
LSTM
GRU и другие варианты
SCRN и другие: долгая память в обычных RNN
Пример: порождаем текст символ за символом
Новые архитектуры и применения
Как научить компьютер читать, или Математик − Мужчина + Женщина = ...
Интеллектуальная обработка текстов
Распределенные представления слов: word2vec
Русскоязычный word2vec на практике
GloVe: раскладываем матрицу правильно
Вверх и вниз от представлений слов
Рекурсивные нейронные сети и синтаксический разбор
Современные архитектуры, или Как в споре рождается истина
Модели с вниманием и encoder-decoder
Порождающие модели и глубокое обучение
Состязательные сети
Практический пример и трюк с логистическим сигмоидом
Архитектуры, основанные на GAN
Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом
Обучение с подкреплением
Марковские процессы принятия решений
От TDGammon к DQN
Бамбуковая хлопушка
Градиент по стратегиям и другие применения
Нейробайесовские методы, или Прошлое и будущее машинного обучения
Теорема Байеса и нейронные сети
Алгоритм EM
Вариационные приближения
Вариационный автокодировщик
Байесовские нейронные сети и дропаут
Заключение: что не вошло в книгу и что будет дальше
Благодарности
Литература