СПб.: Питер, 2018. — 480 с. — ISBN 978-5-496-02536-2.
Перед вами - первая книга о глубоком обучении, написанная на
русском языке. Глубокие модели оказались ключом, который подходит
ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а
также увеличившиеся вычислительные мощности и появившиеся огромные
наборы данных, привели к революционным прорывам в компьютерном
зрении, распознавании речи, обработке естественного языка и многих
других типично "человеческих" задачах машинного обучения. Эти
захватывающие идеи, вся история и основные компоненты революции
глубокого обучения, а также самые современные достижения этой
области, доступно и интересно изложены в книге. Максимум
объяснений, минимум кода, серьезный материал о машинном обучении и
увлекательное изложение - в этой уникальной работе замечательных
российских ученых и интеллектуалов.
Как обучать нейронные
сети
От биологии к информатике, или We need to go deeper
Революция обучения глубоких сетей
Искусственный интеллект и машинное обучение
Немного о словах: каким бывает машинное обучение
Особенности человеческого мозга
Пределы нейробиологии: что мы на самом деле знаем?
Блеск и нищета современных нейронных сетей
Предварительные сведения, или Курс молодого бойца
Теорема Байеса
Функции ошибки и регуляризация
Расстояние Кульбака — Лейблера и перекрестная энтропия
Градиентный спуск: основы
Граф вычислений и дифференцирование на нем
И о практике: введение в TensorFlow и Keras
Перцептрон, или Эмбрион мудрого компьютера
Когда появились искусственные нейронные сети
Как работает перцептрон
Современные перцептроны: функции активации
Как же обучаются настоящие нейроны
бокие сети: в чем прелесть и в чем сложность?
Пример: распознавание рукописных цифр на TensorFlow
Основные архитектуры
Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
Регуляризация в нейронных сетях
Как инициализировать веса
Нормализация по мини-батчам
Метод моментов: Ньютон, Нестеров и Гессе
Адаптивные варианты градиентного спуска
Сверточные нейронные сети и автокодировщики, или Не верь глазам своим
Зрительная кора головного мозга
Свертки и сверточные сети
Свертки для распознавания цифр
Современные сверточные архитектуры
Автокодировщики
Пример: кодируем рукописные цифры
Рекуррентные нейронные сети, или Как правильно кусать себя за хвост
Мотивация: обработка последовательностей
Распространение ошибки и архитектуры RN N
LST M
GRU и другие варианты
SCRN и другие: долгая память в обычных RNN
Пример: порождаем текст символ за символом
Новые архитектуры и применения
Как научить компьютер читать, или Математик — Мужчина + Женщина =
Интеллектуальная обработка текстов
Распределенные представления слов: word2vec
Русскоязычный word2vec на практике
GloVe: раскладываем матрицу правильно
Вверх и вниз от представлений слов
Рекурсивные нейронные сети и синтаксический разбор
Современные архитектуры, или Как в споре рождается истина
Модели с вниманием и encoder-decoder
Порождающие модели и глубокое обучение
Состязательные сети
Практический пример и трюк с логистическим сигмоидом
Архитектуры, основанные на GAN
Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом
Обучение с подкреплением
Марковские процессы принятия решений
От TDGammon к DQN
Бамбуковая хлопушка
Градиент по стратегиям и другие применения
Нейробайесовские методы, или Прошлое и будущее машинного обучения
Теорема Байеса и нейронные сети
Алгоритм ЕМ
Вариационные приближения
Вариационный автокодировщик
Байесовские нейронные сети и дропаут
Заключение: что не вошло в книгу и что будет дальше
Благодарности
Литература
От биологии к информатике, или We need to go deeper
Революция обучения глубоких сетей
Искусственный интеллект и машинное обучение
Немного о словах: каким бывает машинное обучение
Особенности человеческого мозга
Пределы нейробиологии: что мы на самом деле знаем?
Блеск и нищета современных нейронных сетей
Предварительные сведения, или Курс молодого бойца
Теорема Байеса
Функции ошибки и регуляризация
Расстояние Кульбака — Лейблера и перекрестная энтропия
Градиентный спуск: основы
Граф вычислений и дифференцирование на нем
И о практике: введение в TensorFlow и Keras
Перцептрон, или Эмбрион мудрого компьютера
Когда появились искусственные нейронные сети
Как работает перцептрон
Современные перцептроны: функции активации
Как же обучаются настоящие нейроны
бокие сети: в чем прелесть и в чем сложность?
Пример: распознавание рукописных цифр на TensorFlow
Основные архитектуры
Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
Регуляризация в нейронных сетях
Как инициализировать веса
Нормализация по мини-батчам
Метод моментов: Ньютон, Нестеров и Гессе
Адаптивные варианты градиентного спуска
Сверточные нейронные сети и автокодировщики, или Не верь глазам своим
Зрительная кора головного мозга
Свертки и сверточные сети
Свертки для распознавания цифр
Современные сверточные архитектуры
Автокодировщики
Пример: кодируем рукописные цифры
Рекуррентные нейронные сети, или Как правильно кусать себя за хвост
Мотивация: обработка последовательностей
Распространение ошибки и архитектуры RN N
LST M
GRU и другие варианты
SCRN и другие: долгая память в обычных RNN
Пример: порождаем текст символ за символом
Новые архитектуры и применения
Как научить компьютер читать, или Математик — Мужчина + Женщина =
Интеллектуальная обработка текстов
Распределенные представления слов: word2vec
Русскоязычный word2vec на практике
GloVe: раскладываем матрицу правильно
Вверх и вниз от представлений слов
Рекурсивные нейронные сети и синтаксический разбор
Современные архитектуры, или Как в споре рождается истина
Модели с вниманием и encoder-decoder
Порождающие модели и глубокое обучение
Состязательные сети
Практический пример и трюк с логистическим сигмоидом
Архитектуры, основанные на GAN
Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом
Обучение с подкреплением
Марковские процессы принятия решений
От TDGammon к DQN
Бамбуковая хлопушка
Градиент по стратегиям и другие применения
Нейробайесовские методы, или Прошлое и будущее машинного обучения
Теорема Байеса и нейронные сети
Алгоритм ЕМ
Вариационные приближения
Вариационный автокодировщик
Байесовские нейронные сети и дропаут
Заключение: что не вошло в книгу и что будет дальше
Благодарности
Литература