Глубокое обучение с Julia и Flux: 60-минутный краткий курс

Отправной точкой для всех моделей является тип Array (в других фреймворках иногда называемый Tensor). Это попросту список чисел, которые могут быть выстроены в определенной форме, например квадратной. Давайте напишем массив с тремя элементами.

А так создается матрица — квадратный массив с четырьмя элементами.

Часто приходится работать с массивами из тысяч элементов, но записывать каждый из них вручную было бы слишком долго. Вот как можно создать массив из 5×3 = 15 элементов, каждый из которых — это случайное число от нуля до единицы.

Есть несколько таких функций: попробуйте изменить rand на ones, zeros или randn и посмотрите, что произойдет.

По умолчанию числа хранятся в Julia в формате высокой точности, который называется Float64. При машинном обучении столько цифр не нужно, и достаточно использовать формат Float32. Но можно и, наоборот, увеличить точность с помощью BigFloat.

Мы можем узнать, сколько элементов в массиве.

Либо узнать, какого он размера.

Иногда нужно обратиться к отдельным элементам массива.

Это означает получение элемента во второй строке третьем столбце. Мы также можем получить элементы из каждой строки в третьем столбце.

Массивы можно складывать и вычитать: при этом складываются или вычитаются все элементы массивов.

Julia поддерживает возможность, которая называется трансляцией, посредством точечного синтаксиса (.). Она позволяет заполнить большой массив массивом меньшего размера (или отдельным числом).

Вот так в Julia можно заполнить вектором-столбцом 1:5 все строки массива.

Синтаксис x' служит для транспонирования столбца 1:5 в эквивалентную строку, которой будут заполнены все столбцы.

Таким образом можно построить таблицу умножения.

Наконец, что важно в случае с машинным обучением, мы можем легко выполнять такие действия, как умножение матриц.

В Julia возможности работы с массивами очень широки. Узнать о них больше можно здесь.

В школе вы, вероятно, учились находить производные. Мы начнем с простейшей математической функции:

В простых случаях определить градиент достаточно легко вручную — в данном случае это 6x+2. Но эту работу за нас может сделать Flux!

Можно попробовать использовать разные входные значения, чтобы убедиться в том, что результат соответствует выражению 6x+2. Можно и повторить операцию (однако вторая производная будет попросту 6).

Механизм автоматического дифференцирования Flux может обработать любой предоставленный код Julia, включая циклы, рекурсию и пользовательские слои, при условии, что вызываемые математические функции поддаются дифференцированию. Например, мы можем продифференцировать аппроксимацию Тейлора для функции sin.

Как и следовало ожидать, вычисленная производная очень близка к cos(x).

Ситуация становится любопытнее в случае с функциями, которые принимают на входе массивы, а не отдельные числа. Например, вот функция, принимающая матрицу и два вектора (определение само по себе произвольное):

Теперь мы получаем градиенты для каждого из входных объектов W, b и x, что удобно при обучении моделей.

Так как модели машинного обучения могут содержать сотни параметров, Flux позволяет записывать функцию gradient немного иначе. Мы можем пометить массивы словом param, чтобы указать, что нужны их производные. W и b представляют соответственно вес и смещение.

Теперь мы можем получить градиенты W и b непосредственно по этим параметрам.

Это оказывается удобно при работе со слоями. Слой — это просто удобный контейнер для некоторых параметров. Например, Dense выполняет линейное преобразование.

Параметры любого слоя или модели с параметрами можно легко получить с помощью params.

Это позволяет очень легко вычислить градиент для всех параметров сети, даже если их много.

Слои использовать необязательно, но они могут быть удобны для множества простых моделей и быстрой итерации.

Следующий шаг — обновление весов и выполнение оптимизации. Как вам, возможно, известно, градиентный спуск — это простой алгоритм, который принимает веса и выполняет шаги с использованием скорости обучения и градиентов. weights = weights - learning_rate * gradient.

Хотя такой способ обновления весов допустим, по мере усложнения алгоритмов ситуация становится все более запутанной.

В состав Flux входит набор готовых оптимизаторов, но можно и достаточно легко создавать собственные. Достаточно указать скорость обучения η:

Обучение (Training) сети сводится к многократному перебору набора данных с выполнением этих шагов по порядку. Чтобы быстро продемонстрировать реализацию, давайте обучим сеть прогнозировать значение 0.5 для каждого входного набора из 10 чисел плавающей запятой. С этой целью во Flux определена функция train!.

Использовать функцию train! необязательно. В случаях, когда может лучше подойти произвольная логика, можно открыть цикл обучения следующим образом:

Чтобы лучше разобраться в процессе, будет полезно посмотреть, как работает реальный классификатор. CIFAR10 — это набор данных из 50 тысяч небольших обучающих изображений, разделенных на 10 классов.

Мы выполним по порядку следующие действия: