Логистическая регрессия

Сначала импортируем набор данных из MLDatasets.jl. Мы будем использовать набор Iris, который содержит данные о трех разных видах ириса (Iris). Набор состоит из 150 точек данных (x), у каждой из которых четыре признака. Каждый x сопоставлен с y, названием вида ириса (Iris). Следующий код скачивает набор данных Iris при первом запуске.

Давайте посмотрим на набор данных:

Значения y здесь соответствуют типу ириса; всего имеется 150 точек данных. Значения x описывают длину чашелистика, ширину чашелистика, длину лепестка и ширину лепестка (все в см (cm)) 150 растений ириса (поэтому матрица имеет размер 4×150). У разных типов ириса разные длина и ширина чашелистиков и лепестков, и эта связь подчиняется определенной закономерности. С учетом этого можно обучить простой классификатор, который выводит вид ириса на основе длины и ширины чашелистиков и лепестков в качестве входов.

Нашим следующим шагом будет преобразование этих данных в форму, пригодную для подачи в модель машинного обучения. Значения x выстроены в виде матрицы и в идеале должны быть преобразованы в тип Float32 (см. раздел Советы по производительности), но метки должны быть в прямой унитарной кодировке. В этой отличной ветке обсуждения можно найти информацию о различных приемах прямой унитарной кодировки данных с использованием внешних пакетов Julia и без них.

Ту же операцию можно выполнить с помощью функции onehotbatch из пакета OneHotArrays. Мы используем оба этих выхода параллельно, чтобы показать, насколько интуитивно понятна работа с FluxML.

Данные готовы. На следующем шаге необходимо создать для них классификатор.

Модель логистической регрессии математически выражается так:

где W — матрица весов, b — вектор смещений, а σ — какая-либо функция активации. В нашем случае мы воспользуемся функцией активации softmax, так как будем выполнять задачу многоклассовой классификации.

Обратите внимание, что у данной модели нет функции активации, но мы вернемся к этому позже.

Теперь можно перейти к инициализации параметров модели. С учетом того, что у модели четыре входа (четыре признака у каждой точки данных) и три выхода (три разных класса), параметры можно инициализировать следующим образом.

Теперь наша модель может принять весь набор данных и спрогнозировать класс каждого x за один проход. Но нам нужно убедиться в том, что модель выводит вероятности принадлежности входов к соответствующим классам. Так как у модели три входа, определяется вероятность принадлежности каждого из них к определенному классу.

Для сопоставления выходов со значениями вероятности мы используем функцию активации. Здесь имеет смысл использовать функцию активации softmax, которая математически выражается следующим образом:

Функция softmax пропорционально уменьшает выходы до значений вероятности так, что сумма всех конечных выходов равна 1. Давайте реализуем это в Julia.

Реализация выглядит достаточно просто. Обратите внимание, что мы указываем dims=1 в функции sum для вычисления суммы вероятностей в каждом столбце. Напомним, что выходом модели является матрица 3 × 150 (спрогнозированные y), в которой каждый столбец представляет собой выход для соответствующего входа.

Давайте объединим эту функцию softmax с моделью, чтобы построить полную модель custom_model.

Проверим, работает ли модель.

Работает! Проверим, работает ли функция softmax.

Каждое выходное значение находится в диапазоне от 0 до 1, и сумма значений в каждом столбце равна 1.

Давайте преобразуем нашу модель custom_model в модель Flux. Flux предоставляет пользователям очень стройный API, пользоваться которым практически так же удобно, как писать собственный код.

Обратите внимание, что переменные вида flux_* в этом руководстве являются универсальными, то есть их можно использовать и с другими сходными наборами данных, а переменные вида custom_* применимы только в рамках задачи данного руководства.

Dense(4 => 3) — это слой с четырьмя входами (четыре признака у каждой точки данных) и тремя выходами (три класса или метки). Этот слой соответствует определенной выше математической модели. На внутреннем уровне Flux вычисляет выход с использованием того же выражения, но на этот раз нам не нужно самим инициализировать параметры — Flux сделает это за нас.

Используемая здесь функция softmax из библиотеки NNLib.jl повторно экспортируется Flux. Наконец, Flux предоставляет пользователям структуру Chain, позволяющую легко накладывать уровни друг на друга.

Доступ к весам и смещениям модели можно получить следующим образом.

Теперь можно передать сразу все данные, у каждой точки которых четыре признака (входа).

На следующем шаге следует определить некоторые количественные значения для модели, которые будут максимизироваться или минимизироваться в процессе обучения. Этими значениями будут функция потерь и показатель точности.

Начнем с определения функции потерь: logitcrossentropy.

Теперь можно включить custom_logitcrossentropy в функцию, которая принимает параметры модели, x и y, и возвращает значение потерь.

Функция потерь работает!

Flux предоставляет множество полезных функций потерь в лаконичной форме. По сути, определенная выше функция custom_logitcrossentropy была взята напрямую из Flux. Имеющиеся во Flux функции включают в себя проверки исправности, обеспечивают высокую производительность и хорошо взаимодействуют со всей экосистемой FluxML.

Теперь давайте определим функцию точности, которая будет пытаться достичь максимального значения в ходе обучения. Прежде чем переходить к точности, давайте определим функцию onecold. Функция onecold будет преобразовывать выход, который, как вы помните, представляет собой значения вероятности, в имена классов.

Эту задачу можно разделить на две задачи:

Индекс максимального элемента должен определяться по столбцам (напомним, что каждый столбец — это выход одной точки данных x). С этой целью можно воспользоваться функцией Julia argmax.

Теперь можно написать функцию, которая вычисляет индекс максимального элемента в каждом столбце и сопоставляет его с именем класса.

Работает!

Flux предоставляет пользователям функцию onecold, так что писать ее самостоятельно не нужно. Сравним нашу функцию custom_onecold с Flux.onecold.

Обе функции работают одинаково!

Теперь перейдем к показателю точности (accuracy) и запустим с ним необученную модель custom_model.

Для определения функции точности можно было бы также воспользоваться встроенными возможностями Flux.

Давайте обучим нашу модель с помощью классического алгоритма градиентного спуска. Согласно алгоритму градиентного спуска веса и смещения должны итеративно обновляться по следующим математическим уравнениям:

Здесь W — матрица весов, b — вектор смещений,  — скорость обучения,  — производная функции потерь относительно веса, а  — производная функции потерь относительно смещения.

Производные вычисляются с помощью инструмента автоматического дифференцирования. Во Flux для этой цели применяется Zygote.jl. Так как Zygote.jl — это автономный пакет Julia, его можно использовать и без Flux. Дополнительные сведения см. в документации по Zygote.jl.

В первую очередь следует получить градиент функции потерь относительно весов и смещений. Flux повторно экспортирует функцию gradient из Zygote, поэтому импортировать Zygote явным образом для ее использования не требуется. gradient принимает функцию и ее аргументы и возвращает кортеж, содержащий ∂f/∂x для каждого аргумента x. Давайте передадим custom_loss и аргументы, которые требуются для custom_loss, в gradient. Для выполнения градиентного спуска потребуются производные функции потерь (custom_loss) относительно весов (∂f/∂w) и смещения (∂f/∂b), но мы можем игнорировать частные производные функции потерь (custom_loss) относительно x (∂f/∂x) и y в прямой унитарной кодировке (∂f/∂y).

Теперь можно обновить параметры по алгоритму градиентного спуска:

Параметры обновлены. Теперь можно проверить значение пользовательской функции потерь:

Потери уменьшились! Давайте включим логику обучения в функцию.

Мы можем ввести функцию обучения в цикл и обучить модель в течение большего числа эпох. Цикл можно адаптировать под потребности пользователя, а условия указывать в виде обычного кода Julia. Здесь мы обучим модель в течение максимум 500 эпох, но во избежание переобучения модели цикл будет прерван, как только значение точности достигнет или превысит 0.98.

Все работает! Наша модель достигла точности 0.98! Давайте посмотрим на потери.

Как и ожидалось, потери также уменьшились! Повторим те же действия с моделью flux_model.

Мы можем написать похожий цикл для модели flux_model и обучить ее аналогичным образом.

Посмотрим на точность и значение потерь:

Итоговые потери и точность очень близки.

Подведем итог: в этом руководстве мы увидели, как выполнить алгоритм логистической регрессии в Julia с использованием пакета Flux и без него. Мы начали с импорта классического набора данных Iris и перевели метки в прямую унитарную кодировку. Затем мы самостоятельно определили модель, функцию потерь и точность.

Наконец, мы обучили модель, вручную написав алгоритм градиентного спуска и оптимизировав потери. Что любопытно, мы реализовали большинство функций самостоятельно, а затем параллельно сравнили их с функциями из Flux!