Определение настраиваемых слоев

Вот простейший пример пользовательской модели. В нем просто добавляется вход в результат работы нейронной сети.

После этого модель можно использовать следующим образом.

Введение во Flux и автоматическое дифференцирование см. в этом руководстве.

Здесь мы будем ссылаться на пример слоя Affine из раздела с основами.

По умолчанию в качестве параметров собираются все поля типа Affine, однако иногда в «слоях» могут содержаться другие метаданные, которые не требуются для обучения и поэтому должны игнорироваться при сборе параметров. Во Flux поля слоя помечаются как обучаемые путем перегрузки функции trainable:

При вызове Flux.params только поля, возвращаемые функцией trainable, будут собираться как обучаемые параметры, и только они будут доступны функциям Flux.setup и Flux.update! для обучения. Однако функции gpu и другим аналогичным функциям будут доступны все поля, например:

Имейте в виду, что для скрытия полей, которые не содержат обучаемых параметров (например, функций активации или логических флагов), перегружать trainable не нужно. Они всегда игнорируются params и при обучении:

Доступные поля можно ограничить дополнительно с помощью выражения @functor Affine (W,). Однако делать это не рекомендуется. Для этого требуется, чтобы структура struct имела соответствующий конструктор, принимающий только W в качестве аргумента, и игнорируемые поля будут недоступны таким функциям, как gpu (что обычно нежелательно).

Если нужно включить не все параметры модели (например, для переноса обучения), можно просто не передавать эти слои в вызов params.

Рассмотрим простую многослойную модель перцептрона, в которой не следует оптимизировать первые два слоя Dense. Этого можно добиться с помощью функций срезов, предоставляемых Chain:

Объект ps типа Zygote.Params теперь содержит ссылку только на переданные в него параметры слоев.

Во время обучения градиенты будут вычисляться только для последнего слоя Dense (и применяться только к нему), поэтому изменятся только его параметры.

Flux.params также принимает несколько входов для упрощения сбора параметров из разнородных моделей одним вызовом. Это можно легко продемонстрировать на основе предыдущего примера, в котором нужно исключить оптимизацию второго слоя Dense. Выглядеть это будет примерно так.

Иногда требуется более детальный контроль. Мы можем зафиксировать определенный параметр слоя, который уже введен в объект ps типа Params, просто удалив его из ps:

Иногда модель должна принимать сразу несколько отдельных входов или выдавать несколько отдельных выходов. Иными словами, в таком высокоуровневом слое есть несколько путей, по каждому из которых обрабатывается отдельный вход или выдается отдельный выход. Простым примером, который можно найти в литературе по машинному обучению, является модуль Inception.

В простейшем случае мы могли бы создать структуру для хранения весов по каждому пути и реализовать объединение и разделение в функции прямого прохода. Однако при этом требовалась бы новая структура при каждом изменении операций по любому из путей. Вместо этого в данном руководстве будет показано, как построить высокоуровневый слой (такой как Chain), состоящий из нескольких подслоев для каждого пути.