Использование CategoricalArrays

Предположим, что у вас есть данные о четырех людях, относящихся к трем разным возрастным группам. Поскольку эта переменная явно порядковая, мы помечаем массив как таковой с помощью аргумента ordered.

По умолчанию уровни сортируются по лексическому принципу, что явно не является правильным в нашем случае и выдаст неверные результаты при проверке на порядок. Это легко исправить с помощью функции levels! для переупорядочения уровней:

Благодаря такому порядку можно не только проверить равенство двух значений, но и сравнить возраст, например 1-го и 2-го человека.

Теперь представим, что первый человек входит в группу «Молодые». Давайте зафиксируем это (обратите внимание, как строка "Young" автоматически преобразуется в CategoricalValue):

CategoricalArray по-прежнему рассматривает "Old" как возможный уровень, даже если сейчас он не используется. Это необходимо для эффективного доступа к уровням и установки значений элементов в массиве: действительно, для отбрасывания неиспользуемых уровней требуется итерация каждого элемента в массиве, что дорого. Это свойство также может быть полезно для отслеживания возможных уровней, даже если они не встречаются на практике.

Чтобы избавиться от группы "Old", просто вызовите функцию droplevels!:

Другим решением был бы вызов levels!(x, ["Young", "Middle"]) вручную. Эта команда также безопасна, поскольку при попытке удалить уровни, которые используются в данный момент, будет выдана ошибка:

Обратите внимание, что записи в массиве x не могут считаться строками. Их нужно преобразовать в строки с помощью String(x[i]):

Обратите внимание, что вызов String не снижает производительность по сравнению с работой с Vector{String}, так как он просто возвращает строковый объект, который хранится в пуле.

Целочисленные коды, указывающие индекс каждого значения в уровнях, можно получить с помощью функции levelcode:

В приведенных выше примерах предполагалось, что данные не содержат отсутствующих значений. Как правило, это не так для реальных данных. Именно здесь в игру вступает CategoricalArray{Union{T, Missing}}. По сути, это эквивалент категориальных данных Array{Union{T, Missing}}. Он действует точно так же, как CategoricalArray{T}, за исключением того, что при индексировании возвращает либо объект CategoricalValue{T}, либо missing, если значение отсутствует. Дополнительные сведения о типе Missing см. в руководстве по Julia.

Адаптируем пример, разработанный выше, для поддержки отсутствующих значений. Поскольку во входном векторе нет отсутствующих значений, нам нужно указать, что массив должен содержать либо String, либо missing:

Уровни все равно нужно переупорядочивать вручную:

На этом этапе индексирование массива дает точно такой же результат

Отсутствующие значения можно вводить либо вручную, либо ограничив набор возможных уровней. На этот раз представим, что возраст первого человека нам неизвестен. Мы можем задать для него отсутствующее значение следующим образом.

Можно также преобразовать все значения, принадлежащие некоторым уровням, в отсутствующие значения, что дает тот же результат, что и в данном случае, поскольку в группе "Old" есть только один человек. Сначала восстановим исходное значение для первого элемента, а затем снова зададим ему отсутствующее значение, используя аргумент allowmissing для levels!:

И наоборот, все отсутствующие значения можно преобразовать в «нормальные» с помощью функции replace (или recode, синтаксис которой идентичен для этой операции):

Обратите внимание, что возвращаемый массив больше не допускает отсутствующие значения (что обычно и ожидается). Этот синтаксис работает для типов массивов, отличных от CategoricalArray.

Также доступен вариант replace! на месте (соответственно recode!). Обратите внимание, что y по-прежнему допускает отсутствующие значения (поскольку тип объекта не может быть изменен).

Некоторые операции подразумевают объединение уровней двух категориальных массивов: это происходит при конкатенации массивов (vcat, hcat и cat) и при присвоении CategoricalValue из другого категориального массива.

Например, представим, что у нас есть два набора наблюдений: один только с молодой частью населения и другой — с более старшей:

При конкатенации двух наборов уровни результирующего категориального вектора выбираются таким образом, чтобы относительные порядки уровней в x и y по возможности сохранялись. В этом случае сравнения с < и > остаются действительными, а результирующий вектор помечается как упорядоченный:

Аналогично, присвоение CategoricalValue из y записи в x расширяет уровни x во всеми уровнями из y с соблюдением по возможности порядка уровней обоих векторов:

В случаях, когда объединяются уровни с несовместимыми порядками, побеждает порядок массива назначения, и массив назначения помечается как неупорядоченный. То же самое происходит при конкатенации массивов, и в случае конфликта побеждает порядок первого массива:

Результирующий массив помечается как упорядоченный только в том случае, если все исходные массивы упорядочены, за исключением того, что неупорядоченные массивы без уровней не требуют пометки результата как неупорядоченного. В частности, это позволяет присвоить CategoricalValue пустому CategoricalArray с помощью функции setindex!, чтобы скопировать уровни исходного значения и пометить результат как упорядоченный.

Обратите внимание, что в некоторых случаях два набора уровней могут иметь совместимый порядок, но невозможно определить, в каком порядке уровни должны появляться в объединенном наборе. Так обстоит дело, например, с ["a, "b", "d"] и ["c", "d", "e"]: невозможно определить, что "c" должен быть вставлен точно после "b" (лексикографическое упорядочение здесь не имеет значения). В таких случаях результирующий массив помечается как неупорядоченный. Такая ситуация может возникнуть только при работе с подмножествами данных, выбранными на основе несмежных подмножеств уровней.

categorical(A) — строит категориальный массив со значениями из A

compress(A) — возвращает копию категориального массива A, используя минимально возможный ссылочный тип

cut(x) — делит числовой массив на интервалы и возвращает упорядоченный CategoricalArray

decompress(A) — возвращает копию категориального массива A, используя заданный по умолчанию ссылочный тип

isordered(A) — проверяет, можно ли сравнивать записи в A с помощью <, > и подобных операторов

ordered!(A, ordered) — задает, можно ли сравнивать записи в A с помощью <, > и подобных операторов

recode(a[, default], pairs...) — возвращает копию a после замены одного или нескольких значений

recode!(a[, default], pairs...) — заменяет одно или несколько значений в a на месте

unwrap(x) — возвращает значение, содержащееся в категориальном значении x; если x равно Missing , возвращает missing

levelcode(x) — возвращает код категориального значения x, т. е. его индекс в наборе возможных значений, возвращаемых levels(x).

Дополнительные сведения см. в документе API Index.