Отсутствующие данные
В Julia для представления отсутствующих значений используется особый объект missing, который является одинарным экземпляром типа Missing.
julia> missing
missing
julia> typeof(missing)
MissingТип Missing позволяет создавать векторы и столбцы DataFrame с отсутствующими значениями. Здесь мы создаем вектор с отсутствующим значением, а возвращаемый вектор имеет тип элемента Union{Missing, Int64}.
julia> x = [1, 2, missing]
3-element Vector{Union{Missing, Int64}}:
1
2
missing
julia> eltype(x)
Union{Missing, Int64}
julia> Union{Missing, Int}
Union{Missing, Int64}
julia> eltype(x) == Union{Missing, Int}
trueЗначения missing могут быть исключены при выполнении операций с помощью функции skipmissing, которая возвращает итератор, оптимально использующий память.
julia> skipmissing(x)
skipmissing(Union{Missing, Int64}[1, 2, missing])Вывод skipmissing можно передавать напрямую в функции в качестве аргумента. Например, можно найти сумму (sum) всех существующих значений или собрать (collect) существующие значения в новый вектор без пропусков.
julia> sum(skipmissing(x))
3
julia> collect(skipmissing(x))
2-element Vector{Int64}:
1
2Функцию coalesce можно использовать для замены отсутствующих значений другим значением (обратите внимание на точку, указывающую, что замена должна быть применена ко всем записям в x):
julia> coalesce.(x, 0)
3-element Vector{Int64}:
1
2
0Функции dropmissing и dropmissing! можно использовать для удаления строк, содержащих значения missing, из фрейма данных и создания нового DataFrame или изменения исходного фрейма данных на месте, соответственно.
julia> using DataFrames
julia> df = DataFrame(i=1:5,
x=[missing, 4, missing, 2, 1],
y=[missing, missing, "c", "d", "e"])
5×3 DataFrame
Row │ i x y
│ Int64 Int64? String?
─────┼─────────────────────────
1 │ 1 missing missing
2 │ 2 4 missing
3 │ 3 missing c
4 │ 4 2 d
5 │ 5 1 e
julia> dropmissing(df)
2×3 DataFrame
Row │ i x y
│ Int64 Int64 String
─────┼──────────────────────
1 │ 4 2 d
2 │ 5 1 eМожно указать столбец (столбцы), в котором нужно искать строки, содержащие значения missing, подлежащие удалению.
julia> dropmissing(df, :x)
3×3 DataFrame
Row │ i x y
│ Int64 Int64 String?
─────┼───────────────────────
1 │ 2 4 missing
2 │ 4 2 d
3 │ 5 1 eПо умолчанию функции dropmissing и dropmissing! сохраняют тип элемента Union{T, Missing} в столбцах, выбранных для удаления строк. Чтобы удалить часть Missing (если она имеется), задайте именованному аргументу disallowmissing значение true (в будущем это станет поведением по умолчанию).
julia> dropmissing(df, disallowmissing=true)
2×3 DataFrame
Row │ i x y
│ Int64 Int64 String
─────┼──────────────────────
1 │ 4 2 d
2 │ 5 1 eИногда бывает полезно разрешить или запретить поддержку отсутствующих значений в некоторых столбцах фрейма данных. Эти операции поддерживаются функциями allowmissing, allowmissing!, disallowmissing и disallowmissing!. Вот пример:
julia> df = DataFrame(x=1:3, y=4:6)
3×2 DataFrame
Row │ x y
│ Int64 Int64
─────┼──────────────
1 │ 1 4
2 │ 2 5
3 │ 3 6
julia> allowmissing!(df)
3×2 DataFrame
Row │ x y
│ Int64? Int64?
─────┼────────────────
1 │ 1 4
2 │ 2 5
3 │ 3 6Теперь df разрешает отсутствующие значения во всех своих столбцах. Можно воспользоваться этим фактом и задать некоторые значения в df как отсутствующие (missing), например:
julia> df[1, 1] = missing
missing
julia> df
3×2 DataFrame
Row │ x y
│ Int64? Int64?
─────┼─────────────────
1 │ missing 4
2 │ 2 5
3 │ 3 6Обратите внимание, что селектор столбцов можно передать в функции allowmissing и allowmissing! в качестве второго позиционного аргумента, чтобы ограничить изменение только некоторыми столбцами во фрейме данных.
Теперь выполним обратную операцию, запретив отсутствующие значения в df. Мы знаем, что столбец :y не содержит отсутствующие значения, поэтому можем использовать функцию disallowmissing, передав селектор столбцов в качестве второго позиционного аргумента:
julia> disallowmissing(df, :y)
3×2 DataFrame
Row │ x y
│ Int64? Int64
─────┼────────────────
1 │ missing 4
2 │ 2 5
3 │ 3 6Эта операция создала новый DataFrame. Если требуется обновить df на месте, следует использовать функцию disallowmissing!.
При попытке запретить отсутствующие значения во всем фрейме данных с помощью disallowmissing(df) возникнет ошибка. Однако часто целесообразно запретить отсутствующие значения во всех столбцах, которые их не содержат, но оставить столбцы, в которых есть значения missing, без изменений, не перечисляя их явным образом. Для этого можно передать именованный аргумента error=false:
julia> disallowmissing(df, error=false)
3×2 DataFrame
Row │ x y
│ Int64? Int64
─────┼────────────────
1 │ missing 4
2 │ 2 5
3 │ 3 6Пакет Missings.jl предоставляет несколько вспомогательных функций для работы с отсутствующими значениями.
Одной из самых распространенных является passmissing. Это функция более высокого порядка, которая принимает в качестве аргумента некоторую функцию f и возвращает новую функцию, которая возвращает missing, если любой из ее позиционных аргументов равен missing, и в противном случае применяет к этим аргументам функцию f. Эта функциональность полезна в сочетании с функциями, которые не поддерживают передачу значений missing в качестве своих аргументов. Например, попытка применить uppercase(missing) приведет к ошибке, а следующий вариант сработает:
julia> passmissing(uppercase)("a")
"A"
julia> passmissing(uppercase)(missing)
missingФункция Missings.replace возвращает итератор, который заменяет элементы missing другим значением:
julia> using Missings
julia> Missings.replace(x, 1)
Missings.EachReplaceMissing{Vector{Union{Missing, Int64}}, Int64}(Union{Missing, Int64}[1, 2, missing], 1)
julia> collect(Missings.replace(x, 1))
3-element Vector{Int64}:
1
2
1
julia> collect(Missings.replace(x, 1)) == coalesce.(x, 1)
trueФункция nonmissingtype возвращает тип элемента T в Union{T, Missing}.
julia> eltype(x)
Union{Missing, Int64}
julia> nonmissingtype(eltype(x))
Int64Функция missings создает векторы (Vector) и массивы (Array), поддерживающие отсутствующие значения, используя необязательный первый аргумент для указания типа элемента.
julia> missings(1)
1-element Vector{Missing}:
missing
julia> missings(3)
3-element Vector{Missing}:
missing
missing
missing
julia> missings(1, 3)
1×3 Matrix{Missing}:
missing missing missing
julia> missings(Int, 1, 3)
1×3 Matrix{Union{Missing, Int64}}:
missing missing missingДополнительные сведения об отсутствующих значениях см. в руководстве по Julia.