Функции

По умолчанию некоторые операции в DataFrames.jl автоматически используют несколько потоков, если есть такая возможность. Этот механизм основан на задачах и реализован с помощью макроса @spawn из модуля Base Julia. Функции, которые принимают пользовательские функции и могут выполнять их параллельно, принимают именованный аргумент threads, который позволяет отключать многопоточность, если переданная функция требует последовательного выполнения или не является потокобезопасной.

Вот список операций, в настоящее время использующих многопоточность:

Как правило, для использования многопоточности требуется версия Julia не ниже 1.4, а процесс Julia должен запускаться более чем с одним потоком. Для некоторых операций многопоточность активируется только в том случае, если в обрабатываемом фрейме данных достаточно строк (конкретное пороговое значение точно не определено и может измениться в будущем).

Кроме операций из приведенного выше списка, для которых многопоточность используется автоматически, все функции из пакета DataFrames.jl, изменяющий фрейм данных, не являются потокобезопасными. Это означает, что, хотя их можно вызывать из любого потока, вызывающая сторона должна гарантировать, что объект DataFrame не будет изменяться каким-либо потоком, пока его используют другие (либо для чтения, либо для записи). Один и тот же объект DataFrame можно безопасно использовать из других потоков при условии, что он не изменяется.

# DataAPI.allcombinations — Function

Create a DataFrame from all combinations of values in passed arguments. The first passed values vary fastest.

Arguments associating a column name with values to expand can be specified either as Pairs passed as positional arguments, or as keyword arguments. Column names must be Symbols or strings and must be unique.

Column value can be a vector which is consumed as is or an object of any other type (except AbstractArray). In the latter case the passed value is treated as having length one for expansion. As a particular rule values stored in a Ref or a 0-dimensional AbstractArray are unwrapped and treated as having length one.

See also: crossjoin can be used to get the cartesian product of rows from passed data frames.

Examples

# Base.copy — Function

Copy data frame df. If copycols=true (the default), return a new DataFrame holding copies of column vectors in df. If copycols=false, return a new DataFrame sharing column vectors with df.

Metadata: this function preserves all table-level and column-level metadata.

Construct a NamedTuple with the same contents as the DataFrameRow. This method returns a NamedTuple so that the returned object is not affected by changes to the parent data frame of which dfr is a view.

Construct a NamedTuple with the same contents as the GroupKey.

# Base.similar — Function

Создает новый DataFrame с теми же именами столбцов и типами элементов столбцов, что и у df. Необязательный второй аргумент может быть предоставлен для запроса количества строк, отличного от количества строк, представленных в df.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# DataAPI.describe — Function

Return descriptive statistics for a data frame as a new DataFrame where each row represents a variable and each column a summary statistic.

Arguments

Details

For Real columns, compute the mean, standard deviation, minimum, first quantile, median, third quantile, and maximum. If a column does not derive from Real, describe will attempt to calculate all statistics, using nothing as a fall-back in the case of an error.

When stats contains :nunique, describe will report the number of unique values in a column. If a column’s base type derives from Real, :nunique will return nothings. Use :nuniqueall to report the number of unique values in all columns.

Missing values are filtered in the calculation of all statistics, however the column :nmissing will report the number of missing values of that variable and :nnonmissing the number of non-missing values.

If custom functions are provided, they are called repeatedly with the vector corresponding to each column as the only argument. For columns allowing for missing values, the vector is wrapped in a call to skipmissing: custom functions must therefore support such objects (and not only vectors), and cannot access missing values.

Metadata: this function drops all metadata.

Examples

# Base.isempty — Function

Возвращает true, если фрейм данных df не содержит строк. Возвращает false в противном случае.

# Base.length — Function

Return the number of elements of dfr.

See also: size

Examples

# DataAPI.ncol — Function

Return the number of columns in an AbstractDataFrame df.

See also nrow, size.

Examples

# Base.ndims — Function

Возвращает количество измерений фрейма данных, которое всегда равно 2.

Возвращает количество измерений строки фрейма данных, которое всегда равно 1.

# DataAPI.nrow — Function

Return the number of rows in an AbstractDataFrame df.

See also: ncol, size.

Examples

# DataAPI.rownumber — Function

Return a row number in the AbstractDataFrame that dfr was created from.

Note that this differs from the first element in the tuple returned by parentindices. The latter gives the row number in the parent(dfr), which is the source DataFrame where data that dfr gives access to is stored.

Examples

# Base.show — Function

Отрисовывает фрейм данных в поток ввода-вывода. Выбор конкретного визуального представления зависит от ширины дисплея.

Если io пропущен, результат выводится в stdout и allrows, allcols и allgroups по умолчанию имеют значение false.

Аргументы

Примеры

Отрисовывает фрейм данных в поток ввода-вывода в типе MIME mime.

Аргументы

Дополнительно выбранные типы MIME поддерживают передачу следующих именованных аргументов:

Примеры

# Base.size — Function

Возвращает кортеж, содержащий количество строк и столбцов df. При желании можно указать измерение dim, где 1 соответствует строкам, а 2 — столбцам.

См. также описание nrow, ncol

Примеры

Возвращает 1 кортеж, содержащий количество элементов dfr. Если указано необязательное измерение dim, оно должно быть 1, а количество элементов возвращается непосредственно в виде числа.

См. также описание length

Примеры

# Base.names — Function

Возвращает только что выделенный Vector{String} имен столбцов, содержащихся в df.

Если передан cols, ограничьте возвращаемые имена столбцов теми, что соответствуют селектору (это полезно, в частности, при использовании регулярных выражений, Cols, Not и Between). cols может представлять собой:

См. также описание функции propertynames, которая возвращает Vector{Symbol}.

Примеры

# Base.propertynames — Function

Возвращает только что выделенный Vector{Symbol} имен столбцов, содержащихся в df.

# DataFrames.rename — Function

Создает новый фрейм данных, который является копией df с измененными именами столбцов. Каждое имя может быть изменено не более одного раза. Допускается перестановка имен.

Аргументы

Если в rename передаются пары (как позиционные аргументы, в словаре или векторе), то:

Смешивание символов и строк в to и from не допускается.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные на уровне столбцов в стиле :note считаются прикрепленными к номеру столбца: когда столбец переименовывается, его метаданные в стиле :note становятся связанными с его новым именем.

См. также описание rename!.

Примеры

# DataFrames.rename! — Function

Переименовывает столбцы df на месте. Каждое имя может быть изменено не более одного раза. Допускается перестановка имен.

Аргументы

Если в rename! передаются пары (как позиционные аргументы, в словаре или векторе), то:

Смешивание символов и строк в to и from не допускается.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame). Метаданные на уровне столбцов в стиле :note считаются прикрепленными к номеру столбца: когда столбец переименовывается, его метаданные в стиле :note становятся связанными с его новым именем.

См. также описание rename.

Примеры

# Base.append! — Function

Добавляет строки df2 в конец df. Если второй аргумент table не является AbstractDataFrame, он преобразуется с помощью DataFrame(table, copycols=false) и только затем добавляется.

Точное поведение append! зависит от аргумента cols.

Если promote=true и тип элемента столбца, присутствующего в df, запрещает использовать тип отправляемого элемента, новый столбец с продвинутым типом элемента, разрешающим этот тип, выделяется заново и сохраняется в df. Если promote=false, возникает ошибка .

Из этого правила есть следующие исключения.

Обратите внимание, что append! нельзя использовать для DataFrame, содержащего столбцы, которые являются псевдонимами (одинаковыми при сравнении ===).

Метаданные: метаданные на уровне таблиц в стиле :note и метаданные на уровне столбцов в стиле :note для столбцов, присутствующих в df, сохраняются. При добавлении новых столбцов их метаданные в стиле :note копируются из добавляемой таблицы. Другие метаданные удаляются.

См. также: использование push! для добавления отдельных строк к фрейму данных, prepend! для добавления таблицы в начало и vcat для вертикальной конкатенации фреймов данных.

Примеры

# DataFrames.combine — Function

Создает новый фрейм данных, содержащий столбцы из df или gd, указанные с помощью args, и возвращает его. Результат может содержать любое количество строк, которое определяется значениями, возвращаемыми переданными преобразованиями.

Ниже подробно описаны и сопоставлены общие правила для всех функций преобразования, поддерживаемых DataFrames.jl.

Все эти операции поддерживаются как для AbstractDataFrame (при пропуске шагов разделения и объединения), так и для GroupedDataFrame. Технически AbstractDataFrame считается сгруппированным без столбцов (это означает, что у него есть одна группа или ни одной, если он пуст). Единственное отличие заключается в том, что в этом случае именованные аргументы keepkeys и ungroup (описанные ниже) не поддерживаются, и всегда возвращается фрейм данных, поскольку в этом случае нет шагов разделения и объединения.

Чтобы выполнять операции с группами, сначала нужно создать объект GroupedDataFrame из фрейма данных с помощью функции groupby, которая принимает два аргумента: (1) фрейм данных, который нужно сгруппировать, и (2) набор столбцов, по которым осуществляется группировка.

Затем можно применить операции к каждой группе с помощью одной из следующих функций:

Особый случай: если передается GroupedDataFrame без групп, результат операции определяется путем выполнения одного вызова функции преобразования с переданным ей аргументом с нулем строк. Выходные данные этой операции используются только для определения количества и типа созданных столбцов, но результат не содержит строк.

Все эти функции принимают спецификацию одной или нескольких функций для применения к каждому подмножеству DataFrame. Эта спецификация может иметь следующий вид:

Примечание. Если передается выражение вида x => y, то, за исключением специального вспомогательного вида nrow => target_cols, оно всегда интерпретируется как cols => function. В частности, следующее выражение function => target_cols не является допустимой спецификацией преобразования.

Примечание. Если cols или target_cols являются All, Cols, Between или Not, поддерживается трансляция с использованием .=>, и она эквивалентна трансляции результата names(df, cols) или names(df, target_cols). Это работает, как будто трансляция произошла после замены селектора выбранными именами столбцов в области фрейма данных.

Все функции имеют два типа сигнатур. Один из них принимает GroupedDataFrame в качестве первого аргумента и произвольное количество преобразований, описанных выше, в качестве последующих аргументов. Второй тип сигнатуры — это когда в качестве первого аргумента передается Function или Type и GroupedDataFrame в качестве второго аргумента (аналогично map).

Есть особое правило: если при использовании синтаксисов cols => function и cols => function => target_cols cols заключен в объект AsTable, NamedTuple, содержащий столбцы, выбранные с помощью cols, передается функции (function). Дополнительные сведения см. в документации по DataFrames.table_transformation, где также рассматриваются вопросы производительности.

Результат, который может возвращать функция (function), определяется значением target_cols.

Во всех этих случаях функция (function) может возвращать как одну строку, так и несколько. Как правило, значения, заключенные в Ref или 0-мерный массив AbstractArray, распаковываются и после этого считаются одной строкой.

select/select! и transform/transform! всегда возвращают фрейм данных с количеством и порядком строк, точно таким же, как у исходного (даже если в GroupedDataFrame был изменен порядок групп), за исключением случаев, когда в результирующем фрейме данных нет столбцов (в этом случае результат не содержит строк).

Для combine строки в возвращаемом объекте отображаются в порядке групп в GroupedDataFrame. Функции могут возвращать произвольное количество строк для каждой группы, но тип возвращаемого объекта и количество и имена столбцов должны быть одинаковыми для всех групп, за исключением случаев, когда возвращаются DataFrame() или NamedTuple(), тогда заданная группа пропускается.

Допускается смешивать единичные значения и векторы, если запрашивается несколько преобразований. В этом случае такое значение будет повторяться, чтобы соответствовать длине столбцов, указанных в возвращаемых векторах.

Чтобы применить функцию (function) к каждой строке, а не ко всем столбцам, ее можно заключить в структуру ByRow. cols может быть любым синтаксисом индексирования столбцов. Тогда функции (function) будет передан один аргумент для каждого из столбцов, указанных с помощью cols, или NamedTuple, если указанные столбцы заключены в AsTable. Если используется ByRow, cols может выбрать пустой набор столбцов, тогда function вызывается для каждой строки без аргументов, и передается пустой NamedTuple, если в AsTable заключен пустой набор столбцов.

Если передается коллекция имен столбцов, то принимаются запросы дублирующихся имен столбцов в целевом фрейме данных (например, допускается select!(df, [:a], :, r"a")), и используется только первое вхождение. В частности, используется следующий синтаксис для перемещения столбца :col в первую позицию во фрейме данных — select!(df, :col, :). Напротив, имена выходных столбцов в операциях переименования, преобразования и выбора одного столбца должны быть уникальными, поэтому, например, select!(df, :a, :a => :a) или select!(df, :a, :a => ByRow(sin) => :a) недопустимы.

В общем случае столбцы, возвращаемые преобразованиями, сохраняются в целевом фрейме данных без копирования. Исключением из этого правила являются случаи, когда столбцы из исходного фрейма данных повторно используются в целевом фрейме данных. Это можно сделать с помощью таких выражений, как: :x1, [:x1, :x2], :x1 => :x2, :x1 => identity => :x2 или :x1 => (x -> @view x[inds]) (обратите внимание, что в последнем случае исходный столбец используется повторно косвенным образом через представление). В таких случаях поведение зависит от значения именованного аргумента copycols:

Обратите внимание, что при выполнении transform! или select! предполагается, что copycols=false.

Если df является SubDataFrame и copycols=true, возвращается DataFrame и применяются те же правила копирования, что и для входных данных DataFrame: это означает, в частности, что выбранные столбцы будут скопированы. При copycols=false SubDataFrame возвращается без копирования столбцов, и в этом случае преобразование или переименование столбцов не допускается.

Если передается GroupedDataFrame и threads=true (по умолчанию), для каждого указанного преобразования порождается отдельная задача. Затем каждое преобразование порождает столько задач, сколько потоков доступно в Julia, и разделяет обработку групп между ними (однако в настоящее время преобразования с оптимизированной реализацией, такие как sum, и преобразования, возвращающие несколько строк, используют одну задачу для всех групп). Это позволяет выполнять параллельную работу, если среда Julia была запущена с несколькими потоками. Поэтому передаваемые функции преобразования не должны изменять глобальные переменные (то есть они должны быть чистыми), использовать блокировки для управления параллельным доступом, либо следует передать threads=false, чтобы отключить многопоточность. В будущем параллелизм может быть распространен и на другие случаи, так что это требование справедливо и для входных данных DataFrame.

Для повышения производительности операций некоторые преобразования используют оптимизированную реализацию. Дополнительные сведения см. в описании DataFrames.table_transformation.

Именованные аргументы

Метаданные: эта функция распространяет метаданные на уровне таблиц в стиле :note. Метаданные на уровне столбцов в стиле :note распространяются в следующих случаях: а) один столбец преобразуется в один столбец, при этом имя столбца не изменяется (это относится ко всем операциям выбора столбца), или б) один столбец преобразуется с помощью identity или copy в один столбец даже при изменении имени столбца (сюда относится и переименование столбца). Особый случай для GroupedDataFrame: если вывод имеет то же имя, что и группирующий столбец, и keepkeys=true, метаданные берутся из исходного группирующего столбца.

Примеры

автоматическое разделение, переименование и сохранение ключей

трансляция и расширение столбцов

# DataFrames.fillcombinations — Function

Создает все сочетания уровней столбцов indexcols во фрейме данных df. Уровни и их порядок определяются функцией levels (т. е. уникальные значения, отсортированные лексикографически по умолчанию, или пользовательский набор уровней для, например, столбцов CategoricalArray) в дополнение к отсутствующим (missing), если они есть.

Для сочетаний indexcols, отсутствующих в df, эти столбцы заполняются значением fill (missing по умолчанию).

Если allowduplicates=false (по умолчанию), indexcols могут содержать только уникальные сочетания значений indexcols. Если allowduplicates=true допускается использование дубликатов.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.flatten — Function

Если столбцы cols фрейма данных df имеют итерируемые элементы, которые определяют length (например, вектор (Vector) векторов (Vector)), возвращается DataFrame, где каждый элемент каждого col в cols сглажен, означая, что столбец, соответствующий col, становится более длинным вектором, в котором исходные записи конкатенированы. Элементы строки i для df в столбцах, отличных от cols, будут повторяться в соответствии с длиной df[i, col]. Поэтому эти длины должны быть одинаковыми для каждого col в cols, иначе возникнет ошибка. Обратите внимание, что эти элементы не копируются, поэтому если они являются изменяемыми, их изменение в возвращаемом DataFrame повлияет на df.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если передается scalar, значения, имеющие этот тип в сглаженных столбцах, рассматриваются как скаляры и транслируются столько раз, сколько необходимо для соответствия длине значений, хранящихся в других столбцах. Если все значения в строке являются скалярами, создается одна строка.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.hcat — Function

Выполняет горизонтальную конкатенацию фреймов данных.

Если makeunique=false (по умолчанию), имена столбцов передаваемых объектов должны быть уникальными. Если makeunique=true, к повторяющимся именам столбцов добавляется суффикс _i (i, начиная с 1 для первого повторяющегося имени).

Если copycols=true (по умолчанию), DataFrame, возвращаемый hcat, будет содержать скопированные столбцы из исходных фреймов данных. Если copycols=false, он будет содержать столбцы в том виде, в каком они хранятся в исходном фрейме данных (без копирования). Этот параметр следует использовать с осторожностью, так как изменение столбцов в исходных или возвращаемых DataFrame может привести к повреждению другого объекта.

Метаданные: функция hcat распространяет метаданные на уровне таблиц в стиле :note для ключей, присутствующих во всех передаваемых фреймах данных и имеющих одинаковое значение. Она распространяет метаданные на уровне столбцов в стиле :note.

Пример

# Base.insert! — Function

Добавляет одну строку в df в позиции index на месте, принимая значения из row. index должен быть целым числом от 1 до nrow(df)+1.

Типы столбцов df сохраняются, а новые значения при необходимости преобразуются. При сбое преобразования возникает ошибка.

Если row не является ни DataFrameRow, ни NamedTuple, ни AbstractDict, она должна быть Tuple или AbstractArray, и столбцы сопоставляются в порядке появления. В этом случае row должна содержать столько же элементов, сколько столбцов в df.

Если строка (row) является DataFrameRow, NamedTuple, AbstractDict или Tables.AbstractRow, значения в row сопоставляются со столбцами в df на основе имен. Точное поведение зависит от значения аргумента cols, а именно:

Если promote=true и тип элемента столбца, присутствующего в df, запрещает использовать тип отправляемого элемента, новый столбец с продвинутым типом элемента, разрешающим этот тип, выделяется заново и сохраняется в df. Если promote=false, возникает ошибка .

В отдельном случае, если df не имеет столбцов и row является NamedTuple, DataFrameRow, или Tables.AbstractRow, столбцы создаются для всех значений в row с использованием их имен и порядка.

Обратите внимание, что эта функция не должна использоваться для DataFrame, содержащего столбцы, которые являются псевдонимами (одинаковыми при сравнении ===).

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание push!, pushfirst!

Примеры

# DataFrames.insertcols — Function

Вставляет столбец в копию фрейма данных df с помощью функции insertcols! и возвращает созданный фрейм данных.

Если col не указан, он задается как ncol(df)+1 (столбец вставляется как последний столбец).

Аргументы

Если val — это AbstractRange, вставляется результат collect(val).

Если df — это SubDataFrame, он должен быть создан с использованием : в качестве селектора столбцов (в противном случае возникнет ошибка). В этом случае именованный аргумент copycols игнорируется (т. е. добавленный столбец всегда копируется), и столбец родительского фрейма данных заполняется отсутствующими (missing) строками, отфильтрованными с помощью df.

Если df — это DataFrame, в котором нет столбцов, и передаются только значения, отличные от AbstractVector, он используется для создания одноэлементного столбца. Если df — это DataFrame, в котором нет столбцов, и передается как минимум один AbstractVector, его длина используется для определения количества элементов во всех созданных столбцах. Во всех других случаях количество строк во всех созданных столбцах должно соответствовать nrow(df).

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание insertcols!.

Примеры

# DataFrames.insertcols! — Function

Вставляет столбец во фрейм данных на месте. Возвращает обновленный фрейм данных.

Если col не указан, он задается как ncol(df)+1 (столбец вставляется как последний столбец).

Аргументы

Если val — это AbstractRange, вставляется результат collect(val).

Если df — это SubDataFrame, он должен быть создан с использованием : в качестве селектора столбцов (в противном случае возникнет ошибка). В этом случае именованный аргумент copycols игнорируется (т. е. добавленный столбец всегда копируется), и столбец родительского фрейма данных заполняется отсутствующими (missing) строками, отфильтрованными с помощью df.

Если df — это DataFrame, в котором нет столбцов, и передаются только значения, отличные от AbstractVector, он используется для создания одноэлементного столбца. Если df — это DataFrame, в котором нет столбцов, и передается как минимум один AbstractVector, его длина используется для определения количества элементов во всех созданных столбцах. Во всех других случаях количество строк во всех созданных столбцах должно соответствовать nrow(df).

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame).

См. также описание insertcols.

Примеры

# Base.invpermute! — Function

Аналогична permute!, но применяется перестановка, обратная заданной.

invpermute! выдаст корректный результат, даже если некоторые столбцы переданного фрейма данных или перестановки p идентичны (проверены с помощью ===). В противном случае, если два столбца имеют общую часть памяти, но не идентичны (например, являются разными представлениями одного и того же родительского вектора), результат invpermute! может быть неверным.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame).

Примеры

# DataFrames.mapcols — Function

Возвращает DataFrame, в котором каждый столбец df преобразуется с помощью функции f. Функция f должна возвращать объекты AbstractVector с одинаковой длиной или скаляры (скалярами считаются все значения, отличные от AbstractVector).

Обратите внимание, что mapcols гарантирует, что столбцы из df не будут повторно использоваться в возвращаемом DataFrame. Если f возвращает аргумент, он копируется перед сохранением.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.mapcols! — Function

Обновляет DataFrame на месте, где каждый столбец df преобразуется с помощью функции f. Функция f должна возвращать объекты AbstractVector с одинаковой длиной или скаляры (скалярами считаются все значения, отличные от AbstractVector).

Обратите внимание, что mapcols! повторно использует столбцы из df, если они возвращены функцией f.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.permute! — Function

Перестанавливает фрейм данных df на месте в соответствии с перестановкой p. Если p не является перестановкой, возникает ошибка ArgumentError.

Чтобы возвратить новый фрейм данных вместо перестановки df на месте, используйте df[p, :].

permute! выдаст корректный результат, даже если некоторые столбцы переданного фрейма данных или перестановки p идентичны (проверены с помощью ===). В противном случае, если два столбца имеют общую часть памяти, но не идентичны (например, являются разными представлениями одного и того же родительского вектора), результат permute! может быть неверным.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame).

Примеры

# Base.prepend! — Function

Add the rows of df2 to the beginning of df. If the second argument table is not an AbstractDataFrame then it is converted using DataFrame(table, copycols=false) before being prepended.

The exact behavior of prepend! depends on the cols argument:

If promote=true and element type of a column present in df does not allow the type of a pushed argument then a new column with a promoted element type allowing it is freshly allocated and stored in df. If promote=false an error is thrown.

The above rule has the following exceptions:

Please note that prepend! must not be used on a DataFrame that contains columns that are aliases (equal when compared with ===).

Metadata: table-level :note-style metadata and column-level :note-style metadata for columns present in df are preserved. If new columns are added their :note-style metadata is copied from the appended table. Other metadata is dropped.

See also: use pushfirst! to add individual rows at the beginning of a data frame, append! to add a table at the end, and vcat to vertically concatenate data frames.

Examples

# Base.push! — Function

Add one row at the end of df in-place, taking the values from row.

Column types of df are preserved, and new values are converted if necessary. An error is thrown if conversion fails.

If row is neither a DataFrameRow, NamedTuple nor AbstractDict then it must be a Tuple or an AbstractArray and columns are matched by order of appearance. In this case row must contain the same number of elements as the number of columns in df.

If row is a DataFrameRow, NamedTuple, AbstractDict, or Tables.AbstractRow then values in row are matched to columns in df based on names. The exact behavior depends on the cols argument value in the following way:

If promote=true and element type of a column present in df does not allow the type of a pushed argument then a new column with a promoted element type allowing it is freshly allocated and stored in df. If promote=false an error is thrown.

As a special case, if df has no columns and row is a NamedTuple, DataFrameRow, or Tables.AbstractRow, columns are created for all values in row, using their names and order.

Please note that this function must not be used on a DataFrame that contains columns that are aliases (equal when compared with ===).

Metadata: this function preserves table-level and column-level :note-style metadata.

See also: pushfirst!, insert!

Examples

# Base.pushfirst! — Function

Добавляет одну строку в начало df на месте, принимая значения из row.

Типы столбцов df сохраняются, а новые значения при необходимости преобразуются. При сбое преобразования возникает ошибка.

Если row не является ни DataFrameRow, ни NamedTuple, ни AbstractDict, она должна быть Tuple или AbstractArray, и столбцы сопоставляются в порядке появления. В этом случае row должна содержать столько же элементов, сколько столбцов в df.

Если строка (row) является DataFrameRow, NamedTuple, AbstractDict или Tables.AbstractRow, значения в row сопоставляются со столбцами в df на основе имен. Точное поведение зависит от значения аргумента cols, а именно:

Если promote=true и тип элемента столбца, присутствующего в df, запрещает использовать тип отправляемого элемента, новый столбец с продвинутым типом элемента, разрешающим этот тип, выделяется заново и сохраняется в df. Если promote=false, возникает ошибка .

В отдельном случае, если df не имеет столбцов и row является NamedTuple, DataFrameRow, или Tables.AbstractRow, столбцы создаются для всех значений в row с использованием их имен и порядка.

Обратите внимание, что эта функция не должна использоваться для DataFrame, содержащего столбцы, которые являются псевдонимами (одинаковыми при сравнении ===).

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание push!, insert!.

Примеры

# Base.reduce — Function

Эффективно упрощает заданный вектор или кортеж AbstractDataFrame с помощью vcat.

См. docstring vcat с описанием именованных аргументов cols и source.

Именованный аргумент init представляет собой начальное значение для использования в упрощениях. Он должен быть фреймом данных без строк. Он не учитывается ни при вычислении значения исходного (source) столбца, ни при определении метаданных создаваемого фрейма данных.

Порядок, имена и типы столбцов результирующего DataFrame, а также поведение именованных аргументов cols и source следуют правилам, указанным для vcat фреймов AbstractDataFrame.

Метаданные: функция vcat распространяет метаданные на уровне таблиц в стиле :note для ключей, присутствующих во всех передаваемых фреймах данных и имеющих одинаковое значение. Функция vcat распространяет метаданные на уровне столбцов в стиле :note для ключей, присутствующих во всех передаваемых фреймах данных, содержащих этот столбец, и имеющих одинаковое значение.

Пример

# Base.repeat — Function

Создает фрейм данных, повторяя строки в df. inner указывает количество повторений каждой строки, а outer указывает количество повторений полного набора строк.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Пример

Создает фрейм данных, повторяя каждую строку в df столько раз, сколько указано с помощью count.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Пример

# DataFrames.repeat! — Function

Обновляет фрейм данных df на месте, повторяя его строки. inner указывает количество повторений каждой строки, а outer указывает количество повторений полного набора строк. Столбцы df являются только что выделенными.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Пример

Обновляет фрейм данных df на месте, повторяя его строки столько раз, сколько указано с помощью count. Столбцы df являются только что выделенными.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Пример

# Base.reverse — Function

Return a data frame containing the rows in df in reversed order. If start and stop are provided, only rows in the start:stop range are affected.

Metadata: this function preserves table-level and column-level :note-style metadata.

Examples

# Base.reverse! — Function

Mutate data frame in-place to reverse its row order. If start and stop are provided, only rows in the start:stop range are affected.

reverse! will produce a correct result even if some columns of passed data frame are identical (checked with ===). Otherwise, if two columns share some part of memory but are not identical (e.g. are different views of the same parent vector) then reverse! result might be incorrect.

Metadata: this function preserves table-level and column-level :note-style metadata.

Metadata having other styles is dropped (from parent data frame when df is a SubDataFrame).

Examples

# DataFrames.select — Function

Создает новый фрейм данных, содержащий столбцы из df или gd, указанные с помощью args, и возвращает его. Результат гарантированно имеет то же количество строк, что и df, за исключением ситуаций, когда ни один столбец не выбран (в этом случае результат не содержит строк).

Ниже подробно описаны и сопоставлены общие правила для всех функций преобразования, поддерживаемых DataFrames.jl.

Все эти операции поддерживаются как для AbstractDataFrame (при пропуске шагов разделения и объединения), так и для GroupedDataFrame. Технически AbstractDataFrame считается сгруппированным без столбцов (это означает, что у него есть одна группа или ни одной, если он пуст). Единственное отличие заключается в том, что в этом случае именованные аргументы keepkeys и ungroup (описанные ниже) не поддерживаются, и всегда возвращается фрейм данных, поскольку в этом случае нет шагов разделения и объединения.

Чтобы выполнять операции с группами, сначала нужно создать объект GroupedDataFrame из фрейма данных с помощью функции groupby, которая принимает два аргумента: (1) фрейм данных, который нужно сгруппировать, и (2) набор столбцов, по которым осуществляется группировка.

Затем можно применить операции к каждой группе с помощью одной из следующих функций:

Особый случай: если передается GroupedDataFrame без групп, результат операции определяется путем выполнения одного вызова функции преобразования с переданным ей аргументом с нулем строк. Выходные данные этой операции используются только для определения количества и типа созданных столбцов, но результат не содержит строк.

Все эти функции принимают спецификацию одной или нескольких функций для применения к каждому подмножеству DataFrame. Эта спецификация может иметь следующий вид:

Примечание. Если передается выражение вида x => y, то, за исключением специального вспомогательного вида nrow => target_cols, оно всегда интерпретируется как cols => function. В частности, следующее выражение function => target_cols не является допустимой спецификацией преобразования.

Примечание. Если cols или target_cols являются All, Cols, Between или Not, поддерживается трансляция с использованием .=>, и она эквивалентна трансляции результата names(df, cols) или names(df, target_cols). Это работает, как будто трансляция произошла после замены селектора выбранными именами столбцов в области фрейма данных.

Все функции имеют два типа сигнатур. Один из них принимает GroupedDataFrame в качестве первого аргумента и произвольное количество преобразований, описанных выше, в качестве последующих аргументов. Второй тип сигнатуры — это когда в качестве первого аргумента передается Function или Type и GroupedDataFrame в качестве второго аргумента (аналогично map).

Есть особое правило: если при использовании синтаксисов cols => function и cols => function => target_cols cols заключен в объект AsTable, NamedTuple, содержащий столбцы, выбранные с помощью cols, передается function. Дополнительные сведения см. в документации по DataFrames.table_transformation, где также рассматриваются вопросы производительности.

Результат, который может возвращать функция (function), определяется значением target_cols.

Во всех этих случаях функция (function) может возвращать как одну строку, так и несколько. Как правило, значения, заключенные в Ref или 0-мерный массив AbstractArray, распаковываются и после этого считаются одной строкой.

select/select! и transform/transform! всегда возвращают фрейм данных с количеством и порядком строк, точно таким же, как у исходного (даже если в GroupedDataFrame был изменен порядок групп), за исключением случаев, когда в результирующем фрейме данных нет столбцов (в этом случае результат не содержит строк).

Для combine строки в возвращаемом объекте отображаются в порядке групп в GroupedDataFrame. Функции могут возвращать произвольное количество строк для каждой группы, но тип возвращаемого объекта и количество и имена столбцов должны быть одинаковыми для всех групп, за исключением случаев, когда возвращаются DataFrame() или NamedTuple(), тогда заданная группа пропускается.

Допускается смешивать единичные значения и векторы, если запрашивается несколько преобразований. В этом случае такое значение будет повторяться, чтобы соответствовать длине столбцов, указанных в возвращаемых векторах.

Чтобы применить функцию (function) к каждой строке, а не ко всем столбцам, ее можно заключить в структуру ByRow. cols может быть любым синтаксисом индексирования столбцов. Тогда функции (function) будет передан один аргумент для каждого из столбцов, указанных с помощью cols, или NamedTuple, если указанные столбцы заключены в AsTable. Если используется ByRow, cols может выбрать пустой набор столбцов, тогда function вызывается для каждой строки без аргументов, и передается пустой NamedTuple, если в AsTable заключен пустой набор столбцов.

Если передается коллекция имен столбцов, то принимаются запросы дублирующихся имен столбцов в целевом фрейме данных (например, допускается select!(df, [:a], :, r"a")), и используется только первое вхождение. В частности, используется следующий синтаксис для перемещения столбца :col в первую позицию во фрейме данных — select!(df, :col, :). Напротив, имена выходных столбцов в операциях переименования, преобразования и выбора одного столбца должны быть уникальными, поэтому, например, select!(df, :a, :a => :a) или select!(df, :a, :a => ByRow(sin) => :a) недопустимы.

В общем случае столбцы, возвращаемые преобразованиями, сохраняются в целевом фрейме данных без копирования. Исключением из этого правила являются случаи, когда столбцы из исходного фрейма данных повторно используются в целевом фрейме данных. Это можно сделать с помощью таких выражений, как: :x1, [:x1, :x2], :x1 => :x2, :x1 => identity => :x2 или :x1 => (x -> @view x[inds]) (обратите внимание, что в последнем случае исходный столбец используется повторно косвенным образом через представление). В таких случаях поведение зависит от значения именованного аргумента copycols:

Обратите внимание, что при выполнении transform! или select! предполагается, что copycols=false.

Если df является SubDataFrame и copycols=true, возвращается DataFrame и применяются те же правила копирования, что и для входных данных DataFrame: это означает, в частности, что выбранные столбцы будут скопированы. При copycols=false SubDataFrame возвращается без копирования столбцов, и в этом случае преобразование или переименование столбцов не допускается.

Если передается GroupedDataFrame и threads=true (по умолчанию), для каждого указанного преобразования порождается отдельная задача. Затем каждое преобразование порождает столько задач, сколько потоков доступно в Julia, и разделяет обработку групп между ними (однако в настоящее время преобразования с оптимизированной реализацией, такие как sum, и преобразования, возвращающие несколько строк, используют одну задачу для всех групп). Это позволяет выполнять параллельную работу, если среда Julia была запущена с несколькими потоками. Поэтому передаваемые функции преобразования не должны изменять глобальные переменные (то есть они должны быть чистыми), использовать блокировки для управления параллельным доступом, либо следует передать threads=false, чтобы отключить многопоточность. В будущем параллелизм может быть распространен и на другие случаи, так что это требование справедливо и для входных данных DataFrame.

Для повышения производительности операций некоторые преобразования используют оптимизированную реализацию. Дополнительные сведения см. в описании DataFrames.table_transformation.

Именованные аргументы

Метаданные: эта функция распространяет метаданные на уровне таблиц в стиле :note. Метаданные на уровне столбцов в стиле :note распространяются в следующих случаях: а) один столбец преобразуется в один столбец, при этом имя столбца не изменяется (это относится ко всем операциям выбора столбца), или б) один столбец преобразуется с помощью identity или copy в один столбец даже при изменении имени столбца (сюда относится и переименование столбца). Особый случай для GroupedDataFrame: если вывод имеет то же имя, что и группирующий столбец, и keepkeys=true, метаданные берутся из исходного группирующего столбца.

Примеры

указание имени для целевого столбца

несколько аргументов, переименование и сохранение ключей

трансляция и расширение столбцов

независимые от столбцов операции

# DataFrames.select! — Function

Изменяет df или gd на месте для сохранения только столбцов или преобразований, указанных с помощью args..., и возвращает его. Результат гарантированно имеет то же количество строк, что и df или родитель gd, за исключением ситуаций, когда ни один столбец не выбран (в этом случае результат не содержит строк).

Если передается SubDataFrame или GroupedDataFrame{SubDataFrame}, родительский фрейм данных обновляется с помощью столбцов, созданных args..., следуя тем же правилам, что и при индексировании:

Если передается GroupedDataFrame, он обновляется, чтобы отразить новые строки своего обновленного родителя. Если существуют независимые объекты GroupedDataFrame, созданные на основе одного и того же родительского фрейма данных, они могут быть повреждены.

Ниже подробно описаны и сопоставлены общие правила для всех функций преобразования, поддерживаемых DataFrames.jl.

Все эти операции поддерживаются как для AbstractDataFrame (при пропуске шагов разделения и объединения), так и для GroupedDataFrame. Технически AbstractDataFrame считается сгруппированным без столбцов (это означает, что у него есть одна группа или ни одной, если он пуст). Единственное отличие заключается в том, что в этом случае именованные аргументы keepkeys и ungroup (описанные ниже) не поддерживаются, и всегда возвращается фрейм данных, поскольку в этом случае нет шагов разделения и объединения.

Чтобы выполнять операции с группами, сначала нужно создать объект GroupedDataFrame из фрейма данных с помощью функции groupby, которая принимает два аргумента: (1) фрейм данных, который нужно сгруппировать, и (2) набор столбцов, по которым осуществляется группировка.

Затем можно применить операции к каждой группе с помощью одной из следующих функций:

Особый случай: если передается GroupedDataFrame без групп, результат операции определяется путем выполнения одного вызова функции преобразования с переданным ей аргументом с нулем строк. Выходные данные этой операции используются только для определения количества и типа созданных столбцов, но результат не содержит строк.

Все эти функции принимают спецификацию одной или нескольких функций для применения к каждому подмножеству DataFrame. Эта спецификация может иметь следующий вид:

Примечание. Если передается выражение вида x => y, то, за исключением специального вспомогательного вида nrow => target_cols, оно всегда интерпретируется как cols => function. В частности, следующее выражение function => target_cols не является допустимой спецификацией преобразования.

Примечание. Если cols или target_cols являются All, Cols, Between или Not, поддерживается трансляция с использованием .=>, и она эквивалентна трансляции результата names(df, cols) или names(df, target_cols). Это работает, как будто трансляция произошла после замены селектора выбранными именами столбцов в области фрейма данных.

Все функции имеют два типа сигнатур. Один из них принимает GroupedDataFrame в качестве первого аргумента и произвольное количество преобразований, описанных выше, в качестве последующих аргументов. Второй тип сигнатуры — это когда в качестве первого аргумента передается Function или Type и GroupedDataFrame в качестве второго аргумента (аналогично map).

Есть особое правило: если при использовании синтаксисов cols => function и cols => function => target_cols cols заключен в объект AsTable, NamedTuple, содержащий столбцы, выбранные с помощью cols, передается function. Дополнительные сведения см. в документации по DataFrames.table_transformation, где также рассматриваются вопросы производительности.

Результат, который может возвращать функция (function), определяется значением target_cols.

Во всех этих случаях функция (function) может возвращать как одну строку, так и несколько. Как правило, значения, заключенные в Ref или 0-мерный массив AbstractArray, распаковываются и после этого считаются одной строкой.

select/select! и transform/transform! всегда возвращают фрейм данных с количеством и порядком строк, точно таким же, как у исходного (даже если в GroupedDataFrame был изменен порядок групп), за исключением случаев, когда в результирующем фрейме данных нет столбцов (в этом случае результат не содержит строк).

Для combine строки в возвращаемом объекте отображаются в порядке групп в GroupedDataFrame. Функции могут возвращать произвольное количество строк для каждой группы, но тип возвращаемого объекта и количество и имена столбцов должны быть одинаковыми для всех групп, за исключением случаев, когда возвращаются DataFrame() или NamedTuple(), тогда заданная группа пропускается.

Допускается смешивать единичные значения и векторы, если запрашивается несколько преобразований. В этом случае такое значение будет повторяться, чтобы соответствовать длине столбцов, указанных в возвращаемых векторах.

Чтобы применить функцию (function) к каждой строке, а не ко всем столбцам, ее можно заключить в структуру ByRow. cols может быть любым синтаксисом индексирования столбцов. Тогда функции (function) будет передан один аргумент для каждого из столбцов, указанных с помощью cols, или NamedTuple, если указанные столбцы заключены в AsTable. Если используется ByRow, cols может выбрать пустой набор столбцов, тогда function вызывается для каждой строки без аргументов, и передается пустой NamedTuple, если в AsTable заключен пустой набор столбцов.

Если передается коллекция имен столбцов, то принимаются запросы дублирующихся имен столбцов в целевом фрейме данных (например, допускается select!(df, [:a], :, r"a")), и используется только первое вхождение. В частности, используется следующий синтаксис для перемещения столбца :col в первую позицию во фрейме данных — select!(df, :col, :). Напротив, имена выходных столбцов в операциях переименования, преобразования и выбора одного столбца должны быть уникальными, поэтому, например, select!(df, :a, :a => :a) или select!(df, :a, :a => ByRow(sin) => :a) недопустимы.

В общем случае столбцы, возвращаемые преобразованиями, сохраняются в целевом фрейме данных без копирования. Исключением из этого правила являются случаи, когда столбцы из исходного фрейма данных повторно используются в целевом фрейме данных. Это можно сделать с помощью таких выражений, как: :x1, [:x1, :x2], :x1 => :x2, :x1 => identity => :x2 или :x1 => (x -> @view x[inds]) (обратите внимание, что в последнем случае исходный столбец используется повторно косвенным образом через представление). В таких случаях поведение зависит от значения именованного аргумента copycols:

Обратите внимание, что при выполнении transform! или select! предполагается, что copycols=false.

Если df является SubDataFrame и copycols=true, возвращается DataFrame и применяются те же правила копирования, что и для входных данных DataFrame: это означает, в частности, что выбранные столбцы будут скопированы. При copycols=false SubDataFrame возвращается без копирования столбцов, и в этом случае преобразование или переименование столбцов не допускается.

Если передается GroupedDataFrame и threads=true (по умолчанию), для каждого указанного преобразования порождается отдельная задача. Затем каждое преобразование порождает столько задач, сколько потоков доступно в Julia, и разделяет обработку групп между ними (однако в настоящее время преобразования с оптимизированной реализацией, такие как sum, и преобразования, возвращающие несколько строк, используют одну задачу для всех групп). Это позволяет выполнять параллельную работу, если среда Julia была запущена с несколькими потоками. Поэтому передаваемые функции преобразования не должны изменять глобальные переменные (то есть они должны быть чистыми), использовать блокировки для управления параллельным доступом, либо следует передать threads=false, чтобы отключить многопоточность. В будущем параллелизм может быть распространен и на другие случаи, так что это требование справедливо и для входных данных DataFrame.

Для повышения производительности операций некоторые преобразования используют оптимизированную реализацию. Дополнительные сведения см. в описании DataFrames.table_transformation.

Именованные аргументы

Метаданные: эта функция распространяет метаданные на уровне таблиц в стиле :note. Метаданные на уровне столбцов в стиле :note распространяются в следующих случаях: а) один столбец преобразуется в один столбец, при этом имя столбца не изменяется (это относится ко всем операциям выбора столбца), или б) один столбец преобразуется с помощью identity или copy в один столбец даже при изменении имени столбца (сюда относится и переименование столбца). Особый случай для GroupedDataFrame: если вывод имеет то же имя, что и группирующий столбец, и keepkeys=true, метаданные берутся из исходного группирующего столбца.

Примеры см. в описании select.

# Random.shuffle — Function

Возвращает копию df со случайно перестановленными строками. Необязательный аргумент rng указывает генератор случайных чисел.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Random.shuffle! — Function

Выполняет случайную перестановку строк df на месте. Необязательный аргумент rng указывает генератор случайных чисел.

shuffle! выдаст корректный результат, даже если некоторые столбцы переданного фрейма данных идентичны (проверены с помощью ===). В противном случае, если два столбца имеют общую часть памяти, но не идентичны (например, являются разными представлениями одного и того же родительского вектора), результат shuffle! может быть неверным.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame).

Примеры

# DataFrames.table_transformation — Function

Это функция, вызываемая при запросе AsTable(...) => fun. Аргумент df_sel представляет собой фрейм данных, хранящий столбцы, выбранные с помощью селектора AsTable(...) .

По умолчанию он вызывает default_table_transformation. Однако разрешается добавлять специальные методы для определенных типов fun, если результат совпадает с тем, что выдает default_table_transformation, за исключением того, что разрешается выполнять преобразование eltype результирующих векторов или продвижение типов значений, которые согласованы с promote_type.

Гарантируется, что df_sel имеет как минимум один столбец.

Основное назначение специальных методов table_transformation — обеспечить более эффективную, чем заданную по умолчанию, реализацию запрошенного преобразования fun.

В будущем эта функция может стать частью общедоступного API пакета DataFrames.jl. Сейчас она должна рассматриваться как экспериментальная.

Быстрые пути реализованы в пакете DataFrames.jl для следующих функций fun:

Обратите внимание, что для повышения производительности ByRow(sum), ByRow(sum∘skipmissing), ByRow(mean) и ByRow(mean∘skipmissing) выполняют все операции в целевом типе элемента. В некоторых очень редких случаях (например, смешивание очень больших значений Int64 и значений Float64) может быть получен результат, отличный от того, который мог бы получен при вызове функции вне DataFrames.jl. Чтобы избежать этой потери точности, следует использовать анонимную функцию, например вместо ByRow(sum) использовать ByRow(x -> sum(x)). Однако в целом для таких сценариев не следует рассматривать даже стандартные функции агрегирования, чтобы получить надежный результат, и пользователям рекомендуется перейти на вычисления с более высокой точностью. Ниже приведен пример случая, когда стандартная функция sum затрагивается обсуждаемой ситуацией.

# DataFrames.transform — Function

Создает новый фрейм данных, содержащий столбцы из df или gd, а также столбцы, указанные с помощью args, и возвращает его. Результат гарантированно имеет то же количество строк, что и df. Функция эквивалентна select(df, :, args...) или select(gd, :, args...).

Ниже подробно описаны и сопоставлены общие правила для всех функций преобразования, поддерживаемых DataFrames.jl.

Все эти операции поддерживаются как для AbstractDataFrame (при пропуске шагов разделения и объединения), так и для GroupedDataFrame. Технически AbstractDataFrame считается сгруппированным без столбцов (это означает, что у него есть одна группа или ни одной, если он пуст). Единственное отличие заключается в том, что в этом случае именованные аргументы keepkeys и ungroup (описанные ниже) не поддерживаются, и всегда возвращается фрейм данных, поскольку в этом случае нет шагов разделения и объединения.

Чтобы выполнять операции с группами, сначала нужно создать объект GroupedDataFrame из фрейма данных с помощью функции groupby, которая принимает два аргумента: (1) фрейм данных, который нужно сгруппировать, и (2) набор столбцов, по которым осуществляется группировка.

Затем можно применить операции к каждой группе с помощью одной из следующих функций:

Особый случай: если передается GroupedDataFrame без групп, результат операции определяется путем выполнения одного вызова функции преобразования с переданным ей аргументом с нулем строк. Выходные данные этой операции используются только для определения количества и типа созданных столбцов, но результат не содержит строк.

Все эти функции принимают спецификацию одной или нескольких функций для применения к каждому подмножеству DataFrame. Эта спецификация может иметь следующий вид:

Примечание. Если передается выражение вида x => y, то, за исключением специального вспомогательного вида nrow => target_cols, оно всегда интерпретируется как cols => function. В частности, следующее выражение function => target_cols не является допустимой спецификацией преобразования.

Примечание. Если cols или target_cols являются All, Cols, Between или Not, поддерживается трансляция с использованием .=>, и она эквивалентна трансляции результата names(df, cols) или names(df, target_cols). Это работает, как будто трансляция произошла после замены селектора выбранными именами столбцов в области фрейма данных.

Все функции имеют два типа сигнатур. Один из них принимает GroupedDataFrame в качестве первого аргумента и произвольное количество преобразований, описанных выше, в качестве последующих аргументов. Второй тип сигнатуры — это когда в качестве первого аргумента передается Function или Type и GroupedDataFrame в качестве второго аргумента (аналогично map).

Есть особое правило: если при использовании синтаксисов cols => function и cols => function => target_cols cols заключен в объект AsTable, NamedTuple, содержащий столбцы, выбранные с помощью cols, передается function. Дополнительные сведения см. в документации по DataFrames.table_transformation, где также рассматриваются вопросы производительности.

Результат, который может возвращать функция (function), определяется значением target_cols.

Во всех этих случаях функция (function) может возвращать как одну строку, так и несколько. Как правило, значения, заключенные в Ref или 0-мерный массив AbstractArray, распаковываются и после этого считаются одной строкой.

select/select! и transform/transform! всегда возвращают фрейм данных с количеством и порядком строк, точно таким же, как у исходного (даже если в GroupedDataFrame был изменен порядок групп), за исключением случаев, когда в результирующем фрейме данных нет столбцов (в этом случае результат не содержит строк).

Для combine строки в возвращаемом объекте отображаются в порядке групп в GroupedDataFrame. Функции могут возвращать произвольное количество строк для каждой группы, но тип возвращаемого объекта и количество и имена столбцов должны быть одинаковыми для всех групп, за исключением случаев, когда возвращаются DataFrame() или NamedTuple(), тогда заданная группа пропускается.

Допускается смешивать единичные значения и векторы, если запрашивается несколько преобразований. В этом случае такое значение будет повторяться, чтобы соответствовать длине столбцов, указанных в возвращаемых векторах.

Чтобы применить функцию (function) к каждой строке, а не ко всем столбцам, ее можно заключить в структуру ByRow. cols может быть любым синтаксисом индексирования столбцов. Тогда функции (function) будет передан один аргумент для каждого из столбцов, указанных с помощью cols, или NamedTuple, если указанные столбцы заключены в AsTable. Если используется ByRow, cols может выбрать пустой набор столбцов, тогда function вызывается для каждой строки без аргументов, и передается пустой NamedTuple, если в AsTable заключен пустой набор столбцов.

Если передается коллекция имен столбцов, то принимаются запросы дублирующихся имен столбцов в целевом фрейме данных (например, допускается select!(df, [:a], :, r"a")), и используется только первое вхождение. В частности, используется следующий синтаксис для перемещения столбца :col в первую позицию во фрейме данных — select!(df, :col, :). Напротив, имена выходных столбцов в операциях переименования, преобразования и выбора одного столбца должны быть уникальными, поэтому, например, select!(df, :a, :a => :a) или select!(df, :a, :a => ByRow(sin) => :a) недопустимы.

В общем случае столбцы, возвращаемые преобразованиями, сохраняются в целевом фрейме данных без копирования. Исключением из этого правила являются случаи, когда столбцы из исходного фрейма данных повторно используются в целевом фрейме данных. Это можно сделать с помощью таких выражений, как: :x1, [:x1, :x2], :x1 => :x2, :x1 => identity => :x2 или :x1 => (x -> @view x[inds]) (обратите внимание, что в последнем случае исходный столбец используется повторно косвенным образом через представление). В таких случаях поведение зависит от значения именованного аргумента copycols:

Обратите внимание, что при выполнении transform! или select! предполагается, что copycols=false.

Если df является SubDataFrame и copycols=true, возвращается DataFrame и применяются те же правила копирования, что и для входных данных DataFrame: это означает, в частности, что выбранные столбцы будут скопированы. При copycols=false SubDataFrame возвращается без копирования столбцов, и в этом случае преобразование или переименование столбцов не допускается.

Если передается GroupedDataFrame и threads=true (по умолчанию), для каждого указанного преобразования порождается отдельная задача. Затем каждое преобразование порождает столько задач, сколько потоков доступно в Julia, и разделяет обработку групп между ними (однако в настоящее время преобразования с оптимизированной реализацией, такие как sum, и преобразования, возвращающие несколько строк, используют одну задачу для всех групп). Это позволяет выполнять параллельную работу, если среда Julia была запущена с несколькими потоками. Поэтому передаваемые функции преобразования не должны изменять глобальные переменные (то есть они должны быть чистыми), использовать блокировки для управления параллельным доступом, либо следует передать threads=false, чтобы отключить многопоточность. В будущем параллелизм может быть распространен и на другие случаи, так что это требование справедливо и для входных данных DataFrame.

Для повышения производительности операций некоторые преобразования используют оптимизированную реализацию. Дополнительные сведения см. в описании DataFrames.table_transformation.

Именованные аргументы

Обратите внимание, что когда первым аргументом является GroupedDataFrame, требуется keepkeys=false, чтобы возвращать другое значение для группирующего столбца.

Метаданные: эта функция распространяет метаданные на уровне таблиц в стиле :note. Метаданные на уровне столбцов в стиле :note распространяются в следующих случаях: а) один столбец преобразуется в один столбец, при этом имя столбца не изменяется (это относится ко всем операциям выбора столбца), или б) один столбец преобразуется с помощью identity или copy в один столбец даже при изменении имени столбца (сюда относится и переименование столбца). Особый случай для GroupedDataFrame: если вывод имеет то же имя, что и группирующий столбец, и keepkeys=true, метаданные берутся из исходного группирующего столбца.

Примеры

Дополнительные примеры см. в описании select.

# DataFrames.transform! — Function

Изменяет df или gd на месте для добавления столбцов, указанных с помощью args..., и возвращает его. Результат гарантированно имеет то же количество строк, что и df или Функция эквивалентна select!(df, :, args...) или select!(gd, :, args...), за исключением того, что при каждом переименовании столбца создается копия.

Ниже подробно описаны и сопоставлены общие правила для всех функций преобразования, поддерживаемых DataFrames.jl.

Все эти операции поддерживаются как для AbstractDataFrame (при пропуске шагов разделения и объединения), так и для GroupedDataFrame. Технически AbstractDataFrame считается сгруппированным без столбцов (это означает, что у него есть одна группа или ни одной, если он пуст). Единственное отличие заключается в том, что в этом случае именованные аргументы keepkeys и ungroup (описанные ниже) не поддерживаются, и всегда возвращается фрейм данных, поскольку в этом случае нет шагов разделения и объединения.

Чтобы выполнять операции с группами, сначала нужно создать объект GroupedDataFrame из фрейма данных с помощью функции groupby, которая принимает два аргумента: (1) фрейм данных, который нужно сгруппировать, и (2) набор столбцов, по которым осуществляется группировка.

Затем можно применить операции к каждой группе с помощью одной из следующих функций:

Особый случай: если передается GroupedDataFrame без групп, результат операции определяется путем выполнения одного вызова функции преобразования с переданным ей аргументом с нулем строк. Выходные данные этой операции используются только для определения количества и типа созданных столбцов, но результат не содержит строк.

Все эти функции принимают спецификацию одной или нескольких функций для применения к каждому подмножеству DataFrame. Эта спецификация может иметь следующий вид:

Примечание. Если передается выражение вида x => y, то, за исключением специального вспомогательного вида nrow => target_cols, оно всегда интерпретируется как cols => function. В частности, следующее выражение function => target_cols не является допустимой спецификацией преобразования.

Примечание. Если cols или target_cols являются All, Cols, Between или Not, поддерживается трансляция с использованием .=>, и она эквивалентна трансляции результата names(df, cols) или names(df, target_cols). Это работает, как будто трансляция произошла после замены селектора выбранными именами столбцов в области фрейма данных.

Все функции имеют два типа сигнатур. Один из них принимает GroupedDataFrame в качестве первого аргумента и произвольное количество преобразований, описанных выше, в качестве последующих аргументов. Второй тип сигнатуры — это когда в качестве первого аргумента передается Function или Type и GroupedDataFrame в качестве второго аргумента (аналогично map).

Есть особое правило: если при использовании синтаксисов cols => function и cols => function => target_cols cols заключен в объект AsTable, NamedTuple, содержащий столбцы, выбранные с помощью cols, передается function. Дополнительные сведения см. в документации по DataFrames.table_transformation, где также рассматриваются вопросы производительности.

Результат, который может возвращать функция (function), определяется значением target_cols.

Во всех этих случаях функция (function) может возвращать как одну строку, так и несколько. Как правило, значения, заключенные в Ref или 0-мерный массив AbstractArray, распаковываются и после этого считаются одной строкой.

select/select! и transform/transform! всегда возвращают фрейм данных с количеством и порядком строк, точно таким же, как у исходного (даже если в GroupedDataFrame был изменен порядок групп), за исключением случаев, когда в результирующем фрейме данных нет столбцов (в этом случае результат не содержит строк).

Для combine строки в возвращаемом объекте отображаются в порядке групп в GroupedDataFrame. Функции могут возвращать произвольное количество строк для каждой группы, но тип возвращаемого объекта и количество и имена столбцов должны быть одинаковыми для всех групп, за исключением случаев, когда возвращаются DataFrame() или NamedTuple(), тогда заданная группа пропускается.

Допускается смешивать единичные значения и векторы, если запрашивается несколько преобразований. В этом случае такое значение будет повторяться, чтобы соответствовать длине столбцов, указанных в возвращаемых векторах.

Чтобы применить функцию (function) к каждой строке, а не ко всем столбцам, ее можно заключить в структуру ByRow. cols может быть любым синтаксисом индексирования столбцов. Тогда функции (function) будет передан один аргумент для каждого из столбцов, указанных с помощью cols, или NamedTuple, если указанные столбцы заключены в AsTable. Если используется ByRow, cols может выбрать пустой набор столбцов, тогда function вызывается для каждой строки без аргументов, и передается пустой NamedTuple, если в AsTable заключен пустой набор столбцов.

Если передается коллекция имен столбцов, то принимаются запросы дублирующихся имен столбцов в целевом фрейме данных (например, допускается select!(df, [:a], :, r"a")), и используется только первое вхождение. В частности, используется следующий синтаксис для перемещения столбца :col в первую позицию во фрейме данных — select!(df, :col, :). Напротив, имена выходных столбцов в операциях переименования, преобразования и выбора одного столбца должны быть уникальными, поэтому, например, select!(df, :a, :a => :a) или select!(df, :a, :a => ByRow(sin) => :a) недопустимы.

В общем случае столбцы, возвращаемые преобразованиями, сохраняются в целевом фрейме данных без копирования. Исключением из этого правила являются случаи, когда столбцы из исходного фрейма данных повторно используются в целевом фрейме данных. Это можно сделать с помощью таких выражений, как: :x1, [:x1, :x2], :x1 => :x2, :x1 => identity => :x2 или :x1 => (x -> @view x[inds]) (обратите внимание, что в последнем случае исходный столбец используется повторно косвенным образом через представление). В таких случаях поведение зависит от значения именованного аргумента copycols:

Обратите внимание, что при выполнении transform! или select! предполагается, что copycols=false.

Если df является SubDataFrame и copycols=true, возвращается DataFrame и применяются те же правила копирования, что и для входных данных DataFrame: это означает, в частности, что выбранные столбцы будут скопированы. При copycols=false SubDataFrame возвращается без копирования столбцов, и в этом случае преобразование или переименование столбцов не допускается.

Если передается GroupedDataFrame и threads=true (по умолчанию), для каждого указанного преобразования порождается отдельная задача. Затем каждое преобразование порождает столько задач, сколько потоков доступно в Julia, и разделяет обработку групп между ними (однако в настоящее время преобразования с оптимизированной реализацией, такие как sum, и преобразования, возвращающие несколько строк, используют одну задачу для всех групп). Это позволяет выполнять параллельную работу, если среда Julia была запущена с несколькими потоками. Поэтому передаваемые функции преобразования не должны изменять глобальные переменные (то есть они должны быть чистыми), использовать блокировки для управления параллельным доступом, либо следует передать threads=false, чтобы отключить многопоточность. В будущем параллелизм может быть распространен и на другие случаи, так что это требование справедливо и для входных данных DataFrame.

Для повышения производительности операций некоторые преобразования используют оптимизированную реализацию. Дополнительные сведения см. в описании DataFrames.table_transformation.

Именованные аргументы

Метаданные: эта функция распространяет метаданные на уровне таблиц в стиле :note. Метаданные на уровне столбцов в стиле :note распространяются в следующих случаях: а) один столбец преобразуется в один столбец, при этом имя столбца не изменяется (это относится ко всем операциям выбора столбца), или б) один столбец преобразуется с помощью identity или copy в один столбец даже при изменении имени столбца (сюда относится и переименование столбца). Особый случай для GroupedDataFrame: если вывод имеет то же имя, что и группирующий столбец, и keepkeys=true, метаданные берутся из исходного группирующего столбца.

Примеры см. в описании select.

# Base.vcat — Function

Выполняет вертикальную конкатенацию AbstractDataFrame.

Именованный аргумент cols определяет столбцы в возвращаемом фрейме данных.

Именованный аргумент source, если не nothing (по умолчанию), указывает дополнительный столбец, который будет добавлен в последнюю позицию результирующего фрейма данных, который будет идентифицировать исходный фрейм данных. Это может быть Symbol или AbstractString, в этом случае идентификатором будет номер переданного исходного фрейма данных, или пара (Pair), состоящая из Symbol или AbstractString и вектора, задающего идентификаторы фреймов данных (которые не обязательно должны быть уникальными). Имя исходного столбца не должно присутствовать ни в одном исходном фрейме данных.

Порядок столбцов определяется порядком их появления во включенных фреймах данных. Поиск осуществляется по заголовку первого фрейма данных, затем второго и т. д.

Типы элементов столбцов определяются с помощью promote_type, как и в случае с vcat для AbstractVector.

vcat игнорирует пустые фреймы данных при формировании результата (за исключением метаданных), что позволяет инициализировать пустой фрейм данных в начале цикла и выполнять его вертикальную конкатенацию (vcat).

Метаданные: функция vcat распространяет метаданные на уровне таблиц в стиле :note для ключей, присутствующих во всех передаваемых фреймах данных и имеющих одинаковое значение. Функция vcat распространяет метаданные на уровне столбцов в стиле :note для ключей, присутствующих во всех передаваемых фреймах данных, содержащих этот столбец, и имеющих одинаковое значение.

Пример

# Base.stack — Function

Выполняет наложение фрейма данных df, т. е. преобразует его из широкого формата в длинный.

Возвращает длинноформатный DataFrame, содержащий столбцы для каждого id_vars, столбец value_name (:value по умолчанию), содержащий значения наложенных столбцов (measure_vars), и столбец variable_name (:variable по умолчанию) — вектор, содержащий имя соответствующей переменной measure_vars.

Если view=true, возвращает многослойное представление фрейма данных (длинный формат). Результатом является представление, поскольку столбцы представляют собой особые AbstractVectors, которые возвращают представления в исходный фрейм данных.

Аргументы

Метаданные: метаданные на уровне таблиц в стиле :note и метаданные на уровне столбцов в стиле :note для столбцов указателей.

Примеры

# DataFrames.unstack — Function

Отменяет наложение фрейма данных df, т. е. преобразует его из длинного формата в широкий.

Ключи строк и столбцов упорядочиваются в порядке их первого появления.

Позиционные аргументы

Именованные аргументы

Метаданные: метаданные на уровне таблиц в стиле :note и метаданные на уровне столбцов в стиле :note для столбцов ключей строк сохраняются.

Нерекомендуемые аргументы

Примеры

Обратите внимание, что между приведенными выше расширенными результатами есть некоторые различия.

# Base.permutedims — Function

Поворачивает df на бок, чтобы строки стали столбцами, а значения в столбце, проиндексированном с помощью src_namescol, стали именами новых столбцов. В результирующем DataFrame имена столбцов df станут первым столбцом с именем, указанным с помощью dest_namescol.

Аргументы

Примечание. Типы элементов столбцов в результирующем DataFrame (кроме первого столбца, если он создан из имен столбцов df, который всегда имеет тип элемента String) будут зависеть от типов элементов всех входных столбцов на основе результата promote_type. То есть если исходный фрейм данных содержит столбцы Int и Float64, результирующие столбцы будут иметь тип элемента Float64. Если в источнике есть столбцы Int и String, результирующие столбцы будут иметь тип элемента Any.

Метаданные: метаданные на уровне таблиц в стиле :note сохраняются, а метаданные на уровне столбцов удаляются.

Примеры

# Base.issorted — Function

Проверяет, отсортирован ли фрейм данных df по столбцам cols. Проверка сортировки по нескольким столбцам выполняется лексикографически.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел). Если cols не выбирает столбцы, проверьте, сортируется ли df по всем столбцам (это поведение устарело и будет изменено в будущих версиях).

Если rev имеет значение true, выполняется обратная сортировка. Чтобы включить обратную сортировку только для некоторых столбцов, передайте order(c, rev=true) в cols, где c соответствует индексу столбца (см. пример ниже).

Поскольку при наличии повторяющихся элементов допустимы несколько порядков сортировки, ключевое слово checkunique позволяет обнаруживать подобные ситуации. Если checkunique является true и найдены повторяющиеся элементы, возникнет ошибка. Использование ключевого слова checkunique поддерживается, только если не используются ключевые слова by и lt . Аналогично, использование предложений order(...), которые задают by или lt, не поддерживается, но допускается указание rev .

С помощью ключевого слова by можно задать функцию, которая будет применяться к каждому элементу перед сравнением. С помощью ключевого слова lt можно указать пользовательскую функцию «меньше чем». Если указать и by, и lt, функция lt применяется к результату функции by.

Именованные аргументы, указывающие порядок сортировки (rev, lt или by) могут представлять собой одно значение или вектор длиной, равной количеству столбцов, с которыми выполняется операция. Если передается одно значение, оно применяется ко всем столбцам. Если передается вектор, каждая запись применяется к столбцу в соответствующей позиции в cols.

Примеры

# DataFrames.order — Function

Задает порядок сортировки для столбца col во фрейме данных. kwargs могут быть lt, by, rev и order со значениями, соответствующими правилам, определенным в sort!.

См. также описание sort!, sort

Примеры

# Base.sort — Function

Возвращает фрейм данных, содержащий строки в df, отсортированном по столбцам cols. Сортировка по нескольким столбцам выполняется лексикографически.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел). Если cols не выбирает столбцы, сортирует df по всем столбцам (это поведение устарело и будет изменено в будущих версиях).

Если rev имеет значение true, выполняется обратная сортировка. Чтобы включить обратную сортировку только для некоторых столбцов, передайте order(c, rev=true) в cols, где c соответствует индексу столбца (см. пример ниже).

Поскольку при наличии повторяющихся элементов допустимы несколько порядков сортировки, ключевое слово checkunique позволяет обнаруживать подобные ситуации. Если checkunique является true и найдены повторяющиеся элементы, возникнет ошибка. Использование ключевого слова checkunique поддерживается, только если не используются ключевые слова by и lt . Аналогично, использование предложений order(...), которые задают by или lt, не поддерживается, но допускается указание rev .

С помощью ключевого слова by можно задать функцию, которая будет применяться к каждому элементу перед сравнением. С помощью ключевого слова lt можно указать пользовательскую функцию «меньше чем». Если указать и by, и lt, функция lt применяется к результату функции by.

Именованные аргументы, указывающие порядок сортировки (rev, lt или by) могут представлять собой одно значение или вектор длиной, равной количеству столбцов, с которыми выполняется операция. Если передается одно значение, оно применяется ко всем столбцам. Если передается вектор, каждая запись применяется к столбцу в соответствующей позиции в cols.

Если alg имеет значение nothing (по умолчанию), наиболее подходящий алгоритм выбирается автоматически среди TimSort, MergeSort и RadixSort в зависимости от типа сортирующих столбцов и количества строк в df.

Если view=false, возвращается только что выделенный DataFrame. Если view=true, возвращается представление SubDataFrame для df.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.sort! — Function

Сортирует фрейм данных df по столбцам cols, переставляя его строки на месте. Сортировка по нескольким столбцам выполняется лексикографически.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел). Если cols не выбирает столбцы, сортирует df по всем столбцам (это поведение устарело и будет изменено в будущих версиях).

Если rev имеет значение true, выполняется обратная сортировка. Чтобы включить обратную сортировку только для некоторых столбцов, передайте order(c, rev=true) в cols, где c соответствует индексу столбца (см. пример ниже).

Поскольку при наличии повторяющихся элементов допустимы несколько порядков сортировки, ключевое слово checkunique позволяет обнаруживать подобные ситуации. Если checkunique является true и найдены повторяющиеся элементы, возникнет ошибка. Использование ключевого слова checkunique поддерживается, только если не используются ключевые слова by и lt . Аналогично, использование предложений order(...), которые задают by или lt, не поддерживается, но допускается указание rev .

С помощью ключевого слова by можно задать функцию, которая будет применяться к каждому элементу перед сравнением. С помощью ключевого слова lt можно указать пользовательскую функцию «меньше чем». Если указать и by, и lt, функция lt применяется к результату функции by.

Именованные аргументы, указывающие порядок сортировки (rev, lt или by) могут представлять собой одно значение или вектор длиной, равной количеству столбцов, с которыми выполняется операция. Если передается одно значение, оно применяется ко всем столбцам. Если передается вектор, каждая запись применяется к столбцу в соответствующей позиции в cols.

Если alg имеет значение nothing (по умолчанию), наиболее подходящий алгоритм выбирается автоматически среди TimSort, MergeSort и RadixSort в зависимости от типа сортирующих столбцов и количества строк в df.

sort! выдаст корректный результат, даже если некоторые столбцы переданного фрейма данных идентичны (проверены с помощью ===). В противном случае, если два столбца имеют общую часть памяти, но не идентичны (например, являются разными представлениями одного и того же родительского вектора), результат sort! может быть неверным.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Метаданные, имеющие другие стили, удаляются (из родительского фрейма данных, если df является SubDataFrame).

Примеры

# Base.sortperm — Function

Возвращает вектор перестановки индексов строк фрейма данных df, который располагает их в отсортированном порядке в соответствии со столбцами cols. Упорядочение по нескольким столбцам выполняется лексикографически.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел). Если cols не выбирает ни одного столбца, возвращается вектор перестановок, основанный на сортировке всех столбцов (это поведение устарело и будет изменено в будущих версиях).

Если rev имеет значение true, выполняется обратная сортировка. Чтобы включить обратную сортировку только для некоторых столбцов, передайте order(c, rev=true) в cols, где c соответствует индексу столбца (см. пример ниже).

Поскольку при наличии повторяющихся элементов допустимы несколько порядков сортировки, ключевое слово checkunique позволяет обнаруживать подобные ситуации. Если checkunique является true и найдены повторяющиеся элементы, возникнет ошибка. Использование ключевого слова checkunique поддерживается, только если не используются ключевые слова by и lt . Аналогично, использование предложений order(...), которые задают by или lt, не поддерживается, но допускается указание rev .

С помощью ключевого слова by можно задать функцию, которая будет применяться к каждому элементу перед сравнением. С помощью ключевого слова lt можно указать пользовательскую функцию «меньше чем». Если указать и by, и lt, функция lt применяется к результату функции by.

Именованные аргументы, указывающие порядок сортировки (rev, lt или by) могут представлять собой одно значение или вектор длиной, равной количеству столбцов, с которыми выполняется операция. Если передается одно значение, оно применяется ко всем столбцам. Если передается вектор, каждая запись применяется к столбцу в соответствующей позиции в cols.

Если alg имеет значение nothing (по умолчанию), наиболее подходящий алгоритм выбирается автоматически среди TimSort, MergeSort и RadixSort в зависимости от типа сортирующих столбцов и количества строк в df.

Примеры

# DataAPI.antijoin — Function

Выполняет антисоединение двух объектов фрейма данных и возвращает DataFrame, содержащий результат. Антисоединение возвращает подмножество строк df1, которые не совпадают с ключами в df2.

Порядок строк в результате сохраняется из df1.

Аргументы

Именованные аргументы

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Метаданные: метаданные на уровне таблиц и метаданные на уровне столбцов в стиле :note принимаются из df1.

См. также описание innerjoin, leftjoin, rightjoin, outerjoin, semijoin, crossjoin.

Примеры

# DataAPI.crossjoin — Function

Выполняет перекрестное соединение двух или более объектов фрейма данных и возвращает DataFrame, содержащий результат. Перекрестное соединение возвращает декартово произведение строк из всех переданных фреймов данных, где первый переданный фрейм данных присваивается измерению, которое изменяется медленнее всего, а последний фрейм данных присваивается измерению, которое изменяется быстрее всего.

Аргументы

Именованные аргументы

Если передается более двух фреймов данных, соединение выполняется рекурсивно с левой ассоциативностью.

Метаданные: метаданные на уровне таблиц в стиле :note сохраняются только для ключей, которые определены во всех передаваемых таблицах и имеют одинаковое значение. Метаданные на уровне столбцов в стиле :note сохраняются из обеих таблиц.

См. также описание innerjoin, leftjoin, rightjoin, outerjoin, semijoin, antijoin.

Примеры

# DataAPI.innerjoin — Function

Выполняет внутреннее соединение двух или более объектов фрейма данных и возвращает DataFrame, содержащий результат. Внутреннее соединение включает строки с ключами, которые совпадают во всех переданных фреймах данных.

В возвращаемом фрейме данных тип столбцов, по которым соединяются фреймы данных, определяется типом этих столбцов в df1. Такое поведение может измениться в будущих выпусках.

Аргументы

Именованные аргументы

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Если передается более двух фреймов данных, соединение выполняется рекурсивно с левой ассоциативностью. В этом случае именованный аргумент validate применяется рекурсивно с левой ассоциативностью.

Метаданные: метаданные на уровне таблиц в стиле :note и метаданные на уровне столбцов в стиле :note для столбцов ключей сохраняются только для ключей, которые определены во всех передаваемых таблицах и имеют одинаковое значение. Метаданные на уровне столбцов в стиле :note сохраняются для всех остальных столбцов.

См. также описание leftjoin, rightjoin, outerjoin, semijoin, antijoin, crossjoin.

Примеры

# DataAPI.leftjoin — Function

Выполняет левое соединение двух объектов фрейма данных и возвращает DataFrame, содержащий результат. Левое соединение включает все строки из df1.

В возвращаемом фрейме данных тип столбцов, по которым соединяются фреймы данных, определяется типом этих столбцов в df1. Такое поведение может измениться в будущих выпусках.

Аргументы

Именованные аргументы

Все столбцы возвращаемого фрейма данных будут поддерживать отсутствующие значения.

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Метаданные: метаданные на уровне таблиц и метаданные на уровне столбцов в стиле :note принимаются из df1 (включая столбцы ключей), за исключением столбцов, добавленных в него из df2, метаданные на уровне столбцов в стиле :note которого принимаются из df2.

См. также описание innerjoin, rightjoin, outerjoin, semijoin, antijoin, crossjoin.

Примеры

# DataFrames.leftjoin! — Function

Выполняет левое соединение двух объектов фрейма данных, обновляя df1 присоединенными столбцами из df2.

Левое соединение включает все строки из df1 и не затрагивает все строки и столбцы из df1. . Обратите внимание, что каждая строка в df1 должна иметь не более одного совпадения в df2. В противном случае, эта функция не сможет выполнить соединение на месте, поскольку потребуется добавить новые строки в df1.

Аргументы

Именованные аргументы

Столбцы, добавленные в df1 из df2, будут поддерживать отсутствующие значения.

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

Метаданные: метаданные на уровне таблиц и метаданные на уровне столбцов в стиле :note принимаются из df1 (включая столбцы ключей), за исключением столбцов, добавленных в него из df2, метаданные на уровне столбцов в стиле :note которого принимаются из df2.

См. также описание leftjoin.

Примеры

# DataAPI.outerjoin — Function

Выполняет внешнее соединение двух или более объектов фрейма данных и возвращает DataFrame, содержащий результат. Внешнее соединение включает строки с ключами, которые появляются во всех переданных фреймах данных.

Порядок строк в результате не определен и может измениться в будущих выпусках.

В возвращаемом фрейме данных тип столбцов, по которым соединяются фреймы данных, определяется типом элемента этих столбцов в df1 и df2. Это поведение может измениться в будущих выпусках.

Аргументы

Именованные аргументы

Все столбцы возвращаемого фрейма данных будут поддерживать отсутствующие значения.

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Если передается более двух фреймов данных, соединение выполняется рекурсивно с левой ассоциативностью. В этом случае именованный аргумент indicator не поддерживается, и именованный аргумент validate применяется рекурсивно с левой ассоциативностью.

Метаданные: метаданные на уровне таблиц в стиле :note и метаданные на уровне столбцов в стиле :note для столбцов ключей сохраняются только для ключей, которые определены во всех передаваемых таблицах и имеют одинаковое значение. Метаданные на уровне столбцов в стиле :note сохраняются для всех остальных столбцов.

См. также описание innerjoin, leftjoin, rightjoin, semijoin, antijoin, crossjoin.

Примеры

# DataAPI.rightjoin — Function

Выполняет правое соединение двух объектов фрейма данных и возвращает DataFrame, содержащий результат. Правое соединение включает все строки из df2.

Порядок строк в результате не определен и может измениться в будущих выпусках.

В возвращаемом фрейме данных тип столбцов, по которым соединяются фреймы данных, определяется типом этих столбцов в df2. Такое поведение может измениться в будущих выпусках.

Аргументы

Именованные аргументы

Все столбцы возвращаемого фрейма данных будут поддерживать отсутствующие значения.

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Метаданные: метаданные на уровне таблиц и метаданные на уровне столбцов в стиле :note принимаются из df2 (включая столбцы ключей), за исключением столбцов, добавленных в него из df1, метаданные на уровне столбцов в стиле :note которого принимаются из df1.

См. также описание innerjoin, leftjoin, outerjoin, semijoin, antijoin, crossjoin.

Примеры

# DataAPI.semijoin — Function

Выполняет полусоединение двух объектов фрейма данных и возвращает DataFrame, содержащий результат. Полусоединение возвращает подмножество строк df1, которые совпадают с ключами в df2.

Порядок строк в результате сохраняется из df1.

Аргументы

Именованные аргументы

Не допускается соединение по столбцам, содержащим NaN или -0.0 в вещественной или мнимой частях числа. Чтобы выполнить соединение по таким значениям, используйте CategoricalArrays.jl и преобразуйте столбец, содержащий такие значения, в CategoricalVector.

При объединении категориальных столбцов on, отличающихся упорядочением уровней, упорядочение левого фрейма данных имеет приоритет над упорядочением правого фрейма данных.

Метаданные: метаданные на уровне таблиц и метаданные на уровне столбцов в стиле :note принимаются из df1.

См. также описание innerjoin, leftjoin, rightjoin, outerjoin, antijoin, crossjoin.

Примеры

# Base.get — Function

Get a group based on the values of the grouping columns.

key may be a GroupKey, NamedTuple or Tuple of grouping column values (in the same order as the cols argument to groupby). It may also be an AbstractDict, in which case the order of the arguments does not matter.

Examples

# DataFrames.groupby — Function

Возвращает GroupedDataFrame, представляющий представление AbstractDataFrame, разделенного на группы строк.

Аргументы

Подробные сведения

Итератор по GroupedDataFrame возвращает представление SubDataFrame для каждого группирования в df. В каждой группе сохраняется порядок строк в df.

GroupedDataFrame также поддерживает индексирование по группам, select, transform и combine (которое применяет функцию к каждой группе и объединяет результат во фрейм данных).

GroupedDataFrame также поддерживает интерфейс словаря. Ключи представляют собой объекты GroupKey, возвращаемые функцией keys(::GroupedDataFrame), которая также может быть использована для получения значений группирующих столбцов для каждой группы. Tuples и NamedTuple, содержащие значения группирующих столбцов (в том же порядке, что и аргумент cols), также принимаются в качестве индексов. И, наконец, AbstractDict можно использовать для индексации в сгруппированный фрейм данных, где ключи являются именами столбцов фрейма данных. В этом случае порядок ключей не имеет значения.

В текущей реализации, если группы sort=nothing упорядочиваются в порядке появления значений в группирующих столбцах, за исключением случаев, когда все группирующие столбцы предоставляют не nothing DataAPI.refpool, то порядок групп следует порядку значений, возвращаемых DataAPI.refpool. Частное применение этого правила: если все cols являются CategoricalVector, группы всегда сортируются. Целочисленные столбцы с узким диапазоном также используют эту оптимизацию, поэтому порядок групп при группировке по целочисленным столбцам не определен. Столбец считается целочисленным при выборе алгоритма группировки, если его eltype является подтипом Union{Missing, Real}, все его элементы либо отсутствуют (missing), либо проходят тест isinteger, ни один из них не равен -0.0.

См. также описание

combine, select, select!, transform, transform!

Примеры

# DataFrames.groupcols — Function

Возвращает вектор Symbol имен столбцов в parent(gd), используемой для группировки.

# DataFrames.groupindices — Function

Возвращает вектор индексов групп для каждой строки parent(gd).

Строкам, появляющимся в группе gd[i], присваивается индекс i. Строкам, отсутствующим в любых группах, присваивается missing (это может произойти, если skipmissing=true было передано при создании gd, или если gd является подмножеством из более крупного GroupedDataFrame).

Синтаксис groupindices => target_col_name (или просто groupindices без без указания имени целевого столбца) также поддерживается в мини-языке преобразования при передаче GroupedDataFrame функциям преобразования (combine, select и т. д.).

Примеры

# Base.keys — Function

Get the set of keys for each group of the GroupedDataFrame gd as a GroupKeys object. Each key is a GroupKey, which behaves like a NamedTuple holding the values of the grouping columns for a given group. Unlike the equivalent Tuple, NamedTuple, and AbstractDict, these keys can be used to index into gd efficiently. The ordering of the keys is identical to the ordering of the groups of gd under iteration and integer indexing.

Examples

Keys can be used as indices to retrieve the corresponding group from their GroupedDataFrame:

Get a vector of column names of dfc as Symbols.

# Base.parent — Function

Return the parent data frame of gd.

# DataFrames.proprow — Function

Вычисляет долю строк, принадлежащих каждой группе, т. е. количество строк, деленное на общее количество строк в GroupedDataFrame.

Эту функцию можно использовать только в мини-языке преобразования через синтаксис proprow => target_col_name (или просто proprow без указания имени целевого столбца) при передаче GroupedDataFrame функциям преобразования (combine, select и т. д.).

Примеры

# DataFrames.valuecols — Function

Возвращает вектор Symbol имен столбцов в parent(gd), не используемой для группировки.

# Base.allunique — Function

Возвращает true, если ни одна из строк df не дублируется. Две строки являются дубликатами, если все их столбцы содержат одинаковые значения (согласно isequal) для всех столбцов в cols (по умолчанию все столбцы).

Аргументы

См. также описание unique и nonunique.

Примеры

# Base.deleteat! — Function

Удаляет компоненты, указанные с помощью inds, из DataFrame df на месте и возвращает его.

Внутренним образом deleteat! вызывается для всех столбцов, поэтому inds должен быть вектором отсортированных и уникальных целых чисел, логическим вектором, целым числом или Not, заключающим в оболочку любой допустимый селектор.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.empty — Function

Создает новый DataFrame с теми же именами столбцов и типами элементов столбцов, что и df, но без строк.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# Base.empty! — Function

Удаляет все строки из df, делая каждый из его столбцов пустым.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.filter — Function

Возвращает фрейм данных, содержащий только строки из df, для которого fun возвращает true.

Если cols не указан, предикату fun передаются DataFrameRow. К элементам DataFrameRow можно получать доступ с помощью точечного синтаксиса или индексирования столбцов внутри fun.

Если cols не указан, предикату fun передаются элементы соответствующих столбцов в виде отдельных позиционных аргументов, если только cols не является селектором AsTable. В этом случае передается NamedTuple этих аргументов. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел), и дубликаты столбцов разрешены, если передается вектор символов (Symbol), строк или целых чисел.

Если view=false, возвращается только что выделенный DataFrame. Если view=true, то возвращается представление SubDataFrame для df.

Передача cols приводит к более эффективному выполнению операции для больших фреймов данных.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание filter!.

Примеры

Возвращает только группы в gd, для которых fun возвращает true в виде GroupedDataFrame, если ungroup=false (по умолчанию), или в виде фрейма данных, если ungroup=true.

Если cols не указан, предикат fun вызывается с SubDataFrame для каждой группы.

Если cols не указан, предикат fun вызывается для каждой группы с представлениями соответствующих столбцов в виде отдельных позиционных аргументов, если только cols не является селектором AsTable. В этом случае передается NamedTuple этих аргументов. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел), дубликаты столбцов разрешены, если передается вектор символов (Symbol), строк или целых чисел.

Примеры

# Base.filter! — Function

Удаляет строки из фрейма данных df, для которого fun возвращает false.

Если cols не указан, предикату fun передаются DataFrameRow. К элементам DataFrameRow можно получать доступ с помощью точечного синтаксиса или индексирования столбцов внутри fun.

Если cols не указан, предикату fun передаются элементы соответствующих столбцов в виде отдельных позиционных аргументов, если только cols не является селектором AsTable. В этом случае передается NamedTuple этих аргументов. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел), и дубликаты столбцов разрешены, если передается вектор символов (Symbol), строк или целых чисел.

Передача cols приводит к более эффективному выполнению операции для больших фреймов данных.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание filter.

Примеры

# Base.keepat! — Function

Удаляет строки по всем индексам, не указанным с помощью inds, из DataFrame df на месте и возвращает его.

Внутренним образом deleteat! вызывается для всех столбцов, поэтому inds должен быть вектором отсортированных и уникальных целых чисел, логическим вектором, целым числом или Not, заключающим в оболочку любой допустимый селектор.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.first — Function

Получает первую строку df в виде DataFrameRow.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Получает фрейм данных с n последних строк df.

Если view=false, возвращается только что выделенный DataFrame. Если view=true, возвращается представление SubDataFrame для df.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# Base.last — Function

Получает последнюю строку df в виде DataFrameRow.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Получает фрейм данных с n последних строк df.

Если view=false, возвращается только что выделенный DataFrame. Если view=true, возвращается представление SubDataFrame для df.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# DataFrames.nonunique — Function

Возвращает Vector{Bool}, в котором записи true означают повторяющиеся строки.

Повторяющиеся строки — это строки, для которых по крайней мере еще одна строка содержит одинаковые значения (согласно isequal) для всех столбцов в cols (по умолчанию все столбцы). Если keep=:first (по умолчанию), только первое вхождение набора повторяющихся строк обозначается записью false. Если keep=:last (по умолчанию), только последнее вхождение набора повторяющихся строк обозначается записью false. Если keep=:noduplicates, только строки без дубликатов обозначаются записью false.

Аргументы

функцией select, которая возвращает хотя бы один столбец, если df имеет как минимум один столбец.

См. также описание unique и unique!.

Примеры

# Base.Iterators.only — Function

Если df содержит одну строку, возвращает его как DataFrameRow. В противном случае возникает ошибка ArgumentError.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# Base.pop! — Function

Удаляет последнюю строку из df и возвращает кортеж (NamedTuple), созданный из этой строки.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.popat! — Function

Удаляет i-ю строку из df и возвращает кортеж (NamedTuple), созданный из этой строки.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.popfirst! — Function

Удаляет первую строку из df и возвращает NamedTuple, созданный из этой строки.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# Base.resize! — Function

Изменяет размер df, чтобы получить n строк путем вызова функции resize! для всех столбцов df.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.subset — Function

Возвращает копию фрейма данных df или родителя gdf, содержащую только строки, для которых все значения, полученные преобразованиями args, для заданной строки имеют значение true. Все преобразования должны создавать векторы, содержащие true или false. Когда первый аргумент является GroupedDataFrame, преобразования также могут возвращать одно значение true или false, что приводит к включению или исключению целой группы.

Если skipmissing=false (по умолчанию), args требуются для получения результатов, содержащих только логические (Bool) значения. Если skipmissing=true, допускается дополнительное значение missing, которое рассматривается как false (т. е. строки, для которых одно из условий возвращает missing, пропускаются).

Каждый аргумент, передаваемый в args, может быть любым спецификатором, соответствующим правилам, описанным для select, с ограничением, что:

Если view=true, возвращается представление SubDataFrame вместо DataFrame.

Если ungroup=false, результирующий фрейм данных перегруппировывается на основе тех же столбцов группировки, что и gdf, и возвращается GroupedDataFrame (с сохранением порядка групп из gdf).

Если threads=true (по умолчанию), преобразования могут осуществляться в отдельных задачах, которые могут выполняться параллельно (возможно, с применением к нескольким строкам или группам одновременно). Тот момент, порождаются ли задачи, и их количество определяется автоматически. Установите значение false, если некоторые преобразования требуют последовательного выполнения или не являются потокобезопасными.

Если передается GroupedDataFrame, он должен включать все группы, присутствующие во фрейме данных parent, как в select!.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание subset!, filter, select.

Примеры

# DataFrames.subset! — Function

Обновляет фрейм данных df или родитель gdf на месте так, чтобы он содержал только строки, для которых все значения, полученные преобразованиями args, для заданной строки имеют значение true. Все преобразования должны создавать векторы, содержащие true или false. Если первый аргумент является GroupedDataFrame, преобразования также могут возвращать одно значение true или false, что приводит к включению или исключению целой группы.

Если skipmissing=false (по умолчанию), args требуются для получения результатов, содержащих только логические (Bool) значения. Если skipmissing=true, допускается дополнительное значение missing, которое рассматривается как false (т. е. строки, для которых одно из условий возвращает missing, пропускаются).

Каждый аргумент, передаваемый в args, может быть любым спецификатором, соответствующим правилам, описанным для select, с ограничением, что:

Если ungroup=false, передаваемый GroupedDataFrame gdf, обновляется (с сохранением порядка его групп) и возвращается.

Если threads=true (по умолчанию), преобразования могут осуществляться в отдельных задачах, которые могут выполняться параллельно (возможно, с применением к нескольким строкам или группам одновременно). Тот момент, порождаются ли задачи, и их количество определяется автоматически. Установите значение false, если некоторые преобразования требуют последовательного выполнения или не являются потокобезопасными.

Если GroupedDataFrame является подмножеством, он должен включать все группы, присутствующие в родительском (parent) фрейме данных, как в select!. В этом случае передаваемый GroupedDataFrame обновляется так, чтобы иметь правильные группы, после того как его родитель будет обновлен.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание subset, filter!, select!.

Примеры

# Base.unique — Function

Возвращает фрейм данных, содержащий только уникальные строки в df.

Неуникальные (повторяющиеся) строки — это строки, для которых по крайней мере еще одна строка содержит одинаковые значения (согласно isequal) для всех столбцов в cols (по умолчанию все столбцы). Если keep=:first (по умолчанию), сохраняется только первое вхождение набора повторяющихся строк. Если keep=:last (по умолчанию), сохраняется только последнее вхождение набора повторяющихся строк. Если keep=:noduplicates, сохраняются только строки без дубликатов.

Если view=false, возвращается только что выделенный DataFrame, а если view=true, возвращается представление SubDataFrame для df.

Аргументы

функцией select, которая возвращает хотя бы один столбец, если df имеет как минимум один столбец.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание unique!, nonunique.

Примеры

# Base.unique! — Function

Обновляет фрейм данных (df) на месте так, чтобы он содержал только уникальные строки.

Неуникальные (повторяющиеся) строки — это строки, для которых по крайней мере еще одна строка содержит одинаковые значения (согласно isequal) для всех столбцов в cols (по умолчанию все столбцы). Если keep=:first (по умолчанию), сохраняется только первое вхождение набора повторяющихся строк. Если keep=:last (по умолчанию), сохраняется только последнее вхождение набора повторяющихся строк. Если keep=:noduplicates, сохраняются только строки без дубликатов.

Аргументы

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание unique!, nonunique.

Примеры

# Missings.allowmissing — Function

Возвращает копию фрейма данных df со столбцами cols, преобразованными в тип элемента Union{T, Missing} из T, чтобы обеспечить поддержку отсутствующих значений.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если cols отсутствует, преобразуются все столбцы во фрейме данных.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.allowmissing! — Function

Преобразует столбцы cols фрейма данных df из типа элемента T в Union{T, Missing} для поддержки отсутствующих значений.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если cols отсутствует, преобразуются все столбцы во фрейме данных.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# DataFrames.completecases — Function

Возвращает логический вектор с записями true, указывающими строки без отсутствующих значений (завершенные случаи) во фрейме данных df.

Если указано значение cols, учитываются только отсутствующие значения в соответствующих столбцах. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел), который возвращает хотя бы один столбец, если df имеет как минимум один столбец.

См. также описание dropmissing и dropmissing!. Используйте findall(completecases(df)) для получения индексов строк.

Примеры

# Missings.disallowmissing — Function

Возвращает копию фрейма данных df со столбцами cols, преобразованными из типа элемента Union{T, Missing} в T, чтобы отменить поддержку отсутствующих значений.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если cols отсутствует, преобразуются все столбцы во фрейме данных.

Если error=false, ошибка не возникает, а столбцы, содержащие значение missing, пропускаются.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.disallowmissing! — Function

Преобразует столбцы cols фрейма данных df из типа элемента Union{T, Missing} в T, чтобы отменить поддержку отсутствующих значений.

cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если cols отсутствует, преобразуются все столбцы во фрейме данных.

Если error=false, ошибка не возникает, а столбцы, содержащие значение missing, пропускаются.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

# DataFrames.dropmissing — Function

Возвращает фрейм данных, исключающий строки с отсутствующими значениями в df.

Если указано значение cols, учитываются только отсутствующие значения в соответствующих столбцах. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если view=false, возвращается только что выделенный DataFrame. Если view=true, возвращается представление SubDataFrame для df. В данном случае disallowmissing должен иметь значение false.

Если disallowmissing имеет значение true (по умолчанию, когда view имеет значение false), столбцы, указанные в cols, будут преобразованы так, чтобы запрещать отсутствующие значения, с помощью disallowmissing!.

См. также описание completecases и dropmissing!.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

Примеры

# DataFrames.dropmissing! — Function

Удаляет строки с отсутствующими значениями из фрейма данных df и возвращает его.

Если указано значение cols, учитываются только отсутствующие значения в соответствующих столбцах. cols может представлять собой любой селектор столбцов (символ (Symbol), строку или целое число; :, Cols, All, Between, Not, регулярное выражение или вектор символов (Symbol), строк или целых чисел).

Если disallowmissing имеет значение true (по умолчанию), столбцы cols преобразуются с помощью disallowmissing!.

Метаданные: эта функция сохраняет метаданные на уровне таблиц и столбцов в стиле :note.

См. также описание dropmissing и completecases.

# Base.eachcol — Function

Возвращает объект DataFrameColumns, подобный вектору, который позволяет итерировать AbstractDataFrame по столбцам.

Индексирование в объектах DataFrameColumns с использованием целого числа, Symbol или строки возвращает соответствующий столбец (без копирования). Индексирование в объектах DataFrameColumns с использованием селектора нескольких столбцов возвращает являющийся подмножеством объект DataFrameColumns с новым родителем, содержащим только выбранные столбцы (без копирования).

DataFrameColumns поддерживает большую часть API AbstractVector. Основные отличия заключаются в том, что он доступен только для чтения и функция keys возвращает вектор символов (Symbol) (а не целых чисел, как для обычных векторов).

В частности, поддерживаются функции findnext, findprev, findfirst, findlast и findall, и в функциях findnext и findprev разрешается передавать целое число, строку или символ (Symbol) в качестве эталонного индекса.

Примеры

# Base.eachrow — Function

Возвращает DataFrameRows, который построчно итерирует фрейм данных, где каждая строка представлена как DataFrameRow.

Поскольку DataFrameRow имеют тип элемента (eltype) Any, используйте copy(dfr::DataFrameRow), чтобы получить именованный кортеж, который поддерживает итерацию и доступ к свойствам, как DataFrameRow, но также передает информацию о типах элементов (eltypes) столбцов df.

Примеры

# Base.values — Function

Получает вектор столбцов из dfc.

# Base.pairs — Function

Возвращает итератор пар, связывающих имя каждого столбца dfc соответствующим вектором столбцов, т. е. name => col, где name — имя столбца col.

# Base.Iterators.partition — Function

Выполняет итерацию по фрейму данных df по n строк за раз, возвращая каждый блок в виде SubDataFrame.

Примеры

Выполняет итерацию по фрейму данных dfr DataFrameRows по n строк за раз, возвращая каждый блок в виде DataFrameRows в представлении строк родителя dfr.

Примеры

# Base.isapprox — Function

Неточное сравнение на равенство. df1 и df2 должны иметь одинаковый размер и имена столбцов. Возвращает true, если isapprox с заданными именованными аргументами, примененными ко всем парам столбцов, хранящихся в df1 и df2, возвращает true.

# DataAPI.metadata — Function

Return table-level metadata value associated with df for key key. If style=true return a tuple of metadata value and metadata style.

SubDataFrame and DataFrameRow expose only :note-style metadata of their parent.

If default is passed then return it if key does not exist; if style=true return (default, :default).

See also: metadatakeys, metadata!, deletemetadata!, emptymetadata!, colmetadata, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.metadatakeys — Function

Return an iterator of table-level metadata keys which are set in the object.

Values can be accessed using metadata(df, key).

SubDataFrame and DataFrameRow expose only :note-style metadata keys of their parent.

See also: metadata, metadata!, deletemetadata!, emptymetadata!, colmetadata, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.metadata! — Function

Set table-level metadata for object df for key key to have value value and style style (:default by default) and return df.

For SubDataFrame and DataFrameRow only :note-style is allowed. Trying to set a key-value pair for which the key already exists in the parent data frame with another style throws an error.

See also: metadata, metadatakeys, deletemetadata!, emptymetadata!, colmetadata, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.deletemetadata! — Function

Delete table-level metadata from object df for key key and return df. If key does not exist, return df without modification.

For SubDataFrame and DataFrameRow only :note-style metadata from their parent can be deleted (as other styles are not propagated to views).

See also: metadata, metadatakeys, metadata!, emptymetadata!, colmetadata, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.emptymetadata! — Function

Delete all table-level metadata from object df.

For SubDataFrame and DataFrameRow only :note-style metadata from their parent can be deleted (as other styles are not propagated to views).

See also: metadata, metadatakeys, metadata!, deletemetadata!, colmetadata, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.colmetadata — Function

Return column-level metadata value associated with df for column col and key key.

SubDataFrame and DataFrameRow expose only :note-style metadata of their parent.

If default is passed then return it if key does not exist for column col; if style=true return (default, :default). If col does not exist in df always throw an error.

See also: metadata, metadatakeys, metadata!, deletemetadata!, emptymetadata!, colmetadatakeys, colmetadata!, deletecolmetadata!, emptycolmetadata!.

Examples

# DataAPI.colmetadatakeys — Function