上传数据和处理通行证
此示例将演示从XLSX格式下载数据并使用Impact和DataInterpolations库填补空白的过程。
该数据是一个气象站过去五年天气事件的观测资料。
在示例中，将仅使用每日温度测量值。
安装下载和处理数据所需的库:
In [ ]:
Pkg.add(["Statistics", "XLSX", "Impute", "CSV", "DataInterpolations"])
In [ ]:
Pkg.add( "Impute" ); #загрузка библиотеки обработки данных
Pkg.add( "DataInterpolations" );
调用加载和处理数据所需的库:
In [ ]:
using DataFrames, CSV, XLSX, Plots, Impute, DataInterpolations, Statistics
using Impute: Substitute, impute
将数据从文件读取到变量:
In [ ]:
xf_missing = XLSX.readxlsx("$(@__DIR__)/data_for_analysis_missing.xlsx");
查看上传数据中的工作表名称:
In [ ]:
XLSX.sheetnames(xf_missing)
Out[0]:
将文件中的数据定义为dataframe:
In [ ]:
df_missing = DataFrame(XLSX.readtable("$(@__DIR__)/data_for_analysis_missing.xlsx", "data"));
启用后端图形显示方法:
In [ ]:
gr()
Out[0]:
确定表征数据的变量-时间和温度:
In [ ]:
x = df_missing.Time;
y = df_missing.T;
根据初始数据绘制温度与时间的相关性:
In [ ]:
plot(x, y, labels="Температура", title="График зависимости температуры от времени")
Out[0]:
图表显示数据中存在空白，可以使用库Impact和DataInterpolations来填充这些空白。
使用影响库:
定义向量和数据矩阵:
In [ ]:
vectorT = df_missing[:,2]
matrixT = df_missing[:,1:2]
typeof(vectorT)
Out[0]:
将向量和矩阵转换为影响库函数可接受的格式:
In [ ]:
vectorT = convert(Vector{Union{Missing,Float64}}, vectorT);
matrixT[:,2] = convert(Vector{Union{Missing,Float64}}, matrixT[:,2]);
使用插值、滤波和平均值填补空白:
In [ ]:
lin_inter_vectorT = Impute.interp(vectorT); #заполнение пропущенных значений интерполированными (для сигналов)
filter_matrixT = Impute.filter(matrixT; dims=:rows); #удаление объектов/наблюдений с пропущенными данными
mean_matrixT = impute(matrixT[:,2], Substitute(; statistic=mean)); #заполнение пропущенных значений средними значениями (подходит для статистических данных)
用校正数据绘制图形:
In [ ]:
p2 = plot(df_missing[:,1], lin_inter_vectorT, xlabel="Дата", ylabel="Температура", title="Заполнение пропусков линейной интерполяцией", titlefont=font(10));
p3 = plot(df_missing[:,1], mean_matrixT, xlabel="Дата", ylabel="Температура", title="Заполнение пропусков средним значением", titlefont=font(10), guidefont=font(8));
p1 = scatter(df_missing[:,1], df_missing[:,2], markersize=2, xlabel="Дата", ylabel="Температура", title="Исходные данные", titlefont=font(10), guidefont=font(8))
plot(p1, p2, p3, layout=(3, 1), legend=false)
Out[0]:
使用DataInterpolations库
使用插值方法的数据准备:
In [ ]:
days = [x for x in 1:length(df_missing[:,2])] #определение вектора от 1 до значения длины массива с данными
t = days
u = reverse(df_missing[:,2]) #сортировка измерений температуры в обратном порядке, от раннего к позднему
u = convert(Vector{Union{Missing,Float64}}, u); #конвертация данных в нужный, для используемых методов, формат
使用线性插值填补空白，并用校正数据绘制:
In [ ]:
A = LinearInterpolation(u,t)
scatter(t, u, markersize=2, label="Исходные данные") #вывод точечного графика
plot!(A, label="Линейная интерполяция", xlabel="Время", ylabel="Температура") #вывод зависимости температуры от времени
Out[0]:
使用二次插值填补空白，并用校正数据绘制:
In [ ]:
B = QuadraticInterpolation(u,t)
scatter(t, u, markersize=2, label="Исходные данные")#вывод точечного графика
plot!(B, label="Квадратичная интерполяция", xlabel="Время", ylabel="Температура")#вывод зависимости температуры от времени
Out[0]:
通过用最新的常数值进行插值并用修正数据绘制来填补空白:
In [ ]:
C = ConstantInterpolation(u,t)
scatter(t, u, markersize=2, label="Исходные данные")#вывод точечного графика
plot!(C, label="Последние значения", xlabel="Время", ylabel="Температура")#вывод зависимости температуры от времени
Out[0]:
结论:
在这个例子中，温度测量数据被上传和预处理。 应用了插值和滤波方法。
根据得到的图可以看出，一些方法在应用于不同类型的数据方面存在局限性。
因此，用平均值替换遗漏更适合统计分析，其中数据的特征不会发生太大变化。
在二次插值的情况下，在相对较大的缺失范围内信号的量值存在较强的变化，从而更适用于小间隙。