将神经网络导出为ONNX格式
我们创建一个神经网络并将其保存为ONNX格式以备将来使用。
任务说明
要在目标环境中部署现成的神经网络,甚至将其嵌入微控制器的代码中,常见的解决方案是将神经网络转换为标准的,与框架无关的ONNX(开放神经网络交换)格
在Julia中创建和训练神经网络的最常见库称为 Flux. 它允许您创建完全连接的卷积循环神经网络和其他拓扑图,编写自己的神经元和层模型,并以与C语言一样快的编译二进制形式进行训练和直接计算。
将Flux神经网络导出到ONNX的功能在几个库中找到,但目前最成功的是库中包含的导出工具。 NaiveNAXflux. 该库包含用于将Flux库与用于搜索最优神经网络拓扑(NAS-Neural Architecture Search)的库接口的工具。 NaiveNAS负责处理权重和改变神经网络的拓扑结构,而像NaiveGAflux这样的相关软件包管理遗传优化。
我们还将安装库。 ONNXRunTime,这将允许我们运行和测试保存的神经网络。
在ONNX中保存神经网络
安装必要的库:
Pkg.add(["Flux", "ONNXNaiveNASflux", "ONNXRunTime", "ONNXLowLevel"])
连接它们后,我们将能够将简单的全连接网络导出到ONNX。:
using Flux
using ONNXNaiveNASflux
# 定义模型
model = Chain(
Dense(784 => 32, relu),
Dense(32 => 10)
)
# 使用save()导出到ONNX
ONNXNaiveNASflux.save("fc_model.onnx", model, (784, 1));
使用此命令的最后一个参数,我们指定输入数据的维度,格式为特征数,批处理大小(特征,批处理_size)。
对象描述中的特征数量可以从通量神经网络的属性中获得,但批量的大小并不是固定的通量。
first_layer = model[1]
input_size = size(first_layer.weight, 2)
执行先前保存的神经网络
让我们运行保存的神经网络(其中的权重是用随机数初始化的,所以我们在输出处得到噪声):
import ONNXRunTime as ORT
fc_model = ORT.load_inference("fc_model.onnx")
fc_model
现在我们使用权重的名称来设置输入并从保存的ONNX神经网络中获取输出。:
result = []
for x in eachcol(rand(Float32, 784, 20))
input_data = Dict("data_0" => reshape(x, 1, :))
outputs = fc_model(input_data)
append!(result, [outputs["dense_1"]])
end
gr()
plot(vcat(result...), title="随机对象的神经网络预测")
导出其他拓扑
这里是一个循环神经网络的主要层的出口与一个RNN层。
using Flux
using ONNXNaiveNASflux
# 该模型接受5个变量,使用RNN处理它们,并输出2个值。
rnn_model = Chain(
RNN(5 => 10), # 输入:5个标志,内层:10个标志
Dense(10 => 2) # 输出层将隐藏层的状态转换为两个类/值
)
# 让我们定义输入张量的维度:
# 变量=5,批次大小=1,输入序列长度=100
input_shape = (5, 1, 100)
ONNXNaiveNASflux.save("rnn_model.onnx", rnn_model, input_shape);
让我们从ONNX文件开始循环网络:
import ONNXRunTime as ORT
onnx_rnn_model = ORT.load_inference("rnn_model.onnx")
onnx_rnn_model
利用这些信息,我们可以运行循环神经网络并预测输入时间序列的每个样本的输出特征。:
plot()
for x in 1:20
# 我们生成一个测试序列:每100个样本5个标志
raw_data = rand(Float32, 5, 100)
# 根据批次添加维度(ONNX标准)
input_tensor = reshape(raw_data', 100, 1, 5)
outputs = onnx_rnn_model(Dict("data_0" => input_tensor))
onnx_output = outputs["dense_0"]
# 将数据重新组合成矩阵(100行,2列)
plot_data = reshape(onnx_output, 100, 2)
gr()
plot!(plot_data, title="RNN预测20次随机发射",
label = (x==1 ? ["Выход 1" "Выход 2"] : false),
line = (x==1 ? (5,:solid) : (1,:dot)),
c = [:red :black],
xlabel="时间步长(倒计时)")
end
plot!()
卷积网络
如果你遵循参数的顺序,很容易对卷积神经网络做同样的事情。:
using Flux
using ONNXNaiveNASflux
# 一个简单的卷积网络
# 输入:28x28(1通道),输出:10类(例如,数字0-9)
cnn_model = Chain(
Conv((3, 3), 1 => 4, relu), # 卷积:3x3滤波器,1个输入通道,4个输出通道
Flux.flatten, # 将张量拉直为矢量
Dense(26 * 26 * 4 => 10) # 用于分类的全连接层
)
# 以Flux/Julia格式设置尺寸:(Width=28,Height=28,Channels=1,Batch=1)
input_shape_cnn = (28, 28, 1, 1)
# 出口
ONNXNaiveNASflux.save("cnn_model.onnx", cnn_model, input_shape_cnn);
让我们运行保存在ONNX中的卷积神经网络。:
import ONNXRunTime as ORT
# 加载模型
onnx_cnn_model = ORT.load_inference("cnn_model.onnx")
# 1. 以Julia(W,H,C)格式生成1个通道的随机28x28"图片"
# 在一个真正的问题中,这里会有一个真实的图像
raw_image = rand(Float32, 28, 28, 1)
# 2. 重新排列ONNX的轴
# 从(W=28,H=28,C=1)我们做(C=1,H=28,W=28)
permuted_image = permutedims(raw_image, (3, 2, 1))
# 将batch维度添加到第一个位置->我们得到(Batch=1,C=1,H=28,W=28)
input_tensor = reshape(permuted_image, 1, 1, 28, 28)
# 3. 我们将其传递给模型(第一层的输入名称通常为"data_0")
input_data = Dict("data_0" => input_tensor)
outputs = onnx_cnn_model(input_data)
# 4. 提取输出数据
# 输出将是10个类的logits(概率)的张量
onnx_output = outputs["dense_0"]
# 5. 我们强行减少到一个一维向量(10个元素)的图
# 这将保护我们免受任何输出批处理结构(无论是1x10还是10x1)的影响
plot_data = reshape(onnx_output, :)
# 10个类的预测可视化
gr()
bar(plot_data, title="CNN预测随机图像",
xticks=1:10, xlabel="职系(0-9)", ylabel="网络信心", legend=false)
结论
我们想出了如何在ONNX中保存三种主要类型的神经网络。 并非所有来自Flux的结构都能可靠地导出,甚至在ONNXNaiveNASflux中支持。 可能需要试验和简化拓扑。
.png)
.png)
.png)