Engee 文档
Notebook

视频分析和转换。

在数字时代,视频处理正成为各个领域的关键任务,从计算机视觉和机器学习到创意内容和科学研究。 我们用Julia编程语言提出了一个全面的解决方案,提供了一组高效的算法来分析和处理视频流。 这个例子演示了视频处理系统的实际实现,该系统包括对象边界的检测(能量分析)、动画造型(卡通效果)、棕褐色和其他视觉过滤器的使用。 特别注意优化内存使用,确保正确的数据格式,并支持现代编解码器以mp4格式保存结果。

让我们从连接库开始:

*VideoIO是用于读取/写入视频文件的主库。 打开视频,提取帧,控制参数(FPS,分辨率),将结果保存到MP4。

*图像-基本图像操作:加载,保存,颜色空间转换,基本滤镜。

*ImageFiltering-高级图像过滤:卷积核(高斯,Sobel)的应用,边界检测,模糊,锐化。

*FileIO是一个通用接口,用于处理各种格式的文件。

*ColorTypes-颜色模型(RGB,灰色)的定义,并与颜色组件(红,绿,蓝)的工作。

*FixedPointNumbers-使用固定点(N0f8)工作,这是正确表示像素所必需的。

*ProgressMeter-指示处理进度,显示执行时间。

*FFMPEG(可选)-通过FFmpeg对视频编解码器进行低级访问,用于微调编码参数。

所有库一起工作:VideoIO下载视频,图像/ImageFiltering处理帧,ColorTypes管理颜色,ProgressMeter显示进度,FileIO保存结果。

In [ ]:
Pkg.add("FFMPEG")
Pkg.add("ProgressMeter")
Pkg.add("ColorTypes")
Pkg.add("FixedPointNumbers")

using VideoIO, Images, ImageFiltering, FileIO, ColorTypes, FixedPointNumbers
using ProgressMeter
import ColorTypes: red, green, blue

接下来,我们将声明辅助函数:

  • **prepare_frame**将PermutedDimsArray格式的帧转换为常规矩阵,以便与图像处理功能兼容。

  • **to_video_format**确保在录制视频时将颜色格式(RGB和灰度)正确转换为与VideoIO兼容所需的N0f8类型。

In [ ]:
function prepare_frame(frame)
    if typeof(frame) <: PermutedDimsArray
        return collect(frame)
    else
        return frame
    end
end
function to_video_format(frame::AbstractArray{<:AbstractRGB})
    return RGB{N0f8}.(frame)
end
function to_video_format(frame::AbstractArray{<:Gray})
    return Gray{N0f8}.(frame)
end
Out[0]:
to_video_format (generic function with 2 methods)

进一步宣布 process_video_with_effect-主处理器功能,顺序读取视频的每帧,将指定的效果应用于它,将其转换为兼容的格式,并将结果保存到带有进度指示的新视频文件中。

该函数打开源视频,确定其参数(大小、FPS),然后通过传递的处理函数为每帧应用指定的效果,将结果转换为视频兼容的格式,并将处理后的帧顺序写入输出文件,实时显示操作进度。

In [ ]:
function process_video_with_effect(
    input_path::String, 
    output_path::String;
    effect_function::Function,
    max_frames::Int=0,
    effect_params...
)
    video = VideoIO.openvideo(input_path)
    frame_count = counttotalframes(video)
    max_frames > 0 && (frame_count = min(frame_count, max_frames))
    first_frame = read(video)
    seek(video, 1)
    h, w = size(first_frame)
    fps = VideoIO.framerate(video)
    println("Обработка: ", input_path)
    println("Размер: ", w, "x", h, ", FPS: ", fps, ", Кадров: ", frame_count)
    first_processed = effect_function(prepare_frame(first_frame); effect_params...)
    first_processed_video = to_video_format(first_processed)
    
    open_video_out(output_path, first_processed_video, framerate=fps) do writer
        p = Progress(frame_count, 1, "Применение эффекта...")
        for i in 1:frame_count
            frame = read(video)
            processed_frame = effect_function(prepare_frame(frame); effect_params...)
            processed_frame_video = to_video_format(processed_frame)
            write(writer, processed_frame_video)
            next!(p)
        end
    end
    
    close(video)
    println("\nВидео сохранено: ", output_path)
end
Out[0]:
process_video_with_effect (generic function with 1 method)

功能 simple_cartoon_effect 通过模糊和边框高亮的组合实现卡通图像风格化的算法。 首先,将原始帧转换为灰度以供以后的边界分析。 然后在X和Y轴上应用Sobel算子来计算亮度梯度,之后边界的能量被计算为梯度的平方和。 生成的边界图使用指定的阈值进行二值化,创建黑白轮廓的蒙版。 同时,对原始彩色图像进行高斯模糊处理,以简化调色板并创建柔和的背景。 最终的结果是通过将二值化蒙版的黑色轮廓叠加到模糊的彩色图像上而形成的,该图像创建了具有简化的彩色区域和它们之间清晰的黑色边框的特

In [ ]:
function simple_cartoon_effect(frame::AbstractArray{<:AbstractRGB}; edge_threshold=0.1)
    frame = prepare_frame(frame)
    gray = Gray.(frame)
    edges = imfilter(gray, Kernel.sobel()[1]).^2 + imfilter(gray, Kernel.sobel()[2]).^2
    edges = edges .> edge_threshold
    blurred = imfilter(frame, Kernel.gaussian(3))
    result = copy(blurred)
    result[edges] .= RGB{N0f8}(0,0,0)
    return result
end
Out[0]:
simple_cartoon_effect (generic function with 1 method)

功能 energy_effect 使用Sobel算子计算图像中边界的能量图。 首先,使用颜色分量的标准加权和公式将原始颜色帧转换为亮度矩阵。 然后沿着X和Y轴应用具有Sobel核的卷积来计算水平和垂直亮度梯度。 对于每个像素,边界的能量被计算为梯度的欧几里德范数,其对应于给定点处的亮度变化的强度。 得到的能量图被归一化为最大值,使其达到从0到1的范围,并作为灰度图像返回,其中每个像素的亮度对应于该位置处边界的强度,其可视化原始图像的结构特征和轮廓。

In [ ]:
function energy_effect(frame::AbstractArray{<:AbstractRGB}; sobel_x=nothing, sobel_y=nothing)
    frame = prepare_frame(frame)
    h, w = size(frame)
    gray_buffer = Matrix{Float32}(undef, h, w)
    energy_buffer = Matrix{Float32}(undef, h, w)
    
    if sobel_x === nothing
        sobel_x, sobel_y = Kernel.sobel()
    end
    
    for i in eachindex(frame)
        pixel = frame[i]
        gray_buffer[i] = 0.299f0 * red(pixel) + 0.587f0 * green(pixel) + 0.114f0 * blue(pixel)
    end
    
    gradient_x = imfilter(gray_buffer, sobel_x)
    gradient_y = imfilter(gray_buffer, sobel_y)
    
    for i in eachindex(energy_buffer)
        energy_buffer[i] = sqrt(gradient_x[i]^2 + gradient_y[i]^2)
    end
    
    energy_normalized = energy_buffer ./ maximum(energy_buffer)
    return Gray.(energy_normalized)
end
Out[0]:
energy_effect (generic function with 1 method)

功能 sepia_effect 它将棕褐色滤镜应用于图像,模仿具有特征性棕色色调的旧照片。 该算法的工作原理是通过具有一定权重的颜色通道的线性组合来转换每个像素,其中红色通道由绿色和蓝色增强,从而产生温暖的色调。 每个颜色分量的值被限制在顶部的一个以防止溢出,并且结果以定点格式存储,确保与视频处理系统的兼容性。 最终的结果是一个具有复古棕褐色效果的图像,保留了原始的所有细节,但配色方案转向了历史摄影过程特有的棕色和黄色色调。

In [ ]:
function sepia_effect(frame::AbstractArray{<:AbstractRGB})
    frame = prepare_frame(frame)
    result = similar(frame)
    for i in eachindex(frame)
        pixel = frame[i]
        r_val = red(pixel)
        g_val = green(pixel)
        b_val = blue(pixel)
        r = 0.393 * r_val + 0.769 * g_val + 0.189 * b_val
        g = 0.349 * r_val + 0.686 * g_val + 0.168 * b_val
        b = 0.272 * r_val + 0.534 * g_val + 0.131 * b_val
        result[i] = RGB{N0f8}(min(r,1.0), min(g,1.0), min(b,1.0))
    end
    return result
end
Out[0]:
sepia_effect (generic function with 1 method)

功能 blur_effect 它使用高斯滤波器对图像应用模糊效果,从而均匀地降低清晰度并创建细节的柔和平滑。 滤波器核的大小由kernel_size参数调节,该参数决定了模糊程度-核越大,平滑效果越强。 高斯核计算邻域中像素的加权平均值,其中权重沿着高斯曲线从中心到边缘减小,这提供了没有伪像的自然平滑模糊。 结果转换为定点格式,以确保与视频处理系统的兼容性,同时保持平滑的颜色过渡和模糊图像的柔和纹理。

In [ ]:
function blur_effect(frame::AbstractArray{<:AbstractRGB}; kernel_size=5)
    frame = prepare_frame(frame)
    blurred = imfilter(frame, Kernel.gaussian(kernel_size))
    return RGB{N0f8}.(blurred)
end
Out[0]:
blur_effect (generic function with 1 method)

功能 sharpen_effect 使用类似拉普拉斯的3x3卷积核对图像应用锐化效果。 核心具有9的中心系数和-1的周围值,这增强了图像的高频分量并强调了物体的轮廓。 在应用卷积之后,像素值被限制在从0到1的范围内,以防止超出颜色空间的可接受边界,并且结果被转换为定点格式,以确保与视频处理系统的兼容性。 这个过程有效地增强了图像的细节和纹理,使边缘更清晰,更明显,而不会显着失真的色彩平衡。

In [ ]:
function sharpen_effect(frame::AbstractArray{<:AbstractRGB})
    frame = prepare_frame(frame)
    kernel = [-1 -1 -1; -1 9 -1; -1 -1 -1] / 1.0
    sharpened = imfilter(frame, kernel)
    sharpened = clamp.(sharpened, 0.0, 1.0)
    return RGB{N0f8}.(sharpened)
end
Out[0]:
sharpen_effect (generic function with 1 method)

功能 safe_cartoon_effect 创建具有保证数据类型兼容性的卡通效果的稳定版本。 与基本实现不同,它首先将输入图像转换为RGB{N0f8}格式,这确保了所有后续操作都能正常工作。 该算法首先将图像转换为灰度以分析梯度,然后在两个轴上应用Sobel算子来计算边界图。 在对具有指定阈值的边界进行二值化后,创建轮廓蒙版,该蒙版叠加在原始图像的模糊版本上。 与简单版本的关键区别在于,所有操作都是使用已经转换为正确格式的数据执行的,这消除了后续视频处理期间的类型不兼容错误。 其结果是具有特色卡通风格的图像-柔和的色彩区域和清晰的黑色轮廓,可直接录制到视频文件中,无需额外的转换。

In [ ]:
function safe_cartoon_effect(frame::AbstractArray{<:AbstractRGB}; edge_threshold=0.1)
    frame = prepare_frame(frame)
    frame_rgb = RGB{N0f8}.(frame)
    gray = Gray.(frame_rgb)
    edges = imfilter(gray, Kernel.sobel()[1]).^2 + imfilter(gray, Kernel.sobel()[2]).^2
    edges = edges .> edge_threshold
    blurred = imfilter(frame_rgb, Kernel.gaussian(3))
    result = copy(blurred)
    result[edges] .= RGB{N0f8}(0,0,0)
    return result
end
Out[0]:
safe_cartoon_effect (generic function with 1 method)

现在让我们看看上面描述的所有算法的结果。 分析的代码是一个全面的Julia视频处理系统,通过模块化和高效的方法实现各种视觉效果。 主要的操作算法基于中央处理器函数,该函数依次读取视频的每帧,通过专门的过滤函数将选定的效果应用于视频,确保数据的正确格式,并将结果保存到带有进度指示的输出视频文件中。

这种方法的主要优点是其模块化和类型安全性。 每个效果都作为一个独立的函数来实现,这使得组合过滤器、添加新的转换和隔离测试变得容易。 该系统积极使用Julia的严格类型,这反映在确保与VideoIO库的数据兼容性的格式转换功能中。 这消除了常见的像素格式错误,特别是在处理颜色空间和固定精度时。

内存优化值得特别注意-效果函数使用预先分配的缓冲区并避免不必要的数据副本,这在处理高分辨率视频时至关重要。 实现效果的多样性展示了架构的灵活性。

In [ ]:
process_video_with_effect("input.mp4", "energy_analysis.mp4",
    effect_function=energy_effect, max_frames=50)
Обработка: input.mp4
Размер: 1280x720, FPS: 25//1, Кадров: 50
Применение эффекта...   4%|█▎                            |  ETA: 0:00:27
Применение эффекта...   8%|██▍                           |  ETA: 0:00:33
Применение эффекта...  12%|███▋                          |  ETA: 0:00:29
Применение эффекта...  16%|████▊                         |  ETA: 0:00:26
Применение эффекта...  20%|██████                        |  ETA: 0:00:24
Применение эффекта...  24%|███████▎                      |  ETA: 0:00:24
Применение эффекта...  28%|████████▍                     |  ETA: 0:00:22
Применение эффекта...  32%|█████████▋                    |  ETA: 0:00:20
Применение эффекта...  36%|██████████▊                   |  ETA: 0:00:19
Применение эффекта...  40%|████████████                  |  ETA: 0:00:18
Применение эффекта...  44%|█████████████▎                |  ETA: 0:00:17
Применение эффекта...  48%|██████████████▍               |  ETA: 0:00:16
Применение эффекта...  52%|███████████████▋              |  ETA: 0:00:15
Применение эффекта...  56%|████████████████▊             |  ETA: 0:00:13
Применение эффекта...  60%|██████████████████            |  ETA: 0:00:12
Применение эффекта...  64%|███████████████████▎          |  ETA: 0:00:11
Применение эффекта...  68%|████████████████████▍         |  ETA: 0:00:10
Применение эффекта...  72%|█████████████████████▋        |  ETA: 0:00:09
Применение эффекта...  76%|██████████████████████▊       |  ETA: 0:00:07
Применение эффекта...  80%|████████████████████████      |  ETA: 0:00:06
Применение эффекта...  84%|█████████████████████████▎    |  ETA: 0:00:05
Применение эффекта...  88%|██████████████████████████▍   |  ETA: 0:00:04
Применение эффекта...  92%|███████████████████████████▋  |  ETA: 0:00:02
Применение эффекта...  96%|████████████████████████████▊ |  ETA: 0:00:01
Применение эффекта... 100%|██████████████████████████████| Time: 0:00:30
Видео сохранено: energy_analysis.mp4
In [ ]:
process_video_with_effect("input.mp4", "cartoon_safe.mp4",
    effect_function=safe_cartoon_effect, edge_threshold=0.15, max_frames=50)
Обработка: input.mp4
Размер: 1280x720, FPS: 25//1, Кадров: 50
Применение эффекта...  14%|████▎                         |  ETA: 0:00:06
Применение эффекта...  22%|██████▋                       |  ETA: 0:00:08
Применение эффекта...  40%|████████████                  |  ETA: 0:00:06
Применение эффекта...  54%|████████████████▎             |  ETA: 0:00:05
Применение эффекта...  68%|████████████████████▍         |  ETA: 0:00:03
Применение эффекта...  78%|███████████████████████▍      |  ETA: 0:00:02
Применение эффекта...  92%|███████████████████████████▋  |  ETA: 0:00:01
Применение эффекта... 100%|██████████████████████████████| Time: 0:00:09
Видео сохранено: cartoon_safe.mp4
In [ ]:
process_video_with_effect("input.mp4", "sepia.mp4",
    effect_function=sepia_effect, max_frames=50)
Обработка: input.mp4
Размер: 1280x720, FPS: 25//1, Кадров: 50
Применение эффекта...  42%|████████████▋                 |  ETA: 0:00:01
Применение эффекта...  88%|██████████████████████████▍   |  ETA: 0:00:00
Применение эффекта... 100%|██████████████████████████████| Time: 0:00:02
Видео сохранено: sepia.mp4
In [ ]:
process_video_with_effect("input.mp4", "blur.mp4",
    effect_function=blur_effect, kernel_size=7, max_frames=50)
Обработка: input.mp4
Размер: 1280x720, FPS: 25//1, Кадров: 50
Применение эффекта...  22%|██████▋                       |  ETA: 0:00:06
Применение эффекта...  52%|███████████████▋              |  ETA: 0:00:02
Применение эффекта...  78%|███████████████████████▍      |  ETA: 0:00:01
Применение эффекта... 100%|██████████████████████████████| Time: 0:00:04
Видео сохранено: blur.mp4
In [ ]:
include("player.jl")
media_player(@__DIR__, mode="video")
blur.mp4 (1 of 5)

结论

该解决方案的实用价值通过其准备使用真实视频文件,支持标准格式和编码参数以及处理进度的交互式跟踪而得到强调。

所提出的代码为构建更复杂的计算机视觉和多媒体处理系统提供了可靠的基础,将算法的学术严谨性与实际应用相结合。