Go利用ffmpeg进行视频和音频处理_Golang

ffmpeg 是一款功能强大的多媒体处理工具，支持视频和音频的编码、解码、转码，以及帧提取和流处理等功能。它已经成为开发人员处理多媒体内容的首选工具。在本文中，我们将通过一个 go 封装包 ffmpegutil 来展示如何与 ffmpeg 进行交互，从而简化视频和音频的处理。

我们将介绍一些常见的使用场景，如视频格式转换、音频提取、缩略图创建和帧提取，并探讨如何高效地在 go 中与 ffmpeg 进行交互。

ffmpegutil 包概述

ffmpegutil 包旨在封装常见的 ffmpeg 操作，为 go 提供更简洁易用的接口。它包含了以下几个功能：

视频格式转换
从视频中提取音频
获取视频信息和元数据
创建视频缩略图
在随机时间戳提取帧

该包依赖于 ffmpeg-go 这一 go 语言的 ffmpeg 封装库，使得 ffmpeg 的功能能够更方便地集成到 go 项目中。

主要功能介绍

1. 视频格式转换

视频格式转换是 ffmpeg 最常见的应用之一。在 ffmpegutil 中，convertvideo 函数通过简单的接口调用，可以将输入的视频文件转换成指定格式。

// convertvideo 将视频从一种格式转换为另一种格式
func convertvideo(inputfile, outputfile string, key, value string) error {
    err := ffmpeg.input(inputfile).
        output(outputfile, ffmpeg.kwargs{key: value}).
        overwriteoutput().errortostdout().run()
    if err != nil {
        return fmt.errorf("error converting video: %w", err)
    }
    log.debugf("video conversion complete: %s -> %s", inputfile, outputfile)
    return nil
}

通过 ffmpeg.input(inputfile).output(outputfile, ffmpeg.kwargs{key: value})，可以设置输入输出文件路径和转换参数。ffmpeg-go 会自动处理转换过程。

2. 提取音频

从视频中提取音频是常见的需求，尤其是在处理视频文件时。extractaudio 函数使用 ffmpeg 来实现这一操作。

// extractaudio 从视频文件中提取音频
func extractaudio(inputfile, outputfile string) error {
    err := ffmpeg.input(inputfile).output(outputfile, ffmpeg.kwargs{"vn": ""}).run()
    if err != nil {
        return fmt.errorf("error extracting audio: %w", err)
    }
    log.debugf("audio extraction complete: %s -> %s", inputfile, outputfile)
    return nil
}

在 ffmpeg.kwargs{“vn”: “”} 中，vn 参数表示不处理视频流，仅提取音频流。

3. 获取视频信息

获取视频的基本信息是另一个常见操作。在 ffmpegutil 中，getvideoinfo 函数通过 ffmpeg.probe 来获取视频的详细信息。

// getvideoinfo 获取视频文件的基本信息
func getvideoinfo(inputfile string) (string, error) {
    probedata, err := ffmpeg.probe(inputfile)
    if err != nil {
        return "", fmt.errorf("error getting video info: %w", err)
    }
    log.debugf("video info: %v", probedata)
    return probedata, nil
}

ffmpeg.probe 返回的视频文件元数据包含格式、时长、码率等信息，可以用于后续的处理。

4. 创建视频缩略图

视频缩略图的生成是视频处理中的常见需求，特别是在多媒体平台上展示视频时。createthumbnail 函数从视频中提取一帧作为缩略图。

// createthumbnail 为视频创建缩略图
func createthumbnail(inputfile, outputfile string) error {
    err := ffmpeg.input(inputfile).output(outputfile, ffmpeg.kwargs{"vframes": "1", "vf": "scale=800:600"}).run()
    if err != nil {
        return fmt.errorf("error creating thumbnail: %w", err)
    }
    log.debugf("thumbnail created: %s -> %s", inputfile, outputfile)
    return nil
}

该函数通过设置 vframes=1 来提取视频的第一帧，并通过 scale=800:600 来调整缩略图的尺寸。

5. 提取随机帧

提取视频中的随机帧是一个高级操作，通常用于视频分析或生成视频预览图。在 ffmpegutil 中，有两个版本的 extractrandomframes 函数，一个是单线程版本，另一个是多线程版本。

无线程版本：

// extractrandomframesnothread 提取视频中的随机帧（无线程）
func extractrandomframesnothread(inputfile, outputdir, fileprefix string, numframes int) error {
    // 确保输出目录存在
    err := os.mkdirall(outputdir, os.modeperm)
    if err != nil {
        return fmt.errorf("failed to create output directory: %w", err)
    }

    format, err := getvideoformat(inputfile)
    if err != nil {
        return fmt.errorf("error getting video format: %w", err)
    }

    duration, err := strconv.parsefloat(format.format.duration, 64)
    if err != nil {
        return fmt.errorf("error parsing duration: %w", err)
    }

    randsource := rand.newsource(time.now().unixnano())
    randgen := rand.new(randsource)
    timestamps := generaterandomtimestamps(duration, numframes, randgen)

    for i, timestamp := range timestamps {
        outputfile := filepath.join(outputdir, fmt.sprintf("%s_%03d.jpg", fileprefix, i+1))
        err := extractframeattimestamp(inputfile, outputfile, timestamp)
        if err != nil {
            log.errorf("error extracting frame: %v", err)
        } else {
            log.tracef("frame extracted: %s -> %s", inputfile, outputfile)
        }
    }

    return nil
}

多线程版本：

// extractrandomframes 提取视频中的随机帧（多线程）
func extractrandomframes(inputfile, outputdir, fileprefix string, numframes, numthreads int) error {
    // 确保输出目录存在
    err := os.mkdirall(outputdir, os.modeperm)
    if err != nil {
        return fmt.errorf("failed to create output directory: %w", err)
    }

    format, err := getvideoformat(inputfile)
    if err != nil {
        return fmt.errorf("error getting video format: %w", err)
    }

    duration, err := strconv.parsefloat(format.format.duration, 64)
    if err != nil {
        return fmt.errorf("error parsing duration: %w", err)
    }

    randsource := rand.newsource(time.now().unixnano())
    randgen := rand.new(randsource)
    timestamps := generaterandomtimestamps(duration, numframes, randgen)

    var wg sync.waitgroup
    sem := make(chan struct{}, numthreads)

    for i, timestamp := range timestamps {
        wg.add(1)

        go func(index int, ts float64) {
            defer wg.done()

            sem <- struct{}{} // acquire semaphore

            outputfile := filepath.join(outputdir, fmt.sprintf("%s_%03d.jpg", fileprefix, index+1))
            err := extractframeattimestamp(inputfile, outputfile, ts)
            if err != nil {
                log.errorf("error extracting frame: %v", err)
            } else {
                log.tracef("frame extracted: %s -> %s", inputfile, outputfile)
            }

            <-sem // release semaphore
        }(i, timestamp)
    }

    wg.wait()

    return nil
}