スズトキヅキ's Vignette

采样率 (Sample Rate)#

• 采样率 sample_rate 44100 (CD)

  1s内 有44100的声音被采集下来,值越大，声音越真实

通道数 (Channels)#

一般是左右声道，5.1通道，双通道的话会是 两个通道同时采样。

样本大小/格式 (Sample Size)#

AV_SAMPLE_FMT_S16 (16位) AV_SAMPLE_FMT_FLTP (float存储、效率更高)

样本类型#

1
AV_SAMPLE_FMT_S16 在内存的格式就像
2
c1 c2 c1 c2 ...
3
AV_SAMPLE_FMT_S16P 的格式为
4
c1 c1 c1 ... c2 c2 c2 ...

概述#

AVC（Advanced Video Coding） 是一种广泛使用的视频压缩标准，通常称为H.264，能够以较低的比特率提供高质量的视频。

编码架构#

• VCL：负责核心的视频编码工作，输出的是表示视频像素数据的切片（Slices）。这是编码器的”核心技术部门”。
• NAL：负责将 VCL 产生的切片以及其他重要信息，封装成一种标准化、适用于网络传输的包，即 NAL 单元。这是公司的”包装和物流部门”

NAL 单元#

单纯来看，每个帧都可以视作一个NAL单元 （SPS，PPS）除外，一般来说编码器编出的首个帧中，往往帧前面都带有00 00 00 01 或者 00 00 00 01 分隔符, 再往后就是I帧了。

GOP (Group of Picture)#

在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧。

所以在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。

第一部分：全局说明书（参数集）#

这是全书的前言和目录，告诉解码器如何解读后续所有内容。

• SPS（序列参数集）：

  • 相当于全书的出版规格：纸张大小（分辨率）、印刷色彩标准（色彩空间）、装订方式（编码档次）。
  • 定义了整个视频序列的全局参数。

• PPS（图像参数集）：

  • 相当于章节排版规范：字体大小、行间距、页边距。
  • 定义了单帧图像的编码细节。

• VPS（视频参数集，H.265/HEVC特有）：

  • 相当于多卷本的协调说明，用于复杂场景和多层编码。

重要性：没有这些说明书，后面的视频数据完全无法解码！

第二部分：内容组织单元（GOP序列）#

这是全书的核心内容，由多个章节（GOP） 连续组成。

1
[GOP 1] → [GOP 2] → [GOP 3] → ... → [GOP N]

每个GOP（章节）内部包含：

• I帧（章节开头）：完整的独立页面，不依赖前后内容就能看懂。
• P帧（承上启下的段落）：基于前面内容的总结和发展，只写变化的部分。
• B帧（细节补充）：同时参考前后内容，做最精细的描述。

第三部分：辅助信息（元数据）#

这些是书中的脚注、批注和索引。

• SEI（补充增强信息）：包含时间码、版权信息、编码设置等。
• AUD（访问单元分隔符）：相当于章节标记，明确指示每一帧的开始位置。

第四部分：实际的数据切片#

这是书中的具体文字和图片。

• 切片（Slices）：一帧图像可能被分割成多个切片，每个切片封装在一个NAL单元中。

完整视频流的时序结构#

1
[全局说明书区]
2
SPS → PPS → VPS(可选) → SEI
3
[内容数据区 - 循环往复]
4
→ AUD → I帧切片 → I帧切片 ...    ← GOP 1开始
5
→ AUD → B帧切片 → B帧切片 ...
6
→ AUD → P帧切片 → P帧切片 ...
7
→ AUD → B帧切片 → B帧切片 ...
8
→ AUD → I帧切片 → I帧切片 ...    ← GOP 2开始（可能是场景切换）
9
...（继续循环）...

不同封装格式的影响#

视频流可以存储在不同的”书架”（容器）中：

• 原始H.264/H.265流（.h264, .hevc）：NAL单元的原始序列。
• MP4/MKV文件：将NAL单元重新组织，添加索引。
• 传输流（TS）：将NAL单元分割成固定大小的包，添加时间戳和纠错信息。

处理流程#

解封装 -> 软硬编码 -> 像素格式转换 -> 重采样 -> pts/dts -> 同步策略

解封装函数#

• av_register_all() - 注册所有的封装格式，全局注册
• avformat_network_init() - 通过网络打开文件
• avformat_open_input(...)
• avformat_find_stream_info() - 打开文件并解析
• av_find_best_stream(...) - 查找最佳流

核心数据结构#

1
// 它包含的信息就像DVD播放机的屏幕显示：
2
AVFormatContext {
3
    - 文件格式： "MP4", "AVI", "MKV"          // 就像知道是DVD、VCD还是蓝光
4
    - 持续时间： 2小时15分钟                   // 影片总长度
5
    - 比特率： 1500 kbps                      // 数据读取速度
6
    - 元数据： 标题、作者、版权信息            // 光盘封面信息
7
    - 流列表： [视频流, 音频流1, 音频流2, ...] // 光盘包含的所有轨道
8
    - 文件位置： 当前播放到01:23:45            // 当前播放进度
9
}

1
// 每个轨道的信息：
2
AVStream {
3
    - 流类型： 视频 / 音频 / 字幕             // 这是什么轨道？
4
    - 编解码器参数： H.264, AAC, SRT         // 数据的编码格式
5
    - 时间基： 1/1000 秒                     // 时间计量单位
6
    - 帧率： 25 fps                         // 视频帧率
7
    - 分辨率： 1920x1080                    // 视频尺寸
8
    - 采样率： 44100 Hz                     // 音频采样率
9
    - 时长： 2小时15分钟                    // 该轨道的长度
10
    - 索引： 0, 1, 2...                     // 轨道编号
11
}

1
// 每个数据包就像一截电影胶片：
2
AVPacket {
3
    - 数据指针： 指向压缩数据的内存地址        // 胶片上的图像
4
    - 数据大小： 65536 字节                 // 胶片的长度
5
    - 流索引： 0                           // 属于哪个轨道？
6
    - 显示时间戳(PTS)： 123456             // 什么时候显示？
7
    - 解码时间戳(DTS)： 123450             // 什么时候解码？
8
    - 持续时间： 40ms                      // 播放多长时间？
9
    - 关键帧标志： 是/否                   // 是否是I帧？
10
}

操作函数比喻#

1
avformat_open_input()        // 插入光盘到播放机
2
avformat_find_stream_info()  // 读取光盘目录信息
3
av_read_frame()              // 从光盘读取下一段数据
4
avformat_close_input()       // 弹出光盘，关闭播放机

对于 H.264/H.265 视频流#

在大多数情况下：

• 一个 AVPacket 包含一个完整的 NAL 单元
• AVPacket 的 data 字段指向的就是 NAL 单元的起始位置

1
// 典型情况：一个AVPacket对应一个NAL单元
2
AVPacket {
3
    .data = [NAL起始码] [NAL头] [NAL负载]  // 整个NAL单元数据
4
    .size = NAL单元的总长度
5
    .stream_index = 视频流索引
6
}