编解码标准¶

解码&编码¶

离线解码通常用于解码高分辨率的视频，它的过程是将整个视频文件读入内存，然后使用解码器将视频数据解码为未压缩的像素数据，最后将这些像素数据保存到硬盘上。离线解码通常需要较长的时间，并且需要大量的存储空间。
实时解码则更适用于流媒体和实时视频传输。它的过程是将视频数据按照流的形式传输到解码器，解码器即时解码并将未压缩的像素数据发送到显示设备上，使用户能够几乎实时地观看视频。实时解码通常需要更快的处理器和更高效的解码器。

实时解码的技术方案:

硬件解码：使用专用的硬件解码器，它可以通过直接使用硬件加速来快速解码视频流。这种方法效率高，但成本较高且可定制性较差。
软件解码：使用 CPU 或 GPU 进行解码。软件解码通常是更为灵活和可定制的，但也更为耗时。
实时流媒体传输协议：RTSP（Real-Time Streaming Protocol）和RTMP（Real-Time Messaging Protocol）等协议，能够支持实时的视频流传输，并具有实时播放和控制功能。
WebRTC：一种基于网页的实时通信技术，它能够提供实时视频流传输和解码功能，并且支持网络控制和数据通信。
低延迟视频编码器：如 H.265/HEVC、H.264/AVC、VP9 等，这些编码器能够通过减小码率和调整帧率等方式来降低延迟，提高实时性。

软件解码的方案包括:

CPU 解码：通过 CPU 软件解码器解码视频流，这种方案可以在绝大部分计算机上运行，但需要较高的 CPU 使用率，特别是对于高分辨率和高码率的视频流。
GPU 解码：利用 GPU 中的硬件加速器解码视频流，可以大幅减少 CPU 的使用率，提高解码性能和效率。常见的 GPU 解码器包括 NVIDIA 的 CUDA、AMD 的 VCE 和 Intel 的 Quick Sync。
FPGA 解码：利用 FPGA 芯片实现硬件解码，具有更高的性能和更低的功耗，但需要开发人员具备 FPGA 开发经验，且成本较高。
ASIC 解码：利用专用的解码芯片实现解码，可以达到极高的性能和效率，但需要大量的开发和设计成本。

视频压缩中有损（Lossy ）和无损（Lossless）:

无损格式，例如 WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack (WV)
有损格式，例如 MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC

视讯编码标准发展:

年份   标准         制定组织          解除版权保护       主要应用

H.120         ITU-T                 是
H.261         ITU-T                 是         视讯会议、视讯通话
MPEG-1        ISO /IEC             是         影音光碟(VCD )
H.262/MPEG-2  ISO / IEC 、ITU-T    否        DVD 影碟(DVD-Video )、蓝光(Blu-Ray )影碟、数位视讯广播(DVB )、SVCD
H.263         ITU-T                是       视讯会议、视讯通话、3G 手机视讯(3GP )
MPEG-4         ISO /IEC             否
H.264/MPEG-4 AVC  ISO / IEC 、ITU-T   否       蓝光(Blu-Ray )影碟、数位视讯广播(DVB )、iPod 视讯、高画质 DVD(HD DVD )

视频 codec:

ISO /IEC
MJPEG · Motion JPEG 2000 · MPEG-1 · MPEG-2 (Part 2 )· MPEG-4 (Part 2/ASP · Part 10/AVC )· HVC

ITU-T
H.120 · H.261 · H.262 · H.263 · H.264 · H.265

其它
AMV · AVS · Bink · CineForm · Cinepak · Dirac · DV · Indeo · Microsoft Video 1 ·
OMS Video · Pixlet · RealVideo · RTVideo · SheerVideo · Smacker ·
Sorenson Video & Sorenson Spark · Theora · VC-1 · VP3 · VP6 · VP7 · VP8 · WMV

音频 codec:

ISO /IEC MPEG
MPEG-1 Layer III (MP3) · MPEG-1 Layer II · MPEG-1 Layer I · AAC · HE-AAC · MPEG-4 ALS · MPEG-4 SLS · MPEG-4 DST

ITU-T
G.711 · G.718 · G.719 · G.722 · G.722.1 · G.722.2 · G.723 · G.723.1 · G.726 · G.728 · G.729 · G.729.1

其它
AC-3 · AMR · AMR-WB · AMR-WB+ · Apple Lossless · ATRAC · DRA · DTS · FLAC · GSM-HR · GSM-FR ·
GSM-EFR · iLBC · Monkey's Audio · TTA (True Audio)· MT9 · μ-law · Musepack · Nellymoser · OptimFROG ·
OSQ · RealAudio · RTAudio · SD2 · SHN · SILK · Siren · Speex · TwinVQ · Vorbis · WavPack · WMA

图像压缩:

ISO /IEC /ITU-T
JPEG · JPEG 2000 · JPEG XR · lossless JPEG · JBIG · JBIG2 · PNG · WBMP

Others
APNG · BMP · DjVu · EXR · GIF · ICER · ILBM · MNG · PCX · PGF · TGA · TIFF

媒体容器:

通用
3GP · ASF · AVI · Bink · BXF · DMF · DPX · EVO · FLV · GXF · M2TS · Matroska ·
MPEG-PS · MPEG-TS · MP4 · MXF · Ogg · QuickTime · RealMedia · RIFF · Smacker · VOB
只用于音频
AIFF · AU · WAV

Mpeg 系列¶

MPEG-1¶

MPEG-1 有下面几个部分:

第一部分（Part 1）：系统
第二部分（Part 2）：视频
第三部分（Part 3）：音频；定义 level1，level2，level3，并在 MPEG-2 中定义了扩展
第四部分（Part 4）：一次性测试
第五部分（Part 5）：参考软件

MPEG-1 音频分三层，就是 MPEG-1 Layer I, II, III，其中第三层协议也就是 MPEG- 1 Layer 3，简称 MP3
一张 70 分钟的 CD 光盘传输速率大约在 1.4Mbps
MPEG-1 的输出质量大约和传统录像机 VCR，信号质量相当，这也许是 Video CD 在发达国家未获成功的原因。

MPEG-2¶

第一部(Part 1)系统 - 描述视频和音频的同步和多路技术¶

正式名称是 ISO/IEC 13818-1 或 ITU-T 中的 H.222.0
定义了两个不同但相关的容器格式，MPEG transport stream 和 MPEG program stream，也就是图中的 TS 和 PS
MPEG 传输流（TS）为携带可损数字视频和音频，媒体流的开始和结束可以不标识出来，就像广播或者磁带，其中的例子包括 ATSC，DVB，SBTVD 和 HDV
MPEG 节目流（PS）为以文件为基础的媒体设计一个容器格式，用于硬盘驱动器，光盘和闪存
TS 流与 PS 流的区别在于 TS 流的包结构是固定度的，而 PS 流的包结构是可变长度
TS 码流由于采用了固定长度的包结构，当传输误码破坏了某一 TS 包的同步信息时，接收机可在固定的位置检测它后面包中的同步信息，从而恢复同步，避免了信息丢失。而 PS 包由于长度是变化的，一旦某一 PS 包的同步信息丢失，接收机无法确定下一包的同步位置，就会造成失步，导致严重的信息丢失。因此，在信道环境较为恶劣，传输误码较高时，一般采用 TS 码流；而在信道环境较好，传输误码较低时，一般采用 PS 码流由于 TS 码流具有较强的抵抗传输误码的能力，因此目前在传输媒体中进行传输的 MPEG-2 码流基本上都采用了 TS 码流的包格。

第二部(Part 2)视频 - 视频压缩¶

正式名称是 ISO/IEC 13818-2 或 ITU-T H.262
MPEG-2 向后兼容
MPEG-2 不光运用于 DVD-Video ，现在大部分 HDTV（高清电视）也采用 MPEG-2 编码，分辨率达到了 1920x1080。由于 MPEG-2 的普及，本来为 HDTV 准备的 MPEG-3 最终宣告放弃
MPEG-2 视频通常包含多个 GOP（GroupOf Pictures），每一个 GOP 包含多个帧（frame）。帧的帧类（frame type）通常包括 I - 帧（I-frame）、P - 帧（P-frame）和 B - 帧（B-frame）
在 DVD 应用上，可达 10.4 Mbit/s

第三部(Part 3)音频 - 音频压缩¶

MPEG-1 Audio level 2，标准有：ISO/IEC 11172-3, ISO/IEC 13818-3
MPEG-1Layer II 定义在 ISO/IEC 11172-3，也就是 MPEG-1 的第三部分，在 ISO/IEC 13818-3，也就是 MPEG-2 的第 3 部分定义扩展

Mpeg 4¶

声道¶

可供选择的声道:

单声道（中央）
双声道立体声（左、右），选择性地交叉应用杜比环回
三声道立体声（左、中、右）
双声道立体声加单环回（左、右、环回）
三声道立体声加单环回（左、中、右、环回）
四声道环回立体声（左前、右前、左后、右后）
五声道环回立体声（左前、中、右前、左后、右后）

在 5.1, 7.1 或其他等文字中，’.1’ 指的是低频 LFE 声道
5.1 声道就是使用 5 个喇叭和 1 个超低音扬声器来实现一种身临其境的音乐播放方式，它是由杜比公司开发的，所以叫做 “杜比 5.1 声道”。在 5.1 声道系统里采用左 (L)、中 (C)、右 (R)、左后 (LS)、右后 (RS) 五个方向输出声音，使人产生犹如身临音乐厅的感觉。五个声道相互独立，其中 “.1” 声道，则是一个专门设计的超低音声道。正是因为前后左右都有喇叭，所以就会产生被音乐包围的真实感

MPEG-4 视频编码核心思想¶

在 MPEG-4 制定之前，MPEG-1、MPEG-2、H.261、H.263 都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。

第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷:

将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；
不能对图像内容进行访问、编辑和回放等操作；
未充分利用人类视觉系统（HVS，Human Visual System）的特性。

MPEG-4 则代表了基于模型 / 对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。

视频编解码标准¶

H.263¶

H.263是一种早期的视频编码标准，通常用于实现视频会议、IP电话和视频流传输等应用场景。H.263的压缩效率比H.264低，但对于一些低带宽网络的应用场景来说，它仍然是一种有用的视频编码标准。

H.264/AVC¶

H.264是一种视频压缩标准，也称为MPEG-4 AVC（Advanced Video Coding）。它可以将高清视频压缩到较小的文件大小，同时保持视频质量。H.264支持多个比特率和分辨率，并且被广泛用于网络视频、视频电话和数字电视等领域。
H.264具有高压缩率和高质量的视频编码能力，适用于各种视频传输应用，包括流媒体、视频会议、数字电视和蓝光光盘等。H.264的普及使得高清视频和互联网视频变得更加普及和流行。

HEVC/H.265¶

HEVC（High Efficiency Video Coding）是一种视频编码标准，也被称为H.265。HEVC相比H.264具有更高的压缩率，即在相同的视频质量下，HEVC的码流比H.264低30%至50%，这使得HEVC更适合于低带宽网络传输和高分辨率视频。HEVC被广泛应用于视频会议、流媒体、移动视频和数字电视等领域。

MPEG-4¶

MPEG-4是一种数字视频压缩标准，包含了多种视频编码算法和参数。MPEG-4编码可以提供较高的视频压缩率和良好的视觉质量，在网络视频、流媒体、移动设备等领域广泛应用。
Xvid是一种开源的MPEG-4视频编码器，可以提供较高的视频压缩率和较好的视觉质量，适用于网络视频、数字电视、DVD等领域。
DivX是一种基于MPEG-4的视频编码标准，由DivX公司开发。DivX编码可以提供高质量的视频压缩率和良好的视觉效果，在数字电视、网络视频、DVD等领域得到广泛应用。

MJPEG¶

MJPEG（Motion JPEG）是一种视频编码标准，它将每一帧视频编码成一张JPEG图片。这意味着MJPEG编码的视频文件较大，但是不需要对整个视频流进行解压缩即可访问任意一帧。
MJPEG编码适用于要求高画面质量、帧率不高的视频应用，如摄像头、视频监控等。
MJPEG广泛用于监控摄像头和视频采集设备等领域。

MPEG4¶

MPEG4是一种视频和音频压缩标准，它可以将视频和音频流压缩到较小的文件大小，同时保持高质量的视频和音频效果。MPEG4广泛用于数字电视、网络视频、多媒体通信和互联网视频等领域。

VP8和VP9¶

VP8和VP9是由Google开发的开源视频编码标准，分别是WebM视频格式的编码器。VP8具有高压缩率和高质量的视频编码能力，是一种专为互联网而设计的视频编码标准。VP9相比VP8具有更高的压缩率和更好的视频质量，因此更适合于高分辨率视频和低带宽网络传输。

Cinepak¶

Cinepak是一种基于向量量化压缩算法的视频编码方式，由Radius公司开发。Cinepak编码可以提供较好的视频压缩率和适当的视觉质量，适用于CD-ROM、视频游戏等领域。

音频编解码标准¶

MP3¶

采用有损压缩技术将音频数据压缩到更小的文件大小，同时保持较高的音质。
MP3文件适合在网络上传输和存储，也可以在各种音频设备上播放。

AC3¶

一种数字音频编码格式，常用于DVD、蓝光光盘和数字电视等场景。AC3编码可以提供高品质的环绕声音效，并支持多语言和多个音频轨道。
AC3编码的文件通常具有较高的音频质量和较大的文件大小。

AAC¶

AAC（Advanced Audio Coding）是一种音频压缩标准，它可以将高质量音频压缩到较小的文件大小，同时保持高音质。AAC广泛用于数字音频、网络音频和移动音频等领域。
AAC编码支持多通道音频，能够提供立体声、环绕声等效果。

PCM¶

一种无损音频编码格式，它采用一种线性的采样方式将音频信号数字化。
PCM编码可以提供``无损``的音频质量，但需要较大的存储空间和带宽。PCM编码的文件通常用于专业音频制作、数字录音等领域。

ADPCM¶

一种自适应差分脉冲编码调制技术，用于将音频信号压缩到较小的数据量。
ADPCM编码适用于低比特率和高带宽限制的音频应用，如语音通信、数字语音存储等。

G.711A/PCMA¶

PCMA（G.711 A-law）是一种音频编码标准，通常用于传输模拟电话信号。它将模拟音频信号压缩为数字音频信号，然后通过网络传输。PCMA可以提供高质量的音频传输，但需要较大的带宽支持。
G.711A是一种音频编码标准，也称为A-law编码。它将模拟音频信号压缩为8位数据，并将其转换为数字信号。G.711A在传输模拟电话信号、数字音频通信等领域广泛应用。在美国和日本，G.711A是常用的标准。
PCMA是对G.711A标准的一种实现。它使用A-law编码对模拟音频信号进行压缩，将其转换为数字信号，并通过网络传输。PCMA提供了高质量的音频传输，但需要较大的带宽支持。

G.711U/PCMU¶

PCMU（G.711 μ-law）是一种音频编码标准，也通常用于传输模拟电话信号。它将模拟音频信号压缩为数字音频信号，然后通过网络传输。与PCMA相比，PCMU可以在更低的带宽下提供高质量的音频传输。
G.711U/PCMU使用μ-Law压缩算法，适用于欧洲和其他地区。
G.711A/PCMA和G.711U/PCMU是ITU-T G.711标准的两种不同的实现，G.711是一种数字音频编解码标准，它将模拟语音信号转换为数字信号。G.711标准包括两个版本，G.711A和G.711U，它们分别使用不同的压缩算法对音频进行编码。

G.726¶

G.726是一种音频压缩标准，它可以将音频信号压缩为4种不同的比特率，从16 kbps到40 kbps不等。G.726广泛用于数字音频通信、视频会议和语音录制等领域。
G.726是ITU-T G.726标准，它是一种数字音频编解码标准，也称为ADPCM（Adaptive Differential Pulse Code Modulation）。G.726可以将音频信号压缩成4种不同的比特率，分别为16 kbps、24 kbps、32 kbps和40 kbps，这使得它比G.711更适合于低带宽传输。