码率控制的目标是在满足码率约束的同时提高视频质量，通过选择合适的编码参数完成比特分配过程，因为传统方法要求编码的视频整体性能最优，而低延迟场景需要保证分配比特数的平稳，因此需要改进传统的码率控制算法以适应场景需要。

一方面，对于基本的视频编码方式，I帧通常以周期性整帧的方式插入，然而I帧一般比P帧、B帧多出数倍的数据量。这种拜尼马结构对编码本身而言更为简洁，但会导致编解码缓冲区的较大延迟，这种延迟同样会影响许多实际应用中的传输质量。因而考虑到系统整体的低延迟，更好的做法是进行帧内刷新编码。

帧内刷新技术是指将原有I帧的码流分配到其他非I帧中，对于编码而言，即以特定方式将非I帧中的无重叠区域以帧内预测方式编码，共同分担I帧参考的任务。帧内刷新通过多帧帧内编码替代单个关键帧，可以起到降低缓冲区延迟、平稳码率的作用，避免I帧峰值码率带来的带宽压力。

在各类帧内刷新方法中，周期性帧内刷新（PIR）由于其简洁性、有效性被广泛采用。PIR是在限定的帧周期内，对每一帧固定位置的编码块进行帧内编码。除此之外，还有随机帧内刷新（RIR）、自适应帧内刷新（AIR）等方法。

Hendry等提出了一种新的图像类型GRA（GradualRandonAccess）/GDR（GradualDecodingRefresh）图像，图像中包含刷新区域和未刷新区域，在刷新条内的编码块只能参与属于同一GRA周期的参考图像中刷新区域的参考块，在未刷新区域内的编码块可以参考属于不同GRA周期的参考图像中刷新区域的参考块或者属于同一GRA周期的参考图像中的任何参考块。图6给出了对刷新区域和未刷新区域的编码块的参考约束，GRA图像既可以平稳码率又有利于错误图像的解码恢复。

另一方面，超低延时场景下编解码端的缓冲区很小，而采用条/块级编码后，子图像（宏块集）的比特数目会出现分配不均的情况，导致码率波动较大，因此在实际应用中需要避免出现缓冲区上溢的现象。

近年来对码率控制的研究主要以Q域、和的码率控制算法为基础展开，码率控制过程包含GOP级、帧级、基本编码单元级的比特分配和编码参数选择2部分，现有码率控制算法对平均码率的控制精度较高，但是对基本单元级的比特控制不够精准，无法适用于缓存区较小的情况，而且不能有效处理包含快速运动物体、存在显著物体遮挡和场景变换的动态视频，所以需要改善现有的码率控制模型，实现不同编码级别的比特的精确控制。最新的码率控制研究中使用了机器学习和深度强化学习理论，可以显著提升码率控制的精度。

内容摘自：《低延迟视频编码技术》