开放科学（资源服务）标志码（OSID）：

0 概述

2020年7月1日，国际电信联盟视频编码专家组（ITU-T VCEG）和国际标准化组织活动图像编码专家组（ISO/IEC MPEG）联合制定了新一代视频编码标准H.266/VVC。直到标准测试模型VTM-10.0后，通用视频编码（Versatile Video Coding，VVC）性能基本稳定，在相同的峰值信噪比条件下相比HEVC的高清视频和超高清视频，VCC标准平均码率节省了约40%^[1]。

在帧间预测过程中，H.265/HEVC采用平移运动模型对物体的运动进行描述，即用一个运动矢量表示物体的运动，但该模型不能准确地描述物体的复杂运动，例如旋转、缩放和裁剪等^[2-3]。在H.266/VVC的帧间预测过程中采用了仿射运动模型，它可以更精确地表示物体复杂运动的类型^[4]。以往的相关研究尝试将仿射运动模型嵌入到运动补偿帧中，但是该方法在VVC之前一直未被采纳，其原因是所提的仿射运动估计方法增加了视频编码过程的复杂度，而且在大多数应用场景中该复杂度是不能忽略的^[5-6]。

文献[7]基于H.266/VVC提出2种降低仿射运动估计复杂度的方法，通过检查当前块父块的最佳帧间预测模式是否为Skip模式，如果是Skip模式，则当前块直接跳过整个仿射运动估计过程；对当前块的传统运动估计的最佳预测方向进行检查，基于检查结果决策是否缩减仿射运动估计参考帧序列的大小。文献[8]基于H.266/VVC的JEM测试模型提出一种仿射运动估计架构，该架构使得编码器自适应地选择四参数或者六参数仿射模型。文献[9]基于HEVC提出一种迭代搜索最优仿射运动矢量的仿射运动估计算法和一种仿射高级矢量预测（AAMVP）候选列表的构建方法，其中迭代搜索最优仿射运动矢量的仿射运动估计算法在VVC标准中已经被采纳。

相比H.265/HEVC，H.266/VVC视频编码标准的适应场景更广泛，H.265/HEVC中的仿射运动估计算法难以满足H.266/VVC对编码复杂度的要求，因此，本文提出一种改进的仿射运动估计算法。通过优化VVC中AAMVP候选列表的构建方法，使得选择出的候选运动矢量更精确，同时对VVC中迭代搜索最优仿射运动矢量的方法进行优化，缩短迭代搜索所需的时间。

1 VVC中的仿射运动估计

在H.266/VVC的帧间预测中采用与H.265/HEVC平移运动估计相类似的方式来实现仿射运动估计。H.266/VVC中编码器首先通过AAMVP技术为当前编码块构建一个仿射运动估计起始运动矢量组合的候选列表；然后在该列表中选择一个最优的候选运动矢量组合，编码器将该组合作为仿射运动估计的起始点，通过迭代搜索确定当前编码块真实的运动矢量组合^[10-13]。

1.1 仿射运动模型

在H.266/VVC的仿射运动估计中，有2种仿射运动模型，分别为四参数仿射运动模型和六参数仿射运动模型。四参数仿射运动模型使用2个控制点的运动矢量组合来描述当前编码块的运动类型，如图 1所示。六参数仿射运动模型用3个控制点的运动矢量来描述当前编码块的运动类型，相比于四参数仿射模型能更精确地表示仿射运动。

当前图像中的编码块具有2个控制点，这2个控制点的运动矢量为$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{} $和$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{} $，则当前编码块中任意点$ (x, y) $的运动矢量如式（1）所示：

$ \left\{\begin{array}{l}{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}}^{h}(x, y)=\frac{({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}-({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h})}{\omega -1}x-\\ \frac{({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v})}{\omega -1}y+{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h}\\ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}}^{v}(x, y)=\frac{({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v}-({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v})}{\omega -1}x+\\ \frac{({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h})}{\omega -1}y+{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v}\end{array}\right. $

(1)

其中：$ \omega $为当前编码块的宽度；$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h} $、$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v} $、$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h} $、$ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v} $分别为控制点0和控制点1运动矢量的水平和垂直分量。式（1）也可以改写成矩阵形式，如式（2）~式（4）所示：

$ {\mathit{\boldsymbol{m}}}_{\rm{m}\rm{v}}(x, y)=A(x, y)\times {\mathit{\boldsymbol{M}}}_{\rm{M}\rm{V}\left(\mathit{\boldsymbol{A}}\right)}^{\rm{T}} $

(2)

$ A(x, y)=\left[\begin{array}{cccc}\left(1-\frac{x}{\omega -1}\right)& \frac{x}{\omega -1}& \frac{y}{\omega -1}& -\frac{y}{\omega -1}\\ -\frac{y}{\omega -1}& \frac{y}{\omega -1}& \frac{y}{\omega -1}& \frac{x}{\omega -1}\end{array}\right] $

(3)

$ {\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{A}}}^{\rm{M}\rm{V}}=\left[\begin{array}{cccc}{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h}& {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}& {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v}& {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v}\end{array}\right] $

(4)

六参数仿射运动模型当前编码块的运动矢量的推导方式与四参数仿射运动模型的推导方式相类似。

1.2 AAMVP技术

AAMVP技术在H.266/VVC中被用于构建仿射迭代搜索过程中起始向量组合候选列表，同时编码器会选择一个最优的候选向量组合作为迭代搜索的起始位置^[14-16]。

在H.266/VVC中AAMVP候选列表的长度被限定为2。首先编码器按照特定的顺序对当前编码块的相邻已编码块是否使用仿射运动估计进行检查，如果相邻已编码块使用了仿射运动估计，则直接复用相邻已编码块的仿射运动信息。如果编码器对上一步所有相邻已编码块检查完成后，AAMVP候选列表未被填满，则分别检查当前编码块的3个角落相邻块中第1个可用的已编码块的平移运动矢量，若3个角落相邻块至少存在1个可用的平移运动矢量，则将它们直接构造组成运动矢量组合，并作为AAMVP的候选项。经过上述步骤，如果候选列表仍未被填满，则编码器直接用当前编码块3个角落的相邻已编码块，对第1个可用的已编码块的平移运动矢量进行重复扩充为运动矢量组合，作为AAMVP候选列表的候选项。然后，若AAMVP候选列表未被填满，编码器检查当前编码块的相邻编码块的时域候选是否存在，若存在，直接作为AAMVP列表的候选项。最后，若候选列表仍未被填满，编码器直接使用零向量对AAMVP候选列表进行填充。图 2所示为AAMVP候选列表中候选来自于当前编码块的相邻已编码块的位置信息^[17-19]。

1.3 迭代搜索仿射运动矢量

在H.266/VVC中，编码器从AAMVP候选列表中选出一个最优的候选项，将该最优候选项作为起始点，通过迭代搜索得到当前编码块真实的仿射运动矢量。

在迭代搜索过程中，编码器采用最小均方误差作为匹配准则，如式（5）所示：

$ {M}_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{1}{\omega \times h}{\sum\limits _{(x, y)\in \mathrm{当}\mathrm{前}\mathrm{块}}\left|{P}_{\mathrm{o}\mathrm{r}\mathrm{i}}^{\mathrm{p}\mathrm{i}\mathrm{c}}(x, y)-{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{p}\mathrm{i}\mathrm{c}}\left(\right(x, y)+{\mathit{\boldsymbol{m}}}_{\rm{m}\rm{v}}(x, y\left)\right)\right|}^{2} $

(5)

其中：ω和h分别为当前编码块的宽度和高度；$ {P}_{\mathrm{o}\mathrm{r}\mathrm{i}}^{\mathrm{p}\mathrm{i}\mathrm{c}} $为当前编码块所在的图像；$ {P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{p}\mathrm{i}\mathrm{c}} $为当前编码块的参考图像。

定义第$ i $次迭代过程的运动矢量变化为$ {\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i} $，则第$ i $次迭代时的运动矢量如式（6）所示：

$ \begin{array}{l}{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}(x, y)}^{i}=A(x, y)\left(\right({\mathit{\boldsymbol{m}}}_{\rm{m}\rm{v}}^{\mathit{\boldsymbol{i}}-1}{)}^{\mathrm{T}}+\left({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}}\right)=\\ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}(x, y)}^{i}+A(x, y)({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}}\end{array} $

(6)

其中：$ (x, y) $为当前编码块的位置；$ {\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i} $为一个行矩阵。$ {\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i} $的转置矩阵如式（7）所示：

$ ({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}}=\left[\begin{array}{c}{\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}\left(0\right)}^{h}\\ {\mathit{\boldsymbol{d}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}\\ {\mathit{\boldsymbol{d}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v}\\ {\mathit{\boldsymbol{d}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v}\end{array}\right]=\left[\begin{array}{c}{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{ih}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{(i-1)h}\\ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{ih}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{(i-1)h}\\ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{iv}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{(i-1)v}\\ {\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{iv}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{(i-1)v}\end{array}\right] $

(7)

经过$ i $次迭代后，参考点的像素值如式（8）所示：

$ \begin{array}{l}{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{p}\mathrm{i}\mathrm{c}}\left(\right(x, y)+{\mathit{\boldsymbol{m}}}_{\rm{m}\rm{v}({x}, {y})})=\\ {P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{P}\mathrm{i}\mathrm{c}}\left(\right({x}^{i-1}, {y}^{i-1})+A(x, y\left)\right({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}})\end{array} $

(8)

其中：$ ({x}^{i-1}, {y}^{i-1}) $为上一次迭代搜索时匹配块的位置。对式（8）进行泰勒展开，并忽略高阶项得到式（9）：

$ \begin{array}{l}{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{P}\mathrm{i}\mathrm{c}}\left(\right({x}^{i-1}, {y}^{i-1})+A(x, y\left)\right({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}})\approx \\ {P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{P}\mathrm{i}\mathrm{c}}({x}^{i-1}, {y}^{i-1})+{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{P}\mathrm{i}\mathrm{c}\text{'}}({x}^{i-1}, {y}^{i-1})A(x, y)({\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i}{)}^{\mathrm{T}}\end{array} $

(9)

在迭代搜索过程中参考点的像素值$ {P}_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{P}\mathrm{i}\mathrm{c}}(x, y) $尽可能接近原始像素值$ {P}_{\mathrm{o}\mathrm{r}\mathrm{i}}^{\mathrm{P}\mathrm{i}\mathrm{c}}(x, y) $，使得$ {M}_{\mathrm{M}\mathrm{S}\mathrm{E}} $的值最小。将$ {{\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}}^{i} $的相对梯度设置为0，使得参考像素值最接近原始像素值，得到$ {M}_{\mathrm{M}\mathrm{S}\mathrm{E}} $的最小值。

在H.266/VVC的测试模型VTM10.0中，采用$ \mathrm{S}\mathrm{o}\mathrm{b}\mathrm{e}\mathrm{l} $算子对像素矩阵进行卷积，求解$ {{\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}}^{i} $的相对梯度，如式（10）所示：

$ \left\{\begin{array}{l}{g}_{x}^{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}}=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]\times \left[\begin{array}{ccc}{P}_{x-1, y-1}& {P}_{x-1, y}& {P}_{x-1, y+1}\\ {P}_{x, y-1}& {P}_{x, y}& {P}_{x, y+1}\\ {P}_{x+1, y-1}& {P}_{x+1, y}& {P}_{x+1, y+1}\end{array}\right]\\ {g}_{y}^{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\times \left[\begin{array}{ccc}{P}_{x-1, y-1}& {P}_{x-1, y}& {P}_{x-1, y+1}\\ {P}_{x, y-1}& {P}_{x, y}& {P}_{x, y+1}\\ {P}_{x+1, y-1}& {P}_{x+1, y}& {P}_{x+1, y+1}\end{array}\right]\end{array}\right. $

(10)

当迭代过程中$ {\mathit{\boldsymbol{d}}}_{\mathrm{d}\mathrm{m}\mathrm{v}}^{i} $的值为0时，则停止迭代，最后一次更新的运动矢量，即为当前编码块真实的仿射运动矢量。

2 本文算法 2.1 AAMVP优化

文献[9]基于H.265/HEVC提出一种利用相邻已编码块的平移运动信息构造仿射AAMVP候选方法。图 2中编码器首先检查当前编码块的3个角落中所有相邻块的平移运动信息可用性，并不是像H.266/VVC中在获得第一个可用相邻已编码块的平移信息后就立即终止与同一个角落其他相邻已编码块可用性的检查。编码器在得到3个角落的所有相邻已编码块的可用平移运动信息之后，分别将3个角落所有相邻块的可用平移运动矢量组合成向量组，同时利用准则选择$ \mathrm{D}\mathrm{M}\mathrm{V} $最小和次小的向量进行组合，并作为AAMVP候选列表的两个候选项。$ \mathrm{D}\mathrm{M}\mathrm{V} $具体表达如式（11）所示：

$ {D}_{\mathrm{D}\mathrm{M}\mathrm{V}}=\left|{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h}-({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(2\right)}^{v}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v})\right|+\\ \left|{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(2\right)}^{h}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h}-({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v})\right| $

(11)

相比于H.266/VVC的AAMVP候选列表构建过程，优化的AAMVP是直接使用3个角落的相邻已编码块中第一个可用平移运动矢量，以构成AAMVP列表候选项，文献[9]基于$ \mathrm{D}\mathrm{M}\mathrm{V} $准则，利用所有相邻已编码块的平移运动矢量构造的AAMVP列表候选项更加精确，因此本文考虑把文献[9]的$ \mathrm{D}\mathrm{M}\mathrm{V} $准则引入到H.266/VVC中AAMPV候选列表的构建过程。对于仿射变换块，在小程度变形的情况下，当前块的宽度在水平方向的变化程度接近高度在垂直方向的变化程度，而高度在水平方向上的变化程度接近宽度在垂直方向的变化程度，因此，本文对$ \mathrm{D}\mathrm{M}\mathrm{V} $准则进行改进，提出本文算法中的$ {D}_{\mathrm{D}\mathrm{M}\mathrm{V}}^{\mathrm{\text{'}}} $准则，如式（12）所示：

$ {D}_{\mathrm{D}\mathrm{M}\mathrm{V}}^{\mathrm{{'}}}=\\ \left|(h-1)({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{h}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h})-(\omega -1)({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(2\right)}^{v}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{v})\right|+\\ \left|(h-1)({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(2\right)}^{h}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{h})-(\omega -1)({\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(0\right)}^{c}-{\mathit{\boldsymbol{m}}}_{\mathrm{m}\mathrm{v}\left(1\right)}^{v})\right| $

(12)

本文将$ \mathrm{D}\mathrm{M}{\mathrm{V}}^{\text{'}} $准则引入到H.266/VVC的AAMVP候选列表构建过程中，得到更加精确的AAMVP列表候选项，使得列表的候选项更接近编码块真实的仿射运动矢量，从而减少后续编码器根据AAMVP列表最优候选项迭代搜索真实仿射运动矢量时所需的迭代次数，达到缩短编码时间的目的。具体算法主要有以下5个步骤。

步骤1    检查当前编码块左上角相邻块A- > C的平移运动矢量的可用性，并将可用的平移运动矢量添加到数组amvpInfo0中，利用变量ret0完成检查，确定amvpInfo0是否为空。

步骤2    检查当前编码块右上角相邻块D- > E的平移运动矢量的可用性，并将可用的平移运动矢量添加到数组amvpInfo1中，利用变量ret1完成检查，确定amvpInfo1是否为空。

步骤3    检查当前编码块左下角相邻块F- > G的平移运动矢量的可用性，并将可用的平移运动矢量添加到数组amvpInfo2中，利用变量ret2完成检查，确定amvpInf2是否为空。

步骤4    若根据ret0、ret1、ret2的检查结果判断3个数组amvpInfo0、amvpInfo1、amvpInfo2中任意一个为空，则结束仿射AAMVP候选的构造过程，否则利用循环遍历计算所有运动矢量组合的$ \mathrm{D}\mathrm{M}{\mathrm{V}}^{\text{'}} $值。

步骤5    将最小$ \mathrm{D}\mathrm{M}{\mathrm{V}}^{\text{'}} $值对应的运动矢量组合添加到AAMVP候选列表中。

AAMVP算法的流程如图 3所示。

2.2 迭代搜索优化

编码器在H.266/VVC的仿射运动估计中进行迭代搜索，以寻找当前迭代位置周围像素梯度的最小失真方向，并更新最小失真对应的运动矢量，更新的运动矢量作为下一次迭代的初始运动矢量。当前运动矢量对应的率失真在每一次迭代时都会被更新，其反映了运动矢量汇聚到最优运动矢量的速度。为避免在迭代搜索过程中像素梯度极值处收敛太慢，本文所提的算法考虑在计算当前迭代位置的像素梯度时，增加一个动量参数以解决这个问题。当本次迭代的像素梯度在$ x $或y方向上与上一次迭代的像素梯度方向相同时，动量参数能够加速迭代搜索过程，从而减少迭代搜索过程消耗的时间。相反，当本次迭代的梯度在x或y方向上与上一次迭代的梯度方向差异较大时，动量参数能够减缓梯度的变化趋势，使得搜索过程更精确。该算法如式（13）所示：

$ \left\{\begin{array}{l}{g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(x\right)}^{i}={g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(x\right)}^{i}+{m}_{\mathrm{m}\mathrm{o}\mathrm{m}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{u}\mathrm{m}}\times {g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(x\right)}^{i-1}\\ {g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(y\right)}^{i}={g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(y\right)}^{i}+{m}_{\mathrm{m}\mathrm{o}\mathrm{m}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{u}\mathrm{m}}\times {g}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\left(\mathrm{y}\right)}^{i-1}\end{array}\right. $

(13)

考虑到包含复杂的仿射运动的视频序列，梯度下降过快会导致迭代搜索过程中梯度不平滑，最终得到的最优仿射运动矢量不够精确，从而造成重建后的视频序列质量损失较大。因此，选择六参数仿射运动的编码块的梯度下降速度相较于四参数仿射运动模型慢。对于快速仿射运动类型的编码块，在进行迭代搜索最优仿射运动矢量时能够达到相对减缓其梯度下降的目的，使搜索得到的最优仿射运动矢量更接近真实的仿射运动矢量，从而减少重建后视频序列的质量损失。当前编码块使用六参数仿射运动模型且为双向预测时，动量参数设置为0.1，其为单向预测时，动量参数设置为0.7；当前编码块使用四参数仿射运动模型且为双向预测时，动量参数设置为0.3，其为单向预测时动量参数设置为0.9；当前编码块不使用仿射运动估计时，动量参数设置为0。

3 实验仿真 3.1 仿真环境设置

本文的算法仿真实验以H.266/VVC原始参考模型VTM-10.0为平台，配置文件为encoder_lowdelay_vtm.cfg，量化参数为22、27、32和37，测试序列为官方推荐视频序列，测试范围为A~F类。实验平台的硬件配置为Inter^® Core^TM i5-6500 CPU，主频为3.20 GHz，内存为8 GB，集成开发环境为VS 2015。实验编码性能使用BD-BR和$ \mathrm{\Delta }T $来评估算法性能。其中BD-BR为比特比变化率，表示在图像质量PSNR一致的情况下码率的平均变化情况，若数值为负数，表示能够减少码率；相反，表示增加了码率^[20-21]。$ \mathrm{\Delta }T $为编码时间减少的百分比，若为负数，表示相比VVC原始算法，序列的整体编码时间有所降低；相反，序列的整体编码时间得到提高。$ \mathrm{\Delta }T $如式（14）所示：

$ \mathrm{\Delta }T=\frac{1}{4}\sum\limits _{i=1}^{4}\frac{{T}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}^{i}-{T}_{\mathrm{s}\mathrm{t}\mathrm{d}}^{i}}{{T}_{\mathrm{s}\mathrm{t}\mathrm{d}}^{i}}\times 100\mathrm{\%} $

(14)

3.2 仿真结果

由于文献[9]所提的算法是针对H.265/HEVC，仿真平台是H.265/HEVC的测试模型HM-16.7，而本文所提的算法是针对H.266/VVC中仿射运动估计的改进，对于本文，文献[9]的仿真结果不具有参考意义。因此，本文首先对文献[9]所提算法在H.266/VVC的测试模型VTM-10.0平台上进行仿真，以该部分的仿真结果作为本文所提算法的对比；然后分别对本文所提算法的AAMVP改进和迭代搜索优化进行仿真实验；最后对本文所提算法的整体改进性能进行仿真，结果如表 1所示。

文献[9]所提的算法经过改进后被H.266/VVC标准采纳，因此表 1中文献[9]所提的算法在相较于VVC标准算法的BD-BR增加了0.001%条件下，对于测试序列的整体编码时间平均提高了1.51%。本文在对文献[9]所提的算法做了适应于H.266/VVC的改进之后，仿真结果表明，本文算法在AAMVP改进部分中参考H.266/VVC标准算法，其在相较于VCC标准算法BD-BR提高0.001%的条件下，对于测试序列的整体编码时间平均降低了2.62%，迭代搜索改进部分参考H.266/VVC标准算法，在相较于VCC标准算法BD-BR增加0.014%的条件下，对于序列的整体编码时间平均降低了11.2%，最后本文所提算法的整体性能参考H266/VVC标准算法，在BD-BR提高0.023%的条件下，对于序列的整体编码时间平均降低了13%。相比文献[9]所提的算法，本文算法在BD-BR提高0.022%的条件下，对于序列的整体编码时间平均降低了14.51%。

在F类序列中所有测试序列的BD-BR值都为负数，表示在F类的所有序列中既节省了码率，同时减少了编码时间，本文所提改进的仿射运动估计算法使得仿射编码块运动估计得到的运动信息更精确，从而提高率失真性能。然而在C类和E类视频序列中，本文所提的算法具有较优的编码性能，相比VTM原始算法，其在BD-BR增加0.016%条件下，整体编码时间缩短了15.7%。其主要原因为相比于其他测试序列，C类和E类测试序列包含大量的仿射运动，而本文所提的算法是对进行仿射运动的编码过程进行改进。

将本文所提的算法与文献[7]所提的H.266/VVC中快速仿射运动估计算法进行对比，实验结果如表 2所示。从表 2可以看出，本文算法相较于文献[7]减少BD-BR的条件下，整体编码时间的下降幅度大于文献[7]所提的快速仿射运动估计算法，因此，本文算法具有更优的编码质量和更高的编码效率。将本文的算法与文献[21]的快速编码算法相比，文献[21]算法虽然降低了编码的计算复杂度，但是编码后重建的视频质量损失较大。本文算法能够平衡编码后重建视频的质量和编码效率。

4 结束语

本文基于H.266/VVC中帧间仿射运动估计的分析和研究，提出一种改进的仿射运动估计算法，对仿射运动估计中AAMVP候选列表的构建过程进行优化，以得到更精确的编码块仿射候选运动信息，同时对仿射运动估计中的迭代搜索真实仿射运动矢量进行改进，加快迭代搜索的过程。实验结果表明，本文算法在BD-BR损失较少的条件下，能够有效降低编码的计算复杂度。后续将在本文工作基础上对其他帧间预测工具进行优化，进一步降低编码的计算复杂度。