(12)发明专利申请
(10)申请公布号 CN 111131825 A(43)申请公布日 2020.05.08
(21)申请号 201911363241.1(22)申请日 2019.12.25
(66)本国优先权数据
201911031823.X 2019.10.28 CN
H04N 19/124(2014.01)H04N 19/42(2014.01)H04N 19/154(2014.01)H04N 7/18(2006.01)
(71)申请人 华为技术有限公司
地址 518129 广东省深圳市龙岗区坂田华
为总部办公楼(72)发明人 岳泊暄 曾雁星 沈建强 龚骏辉
周江鲤 (74)专利代理机构 深圳市深佳知识产权代理事
务所(普通合伙) 44285
代理人 聂秀娜(51)Int.Cl.
H04N 19/167(2014.01)H04N 19/176(2014.01)
(54)发明名称
一种视频处理方法及相关装置(57)摘要
本申请实施例公开了一种视频处理方法及相关装置，用于在保证视频质量的前提下，减小视频压缩编码后所占据的存储容量，降低视频的存储成本。本申请实施例方法包括：获取第一视频中的图像；将获取到的图像输入至ROI检测模型中，通过获取ROI检测模型的输出结果来确定图像中的ROI和非ROI；根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，第一QP值为图像中的ROI对应的QP值，第二QP值为图像中的非ROI对应的QP值，第一QP值小于第二QP值，也就是说，确定图像中的ROI的QP值为第一QP值，确定图像中的非ROI的QP值为第二QP值；根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。
权利要求书2页 说明书18页 附图14页
CN 111131825 ACN 111131825 A
权 利 要 求 书
1/2页
1.一种视频处理方法，其特征在于，包括：获取第一视频中的图像；
通过感兴趣区域ROI检测模型确定所述图像中的ROI和非ROI；
根据所述图像中的ROI和非ROI确定所述图像的第一量化参数QP值和第二QP值，所述第一QP值为所述图像中的ROI对应的QP值，所述第二QP值为所述图像中的非ROI对应的QP值，所述第一QP值小于所述第二QP值；
根据所述第一QP值和所述第二QP值对所述图像进行压缩编码，得到目标视频。2.根据权利要求1所述的视频处理方法，其特征在于，所述通过ROI检测模型确定所述图像中的ROI和非ROI，包括：
将所述图像输入至所述ROI检测模型中，获得所述ROI检测模型的输出结果，其中，所述输出结果包括所述图像中的多个区域所对应的区域类型，所述区域类型包括ROI和非ROI；
根据所述输出结果确定所述图像中的ROI和非ROI。3.根据权利要求1或2所述的视频处理方法，其特征在于，所述ROI检测模型是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。
4.根据权利要求1至3任意一项所述的视频处理方法，其特征在于，所述根据所述图像中的ROI和非ROI确定所述图像的第一QP值和第二QP值，包括：
根据所述图像中的ROI和非ROI确定第一取值范围和第二取值范围，所述第一取值范围为所述第一QP值的取值范围，所述第二取值范围为所述第二QP值对应的取值范围；
获取所述第一视频的目标质量以及目标压缩率；
根据所述目标质量以及所述第一取值范围确定所述第一QP值；根据所述目标压缩率以及所述第二取值范围确定所述第二QP值。5.根据权利要求1至4任意一项所述的视频处理方法，其特征在于，所述获取第一视频中的图像之前，所述方法还包括：
获取视频采集设备发送的第二视频，所述第二视频为所述视频采集设备通过预设编码标准对原始视频进行编码后得到的视频；
对所述第二视频进行解码，得到所述第一视频。
6.根据权利要求1至4任意一项所述的视频处理方法，其特征在于，所述获取第一视频中的图像之前，所述方法还包括：
获取存储设备中的视频文件；对所述视频文件进行解封装，得到第三视频；对所述第三视频进行解码，得到所述第一视频。
7.根据权利要求1至4任意一项所述的视频处理方法，其特征在于，所述第一视频为视频采集设备采集得到的原始视频。
8.一种视频处理设备，其特征在于，包括：获取单元，用于获取第一视频中的图像；处理单元，用于通过ROI检测模型确定所述图像中的ROI和非ROI；处理单元，用于根据所述图像中的ROI和非ROI确定所述图像的第一QP值和第二QP值，所述第一QP值为所述图像中的ROI对应的QP值，所述第二QP值为所述图像中的非ROI对应的QP值，所述第一QP值小于所述第二QP值；
2
CN 111131825 A
权 利 要 求 书
2/2页
处理单元，用于根据所述第一QP值和所述第二QP值对所述图像进行压缩编码，得到目标视频。
9.根据权利要求8所述的视频处理设备，其特征在于，所述处理单元，还用于将所述图像输入至所述ROI检测模型中，获得所述ROI检测模型的输出结果，其中，所述输出结果包括所述图像中的多个区域所对应的区域类型，所述区域类型包括ROI和非ROI；
所述处理单元，还用于根据所述输出结果确定所述图像中的ROI和非ROI。10.根据权利要求8或9所述的视频处理设备，其特征在于，所述ROI检测模型是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。
11.根据权利要求8至10任意一项所述的视频处理设备，其特征在于，所述处理单元，还用于根据所述图像中的ROI和非ROI确定第一取值范围和第二取值范围，所述第一取值范围为所述第一QP值的取值范围，所述第二取值范围为所述第二QP值对应的取值范围；
所述获取单元，还用于获取所述第一视频的目标质量以及目标压缩率；所述处理单元，还用于根据所述目标质量以及所述第一取值范围确定所述第一QP值；所述处理单元，还用于根据所述目标压缩率以及所述第二取值范围确定所述第二QP值。
12.根据权利要求8至11任意一项所述的视频处理设备，其特征在于，所述获取单元，还用于获取视频采集设备发送的第二视频，所述第二视频为所述视频采集设备通过预设编码标准对原始视频进行编码后得到的视频；
所述处理单元，还用于对所述第二视频进行解码，得到所述第一视频。13.根据权利要求8至11任意一项所述的视频处理设备，其特征在于，所述获取单元，还用于获取存储设备中的视频文件；
所述处理单元，还用于对所述视频文件进行解封装，得到第三视频；所述处理单元，还用于对所述第三视频进行解码，得到所述第一视频。14.根据权利要求8至11任意一项所述的视频处理设备，其特征在于，所述第一视频为视频采集设备采集得到的原始视频。
15.一种视频处理设备，其特征在于，包括：处理器和存储器；所述处理器配置为与所述存储器通信，在所述视频处理设备上执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。
16.一种视频处理设备，其特征在于，包括：第一视频处理设备和第二视频处理设备，所述第一视频处理设备上配置有通信接口，所述第一视频处理设备通过所述通信接口与所述第二视频处理设备连接；
所述第一视频处理设备用于将获取到的第一视频传输给所述第二视频处理设备，以使得所述第二视频处理设备执行如权利要求1至4中任意一项所述的方法。
17.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
18.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
3
CN 111131825 A
说 明 书
一种视频处理方法及相关装置
1/18页
[0001]
本申请要求于2019年10月28日提交中国专利局、申请号为201911031823.X，发明
名称为“视频处理方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
[0002]本申请涉及计算机技术领域，尤其涉及一种视频处理方法及相关装置。
背景技术
[0003]随着网络的普及以及人们安全意识的提高，人们对于能够对人员和财产进行有效监控的安防系统越来越重视，安防系统已经在人们的社会生活中扮演了重要的角色。[0004]通常，在安防领域中，往往需要将监控视频保存一定的期限，以便于日后能够方便地调取监控视频。因此，在目前的安防系统中，前端的摄像头等监控设备采集到的监控视频往往会经过压缩编码之后存储到后端的存储设备中。[0005]然而，目前的视频编码方法难以在保证视频质量的前提下，有效地对视频进行压缩编码，导致编码后的视频通常需要占据较大的存储容量，增加了视频的存储成本。发明内容
[0006]本申请实施例提供了一种视频处理方法及相关装置，通过感兴趣区域(region of interest，ROI)检测模型确定视频中图像的ROI分布，根据图像中的ROI分布来确定图像编码过程中的量化参数(quantization parameter，QP)值，实现图像中ROI和非ROI的差异化编码，尽可能保留ROI的细节的同时，对非ROI进行有效压缩，能够在保证视频质量的前提下，减小视频压缩编码后所占据的存储容量，有效地降低了视频的存储成本。[0007]本申请第一方面提供了一种视频处理方法，包括：在需要对第一视频进行压缩编码时，可以获取第一视频中的图像，例如逐帧提取第一视频中的图像；然后将获取到的图像输入至ROI检测模型中，通过获取ROI检测模型的输出结果来确定图像中的ROI和非ROI；根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，第一QP值为图像中的ROI对应的QP值，第二QP值为图像中的非ROI对应的QP值，第一QP值小于第二QP值，也就是说，确定图像中的ROI的QP值为第一QP值，确定图像中的非ROI的QP值为第二QP值；根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。[0008]本实施例中，通过ROI检测模型确定视频中图像的ROI分布，根据图像中的ROI分布来确定图像编码过程中的QP值，实现图像中ROI和非ROI的差异化编码，尽可能保留ROI的细节的同时，对非ROI进行有效压缩，能够在保证视频质量的前提下，减小视频压缩编码后所占据的存储容量，有效地降低了视频的存储成本。[0009]可选地，在一些可能的实现方式中，通过ROI检测模型确定图像中的ROI和非ROI，包括：将图像输入至ROI检测模型中，获得ROI检测模型的输出结果，其中，输出结果包括图像中的多个区域所对应的区域类型，区域类型包括ROI和非ROI；根据输出结果确定图像中的ROI和非ROI。其中，ROI检测模型可以将输入的图像划分为多个区域，并检测图像中的多
4
CN 111131825 A
说 明 书
2/18页
个区域是否属于ROI，即ROI检测模型的输出为图像中的多个区域是否属于ROI的结果。这样，根据ROI检测模型的输出结果可以确定，由属于ROI的一个或多个区域所组成的区域即为图像中的ROI，由不属于ROI的一个或多个区域所组成的区域即为图像中的非ROI。[0010]可选地，在一些可能的实现方式中，ROI检测模型是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。例如，通过不同的监控摄像头获取大量不同场景下的监控视频，进一步获取监控视频中的多帧图像，最后由人工对图像中的ROI和非ROI进行标注，得到标记有ROI和非ROI的图像训练数据，从而通过得到的图像训练数据训练得到的神经网络模型。
[0011]可选地，在一些可能的实现方式中，根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，包括：根据图像中的ROI和非ROI确定第一取值范围和第二取值范围，第一取值范围为第一QP值的取值范围，第二取值范围为第二QP值对应的取值范围，例如第一取值范围可以是30至36或33至39等范围，第二取值范围可以是39至51或者42至51等范围；获取第一视频的目标质量以及目标压缩率，其中，第一视频的目标质量以及目标压缩率可以是根据实际需要预先设置好的；根据目标质量以及第一取值范围确定第一QP值，即根据目标质量的数值在第一取值范围中取一个值作为第一QP值；根据目标压缩率以及第二取值范围确定第二QP值，即根据目标压缩率的数值在第二取值范围中取一个值作为第二QP值。[0012]可选地，在一些可能的实现方式中，在该方法应用于后端的视频存储设备的情况下，获取第一视频中的图像之前，该方法还包括：获取视频采集设备发送的第二视频，第二视频为视频采集设备通过预设编码标准对原始视频进行编码后得到的视频；对第二视频进行解码，得到第一视频。[0013]可选地，在一些可能的实现方式中，在该方法应用于后端的视频存储设备的情况下，获取第一视频中的图像之前，方法还包括：获取存储设备中的视频文件；对视频文件进行解封装，得到第三视频；对第三视频进行解码，得到第一视频。[0014]可选地，在一些可能的实现方式中，在该方法应用于前端的视频采集设备的情况下，第一视频为视频采集设备采集得到的原始视频。[0015]本申请第二方面提供一种视频处理设备，包括：获取单元，用于获取第一视频中的图像；处理单元，用于通过ROI检测模型确定图像中的ROI和非ROI；处理单元，用于根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，第一QP值为图像中的ROI对应的QP值，第二QP值为图像中的非ROI对应的QP值，第一QP值小于第二QP值；处理单元，用于根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。[0016]可选地，在一些可能的实现方式中，处理单元，还用于将图像输入至ROI检测模型中，获得ROI检测模型的输出结果，其中，输出结果包括图像中的多个区域所对应的区域类型，区域类型包括ROI和非ROI；[0017]处理单元，还用于根据输出结果确定图像中的ROI和非ROI。[0018]可选地，在一些可能的实现方式中，ROI检测模型是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。[0019]可选地，在一些可能的实现方式中，处理单元，还用于根据图像中的ROI和非ROI确定第一取值范围和第二取值范围，第一取值范围为第一QP值的取值范围，第二取值范围为第二QP值对应的取值范围；
5
CN 111131825 A[0020]
说 明 书
3/18页
获取单元，还用于获取第一视频的目标质量以及目标压缩率；
[0021]处理单元，还用于根据目标质量以及第一取值范围确定第一QP值；[0022]处理单元，还用于根据目标压缩率以及第二取值范围确定第二QP值。[0023]可选地，在一些可能的实现方式中，获取单元，还用于获取视频采集设备发送的第二视频，第二视频为视频采集设备通过预设编码标准对原始视频进行编码后得到的视频；处理单元，还用于对第二视频进行解码，得到第一视频。[0024]可选地，在一些可能的实现方式中，获取单元，还用于获取存储设备中的视频文件；
[0025]处理单元，还用于对视频文件进行解封装，得到第三视频；[0026]处理单元，还用于对第三视频进行解码，得到第一视频。[0027]可选地，在一些可能的实现方式中，第一视频为视频采集设备采集得到的原始视频。
[0028]本申请第三方面提供一种视频处理设备，包括：处理器和存储器；处理器配置为与存储器通信，在视频处理设备上执行存储器中的指令操作以执行如第一方面或第一方面任一实现方式中的方法。
[0029]本申请第四方面提供一种视频处理设备，包括：第一视频处理设备和第二视频处理设备，第一视频处理设备上配置有通信接口，第一视频处理设备通过通信接口与第二视频处理设备连接；第一视频处理设备用于将获取到的第一视频传输给第二视频处理设备，以使得第二视频处理设备执行如第一方面或第一方面任一实现方式中的方法。[0030]本申请第五方面提供一种计算机可读存储介质，包括指令，当指令在计算机上运行时，使得计算机执行如第一方面或第一方面任一实现方式中的方法。[0031]本申请第六方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如第一方面或第一方面任一实现方式中的方法。[0032]从以上技术方案可以看出，本申请实施例具有以下优点：[0033]本申请实施例提供了一种视频处理方法，通过ROI检测模型确定视频中图像的ROI分布，根据图像中的ROI分布来确定图像编码过程中的QP值，实现图像中ROI和非ROI的差异化编码，尽可能保留ROI的细节的同时，对非ROI进行有效压缩，能够在保证视频质量的前提下，减小视频压缩编码后所占据的存储容量，有效地降低了视频的存储成本。附图说明
[0034]图1为本申请实施例提供的智能安防系统的架构示意图；
[0035]图2为本申请实施例提供的视频处理方法的应用场景示意图；[0036]图3为本申请实施例提供的一种视频处理方法的流程示意图；[0037]图4为本实施例提供的图像分块示意图；
[0038]图5为本申请实施例提供的一种ROI检测模型的结构示意图；
[0039]图6为本申请实施例提供的一种ROI检测模型的训练过程的示意图；[0040]图7为本申请实施例提供的确定图像中QP值的流程示意图；[0041]图8为本申请实施例提供的一种码控逻辑的流程示意图；[0042]图9为本申请实施例提供的一种码控逻辑的另一流程示意图；
6
CN 111131825 A[0043][0044][0045][0046][0047][0048][0049][0050][0051][0052]
说 明 书
4/18页
图10为本申请实施例提供的一种视频处理方法的流程示意图；图11为本申请实施例提供的一种视频处理方法的流程示意图；图12为本申请实施例提供的一种视频处理方法的流程示意图；图13A为本申请实施例的一种扩展设备的结构示意图；图13B为本申请实施例的一种芯片的结构示意图；
图14为本申请实施例提供的视频存储设备与视频压缩卡进行通信的流程示意图；图15为本申请实施例提供的一种视频处理的流程示意图；图16为本申请实施例提供的一种视频处理设备的结构示意图；图17为本申请实施例提供的一种视频处理设备的结构示意图；图18为本申请实施例提供的一种视频处理设备的结构示意图。
具体实施方式
[0053]为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图，对本申请的实施例进行描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
[0054]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的描述在适当情况下可以互换，以便使实施例能够以除了在本申请图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。本申请中所出现的单元的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个单元可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的单元或子单元可以是也可以不是物理上的分离，可以是也可以不是物理单元，或者可以分布到多个电路单元中，可以根据实际的需要选择其中的部分或全部单元来实现本申请方案的目的。
[0055]随着人们对安防的重视，安防技术的发展越来越快，传统的安防系统逐渐被智能安防系统所替代。相较于传统的安防系统，智能安防系统的最大区别在于智能化，智能安防系统能够摆脱对人的依赖，通过机器实现视频或图像的智能化识别和分析，从而尽可能地对人力进行替代。
[0056]可以参阅图1，图1为本申请实施例提供的智能安防系统的架构示意图。如图1所示，智能安防系统通常可以由采集模块、存储模块和分析模块构成，例如，采集模块可以包括网络摄像头(internet protocol camera，IPC)或软件定义摄像头(software define
7
CN 111131825 A
说 明 书
5/18页
camera，SDC)等，存储模块可以包括视频云节点(video cloud node，VCN)等，分析模块可以包括视频内容管理系统(video content management，VCM)等。前端的采集模块采集视频、图像或音频等监控数据，对视频、图像或音频等监控数据进行压缩编码后，通过网络将压缩编码的监控数据传输给后端的存储模块。存储模块将获取到的监控数据存储起来。分析模块通过提取存储模块中所存储的监控数据，对监控数据进行智能化识别和分析，得到分析结果。
[0057]一般来说，为了保证分析模块能够对视频或者图像进行有效的识别和分析，需要保证视频和图像保持有足够的清晰度，即存储模块中所存储的监控数据具有一定的质量要求。根据安防领域的相关规定，采集到的视频往往需要至少保存30天，也就是说，在存储模块中所存储的视频的大小直接影响了存储模块的规格。在存储模块所存储的视频越大时，存储模块所需要的存储单元也越多，往往需要较多的存储硬盘来实现视频的存储。[0058]目前，现有的视频编码方法通常难以在保证视频质量的前提下，有效地对视频进行压缩编码，导致编码后的视频通常需要占据较大的存储容量，增加了视频的存储成本。[0059]有鉴于此，本申请实施例提供了一种视频处理方法，通过ROI检测模型确定视频中图像的ROI分布，根据图像中的ROI分布来确定图像编码过程中的QP值，实现图像中ROI和非ROI的差异化编码，尽可能保留ROI的细节的同时，对非ROI进行有效压缩，能够在保证视频质量的前提下，减小视频压缩编码后所占据的存储容量，有效地降低了视频的存储成本。[0060]请参阅图2，图2为本申请实施例提供的视频处理方法的应用场景示意图。在图2中，一个或多个视频采集设备和视频存储设备连接，视频采集设备采集得到视频后，可以采用本申请实施例提供的视频处理方法对视频进行压缩编码，将压缩编码后的视频传输给视频存储设备，以使得视频存储设备对压缩编码后的视频进行存储。视频采集设备也可以按照原有的视频压缩方法对采集得到的视频进行压缩编码，在视频采集设备将压缩编码后的视频传输给视频存储设备后，视频存储设备对获取到的视频进行解码，并采用本申请实施例提供的视频处理方法对解码后的视频进行压缩编码，再对压缩编码得到的视频存储进行存储。
[0061]请参阅图3，图3为本申请实施例提供的一种视频处理方法的流程示意图。如图3所示，本申请实施例提供的视频处理方法，包括：[0062]301、获取第一视频中的图像。[0063]一般来说，视频是由连续的帧构成，一帧即为一幅图像。因此，在对视频进行压缩编码时，可以以视频中的图像为基本单位，通过对视频中的各帧图像进行压缩编码，可以得到压缩编码后的视频。本实施例中，第一视频为待压缩编码的视频，第一视频中的图像即为待压缩编码的多帧图像。
[0064]在一个具体的实施例中，在获取到第一视频中的图像之后，可以对图像进行预处理，例如对图像进行降采样或者转换图像格式等。其中，降采样又可以称为缩小图像，对于一幅N*M的图像来说，如果降采样系数为k，则是在原图中的每行每列中每隔k个点取一个点来组成一幅图像，从而实现对图像的降采样，即减少采样点数。对图像进行降采样可以生成该图像的缩略图，即减小单帧图像的大小，以便于后续对图像进行压缩编码。[0065]302、通过ROI检测模型确定图像中的ROI和非ROI。[0066]一般地，视频中的图像通常由两部分区域组成，分别为前景区域和背景区域，图像
8
CN 111131825 A
说 明 书
6/18页
中的ROI通常指的是前景区域。特别地，在安防领域中，图像中的ROI通常指的是目标所在的区域，目标一般包括有机动车、非机动车以及行人等，在一些情况下，目标还可能包括有交通指示牌以及信号灯等。本实施例中并不对ROI的类型做具体限定。因此，在本实施例中，确定图像中的ROI和非ROI具体可以是确定图像中目标所在的区域以及图像中监控目标之外的区域。
[0067]可选地，在一个具体的实施方式中，可以通过将图像输入至ROI检测模型中，获得ROI检测模型的输出结果，根据ROI检测模型的输出结果确定图像中的ROI和非ROI。其中，ROI检测模型可以将输入的图像划分为多个区域，并检测图像中的多个区域是否属于ROI，即ROI检测模型的输出为图像中的多个区域是否属于ROI的结果。这样，根据ROI检测模型的输出结果可以确定，由属于ROI的一个或多个区域所组成的区域即为图像中的ROI，由不属于ROI的一个或多个区域所组成的区域即为图像中的非ROI。[0068]例如，ROI检测模型可以按像素大小将图像分成多个区域，图像中的一个或多个像素对应一个区域，即ROI检测模型的输出为图像中的一个或多个像素是否属于ROI的结果。[0069]又例如，ROI检测模型也可以按照宏块大小将图像分成多个区域，图像中的每个宏块对应一个区域，即ROI检测模型的输出为图像中的每个宏块是否属于ROI的结果。其中，宏块是视频编码标准H.264中的一个基本单位，一个宏块的大小通常为16×16个像素。可以参阅图4，图4为本实施例提供的图像分块示意图。如图4所示，该图像为1920×1080大小的图像，按16×16的大小可以划分得到图像中的120×68个宏块，也就是说，将1920×1080大小的图像输入至ROI检测模型之后，ROI检测模型可以输出120×68个宏块中的每个宏块是否属于ROI的结果。[0070]再例如，ROI检测模型还可以按照编码单元大小将图像分成多个区域，图像中的每个编码单元对应一个区域，即ROI检测模型的输出为图像中的每个编码是否属于ROI的结果。其中，编码单元是视频编码标准H.265中的一个基本单位，一个编码单元的大小通常可以为64×64或者32×32个像素，且每个编码单元可以进行递归分割，进一步分割为32×32、16×16或8×8的子区域。
[0071]ROI检测模型还可以通过其他的划分方式对图像进行区域划分，本实施例中不对图像中区域的划分方式做具体限定。[0072]303、根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，第一QP值为图像中的ROI对应的QP值，第二QP值为图像中的非ROI对应的QP值，第一QP值小于第二QP值。[0073]一般来说，单帧图像的编码模式主要有帧内编码和帧间编码两种方式，其中，帧内编码包括帧内预测、变换、量化和熵编码等步骤，帧间编码包括帧间预测、变换、量化和熵编码等步骤。对于单帧图像来说，图像的当前像素点与帧内相邻的上、下、左、右等位置的像素点相比，灰度变化很小，相关性极强，图像存在空间冗余，采用帧内编码则可以减少上述图像中的空间冗余。视频是多帧图像所组成的，每秒含有多帧图像，当前图像点与前后帧的对应位置或者附近的像素点非常相似，相关性很强，存在时间冗余，采用帧间编码则可以减少上述图像中的时间冗余。[0074]其中，量化过程是唯一的有损过程，主要决定整个视频的压缩率。视频的压缩率越高，则视频质量越差，码率越低；反之，视频压缩率越低，则视频质量越好，码率越大。具体来说，量化就是把信号的连续取值映射成多个离散的幅值的过程，实现了信号取值多对一的
9
CN 111131825 A
说 明 书
7/18页
映射。在变换步骤中，残差数据进行变换之后，变换系数具有较大的取值范围，量化可以有效减小信号的取值范围，进而获得更好的压缩效果。通常来说，量化过程中的QP值对应于量化步长的序号，QP值的大小能够反映空间细节的压缩情况，QP值越小，量化越精细，图像中保留的细节越多，图像质量越高，图像占据的存储空间也越大；QP值越大，量化越粗糙，图像中丢失的细节越多，图像质量越低，图像占据的存储空间也越小。
[0075]基于量化过程中的QP值在整个视频压缩过程中所起到的作用，在本实施例中，在对单帧图像进行压缩编码时，对于单帧图像中的ROI和非ROI，可以分别采用不同的QP值进行压缩编码。具体地，图像中的ROI对应于第一QP值，图像中的非ROI对应于第二QP值，第一QP值小于第二QP值，以使得图像中的ROI能够保留较多的细节，图像中的非ROI则保留较少的细节，从而在保证图像中ROI质量的同时，减小整帧图像占据的存储空间。[0076]可以理解的是，在大部分情况下，在对视频进行识别和分析时，是对视频的ROI中的目标进行识别和分析，而不会过多地关注视频中的非ROI，因此，在对视频进行压缩编码时，可以尽可能地保留视频中ROI的细节，而提高对视频中的非ROI的压缩效果，即采用不同的QP值来实现视频中的ROI和非ROI的差异化编码。[0077]可选地，在一个具体的实施例中，第一QP值和第二QP值的取值可以是预先设置好的，在确定了图像的ROI和非ROI之后，即可确定图像中ROI对应的第一QP值以及图像中非ROI的第二QP值。例如，第一QP值可以是30至36中的一个值，第二QP值可以是38至51中的一个值，具体可以根据实际需要来确定第一QP值以及第二QP值的取值。比如，在要求视频具有较高质量的情况下，可以设置第一QP值为较小的值；在要求视频的压缩率较高的情况下，可以设置第二QP值为较大的值。本实施例不对第一QP值和第二QP值的具体取值做限定。[0078]可选地，在一个具体的实施例中，在获得图像中的多个区域是否属于ROI的结果的情况下，可以确定图像中的每个区域对应的QP值。例如，在按照宏块大小对图像进行多个区域划分的情况下，对于1920×1080大小的图像，可以确定得到该图像中120×68个宏块对应的QP值。
[0079]304、根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。[0080]在确定得到图像中的ROI和非ROI对应的QP值之后，可以根据图像中的ROI和非ROI对应的QP值执行图像的压缩编码过程，从而得到目标视频，其中，目标视频则为经过差异化编码后得到视频。
[0081]在一个具体的实施方式中，可以采用预先设置好的视频编码标准对应的视频编码框架对图像进行压缩编码。例如，采用H.264视频编码标准或者H.265视频编码标准对应的视频编码框架对视频流中的图像进行差异化编码。[0082]一般来说，目前的视频编码框架需要通过4个步骤来对视频进行压缩编码：1、视频帧间预测或者视频帧内预测；2、对预测后原始帧数据的残差进行离散余弦变换(discrete cosine transform，DCT)；3、对变换后的DCT系数进行量化；4、对量化后的值进行熵编码压缩。在本实施例中，在按照以上的4个步骤对视频中的图像进行压缩编码的过程中，采用确定好的第一QP值和第二QP值来对变换后的DCT系数进行量化，从而实现差异化编码。[0083]本实施例中，通过ROI检测模型确定视频中图像的ROI分布，根据图像中的ROI分布来确定图像编码过程中的QP值，实现图像中ROI和非ROI的差异化编码，尽可能保留ROI的细节的同时，对非ROI进行有效压缩，能够在保证视频质量的前提下，减小视频压缩编码后所
10
CN 111131825 A
说 明 书
8/18页
占据的存储容量，有效地降低了视频的存储成本。[0084]为了便于理解，以下将对本申请实施例中所提及的ROI检测模型进行详细的介绍。[0085]在一个具体的实施方式中，ROI检测模型可以是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。该神经网络模型具体可以是卷积神经网络(convolutional neural network，CNN)模型或者残差网络(residual network，ResNet)模型等模型，在实际应用中可以根据需要选择相应的模型，在此不对模型的具体类型做限定。[0086]简单来说，ROI检测模型可以视为一个简化的语义分割二分类模型。可以参阅图5，图5为本申请实施例提供的一种ROI检测模型的结构示意图。如图5所示，ROI检测模型主要可以分为四个模块，分别为向量输入模块，主干网络，语义分割分类器，向量输出模块。其中，向量输入模块用于进行神经网络中输入向量的格式转化等预处理操作；主干网络用于进行特征向量的提取；语义分割分类器则用于输出神经网络的推算结果；向量输出模块则用于进行推算结果的大小比较等后处理操作，以使得输出结果为包括0或1的二维矩阵。[0087]可以参阅图6，图6为本申请实施例提供的一种ROI检测模型的训练过程的示意图。如图6所示，ROI检测模型的训练过程可以包括以下步骤：[0088]601、获取视频中的图像；例如，可以通过不同的监控摄像头获取大量不同场景下的监控视频，并进一步获取监控视频中的多帧图像，从而获得不同场景下的图像数据作为训练数据。[0089]602、人工对图像中的ROI和非ROI进行标注；例如，通过人工对图像中的ROI和非ROI进行识别，并且在图像中标注相应的ROI和非ROI。[0090]603、通过目标识别模型对图像中的目标进行识别；例如，可以通过现有的语义分割模型或者像素级多分类模型对图像中的行人、机动车、交通指示牌等目标进行识别，并且得到标注有识别结果的目标图像。[0091]604、将得到的目标图像重构为ROI检测模型中提取ROI时所需的数据格式；例如，按照宏块大小将目标图像分割为多个区域，根据目标图像中每个区域对应的识别结果确定每个区域是属于ROI还是非ROI，从而得到重构后的目标图像。[0092]605、人工校验重构后的目标图像；例如，通过人工校验重构后的目标图像对应的ROI和非ROI分布是否准确，如果存在不准确的情况，则对重构后的目标图像中的标注结果进行人工纠正。值得注意的是，步骤602、步骤603至605均为对图像进行标注的过程，在实际应用中可以采用步骤602对图像进行人工标注，也可以是采用步骤603至605对图像进行自动标注，还可以是同时采用步骤602以及步骤603至605对图像进行标注，本实施例不做具体限定。
[0093]606、构建训练图像数据库；例如，在通过步骤602对图像进行标注的情况下，可以基于人工标注得到的图像构建用于作为训练数据的图像数据库；在通过步骤603至605对图像进行自动标注的情况下，可以基于重构后的目标图像构建作为训练数据的图像数据库；也可以同时基于人工标注得到的图像以及重构后的目标图像构建作为训练数据的图像数据库。
[0094]607、基于构建得到的数据库，粗训练主干网络和分类器。[0095]608、精训练分类器，对主干网络进行固化，得到训练后的ROI检测模型。[0096]可选地，在一些实施例方式中，还可以对ROI检测模型进行模型稀疏化、模型剪枝、
11
CN 111131825 A
说 明 书
9/18页
模型蒸馏以及模型量化等操作来简化ROI检测模型，使ROI检测模型的结构更加简洁，降低计算复杂度，提高ROI检测模型的推算速度。[0097]可以参阅图7，图7为本申请实施例提供的确定图像中QP值的流程示意图。如图7所示，在一个具体的实施方式中，根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，具体可以包括：[0098]701、根据图像中的ROI和非ROI确定第一取值范围和第二取值范围，第一取值范围为第一QP值的取值范围，第二取值范围为第二QP值对应的取值范围。[0099]一般来说，在视频的编码过程中，QP值的取值范围为0至51，不同的取值代表不同的量化精度。由于在实际应用中，不同的视频采集设备(如摄像头)采集得到的视频的质量可能是不一样的，因此对不同的视频进行压缩编码时，可以采用不同的QP值进行压缩编码，以使得压缩后的视频中的ROI能够保持一定的清晰度。例如，对于具有较高质量的视频，可以采用较大的QP值进行压缩编码；对于具有较低质量的视频，则采用较小的QP值进行压缩编码，以尽可能地保留ROI的细节。[0100]此外，在不同的场合下，对于压缩后的视频对应的质量以及压缩率也可能会有不同的要求。在一些场合下，例如在天气恶劣、能见度较低的监控区域中，可能需要压缩后的视频仍具有较高的质量，以便于后续能够顺利地对视频进行识别和分析。在一些场合下，例如在天气明朗、能见度高的监控区域中，可能并不需要压缩后的视频具有较高的质量，此时为了降低存储成本，则可以降低压缩后的视频的质量。[0101]因此，本实施例中，可以根据图像中的ROI确定第一QP值对应的第一取值范围，以及根据图像中的非ROI确定第二QP值的第二取值范围。在确定图像中的ROI对应的第一QP值时，在第一取值范围内确定第一QP值，以保证图像中的ROI对应的量化精度可以在一定的范围内进行调整，即在保证视频质量的前提下，根据实际需要调整图像的ROI的量化精度；同样，确定图像中的非ROI对应的第二QP值时，在第二取值范围内确定第二QP值，以保证图像中的非ROI对应的量化精度可以在一定的范围内进行调整。[0102]在一个具体的实施方式中，第一取值范围可以是预先设置好的，例如第一取值范围可以是30至36或33至39等范围；第二取值范围也可以是预先设置好的，例如第二取值范围可以是39至51或者42至51等范围。[0103]在另一个具体的实施方式中，第一取值范围以及第二取值范围还可以是根据图像中的ROI和非ROI的分布确定的。例如，在图像中的ROI所占面积较大、非ROI所占面积较小的情况下，可以确定第一取值范围和第二取值范围均为取值较小的范围，例如第一取值范围为30至36，第二取值范围为39至51；在图像中的ROI所占面积较小、非ROI所占面积较大的情况下，可以确定第一取值范围和第二取值范围均为取值较大的范围，例如第一取值范围为33至39，第二取值范围为42至51。具体地，可以先确定图像中的ROI所占面积与图像总面积之间的比例，在该比例大于一定阈值时，确定第一取值范围和第二取值范围均为取值较小的范围；在该比例小于一定阈值时，确定第一取值范围和第二取值范围均为取值较大的范围，其中，该阈值可以根据实际需要进行设置，在此不做具体限定。[0104]702、获取第一视频的目标质量以及目标压缩率。[0105]其中，第一视频的目标质量指的是对第一视频进行压缩编码得到目标视频后，目标视频要达到的视频质量；第一视频的目标压缩率则是目标视频要达到的压缩率。第一视
12
CN 111131825 A
说 明 书
10/18页
频的目标质量以及目标压缩率可以是根据实际需要预先设置好的。[0106]具体地，可以通过多种方式来表示视频质量，例如通过视频的峰值信号比(peak signal to noise ratio，PSNR)、信噪比(signal noise ratio，SNR)或者均方误差(mean square error，MSE)等来表示视频质量。压缩率指的是压缩后的视频大小与压缩前的视频大小之间的比例，通常来说，压缩率越小，视频的压缩效果越好。[0107]703、根据目标质量以及第一取值范围确定第一QP值。
[0108]在获得第一视频的目标质量以及第一QP值对应的第一取值范围之后，可以根据第一视频的目标质量在第一取值范围中确定一个值作为第一QP值。例如，在第一视频的目标质量较高的情况下，在第一取值范围中确定一个较小的值作为第一QP值；在第一视频的目标质量不高的情况下，在第一取值范围中确定一个较大的值作为第一QP值。[0109]在一个具体的实施方式中，可以预先设置多个视频质量阈值，每个视频质量阈值可以与第一取值范围中的一个取值相对应。在根据目标质量以及第一取值范围确定第一QP值的过程中，将第一视频的目标质量与多个视频质量阈值进行比较，在目标质量达到某一个视频质量阈值时，确定第一取值范围中与该视频质量阈值对应的取值为第一QP值。[0110]704、根据目标压缩率以及第二取值范围确定第二QP值。
[0111]在获得第一视频的目标压缩率以及第二QP值对应的第二取值范围之后，可以根据第一视频的目标压缩率在第二取值范围中确定一个值作为第二QP值。例如，在第一视频的目标压缩率较小的情况下，在第二取值范围中确定一个较大的值作为第二QP值；在第一视频的目标质量较大的情况下，在第二取值范围中确定一个较小的值作为第二QP值。[0112]在一个具体的实施方式中，可以预先设置多个压缩率阈值，每个压缩率阈值可以与第二取值范围中的一个取值相对应。在根据目标压缩率以及第二取值范围确定第二QP值的过程中，将第一视频的目标压缩率与多个压缩率阈值进行比较，在目标压缩率达到某一个压缩率阈值时，确定第二取值范围中与该压缩率阈值对应的取值为第二QP值。[0113]在一个具体的实施方式中，在确定视频流中的图像对应的QP值时，还可以根据预置的码控逻辑来确定图像中的ROI和非ROI对应的QP值。[0114]在实际的视频压缩编码过程中，视频中关键帧(I帧)的QP值的取值范围通常在30至36之间，视频中差别帧(P帧)的QP值的取值范围通常在33至39之间。其中，I帧为当前这一帧图像的完整保留，由于I帧保留有整帧完整的图像，因此在对I帧解码时只需要本帧数据就可以完成；P帧表示的是当前这一帧图像与前一帧图像之间的差别，解码时需要用之前缓存的图像叠加上本帧所定义的差别，生成最终画面，也就是说，P帧没有完整的画面数据，只有与前一帧的画面差别的数据。一般来说，视频中每隔50帧P帧出现一帧I帧。[0115]在本实施方式中，为了简化QP控制，可以按照以下的策略设定QP值的取值范围。其中，I帧中的ROI对应的QP值可以表示为QP_fgi，QP_fgi的取值范围为30-36；I帧中的非ROI对应的QP值可以表示为QP_bgi，QP_bgi的取值范围为35-48；P帧中的ROI对应的QP值可以QP_fgp，QP_fgp的取值范围为33-39；P帧中的非ROI对应的QP值可以表示为QP_bgp，QP_bgp的取值范围为38-51。ROI和非ROI之间的QP值之差定义为Qp_delta，例如Qp_delta取值可以为9。
[0116]本实施方式中，还定义了质量-压缩率平衡系数，用于表示视频的质量和压缩率之间的关系，其数值越大，则表示码控效果越好。具体地，质量-压缩率平衡系数如下所示：
13
CN 111131825 A[0117]
说 明 书
11/18页
其中，k表示质量-压缩率平衡系数；rcompression为压缩率；Bitrate为输入视频的码
率；PSNR为峰值信噪比，用于表示视频的质量；rroi是ROI面积的归一化，即rroi为ROI在图像中所占的面积与图像的总面积的比值。[0119]此外，还定义了I帧对应的初始质量-压缩率平衡系数k_i0以及P帧对应的初始质量-压缩率平衡系数k_p0：
[0120][0121]
[0118]
其中，k_i0为I帧对应的初始质量-压缩率平衡系数；ci为预置的初始化参数；r_0
为视频的目标压缩率；PSNR_0为视频的目标质量；Bitrate为输入视频的码率；k_p0为P帧对应的初始质量-压缩率平衡系数，0.25表示默认ROI的面积为图像总面积的1/4。[0123]具体地，可以参阅图8，图8为本申请实施例提供的一种码控逻辑的流程示意图。如图8所示，本申请实施例提供的一种码控逻辑，包括：[0124]801、对QP_fgi、QP_bgi、QP_fgp以及QP_bgp进行初始化。例如，初始化QP_fgi为QP1，QP1为30-36范围中的一个值；初始化QP_bgi为QP2，QP2为35-48范围中的一个值；初始化QP_fgp为QP3，QP3为33-39范围中的一个值；初始化QP_bgp为QP4，QP4为38-51范围中的一个值。
[0125]802、设置视频的目标压缩率r_0以及目标质量PSNR_0。例如，在人为设定好目标压缩率r_0以及目标质量PSNR_0的情况下，通过读取相关的配置文件来获取视频的目标压缩率r_0以及目标质量PSNR_0。[0126]803、计算I帧对应的初始质量-压缩率平衡系数k_i0，以及P帧对应的初始质量-压缩率平衡系数k_p0。[0127]804、通过初始化的QP值对视频中的图像进行压缩编码。例如，根据QP_fgi、QP_bgi、QP_fgp以及QP_bgp初始化之后得到的QP值，对视频中的第一张图像进行压缩编码。[0128]805、在通过初始化的QP值对视频中的图像进行压缩编码之后，计算压缩编码后的图像所对应的质量-压缩率平衡系数k。[0129]806、判断当前压缩编码后的图像是否为视频中的I帧，若是，则转至执行步骤807，否则，转至执行步骤810。[0130]807、在当前压缩编码后的图像为视频中的I帧的情况下，判断当前压缩编码后的图像对应的质量-压缩率平衡系数k是否小于I帧对应的初始质量-压缩率平衡系数k_i0，若是，则转至执行步骤808，否则，转至执行步骤809。[0131]808、在前压缩编码后的图像对应的质量-压缩率平衡系数k小于初始质量-压缩率平衡系数k_i0的情况下，对QP_fgi以及QP_bgi进行调整；例如，将原来的QP_fgi减去1得到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0132]809、在前压缩编码后的图像对应的质量-压缩率平衡系数k不小于初始质量-压缩率平衡系数k_i0的情况下，对QP_fgi以及QP_bgi进行调整；例如，将原来的QP_fgi加上1得
14
[0122]
CN 111131825 A
说 明 书
12/18页
到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0133]810、在当前压缩编码后的图像不是视频中的I帧的情况下，判断当前压缩编码后的图像对应的质量-压缩率平衡系数k是否小于P帧对应的初始质量-压缩率平衡系数k_p0，若是，则转至执行步骤811，否则，转至执行步骤812。[0134]811、在前压缩编码后的图像对应的质量-压缩率平衡系数k小于P帧对应的初始质量-压缩率平衡系数k_p0的情况下，对QP_fgp以及QP_bgp进行调整；例如，将原来的QP_fgp加上1得到新的QP_fgp，QP_bgp等于新的QP_fgp减去Qp_delta，即QP_bgp等于新的QP_fgi减去9。
[0135]812、在前压缩编码后的图像对应的质量-压缩率平衡系数k不小于P帧对应的初始质量-压缩率平衡系数k_p0的情况下，对QP_fgp以及QP_bgp进行调整；例如，将原来的QP_fgp减去1得到新的QP_fgp，QP_bgp等于新的QP_fgp减去Qp_delta，即QP_bgp等于新的QP_fgi减去9。[0136]813、判断当前压缩编码的图像是否为视频中最后一帧图像，若是，则结束压缩编码流程，否则，转至步骤803，通过新的QP_fgi、QP_bgi、QP_fgp或者QP_bgp对视频中的图像继续进行压缩编码。[0137]本实施例中，通过逐帧对图像进行压缩编码，并且逐帧调整图像中的ROI和非ROI对应的QP值，来实现压缩编码后的视频在质量和压缩率之间的平衡，从而达到保证视频质量的前提下，降低视频的压缩率的目的。
[0138]以上所介绍的码控逻辑是基于视频质量和压缩率逐帧调整图像中的ROI和非ROI对应的QP值，以下将介绍另一种码控逻辑，基于视频质量逐帧调整调整图像中的ROI和非ROI对应的QP值的同时，还基于压缩率逐组图像地调整图像中的ROI和非ROI对应的QP值。[0139]具体地，可以参阅图9，图9为本申请实施例提供的一种码控逻辑的另一流程示意图。如图9所示，本申请实施例提供的一种码控逻辑，包括：[0140]901、对QP_fgi、QP_bgi、QP_fgp以及QP_bgp进行初始化。例如，初始化QP_fgi为QP1，QP1为30-36范围中的一个值；初始化QP_bgi为QP2，QP2为35-48范围中的一个值；初始化QP_fgp为QP3，QP3为33-39范围中的一个值；初始化QP_bgp为QP4，QP4为38-51范围中的一个值。
[0141]902、设置视频的目标压缩率r_0以及目标质量PSNR_0。例如，在人为设定好目标压缩率r_0以及目标质量PSNR_0的情况下，通过读取相关的配置文件来获取视频的目标压缩率r_0以及目标质量PSNR_0。[0142]903、获取视频中待压缩编码的图像；例如，在视频流中逐帧提取图像，以进行视频中图像的压缩编码。[0143]904、判断当前获取的图像帧是否为I帧，若是，则转至执行步骤905，否则转至执行。
[0144]905、在当前获取的图像帧为I帧的情况下，按照初始化的QP_fgi以及QP_bgi对该图像帧进行压缩编码。[0145]906、计算压缩编码后的图像帧对应的编码质量PSNR_1。[0146]907、判断编码质量PSNR_1是否大于设置好的目标质量PSNR_0，若是，则转至执行步骤908，否则转至执行步骤909。
15
CN 111131825 A[0147]
说 明 书
13/18页
908、在编码质量PSNR_1大于设置好的目标质量PSNR_0的情况下，对QP_fgi以及
QP_bgi进行调整；例如，将原来的QP_fgi加上1得到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0148]909、在编码质量PSNR_1不大于设置好的目标质量PSNR_0的情况下，对QP_fgi以及QP_bgi进行调整；例如，将原来的QP_fgi减去1得到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0149]910、在当前获取的图像帧不是I帧的情况下，按照初始化的QP_fgp以及QP_bgp对该图像帧进行压缩编码。[0150]911、计算压缩编码后的图像帧对应的编码质量PSNR_2。[0151]912、判断编码质量PSNR_2是否大于设置好的目标质量PSNR_0，若是，则转至执行步骤913，否则转至执行步骤914。[0152]913、在编码质量PSNR_1大于设置好的目标质量PSNR_0的情况下，对QP_fgp以及QP_bgp进行调整；例如，将原来的QP_fgp加上1得到新的QP_fgp，QP_bgp等于新的QP_fgp减去Qp_delta，即QP_bgp等于新的QP_fgp减去9。[0153]914、在编码质量PSNR_1不大于设置好的目标质量PSNR_0的情况下，对QP_fgp以及QP_bgp进行调整；例如，将原来的QP_fgp减去1得到新的QP_fgp，QP_bgp等于新的QP_fgp减去Qp_delta，即QP_bgp等于新的QP_fgp减去9。[0154]915、判断是否为多帧图像中的最后一帧图像；例如，在设定图像组(group of pictures，GOP)对应的GOP值为50的时候，即设定50帧图像为一组，判断当前图像是否为一组图像中的最后一帧图像，若是，则转至执行步骤916，否则，转至执行步骤。[0155]916、计算GOP对应的压缩率r1，例如，计算压缩编码后的整组图像(即50帧图像)对应的压缩率。[0156]917、判断GOP对应的压缩率r1是否大于目标压缩率r_0，若是，则转至执行步骤918，否则转至执行步骤919。[0157]918、在GOP对应的压缩率r1大于目标压缩率r_0的情况下，对QP_fgi以及QP_bgi进行调整；例如，将原来的QP_fgi加上1得到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0158]919、在GOP对应的压缩率r1不大于目标压缩率r_0的情况下，对QP_fgi以及QP_bgi进行调整；例如，将原来的QP_fgi减去1得到新的QP_fgi，QP_bgi等于新的QP_fgi减去Qp_delta，即QP_bgi等于新的QP_fgi减去9。[0159]920、判断当前帧图像是否为视频中的最后一帧图像，若是，则结束则结束压缩编码流程，否则，转至步骤903，通过新的QP_fgi、QP_bgi、QP_fgp或者QP_bgp对视频中的图像继续进行压缩编码。
[0160]以上为对本申请实施例提供的码控逻辑的详细介绍，为了便于理解，以下将结合具体的应用场景对本申请实施例提供的视频处理方法进行详细的描述。[0161]在一个具体的应用场景中，本申请实施例提供的视频处理方法可以应用于后端的视频处理设备或者视频存储设备上，例如应用于安防系统中的VCN上。在前端的视频采集设备(如摄像头)采集到原始的监控视频(简称原始视频)之后，视频采集设备将原始视频按照现有的视频编码协议进行编码后，将编码后的视频传输至后端的VCN上，VCN对获得的视频
16
CN 111131825 A
说 明 书
14/18页
进行解码后，按照本申请实施例提供的视频处理方法重新对视频进行压缩编码，最后将重新压缩编码后得到的视频进行存储。可以参阅图10，图10为本申请实施例提供的一种视频处理方法的流程示意图。如图10所示，本申请实施例提供的视频处理方法，包括：[0162]1001、视频采集设备采集得到原始视频；例如，视频采集设备具体可以是IPC或者SDC，能够实时采集得到监控视频。[0163]1002、视频采集设备对原始视频进行压缩编码，得到压缩编码后的原始视频；例如，视频采集设备可以通过视频采集设备中既有的视频编码标准对原始视频进行压缩编码，视频采集设备中预置的视频编码标准具体可以包括但不限定于H.261视频编码标准、H.262视频编码标准、H.263视频编码标准、H.264视频编码标准或H.265视频编码标准。[0164]1003、视频采集设备将压缩编码后的原始视频传输给后端的视频存储设备；例如，部署于前端现场的多个SDC通过网络将压缩编码后的原始视频统一传输给后端的VCN，以使得VCN统一将前端的SDC采集得到的视频存储起来。[0165]1004、视频存储设备对压缩编码后的原始视频进行解码，得到解码后的视频。[0166]1005、视频存储设备获取解码后的视频中的图像。[0167]具体地，步骤1005与前述的步骤301类似，具体可参考前述的步骤，此处不再赘述。[0168]1006、视频存储设备通过感兴趣区域ROI检测模型确定图像中的ROI和非ROI。[0169]具体地，步骤1006与前述的步骤302类似，具体可参考前述的步骤，此处不再赘述。[0170]1007、视频存储设备根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值。[0171]具体地，步骤1007与前述的步骤303类似，具体可参考前述的步骤，此处不再赘述。[0172]1008、视频存储设备根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。
[0173]具体地，步骤1008与前述的步骤304类似，具体可参考前述的步骤，此处不再赘述。[0174]在一个具体的应用场景中，本申请实施例提供的视频处理方法可以应用于后端的视频处理设备或者视频存储设备上，例如应用于安防系统中的VCN上。在视频存储设备将前端采集到的监控视频存储到硬盘等存储硬件上之后，视频存储设备获取存储在硬盘中的监控视频，对监控视频进行解封装以及解码之后，再根据本申请实施例提供的视频处理方法重新对视频进行压缩编码，最后将重新压缩编码后得到的视频进行存储。可以参阅图11，图11为本申请实施例提供的一种视频处理方法的流程示意图。如图11所示，本申请实施例提供的视频处理方法，包括：[0175]1101、视频存储设备获取已存储的视频文件；其中，视频文件可以是以一定的视频文件格式存储在硬盘等存储硬件上，例如视频文件以运动图像专家组4(moving picture experts group，MP4)或者音频视频交错(audio video interleave，AVI)格式存储在硬盘上。
[0176]1102、视频存储设备对获取到的视频文件进行解封装，得到解封装后的视频；由于以视频文件格式存储在硬盘上的视频有一层文件封装协议，因此需要先对视频文件进行解封装。
[0177]1103、视频存储设备对解封装后的视频进行解码，得到解码后的视频；其中，视频可以是视频采集设备按照H.261视频编码标准、H.262视频编码标准、H.263视频编码标准、H.264视频编码标准或H.265视频编码标准进行编码得到的，因此视频存储设备可以基于相
17
CN 111131825 A
说 明 书
15/18页
应的视频解码方式对解封装后的视频进行解码。[0178]1104、视频存储设备获取解码后的视频中的图像。[0179]具体地，步骤1104与前述的步骤301类似，具体可参考前述的步骤，此处不再赘述。[0180]1105、视频存储设备通过感兴趣区域ROI检测模型确定图像中的ROI和非ROI。[0181]具体地，步骤1105与前述的步骤302类似，具体可参考前述的步骤，此处不再赘述。[0182]1106、视频存储设备根据图像中的ROI和非ROI确定图像的第一量化参数QP值和第二QP值。
[0183]具体地，步骤1106与前述的步骤303类似，具体可参考前述的步骤，此处不再赘述。[0184]1107、视频存储设备根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。
[0185]具体地，步骤1107与前述的步骤304类似，具体可参考前述的步骤，此处不再赘述。[0186]在一个具体的应用场景中，本申请实施例提供的视频处理方法可以应用于前端的视频采集设备上，例如应用于安防系统中的IPC或者SDC上。在视频采集设备将采集得到原始的监控视频之后，视频采集设备根据本申请实施例提供的视频处理方法重新对视频进行压缩编码，然后将压缩编码后的视频传输给后端的视频存储设备，以使得视频存储设备将压缩编码后的视频进行存储。可以参阅图12，图12为本申请实施例提供的一种视频处理方法的流程示意图。如图12所示，本申请实施例提供的视频处理方法，包括：[0187]1201、视频采集设备采集得到原始的监控视频(以下简称原始视频)；例如，部署于前端的IPC或者SDC实时采集得到某一场景下的监控视频。[0188]1202、视频采集设备获取原始视频中的图像。[0189]具体地，步骤1202与前述的步骤301类似，具体可参考前述的步骤，此处不再赘述。[0190]1203、视频采集设备通过感兴趣区域ROI检测模型确定图像中的ROI和非ROI。[0191]具体地，步骤1203与前述的步骤302类似，具体可参考前述的步骤，此处不再赘述。[0192]1204、视频采集设备根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值。[0193]具体地，步骤1204与前述的步骤303类似，具体可参考前述的步骤，此处不再赘述。[0194]1205、视频采集设备根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。
[0195]具体地，步骤1205与前述的步骤304类似，具体可参考前述的步骤，此处不再赘述。[0196]1206、视频采集设备将压缩编码后得到的目标视频传输给视频存储设备。[0197]1207、视频存储设备将获得的目标视频进行存储；例如将目标视频存储于硬盘中。[0198]在一些具体的实施方式中，在后端的视频存储设备上执行本申请实施例提供的视频处理方法的情况下，视频存储设备的运算力可能不足以支持视频存储设备同时对多路视频进行解码、重新压缩编码等操作，因此，可以通过在视频存储设备上部署扩展设备，由扩展设备来完成视频的压缩编码等操作。[0199]可以参阅图13A，图13A为本申请实施例的一种扩展设备的结构示意图。如图13A所示，以扩展设备是视频压缩卡为例，视频压缩卡中可以部署有多个芯片，例如视频压缩卡中部署有八个Hi3559A芯片，每个芯片配置有内存，且多个芯片连接到视频压缩卡的通信接口(例如高速串行计算机扩展总线标准(peripheral component interconnect express，PCIE)接口)上，视频压缩卡可以插到视频存储设备的PCIE插槽中，以使得视频压缩卡中的
18
CN 111131825 A
说 明 书
16/18页
芯片能够与视频存储设备通信。可以参阅图13B，图13B为本申请实施例的一种芯片的结构示意图。如图13B所示，其中，视频压缩卡中的芯片可以包括硬件解码器、硬件图像处理器、神经网络处理器(neural-network processing unit，NPU)、中央处理器(central processing unit，CPU)以及硬件编码器等硬件模块，能够支持多路视频的压缩。[0200]可以参阅图14，图14为本申请实施例提供的视频存储设备与视频压缩卡进行通信的流程示意图。如图14所示，在视频压缩卡连接到视频存储设备之后，视频压缩卡与视频存储设备之间的通信过程可以包括：[0201]1401、视频存储设备获取视频采集设备发送的视频流，该视频流可以是视频采集设备实时采集以及压缩编码后得到的视频流。[0202]1402、视频存储设备查询视频压缩卡上可用的压缩通道；在视频压缩卡上电启动之后，视频存储设备可以查询视频压缩卡上可用的压缩通道，在视频压缩卡上存在有空闲可用的压缩通道的情况下，可以向视频压缩卡发送待压缩的视频流。[0203]1403、视频存储设备获取视频流对应的配置参数，其中视频流对应的配置参数具体可以包括视频流对应的码率、编码标准等等。[0204]1404、视频存储设备根据视频流对应的配置参数将视频流分配至视频压缩卡上进行视频压缩处理；其中，视频压缩卡上的各条压缩通道可以预先进行配置，例如配置某一压缩通道用于处理以H.264编码标准进行编码的视频流，因此，视频存储设备可以根据视频流的配置参数将视频流分配至对应的视频压缩卡的压缩通道上进行视频压缩处理。[0205]1405、视频压缩卡视频存储设备分配的视频进行压缩编码之后，将压缩编码后的视频返回至视频存储设备。[0206]1406、视频存储设备将压缩编码后的视频进行存储，例如将压缩编码后的视频存储至硬盘中。
[0207]为了便于理解，以下将结合图15对视频压缩卡中的芯片实现视频处理的过程进行详细的说明。可以参阅图15，图15为本申请实施例提供的一种视频处理的流程示意图。如图15所示，以输入视频为1920×1080分辨率的视频流为例，在芯片中进行视频处理的过程包括：
[0208]1501、芯片中的硬件解码器获取输入视频，并且对输入视频进行解码，得到解码后的视频数据。[0209]1502、硬件解码器将解码后的视频数据发送给硬件图像处理器，硬件图像处理器对获取到的视频数据进行降采样，得到降采样后分辨率为480×272的视频。[0210]1503、硬件图像处理器将降采样后的视频发送给NPU，NPU根据本申请实施例提供的视频处理方法推理得到视频中图像的ROI分布情况。[0211]1504、NPU将视频中图像的ROI分布情况发送给CPU，CPU根据预置的码控逻辑确定视频中图像ROI和非ROI对应的QP值。[0212]1505、硬件编码器获取硬件解码器发送的解码后的视频数据，以及CPU发送的视频中图像ROI和非ROI对应的QP值，硬件编码器基于视频中图像的ROI和非ROI的QP值对解码后的视频数据进行压缩编码，得到压缩编码后的视频。
[0213]图16为本申请实施例提供的一种视频处理设备的结构示意图，本申请实施例提供的视频处理设备160，例如可以为上述各方法实施例中的视频存储设备或视频采集设备等。
19
CN 111131825 A
说 明 书
17/18页
视频处理设备160可以包括：获取单元1601和处理单元1602；获取单元1601，用于获取第一视频中的图像；处理单元1602，用于通过ROI检测模型确定图像中的ROI和非ROI；处理单元1602，用于根据图像中的ROI和非ROI确定图像的第一QP值和第二QP值，第一QP值为图像中的ROI对应的QP值，第二QP值为图像中的非ROI对应的QP值，第一QP值小于第二QP值；处理单元1602，用于根据第一QP值和第二QP值对图像进行压缩编码，得到目标视频。[0214]可选地，在一种可能的实现方式中，处理单元1602，还用于将图像输入至ROI检测模型中，获得ROI检测模型的输出结果，其中，输出结果包括图像中的多个区域所对应的区域类型，区域类型包括ROI和非ROI；处理单元1602，还用于根据输出结果确定图像中的ROI和非ROI。
[0215]可选地，在一种可能的实现方式中，ROI检测模型是基于标记有ROI和非ROI的图像训练数据训练得到的神经网络模型。[0216]可选地，在一种可能的实现方式中，处理单元1602，还用于根据图像中的ROI和非ROI确定第一取值范围和第二取值范围，第一取值范围为第一QP值的取值范围，第二取值范围为第二QP值对应的取值范围；获取单元1601，还用于获取第一视频的目标质量以及目标压缩率；处理单元1602，还用于根据目标质量以及第一取值范围确定第一QP值；处理单元1602，还用于根据目标压缩率以及第二取值范围确定第二QP值。[0217]可选地，在一种可能的实现方式中，获取单元1601，还用于获取视频采集设备发送的第二视频，第二视频为视频采集设备通过预设编码标准对原始视频进行编码后得到的视频；处理单元1602，还用于对第二视频进行解码，得到第一视频。[0218]可选地，在一种可能的实现方式中，获取单元1601，还用于获取存储设备中的视频文件；处理单元1602，还用于对视频文件进行解封装，得到第三视频；处理单元1602，还用于对第三视频进行解码，得到第一视频。[0219]可选地，在一种可能的实现方式中，第一视频为视频采集设备采集得到的原始视频。
[0220]上述各实施例中的视频处理设备可能有部分单元(或器件)为通过硬件电路来实现而另一部分单元(或器件)通过软件来实现，也可能其中所有单元(或器件)都通过硬件电路来实现，还可能其中所有单元(或器件)都通过软件来实现。
[0221]图17为本申请实施例提供的一种视频处理设备的结构示意图，如图17所示，提供了一种视频处理设备170。视频处理设备170例如可以是前述方法实施例中的第一PE设备。视频处理设备170包括：处理器1701。处理器1701与存储器1702耦合。存储器1702可以独立于处理器1701之外或独立于视频处理设备170之外，如存储器(Memory)#3，也可以在处理器1701或视频处理设备170之内(Memory#1和Memory#2)。存储器1702可以是物理上独立的单元，也可以是云服务器上的存储空间或网络硬盘等。可选地，存储器1702可以为一个或多个。当存储器1702的个数为多个时，可以位于相同的或不同的位置，并且可以独立或配合使用。
[0222]存储器1702用于存储计算机可读指令(或者称之为计算机程序)。
[0223]处理器1701用于读取计算机可读指令以实现前述有关视频处理设备的方面及其任意实现方式提供的方法。[0224]可选的，该视频处理设备170还包括收发器1703，用于接收和发送数据。
20
CN 111131825 A[0225]
说 明 书
18/18页
图18为本申请实施例提供的一种视频处理设备的结构示意图，如图18所示，提供
了一种视频处理设备180。视频处理设备180例如可以是前述方法实施例中连接有视频压缩卡的视频存储设备。视频处理设备180包括：第一视频处理设备1801和第二视频处理设备1802，第一视频处理设备1801上配置有通信接口，第一视频处理设备1801通过通信接口与第二视频处理设备1802连接；第一视频处理设备1801用于将获取到的第一视频传输给第二视频处理设备1802，以使得第二视频处理设备1802执行前述及任意实现方式提供的视频处理方法。
[0226]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0227]在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0228]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0229]另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0230]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者视频处理设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
21
CN 111131825 A
说 明 书 附 图
1/14页
图1
图2
22
CN 111131825 A
说 明 书 附 图
2/14页
图3
图4
23
CN 111131825 A
说 明 书 附 图
3/14页
图5
24
CN 111131825 A
说 明 书 附 图
4/14页
图6
25
CN 111131825 A
说 明 书 附 图
5/14页
图7
26
CN 111131825 A
说 明 书 附 图
6/14页
图8
27
CN 111131825 A
说 明 书 附 图
7/14页
图9
28
CN 111131825 A
说 明 书 附 图
8/14页
图10
29
CN 111131825 A
说 明 书 附 图
9/14页
图11
30
CN 111131825 A
说 明 书 附 图
10/14页
图12
31
CN 111131825 A
说 明 书 附 图
11/14页
图13A
图13B
32
CN 111131825 A
说 明 书 附 图
12/14页
图14
33
CN 111131825 A
说 明 书 附 图
13/14页
图15
图16
34
CN 111131825 A
说 明 书 附 图
14/14页
图17
图18
35
因篇幅问题不能全部显示，请点此查看更多更全内容