(12)发明专利申请
(10)申请公布号 CN 110852286 A(43)申请公布日 2020.02.28
(21)申请号 201911114543.5(22)申请日 2019.11.14
(71)申请人 青岛海信网络科技股份有限公司
地址 266071 山东省青岛市崂山区株洲路
151号(72)发明人 付雪青 李增志 刘洋洋 张雪庆 (74)专利代理机构 北京同达信恒知识产权代理
有限公司 11291
代理人 张怀阳(51)Int.Cl.
G06K 9/00(2006.01)
权利要求书2页 说明书8页 附图3页
(54)发明名称
一种基于智能视频分析的垃圾分类识别方法及装置(57)摘要
本发明公开了一种基于智能视频分析的垃圾分类识别方法及装置，该方法包括获取垃圾投放区的监控视频，得到监控视频的多帧视频图像，对监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量，将每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及放置行为对应的行为结果，将每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及垃圾投放行为对应的行为结果。通过使用已训练好的第一智能视频分析模型和第二智能视频分析模型对监控视频进行智能视频分析，得到垃圾桶放置行为和垃圾投放行为，相比于传统的人工监管的方式，提高了垃圾分类监管的效率。
CN 110852286 ACN 110852286 A
权 利 要 求 书
1/2页
1.一种基于智能视频分析的垃圾分类识别方法，其特征在于，包括：获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；
将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果。
2.如权利要求1所述的方法，其特征在于，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；
所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；
其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。3.如权利要求1所述的方法，其特征在于，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；
所述垃圾投放行为包括：
将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。
4.如权利要求1所述的方法，其特征在于，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。
5.如权利要求1至4任一项所述的方法，其特征在于，所述在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，还包括：
将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。
6.一种基于智能视频分析的垃圾分类识别装置，其特征在于，包括：获取单元，用于获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；识别单元，用于对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；以及将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。
7.如权利要求6所述的装置，其特征在于，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；
所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；
其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。
2
CN 110852286 A
权 利 要 求 书
2/2页
8.如权利要求6所述的装置，其特征在于，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；
所述垃圾投放行为包括：
将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。
9.如权利要求6所述的装置，其特征在于，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。
10.如权利要求6至9任一项所述的装置，其特征在于，还包括存储单元；
所述存储单元具体用于在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。
3
CN 110852286 A
说 明 书
一种基于智能视频分析的垃圾分类识别方法及装置
1/8页
技术领域
[0001]本发明实施例涉及数据处理技术领域，尤其涉及一种基于智能视频分析的垃圾分类识别方法及装置。
背景技术
[0002]随着城市垃圾总量的逐年增加，垃圾处理已经成为影响城市发展的重要因素之一。为了提高垃圾处理能力，需要在生活垃圾投放时就做好分类工作。尽管我国垃圾分类已经普及并提倡了多年，但由于监管力度不够，生活垃圾分类工作并不尽如人意。随着生活垃圾强制分类政策的提出，在进行垃圾分类监管时，传统的人工监管的方式耗费人力较大，且效率低下。
[0003]我国对垃圾分类技术研究起步较晚，现阶段垃圾分类识别系统的智能化普遍较低，很大程度上还依赖人工，并不能实现真正意义的智能垃圾分类与识别。其中，目前的智能垃圾回收系统虽然能够对生活垃圾分类进行识别，但该系统仅支持对部分常见可回收垃圾的识别与回收，并不能对厨余垃圾、有害垃圾、其他垃圾的识别，因此该系统无法从根本上解决垃圾分类识别的问题。
[0004]垃圾分类回收处理问题日益严峻，目前急需一种可进行智能垃圾分类识别的装置，更好地进行垃圾分类普及和监管。发明内容
[0005]本发明实施例提供一种基于智能视频分析的垃圾分类识别方法及装置，用以实现对垃圾分类行为和垃圾桶放置行为的监督和管理。[0006]第一方面，本发明实施例提供一种基于智能视频分析的垃圾分类识别方法，包括：[0007]获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；[0008]对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；[0009]将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
[0010]将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。[0011]上述技术方案中，通过使用已训练好的第一智能视频分析模型和第二智能视频分析模型对监控视频进行智能视频分析，得到垃圾桶放置行为和垃圾投放行为，相比于传统的人工监管的方式，提高了垃圾分类监管的效率，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，进一步帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。
[0012]可选的，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；
4
CN 110852286 A
说 明 书
2/8页
所述垃圾桶的颜色数量与所述区域的颜色数量相同；[0013]所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；[0014]其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。[0015]可选的，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；[0016]所述垃圾投放行为包括：
[0017]将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。[0018]可选的，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
[0019]所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。[0020]可选的，所述在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，还包括：[0021]将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。[0022]第二方面，本发明实施例提供一种基于智能视频分析的垃圾分类识别装置，包括：[0023]获取单元，用于获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；[0024]识别单元，用于对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；以及将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。[0025]可选的，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；[0026]所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；[0027]其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。[0028]可选的，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；[0029]所述垃圾投放行为包括：
[0030]将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。[0031]可选的，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
[0032]所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。
5
CN 110852286 A[0033]
说 明 书
3/8页
可选的，还包括存储单元；
[0034]所述存储单元具体用于在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。[0035]第三方面，本发明实施例还提供一种计算设备，包括：[0036]存储器，用于存储程序指令；[0037]处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于智能视频分析的垃圾分类识别方法。[0038]第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于智能视频分析的垃圾分类识别方法。
附图说明
[0039]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本发明实施例提供的一种系统架构的示意图；
[0041]图2为本发明实施例提供的一种基于智能视频分析的垃圾分类识别方法的流程示意图；
[0042]图3为本发明实施例提供的一种摄像头杆件的示意图；[0043]图4为本发明实施例提供的一种摄像头安装位置的示意图；
[0044]图5为本发明实施例提供的一种基于智能视频分析的垃圾分类识别装置的结构示意图。
具体实施方式
[0045]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0046]图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以摄像头设备100，该摄像头设备100可以包括处理器110、通信接口120和存储器130。[0047]其中，通信接口120用于与后台服务器进行通信，收发后台服务器传输的数据，实现通信。
[0048]处理器110是摄像头设备100的控制中心，利用各种接口和路线连接整个摄像头设备100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行摄像头设备100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
[0049]存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130
6
CN 110852286 A
说 明 书
4/8页
的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0050]需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。[0051]基于上述描述，图2详细的示出了本发明实施例提供的一种基于智能视频分析的垃圾分类识别方法的流程，该流程可以由基于智能视频分析的垃圾分类识别装置执行，该装置可以位于如图1所示摄像头设备100内，也可以是该摄像头设备100。[0052]如图2所示，该流程具体包括：[0053]步骤201，获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像。[0054]通过放置在垃圾投放区内的摄像头可以实时监控垃圾投放区，从而可以实时获取垃圾投放区的监控视频。对该监控视频进行抽帧，可以得到多帧视频图像。其中，摄像头可以放置在垃圾桶的后面，如图3所示，摄像头可以安装在摄像头杆件上，该摄像头杆件相对垃圾桶的安装位置可以如图4所示，一般情况下，摄像头杆件安装在垃圾桶背后的花丛中。摄像头杆件也可安装在垃圾桶任一侧面。[0055]步骤202，对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量。
[0056]在本发明实施例中，通过对监控视频的多帧视频图像提取特征，可以得到各个视频图像的画面特征，也就是特征向量。相当于需要将视频图像转化为智能视频分析模型可以识别的向量的形式。其中，确定特征向量的方法可以使用目前已有的技术，本发明实施例对此不作具体限定。[0057]步骤203，将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果。[0058]在使用该第一智能视频分析模型之前，需要先对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到该第一智能视频分析模型。其中具体的训练过程可以如下：
[0059]a)首先模拟搭建存放垃圾桶的环境，包括一个长宽高分别为2400mm*800mm*600mm的围栏、4个标准颜色的真实垃圾桶(尺寸为730mm*530mm*107mm)，摄像头杆件及摄像头，摄像头高度为2米，可根据实际情况进行调节。在如图2的位置放置。并将围栏划分4个区域，分别用于放置蓝色、红色、灰色、绿色垃圾桶(从投放垃圾的人的角度看，从左至右的顺序)。[0060]b)模拟放置垃圾桶的行为，分别选择晴天、阴雨天的早5:00、中午12:00、晚上23:00(有灯光)这6类时间进行。4种正确行为各记录150次，其他错误行为共记录480次，平均分布在上述6个时间。错误行为包括，将非蓝色垃圾桶放在区域1(60次)；将非红色垃圾桶放在区域2(60次)；将非灰色垃圾桶放在区域3(60次)；将非绿色垃圾桶放在区域4(60次)；将垃圾桶放在区域1外(60次)；将垃圾桶放在区域2外(60次)；将垃圾桶放在区域3外(60次)；将垃圾桶放在区域4外(60次)。[0061]c)、对放置垃圾桶的视频记录进行抽帧。即对放置垃圾桶的视频记录进行截图，对每一次放置垃圾桶的行为进行截图，共有1080张图片。
7
CN 110852286 A[0062]
说 明 书
5/8页
d)、对图片进行标注。即人工判断每一张图片中的放置垃圾桶行为属于哪种。放置
垃圾桶行为共分12种：①将蓝色垃圾桶放在区域1；②将红色垃圾桶放在区域2；③将灰色垃圾桶放在区域3；④将绿色垃圾桶放在区域4；⑤将非蓝色垃圾桶放在区域1；⑥将非红色垃圾桶放在区域2；⑦将非灰色垃圾桶放在区域3；⑧将非绿色垃圾桶放在区域4；⑨将垃圾桶放在区域1外；⑩将垃圾桶放在区域2外；将垃圾桶放在区域3外；将垃圾桶放在区域4外。
e)、将标注结果进行学习与训练。通过计算机程序抽取上述12种投放行为的特征。[0064]f)、经过学习训练的计算机程序即成为上述第一智能视频分析模型。
[0065]将上述多种视频帧图像对应的特征向量上述步骤得到的第一智能视频分析模型，即可以得到垃圾桶的放置行为及其对应的行为结果。需要说明的是，垃圾投放区设有多个不同颜色的区域。每个垃圾桶具有不同的颜色，垃圾桶的颜色数量与区域的颜色数量相同。[0066]垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外。其中，第二颜色是多个不同颜色中除第一颜色之外的任一颜色。[0067]举例来说，放置垃圾桶的行为类别包括12种：①将蓝色垃圾桶放在区域1；②将红色垃圾桶放在区域2；③将灰色垃圾桶放在区域3；④将绿色垃圾桶放在区域4；⑤将非蓝色垃圾桶放在区域1；⑥将非红色垃圾桶放在区域2；⑦将非灰色垃圾桶放在区域3；⑧将非绿色垃圾桶放在区域4；⑨将垃圾桶放在区域1外；⑩将垃圾桶放在区域2外；将垃圾桶放在区域3外；将垃圾桶放在区域4外。其中，前4种垃圾桶的放置行为的行为结果为正确行为，后8种垃圾桶的放置行为的行为结果为错误行为。[0068]步骤204，将每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及垃圾投放行为对应的行为结果。[0069]在使用该第二智能视频分析模型之前，需要先对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到该第二智能视频分析模型。其中具体的训练过程可以如下：[0070]a)首先模拟搭建垃圾投放点的环境，包括放置4个标准颜色的真实垃圾桶，在如图2的位置放置摄像头杆件及摄像头，摄像头高度为2米，可根据实际情况进行调节。[0071]b)模拟投放垃圾的行为，分别选择晴天、阴雨天的早7:00、中午12:00、下午18:00(有自然光或灯光)、晚上20:00(有灯光)这8类时间进行。4种正确行为各记录200次，其他错误行为共记录672次，平均分布在上述8个时间。错误行为包括，红色垃圾袋投放至绿色垃圾桶行为48次，红色垃圾袋投放至蓝色垃圾桶行为48次，红色垃圾袋投放至灰色垃圾桶行为48次，绿色垃圾袋投放至红色垃圾桶行为48次，绿色垃圾袋投放至蓝色垃圾桶行为48次，绿色垃圾袋投放至灰色垃圾桶行为48次，蓝色垃圾袋投放至绿色垃圾桶行为48次，蓝色垃圾袋投放至红色垃圾桶行为48次，蓝色垃圾袋投放至灰色垃圾桶行为48次，灰色垃圾袋投放至绿色垃圾桶行为48次，灰色垃圾袋投放至蓝色垃圾桶行为48次，灰色垃圾袋投放至红色垃圾桶行为48次，其他颜色(指非红绿蓝灰色)垃圾袋投放至红色垃圾桶24次，其他颜色(指非红绿蓝灰色)垃圾袋投放至绿色垃圾桶24次，其他颜色(指非红绿蓝灰色)垃圾袋投放至灰色垃圾桶24次，其他颜色(指非红绿蓝灰色)垃圾袋投放至蓝色垃圾桶24次。[0072]c)对投放垃圾的视频记录进行抽帧。即对投放垃圾的视频记录进行截图，对每一次投放垃圾的行为进行截图，共有1472张图片。
8
[0063]
CN 110852286 A[0073]
说 明 书
6/8页
d)对图片进行标注。即人工判断每一张图片中的投放行为属于哪种。投放行为共
分20种：①红色垃圾袋投放到红色垃圾桶、②绿色垃圾袋投放到绿色垃圾桶、③蓝色垃圾袋投放到蓝色垃圾桶、④灰色垃圾袋投放到灰色垃圾桶、⑤红色垃圾袋扔进绿色垃圾桶、⑥红色垃圾袋扔进蓝色垃圾桶、⑦红色垃圾袋扔进灰色垃圾桶、⑧绿色垃圾袋扔进红色垃圾桶、⑨绿色垃圾袋扔进蓝色垃圾桶、⑩绿色垃圾袋扔进灰色垃圾桶、蓝色垃圾袋扔进红色垃圾桶、蓝色垃圾袋扔进绿色垃圾桶、蓝色垃圾袋扔进灰色垃圾桶、灰色垃圾袋扔进红色垃圾桶、灰色垃圾袋扔进绿色垃圾桶、灰色垃圾袋扔进蓝色垃圾桶、其它颜色垃圾袋扔进红色垃圾桶、其它颜色垃圾袋扔进绿色垃圾桶、其它颜色垃圾袋扔进蓝色垃圾桶、其它颜色垃圾袋扔进灰色垃圾桶。
e)将标注结果进行学习与训练。通过计算机程序抽取上述20种投放行为的特征。[0075]f)经过学习训练的计算机程序即成为第二智能视频分析模型。
[0076]将上述多种视频帧图像对应的特征向量上述步骤得到的第二智能视频分析模型，即可以得到垃圾投放行为及其对应的行为结果。需要说明的是，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；垃圾桶的颜色数量与垃圾袋的颜色数量相同。[0077]垃圾投放行为可以包括：将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。[0078]举例来说，投放垃圾的行为类别可以包括20种：①将红色垃圾袋扔进红色垃圾桶；②将绿色垃圾袋扔进绿色垃圾桶；③将蓝色垃圾袋扔进蓝色垃圾桶；④将灰色垃圾袋扔进灰色垃圾桶；⑤将红色垃圾袋扔进绿色垃圾桶；⑥将红色垃圾袋扔进蓝色垃圾桶；⑦将红色垃圾袋扔进灰色垃圾桶；⑧将绿色垃圾袋扔进红色垃圾桶；⑨将绿色垃圾袋扔进蓝色垃圾桶；⑩将绿色垃圾袋扔进灰色垃圾桶；将蓝色垃圾袋扔进红色垃圾桶；将蓝色垃圾袋扔进绿色垃圾桶；将蓝色垃圾袋扔进灰色垃圾桶；将灰色垃圾袋扔进红色垃圾桶；将灰色垃圾袋扔进绿色垃圾桶；将灰色垃圾袋扔进蓝色垃圾桶；将其它颜色垃圾袋扔进红色垃圾桶；将其它颜色垃圾袋扔进绿色垃圾桶；将其它颜色垃圾袋扔进蓝色垃圾桶；将其它颜色垃圾袋扔进灰色垃圾桶。其中前4种垃圾投放行为的行为结果为正确行为，后16种垃圾投放行为的行为结果为错误行为。
[0079]当得到上述垃圾桶的放置行为或垃圾投放行为之后，还可以将垃圾桶的放置行为及其对应的行为结果和垃圾投放行为及其对应的行为结果进行记录并存储。
[0080]此处可以将垃圾桶的放置行为及其对应的行为结果和垃圾投放行为及其对应的行为结果记录后发送给后台服务器进行存储。[0081]例如，放置垃圾桶行为记录包括放置时间、摄像头编号、放置行为是否正确、放置行为类别、放置瞬间抓拍照片等。投放行为记录包括投放时间、摄像头编号、投放行为是否正确、投放行为类别、投放瞬间抓拍照片等。[0082]具体的，可以通过网络(宽带、WiFi、4G、5G、LoRa、NBIoT等均可)将记录传至服务器端保存。
[0083]上述实施例表明，通过获取垃圾投放区的监控视频，得到监控视频的多帧视频图
[0074]
9
CN 110852286 A
说 明 书
7/8页
像，对监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量，将每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及放置行为对应的行为结果，第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的，将每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及垃圾投放行为对应的行为结果，第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。通过使用已训练好的第一智能视频分析模型和第二智能视频分析模型对监控视频进行智能视频分析，得到垃圾桶放置行为和垃圾投放行为，相比于传统的人工监管的方式，提高了垃圾分类监管的效率，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，进一步帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。[0084]本发明实施例中的垃圾分类识别方法，可对社区居民投放垃圾的行为、社区保洁人员放置垃圾桶的行为进行判断与记录，准确率达80％以上。在垃圾分类政策施行初期，可使用摄像画面与分析判断的记录，辅助政府执法。使用技术手段监督投放垃圾行为，可帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。[0085]同时对每次投放行为正误，可在现场进行实时反馈，及时提示乱丢垃圾、乱放垃圾桶的行为，协助人们正确分类投放垃圾。同时，技术手段权威性配合政府强制执法，对乱丢垃圾、乱放垃圾桶的行为也能起到有效的威慑和管控，实现强制按要求分类投放垃圾的目的，久而久之养成正确分类投放垃圾的习惯。[0086]基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种基于智能视频分析的垃圾分类识别装置的结构，该装置可以执行基于智能视频分析的垃圾分类识别流程，该装置可以位于图1所示的摄像头设备100内，也可以是该摄像头设备100。[0087]如图5所示，该装置具体包括：[0088]获取单元501，用于获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；
[0089]识别单元502，用于对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；以及将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。[0090]可选的，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；[0091]所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；[0092]其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。[0093]可选的，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；[0094]所述垃圾投放行为包括：
10
CN 110852286 A[0095]
说 明 书
8/8页
将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色
的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。[0096]可选的，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
[0097]所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。[0098]可选的，还包括存储单元503；
[0099]所述存储单元503具体用于在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。
[0100]基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：[0101]存储器，用于存储程序指令；[0102]处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述基于智能视频分析的垃圾分类识别方法。[0103]基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述基于智能视频分析的垃圾分类识别方法。
[0104]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0105]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0106]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0107]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。[0108]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
11
CN 110852286 A
说 明 书 附 图
1/3页
图1
图2
12
CN 110852286 A
说 明 书 附 图
2/3页
图3
图4
13
CN 110852286 A
说 明 书 附 图
3/3页
图5
14
因篇幅问题不能全部显示，请点此查看更多更全内容