智能视频系统是由位于前端或后端的视频分析" title="视频分析">视频分析服务器组成，对监控摄像机所拍摄的视频图像进行分析，能将影像中的人、车或者物体的状态从任何背景中分离出来，加以辨认、分析与追踪。比对出所追踪对象的行为模式与预设的诸项安全规则，若发现违规之处，立刻进行报警通知，同时由使用平台进行信息记录或显示。
二、智能分析的功能：
目前，智能视频分析" title="智能视频分析">智能视频分析系统在视频监控" title="视频监控">视频监控方向的应用主要在对运动目标的识别、分类和追踪。可以设置的规则、功能为以下几种：
1、 绊线检测
针对人、车通过特定运动方向绊线的监控；其应用如：警戒线、单向闸门流向、栅栏攀爬…等；
2、 警戒区域
针对人、车进入或离开特定管制区域的监控；其应用例：停机坪、码头车站的工作区域、营业场所后台…等。
3、 闲逛
针对不合理滞留过久的人、车发出警示讯息，以提醒安管保全人员加以盘察注意。
4、 偷窃
针对特定重要资产的保全；例如：贵重的挂画或摆饰、装备器材、场站内的车辆或机具…等。
5、 遗留物
针对可能的爆裂物、易燃物、生化污染物…的恶意弃置。
6、 群体事件
针对人群聚集
智能监控和传统监控的比较
传统报警系统和智能分析报警性能比较
三、系统使用网络结构
1、简单模式：视频来源来自于模拟监控头，比较适合小型单一的监控系统
2、联网模式：视频来自于编码后的网络数据，适用于大型联网监控，在大型监控系统" title="监控系统">监控系统中有独特的优势，不需要做任何线路的更改，可以任意选择要分析的视频，操作极其方便
智能视频分析系统概述
智能视频（IV，Intelligent Video）源自计算机视觉（CV，Computer Vision）技术。计算机视觉技术是人工智能（AI，Artificial Intelligent）研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。
视频监控中所提到的智能监控技术主要是指：“运用智能算法，对输入视频图像进行自动的内容分析，提取当前监控画面中我们所感兴趣的，关键的，有效的信息。“如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。智能视频分析技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。智能视频监控以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。
智能视频分析系统是一种涉及图像处理、模式识别、人工智能等多个领域的智能视频分析产品。它能够对视频区域内出现的警戒区警戒线闯入、物品遗留或丢失、逆行、人群密度异常等异常情况进行分析，能够对视频区域内出现的运动目标自动识别出目标类型并跟踪，对目标进行标记并画出目标运动轨迹，及时发出告警信息。能够同时监测同一场景里多个目标，可以根据防范目标的特点进行灵活设置；它能够适应不同的环境变化，包括光照、四季、昼夜、晴雨等，并能够很好地抗摄像头抖动。其改变了以往视频“被动”监控的状态，不仅仅局限于提供视频画面，而且能主动对视频信息进行智能分析，识别和区分物体，可自定义事件类型，一旦发现异常情况或者突发事件能及时的发出警报，其在安防领域的应用必然有助于克服了人力疲惫的局限性，从而更加有效地协助安全人员处理突发事件。
智能视频监控技术是基于图像处理、模式识别的新型视频监控技术。简而言之，就是发现图像中运动的物体，并对其进行跟踪、分析，及时发现“异常”行为，触发报警并采取其他措施进行干预。智能视频分析技术（Video Analytics）综合了多学科的研究成果。主要包括图像处理，跟踪技术，模式识别，软件工程，数字信号处理（DSP）等领域。随着计算机处理能力的提高，在90年代，对图像的处理逐渐变成研究热点。其中卡内基－梅隆（CMU）大学在1999年完成的在校园内的智能图像监控系统是比较有代表性的研究项目。当时的智能图像监控技术仍处在实验室研究为主阶段。
2001年911事件发生后，美国在安防科研方面大大加强了投资力度。许多研究机构和研究人员纷纷加入了安防类技术的研究和开发。智能视频分析是其中的一个亮点。从研究论文的数量来看，2002年到2005年有一个明显的高峰期。这和此期间科研经费的大量投入是相吻合的。目前此研究领域的科研论文逐渐转移到细分的问题和方向上去了。 这并不代表智能视频监控变成了一个已经解决了的问题。恰恰相反，即使目前最优秀的商业系统离人们对此类技术的期待值还有一些距离。解决问题的方法也没有达成共识。它实际上反应了原创性的理论工作在减少。此项技术的进步在未来可能更多地依赖企业自身的科研开发力量。
智能视频分析系统的功能
目前市场上的智能视频分析系统通常都具有以下功能：
1. 图像采集/接口
2.运动物体" title="运动物体">运动物体检测
3. 多物体跟踪
4. 行为特征分析
5. 设定报警条件
6. 报警联动
1、图像采集/接口
绝大多数的智能视频分析算法是基于非压缩图像格式，如RGB或者YUV，所以图像信号在被采集以后不经过压缩直接送给视频分析单元，几乎所有的视频分析系统都自带有图像采集功能，通常是通过BNC输入模拟图像信号。
现有的图像监控系统中图像信号通常是以压缩图像流的形式存在，例如MPEG4、H.264、MJPEG等。IP相机通常也直接输出压缩图像流。直接从压缩的图像流中进行运动检测" title="运动检测">运动检测是一个较偏的研究方向，还没有被主流厂家接受。当然也可以将图像流解压还原成原始图像格式后再进行分析。常用的压缩格式都不是无损（lossless）压缩。和压缩前的原始图像相比，解压后的图像会损失掉一些信息。不过由于压缩算法的特点，丢失的信息通常是高频的噪声信号，所以对运动检测 的影响是较小的。当然前提是压缩流有足够的带宽。如果压缩比太高，图像会出现“马赛克”效应，给视频分析增加难度。
由于实时图像处理对处理器的要求非常高，所以用于视频分析的图像的分辨率通常比仅用于显示或者传输的图像要小。分辨率大小会影响到检测距离和对运动物体的敏感性。有些产品通过降低处理的帧率来适应处理器的处理能力。过低的帧率会影响到跟踪算法的可靠性。它可能造成对运动物体运动性质的判断错误。
2、 运动物体检测
简单地说，运动检测就是发现图像中运动的物体。运动物体可以简单定义为图像中变化的部分。一些初级的运动检测算法就是基于这些概念，例如早期的DVR产品的运动侦测功能等。它们通常也没有跟踪功能。此类方法的误报警率太高，不适合用作实时报警系统。
并不是所有图像中的变化都是我们感兴趣的运动物体。例如由相机自身引入的变化，它包括像素的噪声，相机自动光圈控制电路引起的整体亮度变化，图像传输中引入的高低频周期噪声信号，红外相机周期校准所带来的突变等。外界环境引入的变化包括地面光照在多云天气里迅速的变化，运动物体的阴影，水面波浪或者波光粼粼的现象，陆地上树枝的摆动，夜间汽车大灯造成的光晕，雨雪天气等现象。另外相机在大风天，尤其是高灯杆上容易抖动。由上述这些现象造成的图像变化通常是应该被过滤掉的。它们可以通过算法或者其它技术手段加以解决。
从算法的角度来看，可以简单地分为两大类。一类是建立背景模型，通过和背景模型相对比来发现运动物体。另一类是通过“光流”法，通过发现运动物体对光流场的影响来发现运动物体。另外就是介于两者之间或者两者结合的方法。背景模型法对运动物体的提取较完整，有利于下一步对物体的跟踪，分类以及将来的检索。但是它要求相机固定。如果没有有效的稳定算法，在相机抖动的情况下容易产生误报警。光流法对相机稳定性的要求低。即使相机安装在云台上，或者其它运动平台如飞机上，也可以进行运动检测。不过由于光流法是基于导数的检测方法。它较容易受到图像噪音的影响。所以它不适用于检测小物体，检测距离较近。
现有视频分析算法和早期移动侦测最大的区别就在于是否对运动物体进行跟踪。运动物体检测和跟踪是视频分析的基础。这两方面做扎实了，才有可能对物体的行为特性进行分析，同时也才有可能较容易地针对某些特殊应用迅速开发出来新功能模块。跟踪实质上就是将在每一帧上发现的同一物体沿时间顺序串起来。此领域本身就是一个相对独立的活跃的研究领域。主要研究方向是在复杂环境下，如多个运动物体，多个相机，运动物体之间互相遮挡，消失及重现等情况下进行有效跟踪。例如在拥挤的地铁站台对某个人进行跟踪；对草丛里身着迷彩服沿一定方向爬行的士兵进行跟踪。虽然在每一帧里用肉眼无法辨明此士兵的位置，但是积累了一定帧数后，系统发现了他。以上实例主要还停留在实验室演示阶段。但是它们代表了跟踪算法的发展方向。
在实际监控应用中，尤其是对一些入侵报警的应用案例中，对跟踪算法的要求比较低。现有的商业系统对运动物体“融合”及其它复杂应用场景的跟踪效果并不理想。但是参照以往技术发展速度，这方面会很快完善起来。
4、行为特征分析
行为特征分析是从图像中寻找满足预先设定的行为特征的事件。目前市场上比较典型的应用包括：
（1）分类： 判断运动物体是人，车，船只，飞机。
（2）停止或者突然加速：例如车辆在隧道或者公路上抛锚；大街上抢劫得手后逃跑等场景。
（3）徘徊：例如在敏感区域外观察的人员。对正常通过的行人、车辆不报警。
（4）遗留物： 例如对在机场，油库等地放置爆炸物然后离开。
（5）物品遗失： 例如博物馆的贵重展品保护。当发现展品消失后，系统会立刻报警。
（6）人数统计：例如 对进入超市等场所的人数进行统计。并结合销售数据绘制一天当中平均消费额曲线。
（7）人群密度：例如当聚集人员过多时报警。或者人群突然散开，如出现异常情况时，进行报警。
（8）人员倒地： 例如当人员由直立突然变成平躺。
总的来说，智能视频分析可以作很多事情。所以需要视频分析开发人员和最终用户进行有效沟通。由于智能视频分析还是一个较新的技术，在国内了解此项技术的圈子目前只拓展到集成商这个层面上，所以很多适合视频分析技术的应用场景还有待市场开发。但有一点是一目了然的：企业必须掌握核心技术并具有自主研究开发能力。智能视频分析的市场是由许多细分小市场组成的，新的应用正不断地出现。在可预见的将来，这会是这个市场的一个明显特点。
5、设定报警条件
在视频监控里引入“智能”极大地丰富了监控内容，提高了监控的灵活性。用户可以针对某个特定行为进行报警。例如简单地说，当运动物体穿越某条界限时报警。也可以使用更多的限定条件，如在晚上7点到早晨7点之间对进入某个区域的人员进行报警，对出去的人员，进出的车辆不报警。由于是通过软件设定报警条件，更改报警策略通常来说非常容易。例如有一批贵重货物在仓库里只存放一天，可以在那一天在屏幕上仓库周围设置虚拟边界，就像孙悟空用金箍棒画个圈将唐僧等人保护起来一样，很快地建立起保护措施。用户也可以依据不同设施的具体安保需求设定不同的策略。例如白天和夜晚的监控内容不一样，工作日和周末监控内容、监控力度也不一样。系统自动切换，避免了人员监控的随意性。目前可供选择的报警要素包括区域、时间段、物体种类、尺寸、运动方向、速度、行为特征等许多内容。
6、报警联动
在智能视频分析系统发现异常情况以后，通常需要作3类事情：
1) 核实报警真实性： 通过另外一台云台相机对报警事件拉近进行详细调查。由于监控范围的需要，报警相机的监控范围通常较大，而且经常是固定相机。另外一台云台相机可以和一台或者几台固定报警相机相配合自动或者手动响应报警事件。报警录像片段通常会被同时存在硬盘上。
2). 及时通知、提醒监控人员： 常用实时提示方法包括语音提示监控人员，如“仓库门口发现人员。”；在屏幕上弹出报警图像；在图像上用标识框标识触警物体；显示触警物体之前的运动轨迹。另外也有非实时的技术手段，如通过邮件或者短信的形式通知负责人员，并附以触警截图。目前通过手机浏览实时监控图像已经较成熟。3G手机在国内的普及必将促使手机成为有一个响应平台。除了DVR备份以外，智能视频分析系统可以存储报警录像片段，供监控人员迅速检索。
3). 触发其它外部响应手段： 为避免频繁出警，有些系统可以和喇叭联动，提醒入侵人员已经被监控。通常他们在知道被发现后会迅速离开。
目前智能视频分析产品主要基于通用CPU如英特尔（服务器，工控机）或者DSP。有些产品和DVR集成在一起，有些产品做成独立的模块，通过提供界面和开发SDK供集成商使用。集成化程度最高的产品已经和相机做成一体，直接输出智能分析结果。
基于服务器（工控机）的系统通常适合布置在监控系统的后台。由于它的架构相对开放，所以可以方便地和现有监控系统融合。另外服务器的CPU处理能力和DSP相比要高，可以使用较为复杂的算法。多核是英特尔CPU的发展方向，非常适合多路图像处理的需要及发展趋势。对于降低系统成本很有帮助。英特尔每两年推出一款新产品的速度也远较德州仪器（TI）快。基于服务器的系统性能可以随着英特尔产品的更新而方便地提升。在一些高端智能视频监控系统中，使用服务器的比较多。
基于DSP的模块化产品通常适合布置在监控系统的前端。它安装实施起来比较方便。对于知识产权的保护也容易做到位。从商业模式的角度来看，比较适合中国市场的需要。
如果我们可以从北美市场汲取一些经验的话，那就是成功安装使用一台智能视频分析产品通常应由有丰富经验的集成商或者开发商通过解决方案的形式给予直接有力的支持。现在市场上的智能视频分析产品和传统监控形式相比，监控效率、质量，特别在实时报警方面，有了实质性的进步。但是它们离我们期望的标准还有一些差距。还不能指望像安装监控相机一样搭起一套系统马上正常运转。像任何新技术一样，要达到好的效果，必须有了解智能视频分析产品特点的工程人员从方案设计到施工、调试的全程支持。
智能视频分析仍然是一个活跃的研究领域。新思路、新成果不断出现。无论从理论方面，还是硬件平台能力方面，目前的智能视频分析系统还有明显的提升空间。从用户使用的角度来看，在短时间内（如一分钟）单路图像监控情况下，人通常比现有的系统更快、更准的做出判断。从目前技术发展趋势来看，智能视频分析完全可以做到全面超过人的监控能力。变成像现在的DVR一样成熟、可靠的监控手段。