http://blog.csdn.net/cy513/archive/2009/06/20/4285579.aspx

识别算法概述：

SIFT/SURF基于灰度图，

一、首先建立图像金字塔，形成三维的图像空间，通过Hessian矩阵获取每一层的局部极大值，然后进行在极值点周围26个点进行NMS，从而得到粗略的特征点，再使用二次插值法得到精确特征点所在的层（尺度），即完成了尺度不变。

二、在特征点选取一个与尺度相应的邻域，求出主方向，其中SIFT采用在一个正方形邻域内统计所有点的梯度方向，找到占80%以上的方向作为主方向；而SURF则选择圆形邻域，并且使用活动扇形的方法求出特征点主方向，以主方向对齐即完成旋转不变。

三、以主方向为轴可以在每个特征点建立坐标，SIFT在特征点选择一块大小与尺度相应的方形区域，分成16块，统计每一块沿着八个方向占的比例，于是特征点形成了128维特征向量，对图像进行归一化则完成强度不变；而SURF分成64块，统计每一块的dx，dy，|dx|，|dy|的累积和，同样形成128维向量，再进行归一化则完成了对比度不变与强度不变。

haar特征也是基于灰度图，首先通过大量的具有比较明显的haar特征（矩形）的物体图像用模式识别的方法训练出分类器，分类器是个级联的，每级都以大概相同的识别率保留进入下一级的具有物体特征的候选物体，而每一级的子分类器则由许多haar特征构成（由积分图像计算得到，并保存下位置），有水平的、竖直的、倾斜的，并且每个特征带一个阈值和两个分支值，每级子分类器带一个总的阈值。识别物体的时候，同样计算积分图像为后面计算haar特征做准备，然后采用与训练的时候有物体的窗口同样大小的窗口遍历整幅图像，以后逐渐放大窗口，同样做遍历搜索物体；每当窗口移动到一个位置，即计算该窗口内的haar特征，加权后与分类器中haar特征的阈值比较从而选择左或者右分支值，累加一个级的分支值与相应级的阈值比较，大于该阈值才可以通过进入下一轮筛选。当通过分类器所以级的时候说明这个物体以大概率被识别。

广义hough变换同样基于灰度图，使用轮廓作为特征，融合了梯度信息，以投票的方式识别物体，在本blog的另一篇文章中有详细讨论，这里不再赘述。

特点异同对比及其适用场合：

三种算法都只是基于强度（灰度）信息，都是特征方法，但SIFT/SURF的特征是一种具有强烈方向性及亮度性的特征，这使得它适用于刚性形变，稍有透视形变的场合；haar特征识别方法带有一点人工智能的意味，对于像人脸这种有明显的、稳定结构的haar特征的物体最适用，只要结构相对固定即使发生扭曲等非线性形变依然可识别；广义hough变换完全是精确的匹配，可得到物体的位置方向等参数信息。前两种方法基本都是通过先获取局部特征然后再逐个匹配，只是局部特征的计算方法不同，SIFT/SURF比较复杂也相对稳定，haar方法比较简单，偏向一种统计的方法形成特征，这也使其具有一定的模糊弹性；广义hough变换则是一种全局的特征——轮廓梯度，但也可以看做整个轮廓的每一个点的位置和梯度都是特征，每个点都对识别有贡献，用直观的投票，看票数多少去确定是否识别出物体。

SIFT/SURF算法的深入剖析——谈SIFT的精妙与不足

http://blog.csdn.net/cy513/archive/2009/08/05/4414352.aspx

SURF算法是SIFT算法的加速版，opencv的SURF算法在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理，其快速的基础实际上只有一个——积分图像haar求导，对于它们其他方面的不同可以参考本blog的另外一篇关于SIFT的文章。

不论科研还是应用上都希望可以和人类的视觉一样通过程序自动找出两幅图像里面相同的景物，并且建立它们之间的对应，前几年才被提出的SIFT（尺度不变特征）算法提供了一种解决方法，通过这个算法可以使得满足一定条件下两幅图像中相同景物的某些点（后面提到的关键点）可以匹配起来，为什么不是每一点都匹配呢？下面的论述将会提到。

SIFT算法实现物体识别主要有三大工序，1、提取关键点；2、对关键点附加详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。

日常的应用中，多数情况是给出一幅包含物体的参考图像，然后在另外一幅同样含有该物体的图像中实现它们的匹配。两幅图像中的物体一般只是旋转和缩放的关系，加上图像的亮度及对比度的不同，这些就是最常见的情形。基于这些条件下要实现物体之间的匹配，SIFT算法的先驱及其发明者想到只要找到多于三对物体间的匹配点就可以通过射影几何的理论建立它们的一一对应。首先在形状上物体既有旋转又有缩小放大的变化，如何找到这样的对应点呢？于是他们的想法是首先找到图像中的一些“稳定点”，这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点，正是基于这样合理的假设，SIFT算法的基础是稳定点。SIFT算法找稳定点的方法是找灰度图的局部最值，由于数字图像是离散的，想求导和求最值这些操作都是使用滤波器，而滤波器是有尺寸大小的，使用同一尺寸的滤波器对两幅包含有不同尺寸的同一物体的图像求局部最值将有可能出现一方求得最值而另一方却没有的情况，但是容易知道假如物体的尺寸都一致的话它们的局部最值将会相同。SIFT的精妙之处在于采用图像金字塔的方法解决这一问题，我们可以把两幅图像想象成是连续的，分别以它们作为底面作四棱锥，就像金字塔，那么每一个截面与原图像相似，那么两个金字塔中必然会有包含大小一致的物体的无穷个截面，但应用只能是离散的，所以我们只能构造有限层，层数越多当然越好，但处理时间会相应增加，层数太少不行，因为向下采样的截面中可能找不到尺寸大小一致的两个物体的图像。有了图像金字塔就可以对每一层求出局部最值，但是这样的稳定点数目将会十分可观，所以需要使用某种方法抑制去除一部分点，但又使得同一尺度下的稳定点得以保存。有了稳定点之后如何去让程序明白它们之间是物体的同一位置？研究者想到以该点为中心挖出一小块区域，然后找出区域内的某些特征，让这些特征附件在稳定点上，SIFT的又一个精妙之处在于稳定点附加上特征向量之后就像一个根系发达的树根一样牢牢的抓住它的“土地”，使之成为更稳固的特征点，但是问题又来了，遇到旋转的情况怎么办？发明者的解决方法是找一个“主方向”然后以它看齐，就可以知道两个物体的旋转夹角了。下面就讨论一下SIFT算法的缺陷。

SIFT/SURT采用henssian矩阵获取图像局部最值还是十分稳定的，但是在求主方向阶段太过于依赖局部区域像素的梯度方向，有可能使得找到的主方向不准确，后面的特征向量提取以及匹配都严重依赖于主方向，即使不大偏差角度也可以造成后面特征匹配的放大误差，从而匹配不成功；另外图像金字塔的层取得不足够紧密也会使得尺度有误差，后面的特征向量提取同样依赖相应的尺度，发明者在这个问题上的折中解决方法是取适量的层然后进行插值。SIFT是一种只利用到灰度性质的算法，忽略了色彩信息，后面又出现了几种据说比SIFT更稳定的描述器其中一些利用到了色彩信息，让我们拭目以待。

最后要提一下，我们知道同样的景物在不同的照片中可能出现不同的形状、大小、角度、亮度，甚至扭曲；计算机视觉的知识表明通过光学镜头获取的图像，对于平面形状的两个物体它们之间可以建立射影对应，对于像人脸这种曲面物体在不同角度距离不同相机参数下获取的两幅图像，它们之间不是一个线性对应关系，就是说我们即使获得两张图像中的脸上若干匹配好的点对，还是无法从中推导出其他点的对应。

以一般化视角串联霍夫变换(hough transform)，从直线到圆再到广义霍夫变换

http://blog.csdn.net/cy513/archive/2009/06/15/4269340.aspx

计算机视觉中经常需要识别或者定位某些几何图形，比如直线、圆、椭圆，还有其他一些图形。检测直线的霍夫变换提供了在图像中寻找直线的一种算法，是最简单的一种情形，后来发展到检测圆、椭圆、还有一般图形的霍夫变换，其核心思想是把图像中属于某种图形的点集（二维）映射到一个点（可以是高维）上，这个点记录了点集中点的数目，使得程序通过搜索峰值找到该点，这个点就是后面要说到的图形的参数，而该参数的范围就叫做参数空间。霍夫变换不仅能够识别出图像中有无需要检测的图形，而且能够定位到该图像（包括位置、角度等），这就非常有用了。接下来将通过分析从简单到复杂的霍夫变换，导出霍夫变换的实质。

直线：检测直线的霍夫变换使用含极坐标参数的直线表示型式简称极坐标式（不是极坐标方程，因为还是在笛卡尔坐标下表示）——

其中的两个参数的意义如下图：

为什么要用极坐标式而不直接用一般形式：ax+by=c（归一化可以去掉参数c），或者其他的如斜截式、截距式呢？首先它们都会遇到奇异情况，比如c=0，斜率=无穷大，其中一个截距=0；再一个是某些形式的参数空间不是闭的，比如斜截式的斜率k，取值范围从0到无穷大，给量化搜索带来了困难。而极坐标式就妙在距离和角度两个参数都是有界的，而且正余弦函数也有界不会发生奇异情况。

直线霍夫变换有两个参数，且这两个参数通过极坐标式相关联，所以程序在投票阶段（图形点集转换到一个点）只需要遍历其中一个，搜索峰值在二维参数空间进行。

圆：霍夫变换检测圆使用圆的标准式就可以了——

我们发现圆的方程又比直线多了一个参数，这三个参数通过上面的方程相关联，因此在投票阶段需要遍历其中两个，搜索峰值在三维参数空间进行。如果图像比较大，那么这样的遍历搜索是相当耗时的，所以为了满足实时性后来又发展出其他检测圆的霍夫变换，比如概率霍夫变换，结合梯度信息的霍夫变换。

霍夫变换检测椭圆如果使用椭圆的标准式，那么将会有五个参数，它们通过标准式相关，检测圆就已经相当耗时了，如果再用这中方程形式处理势必失去实际用途。

Ballard (1981) 一般化了霍夫变换(Hough，1962)，利用图形梯度量加快算法速度，形成了广义霍夫变换。

透过前面的检测直线、圆、广义霍夫变换，已经可以提取出霍夫变换的一个本质——给出图形的一个描述模式，比如图形点集的方程、函数、表格等，然后利用这个模式加上遍历参数空间，把属于该模式的图形点集投射到参数空间的一个点（实际的离散情况一般不会完美的集中到一点），这个点记录的是图形点数目。

广义霍夫变换之所以能处理任意形状的图形并不是找到了可以表示任意图形的方程（这是不可能的），而是使用表的形式描述一种图形，把图形边缘点坐标保存在一张表中，那么该图形就确定下来了，所以其实无论是直线（其实是线段）、圆、椭圆还是其他形状的几何图形，都可以使用同一方法处理，所不同的是这时候的图形是自定义的，是实在的，而代数方程表示的模式是连续的、抽象的，圆的方程只有一种，但自定义的圆却是无穷的，只要你认为它足够圆了就可以。当然两种表示都会有各自的优势和局限。有了表之后就需要找到一种可以把图形点集投射到参数空间的一点的转换算法，例如直线和圆霍夫变换通过方程（函数）及遍历把点集进行投射，使得属于某直线或圆的点集中到一个点；那么仅有一张描述图形边缘坐标点的表如何进行投射呢？我们可以把这张表看作是模板，进行模板匹配，大部分的点匹配成功也就可以理解为这些点都投射到一个点上，不过这时候不需要再搜索参数空间峰值了，这种模式可以认为是参数间没有任何关联，所以是完全的遍历。但有旋转加上缩放的情况模板匹配型的霍夫变换是十分耗时的，也可以想象成因为参数不相关所以增加遍历搜索时间。Ballard (1981) 的广义霍夫变换最精妙之处在于为参数增加了两个关联，使得有平移和旋转（无缩放）的情况只需要遍历一个参数，三个参数分别是图形的中心坐标（横纵），旋转角度（相对参考图形），Ballard 的算法预先把参考图形边缘点对中心的径向量保存起来，利用待搜索图形边缘点的梯度方向（用相对坐标轴的角度表示）作为索引找到相应的径向量，加上该量后就完成了投射，所以要遍历的参数只有旋转角度，所以说有两个关联。当然如果加上缩放就要遍历两个参数，这也只是和霍夫检测圆的规模一样而已。这种广义霍夫变换的图形表不再是直接保存坐标，而是边缘点的梯度加上径向量，给出了这些量同样的也就能够表示出一种图形了。然而这种广义霍夫变换也是有缺陷的，不少后来者提出了改进方法，这不在本文讨论范围。

再来强调一次，霍夫变换就是通过图形的一种表示模式，加上一种转换方法，把图形的点集投射到一个点上以便检测。我们已经能够知道，参数个数越少，需要遍历的参数个数约少（关联越多），参数空间越小则处理速度越快。所以设计一种合理的转换方法非常关键。

对于一种图形，在现实世界中可以有多种形变，线性的如：平移、旋转、透视；非线性的如：径变、切变、扭曲。每多考虑一种形变都会增加参数，比如把椭圆看作是圆的透视形变，结果多了两个参数，理论上可以去遍历每一个参数空间，但这不能满足实时性要求，所以参数之间约束（关联）越多则处理速度越快，Ballard的广义霍夫变换就是例子，这就需要发挥主观创造力了。