我总结了几个可以买的到的传感器，而且也给出了几个传感器的选择标准。 1.高帧率，120Hz是标配 2.体积小巧，满足狭窄环境安装 3.功耗低，满足边缘计算的能力 4.近红外波段敏感，因为要对这个波段进行感光 5.黑白的就行，彩色没有这个必要 我说下为什么用黑白的： 第一，同样大小的像元，黑白传感器可以用较小的曝光时间获取理想的图像，这样可以减弱抖动以及飞行运动造成的影响（实际上NAV相机就是采用控制曝光时间来减弱运动模糊的，这个是VIO）； 第二，同样的像素个数，黑白传感器可以比彩色传感器获得更高的空间分辨率，彩色传感器因为颜色插值的原因会使分辨率降低大约30%左右。当然还有别的原因，如黑白图像数据量小，处理起来运算量小，实时性高等。 我推荐的是OVM6211，OVM7251，实验可以使用OV7251. 因为最容易买到的就是OV7251，所以接下来就重点说这个。 首先要知道这个CMOS的像素是30W。

　　来自豪威科技的OV7251-2B全局快门图像传感器是一款3.0微米的传感器，采用1/7.5英寸光学格式，120fps提供640×480分辨率，并具有单通道MIPI串行输出接口。这个也就是我选择的一个原因。 这款产品同时能够以180 fps提供具有BIN模式的QVGA（320×240），以及以360fps提供具有BIN和SKIP模式的QQQVGA（160×120）。 传感器可提供99.96％的快门效率，并具有光导功能，可改善光捕获的角度响应，从而实现更优秀的光学性能。 利用业界最小的全局快门像素，黑白 OV7251 能够以每秒 120 帧 （fps） 的速度捕获 VGA （640×480） 分辨率视频，以 180 fps 的速度捕获 QVGA （320×240） 视频，以及 QQVGA （160 ×120） 以 360 fps 进行合并和跳跃。OV7251 的高帧率使其成为低延迟机器视觉应用的理想解决方案。 对，这个全局快门我也要写一下：

　　可以看到这个全局快门在拍运动的物体的时候是很有效的

　　这个是OV6211

　　这个是OVM7251

　　OVM7251表面图

　　OVM7251有两个版本：

　　用于AR/VR眼动追踪的850nm模型；支持面部认证中的机器视觉与3D感知的940nm模型。将OVM7251用于支持AR/VR头显实现眼动追踪，设计者可以编程系统集成渲染注视点位置，并降低周围图像的分辨率，从而进一步节省功耗。

　　另外在Pico 3NEO版本的环境摄像头也是使用的这个模组，就是透视模式使用的摄像头，大家有机器的可以体验一下。

　　卷帘快门传感器的设计是为了捕捉静态图像和视频拍摄，因此拥有非常高的分辨率和颜色处理能力。但其缺点在于，它是逐行拍摄图像，拍摄和曝光时间过长，如果拍摄对象是汽车这样的快速移动物体，图像可能发生扭曲，而且功耗过高，不适合用于计算机视觉。

　　而全局快门的原理则完全不同，它是一次拍摄整幅图像，所有像素同时曝光。而且成像效果准确，曝光时间短，功耗也低，未来计算机视觉将走向全局快门。

　　卷帘快门像素点常见的在1.1微米以下，而全局快门通常在2.2微米以上。

　　这个OV6211其实是专门设计给眼动追踪的传感器

　　这个是它的一个帧率参数

　　1/7.5英寸的OV7251具有多种低功耗模式，包括光感应模式和超低功耗待机模式。在光感测模式下，OV7251 的行为类似于环境光传感器 （ALS），仅当检测到光变化时才将传感器从“睡眠模式”唤醒。同样，在超低功耗模式下，传感器可以降低分辨率和帧率以进一步降低功耗。 让我来总结一下：

　　这个传感器的输出频率是这样的

　　我不是很明白，是不是以为数据输出的带宽的原因，不过是可以按照一种固定的模式把感兴趣的图像来输出的。

　　这种提高帧率的方法叫：开窗方法其中最主要的当属ROI模式（Region of interest），ROI是在成像应用中，在相机传感器分辨范围内定义一个或多个感兴趣的窗口区域，仅对这些窗口内的图像信息进行读出，只获取该局部区域的图像。设定较小的ROI区域可以减少相机传送及计算机需要处理的图像信息量，并提高相机的采集帧率。

　　SKIP（Skipping mode），这种模式就是按照一定的规律，把想要的数据采集上来，把其余的数据扔掉。如下所示，column skip 2 row skip 2 留下的就是白色的像素，把黑色的像素丢掉。

　　这种模式会改变原有像元之间的相邻关系，所以对Bayer彩色的相机来说，会造成一定的颜色失真，所以它常见的应用就是预览，在工业实际中应用并不多。 第三种BIN（binning mode），就是把相邻的像素合成一个像素，然后再输出。如下所示，2 bin to 1 所有的像素都参与了新像素的生成。

　　低照度条件下，选择binning模式图像效果更佳。

　　这个是具体的OV采样模式

　　IR cut filter，即红外截止滤光片，它放在于LENS与Sensor之间。因人眼与CMOS Sensor对各波长的响应不同，人眼看不到红外光但sensor会感应，因此需要IR cut filter阻绝红外光。

　　这个是OV7251

　　6.5厘米的最小对焦距离有点不太行，太近了，这个是我找的一个模组的信息，不要较真。 输出的是MIPI的一路，要学的东西好多，头皮有点痒。

　　现在做demo也是可以的，这个距离

　　眼球追踪的几个阶段瞳孔检测算法的可视化。

　　1）眼睛图像转换为灰度、用户感兴趣区域（白色描边矩形）和初始值，瞳孔区域的估计（白色方块和虚线方块），这样的优点就是节省算力。

　　眼动追踪：梯度法精确定位眼中心（论文），也就是要看我写的这篇文章。

　　2）Canny边缘检测（绿色线）

　　3）定义“暗”区域为偏移眼睛图像直方图的最低峰值。

　　4）过滤边缘以排除光谱反射（黄色），而不是在“暗”区域（蓝色）

　　5）使用连接的组件提取边缘到轮廓，并根据曲率连续性准则（多色线）分割成子轮廓。

　　6）候选瞳孔椭圆（蓝色）通过椭圆拟合形成

　　7）通过增强组合搜索找到最终的椭圆拟合（最终椭圆与红色中心）-支持用白色绘制的边缘像素。

　　下面是插一个MIPI硬件设计时候的布线参考：

　　MIPI因为一种高速差分信号的接口，为了保证信号的同步和一致性，必须保证MIPI DP/DN保持等长，无论是线对与线对之间（pair to pair）还是单组信号的DP/DN之间，一般需要遵守的长度规则如下：camera pair to pair 100mil 单组之间：25mil。 在MIPI走线时，一般需要保持DP/DN在走线的过程中保持等距，保证一定的耦合程度，但是需要弄清楚的时，等长的优先级是高于等距的。且在走线时，线对之间要保持2W的距离。

　　注：MIPI在走线时优先级最高的是匹配等长，其余的都可以实际要求和应用进行灵活处理

　　LVDS也是我们使用CMOS的时候常见的数据输出接口：Low Voltage DifferenTIal Signal（低电压差分信号）

　　电压很低，1v左右，消耗资源少，差分信号保证抗干扰能力。 接口由1组差分clock和若干组差分信号线组成，既然有CLK，那么LVDS就是同步信号。LVDS的控制信号和数据信号复用接口，CLK是用于同步。既然是复用的，LVDS的协议中也一定有区分控制信号和数据信号的方法。 LVDS主要用于视频传输的两个领域： camera和主控——视频采集 LCD和主控——视频显示 LVDS利用差分抗干扰能力，提升clock频率从而提升贷款，传输举例也更远，LVDS的时钟频率可以非常高。

　　话说找到一个MIPI+FPGA的方案商，这个宣传图咋感觉是DJI？？？

　　OV7251是很便宜的，做demo合适

　　这个是OVM7251，做产品合适，但是贵，要100+

　　这个是深圳一家眼动的厂子的模组，我不知道放这里是不是合适

　　但是它这个分辨率和帧率真的是看着还不错，不知道是哪款芯片

　　因为我找到了OV7251的数据手册，那这里也就看一下里面写了什么：

　　这个OV7xxx，有两个模组，一个是彩色，一个就是我们的这个，灰色的。

　　850nm正好是起始的波段

　　这个就是上面我发的图下面的引脚，这个其实对我来说意义不大

　　这个是MIPI接口下的分辨率和帧率

　　MIPI的时序

　　输出的时序控制

　　这个是使用FPGA的时候数据框图

　　像素矩阵的排列

　　除了RAW，也可以输出子采样的图像

　　硬件设计的时候，注意的参数

　　这么高的帧率，我们肯定是使用FPGA来处理的：

　　分辨率：640 x 480

　　数据格式：10位灰度

　　帧率：60fps （匹配显示器刷新频率）

　　通信- 控制接口：SCCB（I2C）

　　传输接口：1通道LVDS

　　速率：600Mbps

　　我们需要通过MCLK给摄像头提供时钟，RESET是复位线，PWDN在摄像头工作时应该始终为低。PCLK是像素时钟，HREF是行参考信号，VSYNC是场同步信号。一旦给摄像头提供了时钟，并且复位摄像头，摄像头就开始工作了，通过HREF，VSYNC和PCLK同步传输数字图像信号。数据是通过D0~D7这八根数据线并行送出的。

　　CMOS图像数据采集模块，需等待I2C协议对摄像头内部寄存器进行初始化。寄存器全部配置完成后，还需等待10帧数据，此等待10帧数据的目的是等待摄像头工作状态稳定。待寄存器配置生效、摄像头工作状态稳定后再开始采集图像。

　　具体地，待等待帧数等于10时，会使能标志信号frame_val_flag，使得OV7251开始对采集的图像数据中相应范围0~76800（340×240）的8位像素点数据经拼接操作，转存到寄存器data2ram中，data2ram将输出拼接后的16位数据到SRAM模块的输入引脚dina。

　　这个就是一个简单的采集过程。

　　另外小米8也是使用了这个模组：增加了红外人脸解锁功能，还是依靠了听筒右边的补光灯和型号为OV7251 IR Sensor去实现这样一个功能，先照亮人脸，再去接收黑白的图像，然后再识别解锁。相比以往依靠前摄像头去解锁的话，小米8对于光线环境是没有要求的，这也依靠了红外线的活体检测能力，且同单纯的摄像头来对比，安全性会更高一些。

　　在这里

　　这里

　　这个传感器卖的是真的好！

　　接下来拆个Huawei P30的主传感器吧~

　　特写

　　和我手的比较

　　放大的CMOS引脚

　　换另一边

　　全挑断

　　破坏一下

　　全球第一个在华为P30传感器上面刻字的成就

更多信息可以来这里获取==>>电子技术应用-AET<<