AMD-赛灵思自适应计算挑战赛已圆满落幕，本届挑战赛历时半年，获得全球FPGA开发者广发关注。此次大赛要求开发者们结合自身技术能力，综合运用 AMD-赛灵思自适应计算平台与 Vivado? ML、Vitis? 统一软件平台以及Vitis AI开发环境，开发创新创意应用，解决现实问题。

　　本届挑战赛由三大主要赛道构成，每个赛道最高奖金 10,000 美元：

　　边缘计算（使用赛灵思 Kria? KV260 视觉入门套件）

　　数据中心 AI（使用赛灵思 VCK5000 AI 推断开发卡）

　　数据中心分析（使用赛灵思Varium? C1100 区块链加速器）

　　此外，大赛今年新增了两个赛道。一个是“赛灵思大学计划”，鼓励高校学子提交创新项目，积极参与工程实践；另一个是“科技女性”，旨在号召更多女性开发者领导与参与技术竞赛，最高奖金均为 2,500 美元。

　　今年的比赛有来自 35 个国家的 2000 多位个人和团队报名参赛，共提交 634 个硬件申请借用项目，其中 165 个项目经评选后成功获得硬件进行开发。

　　五个赛道总共产生 14 位获奖者，奖金总额 70,000 美元。与去年相比，入围比赛的应用数量增加了 3 倍以上。AMD-赛灵思很高兴看到比赛规模的持续扩大与参与者的技术热情，再次感谢每一位参赛者。

　　获奖作品概览：

　　边缘计算第一名

　　1. Karp - Kria 自主机器人平台

　　Jorge Lamperez

　　项目简介

　　Kria自动机器人平台 （Karp） 采用 Kria KV260 视觉 AI 入门套件构建。KV260 套件以开箱即用的方式为设计视觉应用提供可负担、易于使用的开发平台。作为 Kria K26 SOM 的开发平台，KV260专门针对高级视觉应用开发，而且不需要具备复杂的硬件设计知识。

　　该项目使用了多种不同的先进技术，如 AMD-赛灵思 FPGA、Vitis-AI 2.0、ROS 2、Odrive 电机控制器、Velodyne 激光雷达等。Karp高度可定制，方便用户在这个低成本机器人平台上开发自己的应用。

　　边缘计算第二名

　　1. PhiGent Heimdallr 双目视觉雷达方案

　　Phigent Robotics

　　该项目在 KV26 SOM 上实现了基于 CNN 的立体应用。

　　项目简介

　　深度估算是自动驾驶领域的一项关键技术。为了获取障碍物的距离信息，此项技术可以采用包括激光雷达、单目摄像头和红外线在内的各种传感器实现。作为自动驾驶的最常用传感器，摄像头能够获取更全面、丰富而又密集的信息。基于立体视觉的深度估算技术可以准确识别和定位运动与静止目标及路面对象。此外，它还能够获取随机障碍物的临界点云深度信息，从而有效降低漏检率。

　　随着卷积神经网络技术的迅猛发展以及大规模标准立体数据集的问世，基于神经网络的立体匹配算法得以快速发展，计算精度与效率均超过了传统算法。为了把这种算法应用于自动驾驶，关键是在边缘设备中部署立体匹配算法。

　　在自动驾驶领域，作为最合适的人体识别解决方案，立体视觉解决方案一直获得大量关注。它可以获取非常可靠的高精度密集深度信息。借助强大的特征提取功能，基于深度学习的端到端双目立体匹配技术能够确保那些具有弱纹理和重复纹理的对象仍然可以输出有效的高精度深度信息，从而满足智能驾驶系统在各种场景下的感测需求。此外，通过持续的数据训练，神经网络可以获得更高的准确性。这些因素使基于 CNN 的立体应用成为 ADAS/AD 的大势所趋。

　　与 GPU 平台相比，FPGA 的优势是功耗低且具有更高的效率与灵活性水平。FPGA 中的丰富接口使其能够灵活适应各种自动驾驶场景。

　　在该作品中，参赛团队针对基础数据注入演示选用了 KV260 开发板，验证在 ZU5 中部署 CNN 立体应用的可行性。在最终版本中制作了被称为 heimdallr-DEB 的 ZU5 扩展板，用于针对实时演示连接 FPGA 与立体摄像头。

　　2. 采用边缘计算的人类-AI 交互式诊断系统

　　All-Nighter Valkyrie

　　这是在 KV260 上创建的、基于深度学习的全新诊断系统，用于参照专家注释来推断准确的肿瘤分级。

　　该项目的目标是设计出原型系统，即：用于肝脏肿瘤分割、基于边缘计算设备的人类-AI 交互式诊断系统 （HIDE）。参赛者并未采用常规的云-客户端架构，而是将 HIDE 的主要工作流程集成到单个现场可编程门阵列 （FPGA） 电路板，即 AMD-赛灵思 Kria KV260 视觉 AI 入门套件，该套件旨在实现交互式数据与注释导入、数据存储、AI 推断和输出图像可视化等功能。为了解原型系统的其他优势，参赛者进一步估算了模型的性能与功耗。

　　KV260 与 Vitis AI 平台可以为交互式诊断系统主动解决实际难题提供快速解决方案。根据该项目团队的的开发经验，最大的优势是 AI 工程师/科学家无需具备过多有关 FPGA 计算的知识就能够将基于 GPU 的深度学习解决方案并行转换到 KV260。参赛者认为KV260 具有低时延、高吞吐量、低能耗等优势，有很大潜力成为轻量级 AI 应用产前的知名业务预备平台。

　　边缘计算第三名

　　1. 基于赛灵思 KV260 实现智能家用设备的手势控制

　　Peter Quinn

　　编译运行在赛灵思 Kria KV260 上的 PyTorch 预训练模型，通过 USB 摄像头进行手势识别来控制FireTV 手柄。

　　当今的家庭拥有日益增多的大量智能设备，而智能家庭监控摄像头日益普及，但是它们生成的视频大部分未得到利用，只不过是偶然查看而已。如果对已经生成的此类数据进行处理并且把它用于控制 IoT 设备会怎么样？幸运的是，利用功能强大的最新边缘计算设备，如赛灵思 Kria KV260，此类应用的可行性在日益提高。

　　在本项目中，参赛者展示了如何采用赛灵思 KV260 处理输入视频，以实现对手势的实时检测与分类，同时展示了如何采用相关预测结果控制智能家居设备。

　　2. 基于视觉演示学习的自动驾驶小车

　　Chuanhong Guo and Wang Yankui

　　由 KV260 和车前安装的 USB 摄像头驱动的模型车。

　　项目简介

　　很多情况下我们只希望汽车仅完成新场景中的某些特定任务。在传统的自动驾驶任务中，通常需要由激光雷达、摄像头和其他设备协调新的行走或巡游任务。此类解决方案需要针对每个新的环境对参数进行调节，而且灵活性不足。

　　3. Kria 智能监控摄像头

　　Ralph Yamamoto

　　根据飞行时间传感器测量的距离切换 AI 检测模型的智能摄像头。

　　从本项目开始到结束，作者在努力尝试确定哪个设计流程能够最完美地实现他的设计目标。最终挑选出三个流程 – PetaLinux、Ubuntu 或者 Ubuntu/PYNQ。所有这些流程都采用了 AMD-赛灵思的Vitis-AI 和 DPU。

　　为了使车辆快速适应新的场景，项目作者从演示学习中获得了灵感，并利用灵活、易于收集的视觉数据与神经网络执行模仿学习。通过这种方法，我们只需要手动驾驶车辆来收集图像数据与驾驶参数，用作创建数据集和训练网络模型的标签。在应用中，车辆可以读取摄像头数据，然后通过模型输出转向角度，完成相关任务。

　　数据中心 AI

　　1. 用于8 个临床检验室的即时医疗图像分析助手

　　NYCity

　　项目简介

　　在这个类别里，开发者们希望 VCK5000 与 Vitis AI 实现最完美的搭配使用，为 AI 推断加速。VCK5000 开发卡专门针对需要高吞吐量 AI 推断和信号处理计算性能的设计。

　　为了准确检测息肉并减轻医生的负担，开发团队使用 VCK5000 开发板来创建实时息肉检测系统。该系统最多可实时并行批量处理 8 个息肉分割任务，同时不劣化多个任务的推断速度。

　　来自每台单独仪器的影像通过网络传送给服务器，随后，服务器使用 VCK5000 内置的 DPU 检测息肉，最后将分割结果回传给原始仪器。

　　依托此类结果，医生便能够更清楚地向患者阐述他们的疾病。而且已标记息肉的手术视频能够为学术讨论提供宝贵信息。该团队希望这一创意和设计能够为医疗行业带来贡献，同时也希望能够帮助医生拯救更多生命。

　　2. 绿色计算：基于Versal 的图像修复流水线

　　Stefan Blattmann

　　展示基于超越业界一流计算系统性能的 VCK5000 的低功耗图像修复流水线。

　　项目简介

　　1. 背景

　　该项目作者具有移动测绘经历，因而决定创建一个能够改进汽车与无人机等移动测绘系统的图像质量的图像修复流水线。移动测绘系统通常用于获取道路、城市与基础设施的 3D 数据。大多数移动系统通常都采用摄像头与激光扫描仪来获取 3D 数据。由于测绘系统只从一个场景获取一副图像，因此图像质量至关重要，所以该项目要创建一个能够改进图像质量的处理流水线。并且由于移动测绘的要求非常特殊，因此也需要创建一个适应移动测绘难题的更常用解决方案。

　　移动测绘应用的另一个要求是能源效率。大多数系统的能源都有限，尤其是无人机。参赛者决定密切关注系统的能耗。项目作者认为这一点不单单是对移动测绘应用至关重要，因为云系统耗电量在 2030 年之前几乎会一直以指数方式增长。

　　由于 VCK5000 卡常用于数据中心应用而非移动测绘车辆，所以将该项目命名为“绿色计算：基于 Versal 的图像修复流水线”。

　　2. 简介

　　本项目推出一种基于 UNet 卷积网络的图像修复处理流水线。图像流水线是专门面向 Versal VCK5000 卡进行设计的，同时采用中等规模 SIDD 数据集进行训练。整个处理流水线进行优化处理，以期在每秒帧数 （FPS） 性能方面实现高效运行，同时达到基于 GPU 的推断的准确性。除了流水线开发，另外还对 Versal 与 GPU 系统的功耗进行了详细研究。该项目的研究重点涵盖三项不同的要求：

　　· 图像修复流水线的能耗

　　· 能够在特定模型精度每秒处理特定帧数

　　· 可靠推断时间与可扩展性

　　对图像修复处理进行训练，以消除图像噪声。图像流水线针对智能手机摄像头图像进行优化。可行应用可能是基于云的图像增强服务。

　　本项目开发的 VCK5000 图像修复流水线在性能 （FPS） 和功耗方面超越最先进的 GPU。除了性能分析，详细分析展示出不同训练与量化步骤如何影响卷积网络的准确性。相关分析并不局限于特定模型或网络，针对定制应用可以轻松调整所需的步骤。由 Versal VCK5000 处理的最终网络进入 paperswithcode 网站 15 强“SIDD 图像降噪”网络榜单（2022 年 3 月 30 日）。

　　在网络优化之后对 Versal 系统进行了详细功率分析。Versal 系统功耗与基于GPU 的推断相当。本项工作的核心是运行时间功耗与推断性能。训练与预处理的分析主要取决于训练数据集的规模（参赛者观点），其不在本项目范围内。有关代码结构的灵感来自AMD-赛灵思 Vitis-AI 教程。所需步骤全部都分配到不同的 Python 或 Shell 脚本。run_all.sh 脚本处理实现整个处理流水线的所有步骤。

　　3. 基于 VCK5000 的 Deepfakes C-L-I

　　TheMatrix

　　采用 CautionVCK5000 AI 推断卡加速 Deepfake C-L-I（分类-本地化-推断）。

　　项目简介

　　更好地生成模型和更大的数据集已经催生出能够骗过人眼与机器的更真实虚假视频。如今假新闻的危害已经众所周知，而在通过社交网络每天视频内容观看时长超过 1 亿小时的大背景下，伪造视频的传播正在引起越来越多的关注。

　　由于技术快速增长和计算速度提升，深度伪造视频在将来会随处可见并且可以到处直播，例如：通过直播新闻频道以及 Youtube、Twitch、Instagram 等视频流网站进行传播。

　　有效检测是阻止深度伪造视频的恶意传播与滥用的关键。需要在恶意深度伪造视频扩散失控之前对其进行速度更快的解码。

　　本项目的目标是采用赛灵思 VCK5000 AI Versal 卡增强深度伪造推断。

　　大数据分析

　　1. TRIDENT：硬件实现的 Poseidon哈希算法

　　DatenLord

　　在 FPGA 中实现了用于提高区块链证明存储性能的 ZK-SNARK 友好Poseidon 哈希算法。

　　2. 向多重哈希算法的快速 DFX

　　Quarky

　　通过具备快速动态函数交换功能的时间分割方法高效计算多重哈希算法。

　　3. 分散管理的云加速器

　　EdOliver, Victor Altamirano, Alejandro Sanchez

　　采用赛灵思 Varium C1100 在 Flux 上加快区块链传输系统。

　　科技女性（WIT）

　　1. 用于自动注射的肌内部位检测

　　Team J-Eye: Runxi Wang, Yuqi Gu, Xinfei Guo

　　本项目探索一种用于检测肌内注射部位的低成本解决方案，以实现新一代自动疫苗注射。

　　项目简介

　　COVID-19 疫情仍然在全球肆虐。它影响到人类生活的众多方面，而且给公共健康、全球运输系统以及众多领域带来了前所未有的挑战。大多数政府都实施了封锁政策并且限制国际旅行，以缓解病毒传播。尽管还不存在能够抗击病毒的灵丹妙药，不过接种疫苗目前仍然是降低病毒的死亡率与发病率的最有效方法之一。

　　但是，全球疫苗接种率仍然较低，尤其是在低收入国家，因为其医疗资源与资金有限。提供低成本疫苗接种解决方案迫切而又极具挑战。疫苗开发本身就成本高昂，而且另一个昂贵的成分是疫苗接种本身，其需要各类附加资源。此外，传统疫苗接种可能会增加病毒传播的风险，而且毋庸置疑也会增加医护人员的工作量。

　　总而言之，当前临床需求表明，在持续疫情仍不断带来威胁而且全球社会实施前所未有的措施（包括社交疏离与封锁）的时期迫切需要安全、充足的疫苗覆盖。

　　“在这个项目中，我们提出了J-Eye，一种基于Xilinx KV260板的低成本2D视觉-人工智能辅助肌肉注射部位检测方案。最终目标是推动开发新一代自动疫苗注射应用。

　　在这里，我们的目标是利用Xilinx提供的强大工具套件，在KV260上构建一个低成本的注射部位检测应用程序。我们还旨在探索使用轻量级AI模型的2D目标检测/定位技术的能力，该模型可以在FPGA板上轻松实现。” —— Team J-Eye

　　赛灵思大学计划 （XUP）

　　1. 面向智慧城市的一体化自适应计算平台

　　Yufan Lu

　　可以根据模型规模、处理分支、推断间隔和硬件配置实时动态调整性能。

　　项目简介

　　在本次项目中，作者基于 KV260 SoM 设计出了灵活的视频处理框架，其可以用于智慧城市智能交通运输系统 （ITS） 所使用的智能摄像头应用。该框架不但能够利用语义分割与道路标线检测网络自动检测应用场景（如：车辆或行人），而且还可以自动针对相关应用场景自动选择最佳 DNN 模型。得益于具有动态可重新配置功能与运行时间管理 API，该系统在运行时间无需停止视频流水线即可动态切换 DNN 推断模型。因此此款智能摄像头系统最终拥有真正的自适应性，而且能够以更聪慧的方式达到最高性能。