滚动:南大团队开发高清视频全彩成像系统为暗光增强成像带来新突破

中国航空报讯:“我们是夜鹰,我们打破黑暗,还原世界原本的色彩,让人们在黑夜中像白天一样地生产生活。”这是一个成员皆由“00后”学子组成的团队,想借助“夜鹰”系统达到的目标。


(资料图)

“夜鹰”,是一套支持极低照度环境下高清视频全彩成像的夜视系统,通过小型暗室摄影棚构建低照度环境,来实现全彩夜视成像能力的展示。其开发团队,是在南京大学电子科学与工程学院彭成磊老师指导下,由该学院三名2019级本科生组成的。

他们基于深度学习算法,实现了在星光级1mLux极弱光环境照度下的无补光嵌入式高清视频全彩成像系统。该系统能以较低的成本部署到各种应用场景,并支持80个类别以上的目标识别功能,可广泛应用于城市安防监控、交通违规监测、保护动物追寻、石窟壁画保护等领域。

暗光增强成像领域已有几十年的研究历史,也拥有激光夜视、热成像等技术。不过,这些技术都存在着诸多缺点,包括噪点多、颜色细节缺失、需要辅助光源以及目标识别难等。最重要的是,其最低极限照度始终保持在较高水平且难以下降。

在全彩夜视成为刚需的当下,先对硬件进行优化、再结合传统算法的方案已经走到极限,需要开发更好的技术,来满足不同应用场景对暗光成像的需求。

基于此,多年来专攻嵌入式智能系统和多光谱成像领域的彭成磊,带领蔡立本华、陈威宇和赵雨飞三位成员,组建嵌入式暗光增强全彩成像小组,完成了“夜鹰”系统的开发。

其中,队长蔡立本华主要负责模型算法的设计训练,赵雨飞主要负责模型部署和交互页面设计,陈威宇主要负责硬件系统设计选型以及软件框架搭建。该成果于近日在第五届中国国际进口博览会上英特尔展台上展示。

“夜鹰”系统可以把普通CMOS(Complementary   Metal   Oxide   Semiconductor,互补金属氧化物半导体)相机采集的极低信噪比的原始图像,通过自主设计的神经网络模型进行颜色恢复、噪声去除、亮度提升,并将增强后的成像结果显示到人机交互界面上。

其所达到的这种高清视频全彩成像效果,与此前相关工作实现的效果并不相同。“夜鹰”支持540p分辨率下每秒24帧的清晰稳定视频全彩成像显示。赵雨飞解释说:“该系统主要强调分辨率和全彩效果,并在此基础上保证帧率的流畅性。”

此外,为了提升用户易用性,该团队还扩展开发了更多交互功能。通过“夜鹰”系统的界面,使用者不仅可以查看采集到的原始图像、经处理恢复后的高清图像、视频实时帧率以及图像颜色直方图等信息,还能执行图像存储、参数调节、画面缩放等操作。另据悉,目前彭成磊实验室正在进一步推进全新支持1080p高清格式的“夜鹰”升级版本。

2022年9月,研究人员凭借“夜鹰-暗光增强全彩成像”这一成果,在全球25个国家和地区的参赛队伍中胜出,获得了2022年度英特尔人工智能全球影响力嘉年华18岁以上组全球总冠军。

赵雨飞表示:“在开发‘夜鹰’的过程中,我们使用了英特尔OpenVINO工具套件,搭载了至强处理器的训练服务器,以及搭载了i5处理器的边缘计算主机。”

据悉,该赛事是为建设全球数字化能力而搭建的一个在线全球展会,旨在与全球政府、学术界及社区开展合作,和下一代技术人员和未来开发者共同普及人工智能,并表彰相关的创新成果。

关键词: 成像系统 高清视频

来源:中国航空报
编辑:GY653

免责声明:本网站内容主要来自原创、合作媒体供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

  • 相关推荐

相关词