首页> 热点 > 详情

这家法国公司要给手机装上不一样的“眼睛”_世界播报

2023-04-07 10:25:22来源:界面新闻

人类大脑中有约1000亿个神经元,它们相互连接构成了一个网络,其中的连接部分被称为突触,而这些多达约10亿的突触,其视觉机制的运行只需要不到1个灯泡的能量就能驱动。

如今,这一生理机制有望作用于手机摄像中,被称为“基于事件的视觉传感器(EVS)”,法国公司Prophesee近期宣布与高通合作,将EVS技术应用于手机中,目标是明年结束之前会有首款搭载EVS技术的手机问世。

EVS的技术起源于视觉神经的信号模拟,是模仿眼睛的感光机制而建立的传感器技术:人眼感受到光线后,视网膜上的受体细胞就会将光信号转换成神经信息,后段的神经细胞再分别挑选出亮部和暗部,经由神经节细胞,将信息传递到大脑的视觉皮层。


(相关资料图)

EVS则如同人类视觉神经,射入传感器的光线会转换成电气信号。电气信号通过放大器,由比较器根据亮度变化进行分离,形成变亮信号和变暗信号,然后再通过后段的信号处理,以EVS图像数据的形式输出。因此,EVS是一种只对亮度变化敏感并输出图像的视觉传感器。

这一方式与目前手机上所用的CMOS传感器截然不同:CMOS会将捕捉到的所有图像信息全部输出,而EVS只输出有变化的像素部分,因此可削减数据量,同时实现高速且高效的传感。

另一方面,CMOS传感器以“帧”为单位,基于固定速度,以一定时间为周期(如每秒60次)来记录图像。与其相比,EVS有非常高的时间分辨率,据称等效于每秒能记录10000张影像,做到只捕捉运动物品的轨道部分,可以理解为几乎记录到物品的全部运动过程。

传统手机相机与Prophesee技术加持后的拍摄对比。

这意味着EVS在拍摄移动对象时十分有利,而智能手机厂商也希望自家摄像头拥有这类特点。目前,使用CMOS传感器的手机在拍摄高速运动物体时通常存在着所谓的“运动模糊”(motion blur),即照片中拍摄快速移动的物体存在明显痕迹。搭载了EVS传感器的摄像头就可以消除这种模糊,Prophesee和高通就期望在手机中做到这一点。

Prophesee主要研究模拟人眼视觉的“神经形态视觉技术(neuralmorphic vision technology)”,直到最近几年这种技术才逐渐成熟。目前,Prophesee已经获得超过1.2亿美元的融资,投资方包括中国创新工场、小米和韦豪创芯等,目前在法国、美国、中国和日本都设有办公室,拥有超过110人团队。

“其实我们没有创造一项新的技术,只是把自然界中存在了多年的原理,将之以最合适的、最正确的方式应用到产品和技术当中。”Prophesee联合创始人兼首席执行官Luca Verre告诉界面新闻,“在手机端,目前的应用是将Prophesee的EVS传感器与传统上以帧为单位的图像传感器进行结合,从而提高手机摄影照片的质量。”

Luca Verre提到,通过同步EVS传感器和传统传感器的数据,手机摄影可以实现高性能的图像去模糊。系统能够将EVS以微秒为单位记录的事件填充到两帧图像的间隙,通过算法提取纯动态信息,从而修复运动模糊。

与高通的合作也将为EVS进入手机市场降低难度,EVS传感器以及Prophesee的模糊消除算法可以与高通的骁龙手机平台整合。

对于手机OEM厂商而言,引入EVS传感器意味着手机将多一颗摄像头,最终手机上市需要1年的周期。

传感器的生产是在索尼帮助下完成的,生产出的EVS传感器成品提供给客户,目前在索尼半导体部门的官网上,已经有两款EVS传感器对外提供。根据Prophesee介绍,借助索尼生产图形传感器的经验,使得EVS传感器得以大规模量产,实现优秀的拍摄性能并降低成本。

“在成本方面,EVS和传统的以帧为基础的传感器没有太大的区别,不管是从尺寸上来看,还是从产量上来看,因为我们使用的都是一样的生产工艺,所以最终成本逻辑也是一样的,生产的晶圆片量越大成本越往下压,芯片的大小也会影响芯片的成本。”Luca Verr说,目前EVS方案主要面向高端手机产品。

实际上,在拍摄中消除运动模糊,通过多帧图像算法合成,以及引入AI进行图像去模糊的方案已经存在应用,在手机中引入基于EVS传感器的一颗新“眼睛”将是一场冒险,涉及到成本、软件开发等难题。Luca Verre认为,跟传统的解决方案相比,EVS只关注画面中动态变化的信息,可以大大降低数据量,省电并且实现非常高速的物体追踪,除了给照片降低模糊的功能外,未来还可以有很多新应用方向可以挖掘。

在与手机OEM的合作上,Prophesee副总裁兼大中华区总经理杨雪飞提到,Prophesee正全面与中国各知名手机OEM厂商展开合作,考虑此前小米参与了Prophesee的融资,预计EVS未来将在小米手机上登场会是大概率事件。

手机外,Prophesee还努力将EVS推向更多市场,其中一个领域是工业机械领域,EVS可以用来监控、检查和测量以极高速度移动的设备或产品。此前传统产业用相机难以对高速运动物品发挥作用,而使用EVS则有望满足需求。

此外,EVS具有广阔的动态范围特性,即使同一个画面中同时存在昏暗环境和日照强烈的明亮环境,也能清晰拍摄人的活动;同时EVS在拍摄人的活动时,不会呈现面容等细节,只输出人的轮廓,因此有望作为保护隐私的安防摄像头发挥作用。

标签:

上一篇:保用工促发展!湖北"点对点"解决用工10万余人-微动态
下一篇:幸运当上皇帝,却是傀儡任人摆布,反抗夺回皇权,还是一无所有!