会员注册 会员登陆
用户名
密 码
记注密码   忘记密码?
欢迎您访问激光与红外网! Welcome to LASER & INFRARED!
  明星企业
 
  支持单位
  展会专题
·光电辉映启新程!第六届世...
·LTO 20周年:产学研的“相...
·CIOP2025薄膜铌酸锂专题:...
·新天“光”耀韩国光博会!...
·重磅来袭!全数会 2025中国...
·至纯至亮的光:第二届单频...
·新发路观察+丨在长春看见更...
·克洛托光电闪耀长春国际光...
·重磅来袭!全数会 2025中国...
  业界访谈
·晶合集成获得实用新型专利...
·永不消散的光谱——缅怀中...
·张晓东:扎根一线16年,从...
·钱临照:在战火中淬炼科研...
·锐科激光牵头,超高功率工...
·多家单位半导体激光器相关...
·山大教授徐现刚带领团队研...
·吴挺竹:深耕半导体光电芯...
·在AI时代重新定义“了解自...
·英诺激光正式参评“维科杯...
·一束光:激活一个产业 照亮...
  技术动态    
光谱成像芯片2.0!清华大学电子系崔开宇课题组提出世界首款“物谱芯片”
作者:cmh        来源:中国激光杂志社网 
日期:2025-01-23    阅读次数:631
副标题:

   据中国激光杂志社网,于2025年01月07日报道,算力是智能时代最重要的基石和引擎,而视觉是人类和机器感知世界最重要的途径。“感算一体芯片”作为人工智能时代重要的基础模块,可以为手机、机器人、无人机等一系列小型化、便携化终端设备赋能感知与计算的强大能力。清华大学黄翊东教授团队崔开宇课题组提出世界首款“物谱芯片”——光谱成像芯片2.0,即物质成像光谱卷积神经网络芯片,是面向复杂视觉任务的感算一体芯片,也是首个可以用含有物质光谱信息的自然光直接作为输入的光计算芯片,突破了现有光神经网络大多都难以落地到实际应用的困境,真正实现真实世界的复杂视觉计算任务。该工作以”Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light“为题,在线发表于《自然-通讯》(Nature Communications)。

随着大数据大模型对算力需求呈现远超摩尔定律增长的趋势, 电子计算平台的能耗大且计算速度有限,严重限制了边缘设备上人工智能模型的发展。光神经网络具有计算速度快、并行性高、功耗低的明显优势,被认为是最有前途的下一代并行计算方案。然而受限于片上集成的规模问题以及对相干光源的依赖性,现有的光神经网络大多都难以落地到实际的应用场景中,只能用在图像边缘检测、手写数字识别等简单的任务上。

受生物视觉启发的卷积神经网络( Convolutional Neural Network,CNN),能够提取图像的高维特征并显著降低神经网络处理图像数据所需的参数量,在图像识别、分割、检测等机器视觉任务中得到广泛应用。崔开宇课题组提出新的感算一体式解决思路,即光谱卷积神经网络(Spectral convolutional neural network, SCNN),如图1所示,通过在图像传感器(CMOS image sensor, CIS)表面大规模集成光谱调制结构,便能够在光谱维度实现向量内积的大规模并行计算。将集成了光谱调制结构的图像传感器视为输入层及第一卷积层,结合后续的小规模电计算卷积层,便能构成一个光电混合的神经网络。

制备的基于光谱卷积神经网络的物谱芯片如图2所示,分别采用了光学超表面以及色素作为光谱调制结构,制备了两款不同的物谱芯片,验证了光谱卷积神经网络框架的可行性。其中基于超表面的芯片具有更好的光谱调制能力,并且具有偏振、相位、入射角等全光场感知的潜力,而基于色素的芯片已实现了12吋晶圆的流片量产,具有更高的集成度和更低的加工制备成本。光谱卷积神经网络方案主要有三点优势:(1)基于图像传感器实现的光计算卷积层集成度大、功耗低,且可以直接感知自然光(包含两个空间维度和一个光谱维度的宽带非相干光),不依赖于相干光源;(2)光计算卷积层为感算一体式,即图像传感器完成拍摄的同时也完成了计算,能够在算力有限的边缘设备与移动终端上完成高维光谱图像的获取与处理,实现“物质超成像”(Matter meta-imaging),摆脱GPU、不被卡脖子,让光谱成像的应用轻松下沉到终端;(3)光电混合的计算架构能够兼顾光计算高速、并行、低功耗的优势以及电计算的灵活性,充分利用图像传感器作为目前最高集成度的光电探测阵列芯片,让上百万像素、上亿像素相机的每一个像素点都可以计算!

为验证光谱卷积神经网络方案的有效性和灵活性,用同一个物谱芯片(3×3.5mm2)实现了病理诊断和人脸鉴伪两个完全不同的现实世界复杂任务,如图3所示。光谱信息可以反应物质的组成成分,且难以被伪造,利用光谱卷积神经网络感知计算得到的光谱信息,可以实现像素级的活体检测,并达到96.23%的准确率,进一步可以实现几乎100%的图像级人脸鉴伪准确率。在切片病理诊断上,不依赖于显微镜便能实现对正常甲状腺组织切片及四种病变(包括癌变)甲状腺组织切片的分辨,展现出了物谱芯片在术中病理实时诊断的应用潜力。

综上所述,物谱芯片,即物质成像光谱卷积神经网络芯片,能够直接处理自然图像,在百万至上亿像素的空间维度实现高度并行的内积运算,通过引入的连续光谱维度感知自然图像中包含的物质信息,即动态识别物质的组成成分并映射到特征空间中,实现全新“物质成像”的感算一体边缘计算(In-sensor Edge Computing),为机器视觉、边缘计算终端设备赋能物质成像的全新功能,从而开启一个超越人眼的物质元成像(Matter Meta-Imaging, MMI)神经网络芯片的新范式。

2025年1月2日,相关成果以“非相干光感算一体的光谱卷积神经网络芯片”(Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light) 为题,在线发表于《自然-通讯》(Nature Communications)。清华大学微纳光电子学实验室与王生进、李亚利团队联合培养博士生饶世杰为论文共同第一作者,崔开宇副教授和黄翊东教授为论文通讯作者。该工作得到了包括国家重点研发计划、国家自然科学基金、北京量子信息前沿科学中心、北京量子信息科学研究院的支持。


    
发表评论  
姓名: 匿名
主题:
请点击查看全部评论!  注册新用户
  产经透视
 
·飓芯科技获3亿元B轮融资 加速大功率蓝绿光激光...
·21发21中,中国电科面向国际客户展出“天穹”...
·首次发布!中国电科三大产品品牌引领低空经济...
·107亿→272亿背后,超快激光的三大技术裂变
 
  产业资讯
 
·中国电科面向国际客户展示“天穹”激光武器战...
·红外热成像行业产业链图谱、技术演进与市场格...
·2025年中国红外探测器行业发展现状分析及趋势...
·超强激光脉冲实现单次全结构测量
 
   
  技术动态
 
·颠覆性升级!挪威科技大学重塑激光技术未来
·颠覆性升级!挪威科技大学重塑激光技术未来
·武汉理工大学:“掺杂+退火”突破超低吸收光学...
·超轻柔性热防护材料开发获新进展
 
  技术专题
 
·“乐高式”标准化量子点片上光源及放大器问世...
·“乐高式”标准化量子点片上光源及放大器问世...
·香港城市大学王骋:低功耗薄膜铌酸锂电光频率...
·合成时域晶格捕捉量子“穿墙术”
 
 
首页 激光与红外杂志 产业报道 光电技术 企业展台 产品展示 供求市场 展会专题 最新公告 关于我们
您是 位访问者
版权所有:激光与红外杂志 京ICP备05019986号 Copyright©2004 www.laser-infrared.com All Rights Reserved
Process: 0.050s ( Load:0.003s Init:0.002s Exec:0.035s Template:0.010s ) | DB :12 queries 0 writes | UseMem:1,718 kb