顶刊生物 顶刊详情

上海大学董清晨教授、廉鸿团队和香港理工大学黄维扬教授团队AM:受仿生学启发的多色神经形态视觉系统用于微型昆虫机器人

天玑智研20
机器学习随机森林神经形态计算类脑计算突触可塑性仿生视觉宽光谱感知近红外感知多光谱成像忆阻器阵列有机光突触本体异质结CuSCN界面层有机电子器件神经接口生物电子融合昆虫机器人运动控制图像识别



研究背景

受视觉神经感知与动作机制启发的电子技术开发已逐渐成为提升人机交互界面性能和智能机器人能力的关键。在此背景下,亟需一种集成类脑环境信息编码、突触信号处理与运动控制的系统。基于此,上海大学董清晨教授联合香港理工大学黄维扬教授团队在国际著名期刊Advanced Materials 上发表了题为A Polychromatic Neuromorphic Visual System Inspired by Biomimetics for Miniature Insect Robots的Frontispiece封面文章。该工作聚焦于构建具备多色视觉感知与类脑信息处理能力的神经形态视觉系统,并成功将其集成至微型昆虫机器人平台中,模拟了生物体在复杂环境下的感知决策运动行为,为下一代低功耗、可嵌入式智能感知系统的发展提供了新的解决思路。



文章简介

昆虫机器人融合了机械机器人高效率、多功能的优势与生物体优异的环境适应性,因而在复杂、危险或狭小空间中的环境监测、灾后救援等任务中展现出巨大的应用潜力。然而,大多数昆虫所依赖的复眼结构存在分辨率低、色彩感知范围窄、聚焦与夜视能力差等天然限制,使其在面对复杂视觉环境时难以实现精确的目标识别和动态响应。与此同时,传统的人工视觉系统通常由图像传感器、存储器和处理器等多个独立模块组成,结构庞大、计算负载重、能耗高,不适用于对体积和功耗高度敏感的微型昆虫平台。当前仍缺乏一种能够实现高效图像感知、神经信息处理与行为输出调控的视觉系统,用于驱动昆虫机器人完成环境适应性行为响应。考虑到昆虫大脑的神经结构较为简单且信息处理效率高,其或许更适合作为类脑神经计算系统的研究模型。因此,构建一种受仿生视觉启发、兼具多光谱感知与神经可塑性调控能力的神经形态视觉系统,有望实现对昆虫运动行为的精细控制,推动生物-电子融合系统的发展,并为智能控制、类脑计算与神经接口研究提供新的技术基础。

受多色视觉系统的启发(图1),团队中首次引入了有机本体异质结光突触器件(BHJ-OPS)以仿生人类视觉神经系统的功能。该BHJ-OPS器件采用两端式结构,其中引入CuSCN与PFN-Br界面层以增强光响应并保持突触特性。该器件可在365–1060 nm宽光谱范围内响应光刺激,成功模拟多种突触行为,如兴奋性突触后电流(EPSC)、短期增强(PPF)、短期记忆(STP)到长期记忆(LTP)的转变,并支持多位存储功能,如图2所示,不同波长(380–808 nm)的光脉冲触发不同程度的突触响应,光强、脉冲宽度和刺激次数均可调控权重变化。器件表现出典型的类脑突触塑性特征,在类脑视觉处理中具有广泛的应用潜力。特别地,该器件在近红外(NIR)感知方面表现出卓越性能,其单次突触事件的光学能耗低至0.2飞焦耳,是目前已报道的NIR光刺激下的最低能耗值。

3系统比较了不同界面层(PEDOT:PSS、CuSCNMoO₃)对BHJ-OPS突触性能的影响。AFM图表明PEDOT:PSS与CuSCN可有效降低ITO表面粗糙度,减少载流子淬灭,而MoO₃因粗糙度大导致缺陷增多,抑制光响应。EIS测试表明,CuSCN器件具备最高界面电阻和最长载流子传输时间,利于载流子捕获与突触电流增强。C–V及Mott–Schottky测试分析表明CuSCN器件拥有最高陷阱态密度和最大界面势垒,有助于增强光生电荷的俘获与存储,提升EPSC值。通过能带结构分析进一步发现CuSCN产生较大的电子阻挡势垒,从而增强电子积累与释放,显著提高突触响应强度和保持时间。整体测试表征结果表明,CuSCN是最优界面层材料,可有效提升器件突触行为与宽谱光响应能力。

4展示了基于26×26 BHJ-OPS阵列实现多光谱图像感知与识别的过程。该器件在380525808 nm等多波段光脉冲下展现出明显的波长依赖性突触响应,具备出色的短期记忆(STP)与图像保持能力。通过扫描自制多彩图案,在不同波段光照下获取对应电流信号,结合Python模拟与随机森林算法,实现了基于HSV色彩空间的多光谱图像重构与分类。结果显示,在近红外(808 nm)光照下图像细节最清晰,具备图像预处理降噪功能。进一步通过调控光脉冲次数增强图像对比度,实现了NIR特征的逐步提取与识别,证明该阵列可在复杂彩色场景中实现特征提取与精准识别,具备类脑视觉系统的信息提取与滤波能力。

进一步地,研究团队将光突触器件阵列构建为26×26的忆阻网络,并集成至昆虫电子背包中,通过无线通信方式与活体甲虫的运动神经系统连接。在实际应用中,通过控制不同光掩膜图案照射该视觉阵列(如模拟苹果蝙蝠等形状),系统可实现信息的光感知、突触处理与输出信号转换,并进而驱动昆虫实现不同的运动行为,如前进、避障或转向,如图5所示。该系统首次实现了从光输入到行为输出的闭环控制,构建了仿生人工视觉神经运动反射弧路径,使得微型昆虫机器人具备一定程度的环境感知与自适应能力,能够在低光或夜间环境中完成自主觅食与天敌规避等生物任务模拟。

本工作将有机电子器件、神经形态功能与生物神经接口深度融合,在材料、器件、系统与应用层面均展现出较强的交叉创新性。相关技术不仅为微型仿生机器人系统赋予了可实时感知和行为调控的能力,也为可穿戴人工视觉、智能神经假体及灾害环境下的分布式机器人感知系统提供了新的技术基础与实现路径,展示出广阔的应用前景。

1. 独角仙(甲虫)视觉神经通路的示意图。

2. 器件宽光谱光感知与突触可塑性。

3. 器件机制分析

4. 神经形态阵列实现多色信息提取。

5. 用于控制昆虫运动行为的神经形态硬件系统

主要作者简介和照片

廉鸿,本文第一作者,上海大学机电工程与自动化学院博士后,入选上海市超级博士后激励计划,长期从事有机发光二极管(OLED)、有机太阳能电池(OPV)、有机光电探测器(OPD)和忆阻器等有机光电子器件的结构设计、制备、界面优化工程和物理机制分析方面的工作。近年来在Device, Adv. Mater., Chem. Soc. Rev., J Energy Chem., ACS Mater. Lett., J. Mater. Chem. A, Adv. Electron. Mater., J. Mater. Chem. C, Nanoscale等国内外高水平期刊上发表SCI论文50余篇,论文累计被引次数超过600次,H-index 15,作为骨干人员参与多项国家自然科学基金和省部级科研项目的研究。

董清晨,本文通讯作者,现为上海大学机电工程与自动化学院新型显示技术及应用集成教育部重点实验室教授、博士生导师,曾入选山西省首批 青年三晋学者特聘教授,山西省三晋英才拔尖骨干人才,  山西省学术技术带头人,山西省高等学校优秀青年学术带头人和山西省131领军人才工程青年拔尖人才等计划。主要从事功能有机/有机金属和低维半导体材料设计合成及其在信息存储与神经形态计算、人工突触、光电子器件、生物医学等领域的应用研究。主持国家级项目3项和省部级项目8项;作为第一作者或通讯作者在Chem. Soc. Rev., Device, Adv. Mater., Adv. Funct. Mater., Adv. Electron. Mater., ACS Mater. Lett., J. Mater. Chem. A等国际权威学术期刊上发表论文70余篇;共同主编专著一部,参编两章节;已获授权中国发明专利3项;获山西省自然学科奖二等奖一项(排名第一)。目前兼任J. Organomet. Chem.编委和专刊主编,山西省纳米肿瘤医学会副主任委员,Nanoscale Horizons Community 编委;长期担任Adv. Funct. Mater., JACS, Nanoscale, Nano Research, Journal of Material Chemistry C, Science China Materials等国际期刊审稿人。

黄维扬教授,现为香港理工大学理学院院长、应用生物及化学科技学系讲座教授和欧雪明能源教授。1995年获香港大学博士学位;19961997分别于美国德州农工大学和英国剑桥大学从事博士后研究;现为香港化学会主席;曾任Journal of Materials Chemistry(副主编(2013-2022),现任Topics inCurrent Chemistry主编,Energy Advances副主编和Journal of Organometalic Chemistry编辑。长期专注于无机化学中金属有机聚合物/配合物的设计、合成及其光电应用等领域的基础与应用研究。H-索引指数为96,获英国皇家化学会会士、英国皇家化学会过渡金属化学奖(首位华人)、国家教育部高校自然科学奖一等奖(排名第一)、亚洲化学会联合会杰出年青化学家奖、何梁何利基金科学与技术创新奖、国家自然科学奖二等奖(排名第一)、香港研资局高级研究学者奖、国家教育部长江学者讲座教授和香港青年科学院创院院士称号等奖项或称号,2023年当选欧洲科学院外籍院士。

评论

0/1000发布评论
全部评论

天玑智研

关注
TA的主页

顶刊推荐