以下文章来源于两江科技评论 ，作者九乡河

研究背景

矩阵向量计算所主导的人工神经网络在计算机视觉、决策、医疗分析、虚拟现实技术、自动驾驶等方面起到核心的重要作用。为了满足未来高性能的人工神经网络日益增长的算力要求，光子神经网络由于其超大通道并行能力、超高的调制速率和超低的功耗可以成为现有电子人工神经网络的有力的算力补充。

现在常用的片上光子神经网络几乎均是使用单模波导及波分复用技术携带不同的数据来进行并行的矩阵向量计算。然而在硅或氮化硅等主流的光子集成平台上，集成多个独立的激光器往往带来较高的成本和工艺难度，极大地制约了结构紧凑的大规模片上光子神经网络的实现。近些年来，尽管独立的光学频率梳芯片能够为光计算提供多波长源，但是由于其远离载波波长处的功率降低较为明显，并且实现多梳齿条件相对困难，仍然不能无限制地进行信道的扩展。因此，面向日益复杂的计算工作需要，探索新的方案来进一步扩展光子神经网络的并行性具有重要的科学与实践意义。

光学模分复用技术利用不同的光学模式在波导中正交传输这一特性，可以成倍地提高信道容量。不同的光学模式通过简单的波导结构变化就可以很容易地进行转换、（解）复用、路由等片上操控，非常适合用来提升光计算的并行度。更重要的是，光学模分复用技术可以和波分复用相结合，在原有的计算规模上实现成倍扩展，或是大幅减少波长源的使用，从而达到提升算力和降低网络架构复杂程度的目的。

除了计算并行性的提升，高效的光子计算架构和计算方案也是高性能光子神经网络必不可少的研究内容。由于光波的自然特性限制了其不能很好地像电压一样表征负数域的数据，然而在多数常见的计算任务如图像处理中，待计算数据和权重系数不可避免地会同时出现正数和负数的情况，这就使得负数域的计算方案成为一个重要的研究课题。现阶段研究人员提出了各种基于硬件或软件的不同解决方案，但是往往以牺牲器件的调制深度或是进行复杂的架构处理来实现的，因此，开发一种简便且不牺牲性能的光子实数域计算的架构是至关重要的。

研究亮点

兰州大学田永辉教授课题组首次提出并研制了基于片上光学模式和波长复用技术的光子神经网络加速器芯片，该芯片具有结构紧凑、低功耗和易于集成的特点。该成果发表于国际顶级光学期刊Optica上。在该项研究工作中，研究团队采用模式和波长混合复用技术来传输待计算信号，并使用片上微环谐振器阵列来调节计算的权重，实现数据与权重相乘，最终再通过混合复用技术将运算信号输送至光电探测器处完成完整的矩阵向量乘法。相比于使用单模式多波长计算方案，该工作在使用相同数量的波长的情况提升了三倍的计算规模，并且随着引入模式数量的增加，计算规模将继续成倍提升。相比于同等规模的计算芯片，该方案成倍减少了多波长光源的使用，极大降低了计算的功耗和实现难度。芯片的工作原理和结构示意图如图1所示。

图1. 光学模式启发的神经网络加速器芯片。（a）基础矩阵向量乘法理论和光子神经网络加速器架构。（b）器件的显微照片

为了解决光子在整个实数域（正数和负数）的计算问题，研究团队在该工作中提出了一种映射变换的方法，通过将负数域的计算映射到正数域，使得所有计算均在正数域进行的同时，保证了计算结果与变换前具有完全相同的波形。因此，该方法通过对输入信号进行简单的操作就可以有效地实现实数域上的光计算难题，从而避免了牺牲器件性能和实验装置复杂的问题。具体的映射变换原理如图2所示。

图2. 光学实数域计算理论。（a）传统计算理论。（b）映射变换方法。（c）变换后计算结果

通过所提出的混合复用计算芯片与映射变换计算理论，该工作成功演示了图像卷积和字母样式的图像探测等应用（结果如图3、4所示）。在图像卷积应用中，作者使用一副 154 × 215 = 33110像素的“兰州大学”灰度图像进行功能演示，在1.37 TOPS下算力密度下完成了图片的上边缘、下边缘、左边缘、右边缘的提取结果。在字母样式的图案探测的应用中，作者成功地在随机生成的两幅13×13像素的灰度图像中，成功地识别出所有“A”、“b”、“C”、“D”四种不同字符，并标定它们的位置。通过分析对比探测结果与预期结果，可以发现图案探测的平均误差为s»0.04，对应的计算精度达到了5 bit。

图3. 不同图像卷积核的卷积结果。（a）原始图片，（b）上边缘，（c）下边缘，（d）左边缘，（e）右边缘。

图4. 字母样式的图像探测。（a）四种字母样式的被探测图案。（b）四种字母在两张灰度图中的探测结果和电子计算的对比。（c）计算的误差分析。

总结与展望

该工作首次提出并演示了一种光学模式启发的波分-模分混合复用光子神经网络加速器，在扩大了光子计算的信道容量和算力密度的同时，可以有效地减少多波长源的使用，降低集成光计算的功耗和芯片复杂度。同时针对实数域的光计算难题，该工作还提出了一种映射变换的方法，成功避免了器件的性能牺牲和较为复杂的实验架构。研究团队成功实现了图像卷积和字母样式的图案识别应用，并提出了更大规模、更高精度的片上神经网络加速器架构扩展方法。该方案未来可以和高速的电光调制器进行单片集成，实现结构更紧凑、算力密度更高的光子神经网络架构。该成果以“Integrated WDM-compatible optical mode division multiplexing neural network accelerator”为题在线发表于国际著名光学期刊 OPTICA 上（https://opg.optica.org/optica/fulltext.cfm?uri=optica-10-12-1709&id=544557）。兰州大学田永辉教授为论文通讯作者，硕士研究生尹若宇和肖恢芙研究员为论文共同第一作者。对论文具有突出贡献的合作者还包括兰州大学袁明瑞研究员、皇家墨尔本理工大学任光辉研究员与Arnan Mitchell教授等。