发布日期: 2023年12月17日
来源:北京大学新闻网
文章内容
可微编程在高级语言中实现了自动计算导数,从神经网络的反向传播到贝叶斯推断和概率编程,可微编程的广泛应用极大地推动了ML及其应用的进步。它实现了高效且可组合的自动微分(AD)工具,为可微优化[1, 2]、模拟器[3, 4]、工程[5]和科学[6]的发展铺平了道路。不断涌现的可微优化算法凸显了可微编程的核心地位。
近日,北京大学人工智能研究院杨耀东课题组主导的开源项目TorchOpt,一款基于PyTorch的高效可微优化库,被PyTorch官宣纳入生态,并被机器学习期刊Journal of Machine Learning Research(JMLR)接收。
PyTorch官宣将TorchOpt纳入生态
TorchOpt是一个基于PyTorch的库,其统一的编程抽象、高性能的分布式执行运行时以及对多种微分模式的支持,为可微优化带来了革命性的变革。(TorchOpt项目在GitHub上的地址https://github.com/metaopt/torchopt)
TorchOpt具有以下三种特性:
●多样性:TorchOpt包含三种微分模式——显式微分、隐式微分和零阶微分,满足各种可微优化需求。
●灵活性:TorchOpt提供功能和面向对象的API,以满足不同用户的需求。您可以使用类似于JAX或PyTorch的风格实现可微优化。
●高效性:TorchOpt提供CPU/GPU加速的可微优化器、基于RPC的分布式训练框架以及快速树操作,极大地提高了双层优化问题的训练效率。
TorchOpt融合了两个关键方面——统一且富有表现力的可微优化编程抽象和高效分布式执行运行时。
统一且表达性强的可微分优化编程抽象
TorchOpt提供了一种统一的编程抽象,可以高效地定义和分析可微优化程序,适用于显式、隐式和零阶梯度。
TorchOpt的微分模式图。通过将问题构建为一个可微分问题,TorchOpt为反向传播提供了自动微分支持(虚线所示)
TorchOpt的微分范式通过将问题表述为可微问题,为反向传播(虚线)提供AutoGrad支持。
TorchOpt提供了一系列从低级到高级,以及函数式(Functional Programming)和面向对象(Object Oriented Programming)的程序接口,使用户能够将可微优化纳入PyTorch生成的计算图。具体来说,TorchOpt支持处理可微优化问题的三种微分模式:
(i)显式梯度用于展开优化;
(ii)隐式梯度用于基于方程求解的迭代优化;
(iii)零阶梯度估计用于非光滑/非可微函数的优化。
TorchOpt支持处理可微优化问题的三种微分模式
TorchOpt提供了高性能的运行时和分布式训练支持,包含了多种加速解决方案,支持GPU和CPU上的快速微分,并具有多节点多GPU的分布式训练功能。下图显示了TorchOpt与其他基线在CPU/GPU加速算子和分布式训练方面的比较。
TorchOpt与其他基线在CPU/GPU加速op和分布式训练方面的比较
上图中显示TorchOpt的性能,(a)和(b)是不同参数大小下TorchOpt和PyTorch的前向/后向时间(Adam 优化器)比较,(c)是使用 RPC 分布式框架的多 GPU 加速实现与顺序实现的训练加速比。
对于PyTorch研究人员和开发者,TorchOpt的特性使其能够高效地声明和分析各种可微优化过程。
TorchOpt是一个新颖且高效的基于PyTorch的可微优化库。本研究的实验结果突显了TorchOpt作为支持PyTorch中具有挑战性的梯度计算问题的用户友好、高性能且可扩展库的潜力,并计划未来支持更复杂的差分模式,涵盖更多非平凡的梯度计算问题。TorchOpt已经被证明对元梯度研究非常有用,在作为更广泛范围的可微优化问题的关键自动微分工具上具有发展前景。
本项目研究论文的四位一作作者,分别是来自爱丁堡大学的任杰、伦敦大学学院的冯熙栋、新加坡国立大学的刘博,以及北京大学的潘学海。该项目的通讯作者分别是爱丁堡大学的麦络助理教授和北京大学的杨耀东助理教授。
交流讨论
QIAGEN的外泌体和循环肿瘤细胞分离试剂得率高、背景少,满足液体活检对标准化和稳健的关键要求,产品资料请点击
安捷伦Seahorse糖酵解速率测定可精确测量活细胞糖酵解,量化其特异性质子释放,揭示瞬态响应和终点法乳酸测定无法辨别的快速代谢转换!领取详细资料
WesternBlot产品选择繁多,哪些适合您的蛋白样品和实验需求?赛默飞BlotBuilder根据您的样品/要求为您个性化推荐更适合的WB实验方案和产品指南!填写联系方式领取指南!
安捷伦细胞代谢分析之Seahorse XF 实时ATP生成速率测定详细资料-如何使用免标记技术、实时在活细胞中同时定量糖酵解与线粒体来源生成的三磷酸腺苷 (ATP)
获取赛默飞蛋白预制胶选择指南:NuPAGE Bis-Tris预制胶、Tris-乙酸预制胶、Tricine预制胶、NativePAGE Bis-Tris非变性胶怎么选?