AI Lab NLP火山翻译团队论文被超级计算领域国际顶级会议SC22接收

近日，AI Lab NLP 火山翻译团队的工作《LightSeq2: Accelerated Training for Transformer-based Models on GPUs》被超算领域顶级会议SC22 接收。 SC 被认为是一个可以看到并使用未来技术来解决世界级问题的会议。

SC会议的全称是“国际高性能计算、网络、存储和分析会议”（The International Conference for High Performance Computing, Networking, Storage, and Analysis）。它是高性能计算和架构领域的顶级会议。 CCF推荐A级会议。 SC每年由ACM和IEEE两个学术组织联合举办。该会议自1988年以来已成功举办24届，是高性能研究领域吸引人数最多、也最受该领域研究人员欢迎的学术会议。近年来，国际高性能领域的最高奖项——戈登·贝尔奖在SC会议上颁发。 SC会议发表难度大，全球每年收到的论文数量只有100篇左右。 2022年投稿320篇，录用75篇（正在修改6篇），录用率25%左右。 SC22将于11月13日至18日在美国达拉斯举行。

AI Lab NLP 火山翻译团队此次提交的作品《LightSeq2: Accelerated Training for Transformer-based Models on GPUs》介绍了目前火山翻译中使用的模型训练系统——LightSeq2。极大优化了目前广泛使用的Transformer模型的训练效率。它在大型公共机器翻译基线（WMT14 英语-德语）上的训练速度比现有系统快308%。

技术介绍

近年来，随着计算机硬件计算能力的提升，越来越多的机器学习和人工智能技术在业界落地。基于Transformer的神经网络机器翻译技术就是最经典的案例之一。

为了获得高质量的翻译结果，研究人员经常使用更大的神经网络模型，这导致模型训练周期更长，在线推理（翻译）延迟更大。

霍山翻译团队一直致力于这方面的优化。早在2019年12月，其就开源了LightSeq推理加速引擎。业界首个快速、良好的实现，解决了翻译延迟高的问题。

2021年6月，霍山翻译发布新版本LightSeq训练加速引擎。此次团队对整个翻译模型训练流程进行了优化。原本需要三天训练的模型，通过LightSeq 加速，仅需一天即可完成。不仅对于行业来说，它对于GPU 计算能力紧张的研究团队也有很大帮助。

LightSeq此次新增了以下功能：

- 支持Transformer的完全加速

LightSeq是业界第一个完全支持整个Transformer模型加速的训练引擎，包括词嵌入层、编码层、解码层、损失函数层等高效的自定义层。

- 训练速度快

LightSeq 训练速度非常快。例如，在WMT14英德机器翻译任务上，使用NVIDIA最新的训练显卡A100，LightSeq相比主流序列生成库只需要三分之一的训练时间。

- 功能全面，简单易用

LightSeq提供高效的TensorFlow和PyTorch自定义层供用户灵活使用，并且可以自由插入到Hugging Face等主流训练库中。

此外，它还与当前流行的Fairseq、NeurST等训练库进行了深度集成。安装LightSeq后，用户只需修改几个命令行参数即可在这些训练库上使用LightSeq。

- 提供丰富的二次开发工具

LightSeq为CUDA内核和Transformer自定义层提供了完整的单元测试功能，可以测试自定义算子的正确性并分析运行时间和加速比，帮助开发者更快地验证功能的正确性和有效性。

LightSeq训练引擎采用算子计算融合、动态内存复用等技术，将训练时间缩短多达三分之一，速度提升3倍以上！

光序列地址：

https://github.com/bytedance/lightseq

此外，我们还开源了Volcano Translation的训练引擎NeurST，深度融合了LightSeq的训练和推理加速。欢迎大家尝试一下。