首页资讯科技 火山翻译:打造AI地基之上的巴别塔

火山翻译:打造AI地基之上的巴别塔

张书琛机器翻译新突破8月5日,ACL 2021正式颁发“最佳论文”奖项,字节跳动AI Lab的机器翻译技术论文在3350篇论文投稿中脱颖而出,当选今年度“最佳论文”。ACL大会由国际计算语言学协会主办,被视为自然语言处理与计算语言学领域最高…

张书臣

机器翻译的新突破

8月5日,ACL 2021正式颁发“最佳论文”奖。在提交的3350篇论文中,字节跳动人工智能实验室的机器翻译技术论文脱颖而出,当选为今年的“最佳论文”。ACL大会由国际计算语言学协会主办,被视为自然语言处理和计算语言学领域的最高学术会议。多年来,自然语言处理被誉为“人工智能皇冠上的明珠”,已广泛应用于机器翻译、搜索、信息流、输入法等领域。

自1949年信息论先驱沃伦·韦弗(Warren Weaver)发表翻译备忘录并提出机器翻译的可能性以来,机器翻译经历了几十年的发展迭代,如今已经进入了一个可以使用“神经网络”和“深度学习技术”的AI翻译时代。

不可否认,全球商业巨头一直走在前列。

作为字节跳动的互联网新贵,机器翻译是其AI能力发展的重要体现之一。公司业务覆盖150个国家和地区,员工遍布全球。其11万员工跨越语言障碍顺畅沟通协作的背后,离不开字节跳动AI Lab火山翻译团队多年打磨的机器翻译模型。

基于文本翻译、语音翻译、图像翻译、语言识别等技术能力,火山翻译推出了机器翻译云服务、智能视频翻译、智能同传等一系列形式多样的产品和服务。此外,火山翻译还支持垂直领域的快速模型定制,可以满足不同群体和行业的翻译需求。

据火山翻译负责人王明选介绍,火山翻译在很多热门的内部软件中都可以看到。多语种翻译中火山翻译的速度和准确率都经受住了考验,无论是应用在泛娱乐还是工具上。

如今,火山翻译已经上线56种语言之间的翻译,支持多达3080种语言翻译。据透露,今年火山翻译的在线语言将超过150种。值得一提的是,火山翻译不需要英语等常用语言作为中间语言,可以支持任意两种语言之间的翻译,大大提高了翻译速度。

火山翻译的前沿技术也得到了学术界的认可。ACL 2021今年共收到9篇论文,由AI实验室NLP基础研究团队和火山翻译团队合作实现。由字节跳动人工智能实验室提出的新词汇学习方案VOLT赢得了今年唯一的“最佳论文”奖。这是ACL 59 59年历史上第二次由中国科学家团队获得最高荣誉。

王明轩透露,火山翻译现在每天都要处理数亿次翻译请求,可以说每一个上线语种都经过了实际用户的检验,“因此,稳定和高质量的翻译服务是我们必须提供的保障”。

今年内火山翻译上线语种将超过150个王明选透露,火山翻译现在每天处理数以亿计的翻译请求。可以说每一种网络语言都经过了实际用户的检验。“因此,稳定和高质量的翻译服务是我们必须提供的保证”。今年,内火山翻译的网络语言将超过150种。

火山翻译多语言预训练新范式源于人类语言学习规律火山翻译多语预训新范式源于人类语言学习规律。

不断为用户提供高水平的翻译服务,靠的不是运气,而是火山翻译背后强大的技术支持和工程能力,以及字节跳动开放体系的联动支持。技术背景颜色支持应用程序登陆

火山翻译近年来的快速发展及其商业价值,离不开其强大的技术基础。

微软技术研究院院士黄曾表示,一个公司搭建的翻译系统的效果主要取决于两点:一是数据是否完整、充分;第二是算法是否足够好。

海量数据是AI自我迭代不可或缺的基础。因为字节跳动的全球化布局,火山翻译可以获得更好的AI训练效果,首先受益于AI赋能。

同时,得益于字节跳动在机器学习和自然语言处理领域的多年深耕,其AI团队拥有超过100项技术发明专利,甚至在机器翻译技术中创造了多语言随机对齐替换预训练(MRASP)算法。通过结合几十个语言语料库进行训练,得到的模型对具体的语言对进行了微调,取得了业界44个语言对的最佳表现。

据悉,目前研究领域主流的多语种翻译模型主要训练英语相关的对。这样的系统通常在英语相关方向(有监督方向)表现良好,而在非英语方向(零资源方向)的翻译效果并不好。为了解决这个问题,火山翻译团队最近提出了一个更简洁优雅的新范式mRASP2,用于大规模多语言预训练。通过引入对比学习和对齐增强方法,将单语和双语语料库纳入统一的训练框架,旨在充分利用语料库,学习更好的语言表征,提高多语言翻译的性能。

这一多语言预训练新范式运用在机器翻译时,就像是一个精通两三门语言的人类学者,在学习另一门语言时,速度就会更快。“人类在多语言学习过程中会自发去总结语言学习中比较抽象的共性,再去学习新语言的特性。因此想要提升个人语言学习能力,往往需要学习更多的语言。”火山翻译就将这一规律植入神经网络翻译中,创造出了一个统一的具备多种语言能力的模型,在遇到新的语言时,临时少量学习即可达到很流利的语言水平。

Transformer模型结构图(以机器翻译为例)这种多语种预训练的新范式用在机器翻译上,就像一个精通两三种语言的人类学家,会更快地学会另一种语言。“在多语学习过程中,人类会自发地总结语言学习中的抽象共性,进而学习新语言的特点。所以,想要提高语言学习能力,往往需要学习更多的语言。”火山翻译将这一规则嵌入到神经网络翻译中,创建了具有多语言能力的统一模型。遇到一门新的语言,少量的临时学习就可以达到非常流利的语言水平。变压器模型结构图(以机器翻译为例)

这意味着,无论是语料库丰富的通用语言,还是训练数据稀缺的小语种,机器都可以通过这种新范式将其翻译能力转移到不同的语言上,使不同语言之间的信息可以互相利用,完成学习迭代。

随着语言数量和翻译任务数量的增加,对机器自然语言处理任务的能力水平提出了新的要求。

早在2019年12月,火山翻译团队就曾经开放过类似变形金刚的模型推理加速引擎LightSeq。作为业界首款支持多种模型和解码方式的推理加速引擎,LightSeq的推理速度比其他同类软件都要快,并且远超TensorFlow和PyTorch。

近日,LightSeq发布了最新版本,引入了引擎的重大更新——支持Transformer的全流程训练加速,在不同批量下,最高可比主流训练数据库快3倍。是目前业界最快的推理和训练引擎,推理速度可提升10倍。

训练速度快意味着模型变化快;快速推理意味着用户体验更快的翻译。至此,从训练到推理部署的全流程由LightSeq2.0开启

从用户端来说,LightSeq2.0可以应用到很多文本生成场景,比如机器翻译、自动问答、智能写作、对话回复生成等。,大大提高了在线模型推理的速度,提升了用户体验,降低了企业运营和服务的成本。

“以翻译任务为例,LightSeq2.0的速度最高可达到TensorFlow的14倍。同时领先于目前其他开源序列推理引擎,比如比更快的Transformer快1.4倍。”王明选介绍,训练英法翻译模型、PyTorch等框架需要一周时间,火山翻译两天多一点;总之,16层神经网络行业一般需要600ms,LightSeq2.0只需要80 ms。

综上所述,火山翻译产品,在各种场景中至关重要,离不开技术团队的精心打磨。它是大规模多语言预训练的新范式mRASP2与推理和训练引擎LightSeq2.0的结合,保证了语言的多样性和相互翻译的准确性。借助并行文本生成能力GLAT、端到端语音翻译工具包NeurST等多项前沿机器翻译技术,火山翻译多次获得市场和学术界的认可。

在WMT2020国际机器翻译大赛上,火山翻译队获得了七项冠军。在今年的WMT2021大赛中,火山翻译通过强大的并行文本生成能力GLAT,在有限资源赛道上获得了德英翻译大赛自动评测第一名。开源技术推动了行业的发展。

火山翻译团队由世界各地的科学家和工程师组成,平均年龄不到30岁。都有在各大科研机构和大型企业工作的经历。不过,该负责人表示,火山翻译的成绩很大程度上还是得益于技术端在字节跳动的全公司开放。

“字节跳动是一个开放的架构,很多技术会在内部共享,比如字节人工智能实验室(AI Lab)最前沿的机器翻译技术。”王明选介绍,如今AI Lab为公司现有产品和业务提供核心技术支持和服务。

在WMT2021上大放异彩的并行文本生成能力GLAT,就是火山翻译团队和AI Lab其他研究团队合作的技术产出。其实,AI Lab已将很多AI技术应用到实际产品中,用户相对比较熟悉的可能是在抖音、今日头条、西瓜等App中的应用,火山翻译也是字节跳动AI技术在产品研发层面的成功落地案例:通过内部技术研发、产品经理、产品运营等专业团队形成一条“前沿技术+产品研发+运营反馈”的闭环。

字节跳动开放的架构,成就了内部技术的高复用率闪耀在WMT2021上的并行文本生成能力GLAT,是火山翻译团队与AI实验室其他研究团队合作的技术输出。实际上,AI Lab已经将很多AI技术应用到实际产品中,用户对Tik Tok、今日头条、西瓜等app中的应用相对熟悉。火山翻译也是AI技术在字节跳动在产品RD的成功案例:通过内部技术RD、产品经理、产品运营等专业团队,形成了“前沿技术+产品RD+运营反馈”的闭环。字节跳动的开放式架构实现了内部技术的高重用率。

影院级字幕翻译在直播中保证了用户体验影院字幕翻译保证了直播中的用户体验。

除了支持公司产品和内部办公,火山翻译还将其技术和服务能力整合到字节跳动的ToB技术服务平台火山引擎,开放包括火山同传、火山翻译API、火山翻译工作室等一系列矩阵产品。到更多行业的企业用户。

好的技术需要有好的工程能力相匹配才能实现落地。根据更接近客户的火山引擎的反馈,火山翻译的技术和工程团队也可以打磨出更符合市场需求的解决方案。比如去年12月12日,日本艺人村上隆在中国的首场直播就吸引了数百万用户的关注,而这场跨国直播的成功也有赖于火山翻译提供的高质量实时智能同传字幕。

为了给用户更专注的体验,避免翻译字幕跳转带来的视觉干扰,火山同传根据应用场景进行了定向技术优化,创新推出了“影院级字幕”方案。据介绍,在村上隆的直播中,火山翻译团队不仅采用了最前沿的神经网络机器翻译技术进行模型训练,还引入了针对直播场景的领域适配技术,利用村上隆之前的采访和演讲数据进行算法优化,并在口语的标准化和专业术语的定制上做了特殊的优化处理,确保最终的字幕能够简洁准确。

由于技术体系的开放,火山翻译也选择以更加开放的姿态推动产业发展。

“开源是推动科技进步的重要力量。我们受益于开源,需要为开源社区做出更多贡献。”王明选表示,字节跳动开放了包括LightSeq系列项目在内的多种技术,并与各行各业共享技术成果,希望帮助研究人员节省时间和成本,为学术界和工业界激发创造力提供有力支持。构建B端增长曲线

经过技术团队的研发和实际案例的实践,火山翻译逐渐具备了更全面的覆盖能力和场景适应能力,团队对产品的营销方向也有了更清晰的认识。

“我们一直致力于以更加工业化和个性化的方式解决用户需求,为B端客户创造更大的价值。“王明选表示,B端的营收更稳定,市场更广阔,这将是火山翻译未来两到三年的主要覆盖目标。

针对普通用户,火山翻译还推出了AR智能翻译眼镜和火山翻译浏览器版,让用户体验最新的技术成果。“但C端更多的是配角,主要目标市场是B端。”

选择B端市场也是字节跳动的下一条增长曲线。火山引擎各项技术的开放,意味着用字节构建B端服务的步伐正在加快,服务体系日趋成熟。

近年来,互联网科技巨头的商业化路径逐渐清晰。首先是聚集规模流量变现(如广告),其次是挖掘技术价值(大数据、云计算等较低的基础设施)。亚马逊、阿里巴巴、腾讯等前辈都走过这条路。在这个马太效应依然明显的ToB市场,年轻的字节跳动必须锚定自己的优势,进行差异化竞争。

火山引擎定位于“企业智能成长服务”,成长是商业世界所渴求的,也是字节跳动在短短几年内创造的神话。

在现代工业物流系统下,业务增长离不开信息获取。在过去的几年里,机器翻译增加了10%的国际贸易。然而,世界上仍有成千上万种语言没有被本地化,它们被称为“长尾语言”。本地化意味着与说同一种语言的人进行更广泛的交流。一个很好的例子是,斯瓦希里语已经成为非洲的通用交流语言。斯瓦希里语的本地化意味着1600万母语者与8200万把斯瓦希里语作为第二语言的非洲人建立了交流。

当然,每个地区的人都有获取新信息的需求。“世界上有5000多种语言,400多种文字。人工智能加持下的机器翻译是打破这种信息壁垒的理想方式,这样不同语言的人就可以交流并相互了解。”王明选表示,除了商业意义,火山翻译希望大众能够体会到机器翻译给日常生活带来的便利,真正消除语言障碍,实现无边界交流。

本文来自网络,不代表管理窝立场。转载请注明出处: https://www.guanliwo.com/a/zx/25561.html
上一篇市值蒸发3000亿元,美的还是不是一家好公司?
下一篇 元以下就是它?℃超高温元超低价神机点评!
管理窝

作者: 管理窝

这里可以再内容模板定义一些文字和说明,也可以调用对应作者的简介!或者做一些网站的描述之类的文字或者HTML!

为您推荐

评论列表()

    联系我们

    联系我们

    0898-88888888

    在线咨询: QQ交谈

    邮箱: email@wangzhan.com

    工作时间:周一至周五,9:00-17:30,节假日休息

    关注微信
    微信扫一扫关注我们

    微信扫一扫关注我们

    关注微博
    返回顶部