火山引擎:机器翻译算法跟行业应用之间的最后一公里

微信扫一扫,分享到朋友圈

火山引擎:机器翻译算法跟行业应用之间的最后一公里
收藏 0

技术变革带来了无限机遇,也带来了更多的挑战。作为服务于字节跳动等大规模企业的机器翻译团队,火山翻译不断在翻译的各个领域进行探索。如今处于短视频的风口,火山翻译如何做到乘风而上?

近日,在第十七届全国机器翻译大会(CCMT 2021)上,来自字节跳动火山翻译团队的产品经理刘坚就这一话题做了分享。以下是刘坚演讲全文:

火山引擎是字节跳动面向企业的一个智能科技品牌,就是大家俗称的 to B——我们面向的是企业用户。字节内部也有很多类似的服务是对外开放的。火山翻译是火山引擎的核心中台能力之一,是由我们机器翻译和自然语言处理部门研发的。

我们有几大矩阵产品,产品列表包括同传相关的直播翻译服务、大会服务,通用翻译的 API 和 SDK,视频翻译。能力上包含了文本、语音、图像、语种识别、交互式翻译和私有部署。到目前为止,火山翻译从事翻译工作已经有几年时间,但真正对外服务只有一年多。此前,火山翻译都是在内部为字节提供每天上亿次的各种场景的翻译需求,翻译技术已经得到了验证。

大家知道字节跳动,可能都是因为抖音这种app。多媒体内容的确也是公司关注的重点。我们首要的工作除了文本翻译以外,就是要解决公司内部多媒体内容的翻译。

第一个摆在我们面前的就是视频翻译的需求。视频里面一共有两部分需要被翻译。第一种是视频里面可能存在的一些图片内容,或者是一些硬字幕(即内嵌字幕:嵌入视频画面与视频画面融为一体的字幕),它们其实相当于图像,我们需要对它们进行识别和翻译。

抖音的深度用户都知道,抖音视频里会有很多贴纸,如果要翻译它们,我们就需要用一个图片翻译的引擎,先借助OCR识别,再进行翻译。

以目前ppt上的图片(我桌上的日历)为例。我随手一拍,然后用我们的图片翻译引擎去翻译。它的特点是能还原一个区域内的颜色。大家可以看到日历顶部的颜色得以保留,下面文本的位置也基本做到了保持原样,这样的方式应用在视频翻译中,就可以有比较好的翻译效果。

语音翻译的问题比较复杂。视频中人的讲话往往有口音,或者有背景噪音,或者是翻译之后的语言风格不符合预期。我们不能直接把机器跑出来的结果传给观众,这样可能会让观众费解或产生误解。我们开发了一个平台,通过这个平台可以让译者把原来的很多修改工作去通过 AI迅速完成,从而节约时间。

视频翻译技术在行业内有不少应用,我们着重讲一讲在直播这个领域的翻译。

直播有一个比较重要的特点是速度非常快,那么,我们如何在这么短的时间之内做到对直播进行翻译,而且保证翻译质量可控呢?

目前业界有一些产品,提供的字幕是逐字同步ASR的结果,然后再翻译。在这种情况下, 往往会有个问题 :它提交给翻译的API结果会是一个字或者词,这个时候翻译出来的结果都是基于字和词处理出来的,如果对于长篇幅的内容进行实时翻译,断句效果不好的话、翻译质量会很差,无法真正实现对直播内容的同传翻译。如果用户是通过译文来理解会议内容的话,难度就会很高,看懂直播的话就更难了。

所以我们自己开发了一个影院式 AI 字幕的解决方式。原理是这样的:我们在线上收到一个直播流之后,先把这个直播流进行缓存,再对声音和画面进行拆解,并识别声音。我们形成对应字幕,字幕支持人工进行修改。字幕整句整句地出现在屏幕上,和看电影的效果一样。在说第一个字的时候,这句话就完整出现了。然后,等这句话全部说完时这个字幕才会消失。

大家可以看一下我们的效果。这是我们在抖音上为日本艺术家村上隆做的直播首秀。

下一个是我们一位同学模仿的主播带货场景。

这种翻译方式有一个好处:因为字幕是一句句出的,所以我们可以针对一句的内容进行配音,用机器去合成。这样,直播翻译的效果就比较好。目前这个技术已经在公司内部的产品上面进行规模化应用,它可以大大提升不同国家之间跨语言的理解和沟通。

最后介绍一下我们的另外一款智能翻译产品。

在大会场景下,大家都会遇到看字幕的问题。之前的方案就是在屏幕下方有一个字幕条。这个方案或多或少会有一些问题:其一,如果英国人参加中文会议,他想听到的语言应该是英语;但如果是日本人或者法国人 ,那么英语可能不是你最理想的选择。这时候如何能够生成定制化的字幕?其二,如果在比较大的会场,坐在后排的人其实可能是看不见字幕的。那这个问题怎么解决?所以我们做了一款 AR 智能翻译眼镜(在我们展台可以体验)。

我们开发这么多的应用,本质上还是为了解决好“机器翻译算法跟行业应用之间的最后一公里”的问题。

智能翻译眼镜还在不断优化,现在已经能实现语音翻译、会议接入以及图片翻译等功能。比如看书、看菜单或者是看路标,都可以用这个眼镜去翻译。我们也在探索更多场景,比如最近我们就发现了一个比较有意思的场景:听障人士也可以用这款眼镜来获取更多信息。

最后,欢迎大家跟我们一起探讨更多想法与发现,可以通过关注公众号“火山翻译”联系到我们,也可以搜索“火山翻译”进入我们的官网,来体验我们的翻译效果。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

上一篇

响应健康中国2030:关于运动专业教练营养人才教育的重要动议

下一篇

OPPO手表系列福利来袭,OPPO Watch 2 ECG版2299元起

你也可能喜欢

评论已经被关闭。

插入图片

热门

    抱歉,1天内未发布文章!
广告招租 文字链广告
返回顶部