Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之 Language Agnostic BERT
Language Agnostic BERT-
Language-agnostic BERT Sentence Embedding 虽然 BERT 是一种学习单语句子嵌入以实现语义相似性和基于嵌入的迁移学习的有效方法(Reimers 和 Gurevych,2019),但基于 BERT 的跨语言句子嵌入还有待探索。我们通过结合学习单语和跨语言表示的最佳方法,系统地研究学习多语言句子嵌入的方法,包括:掩码语言建模 (MLM)、翻译语言建模 (TLM) (Conneau 和 Lample, 2019)、双编码器翻译排名 ( Guo et al., 2018) 和additive margin softmax (Yang et al., 2019a)。我们表明,引入预训练的多语言语言模型可将实现良好性能所需的并行训练数据量显着减少 80%。将这些方法中的佼佼者组合在一起产生了一个模型,该模型在 Tatoeba 上对 112 种语言实现了 83.7% 的双文本检索准确率,远高于 Artetxe 和 Schwenk (2019b) 取得的 65.5%,同时在单语迁移学习基准 (Conneau 和Kiela,2018)。使用我们最好的模型从 CommonCrawl 挖掘的并行数据被证明可以为 en-zh 和 en-de 训练有竞争力的 NMT 模型。我们在 https://tfhub.dev/google/LaBSE 公开发布了针对 109 多种语言的最佳多语言句子嵌入模型。使用我们最好的模型从 CommonCrawl 挖掘的并行数据被证明可以为 en-zh 和 en-de 训练有竞争力的 NMT 模型。我们在 https://tfhub.dev/google/LaBSE
关注打赏
最近更新
- 深拷贝和浅拷贝的区别(重点)
- 【Vue】走进Vue框架世界
- 【云服务器】项目部署—搭建网站—vue电商后台管理系统
- 【React介绍】 一文带你深入React
- 【React】React组件实例的三大属性之state,props,refs(你学废了吗)
- 【脚手架VueCLI】从零开始,创建一个VUE项目
- 【React】深入理解React组件生命周期----图文详解(含代码)
- 【React】DOM的Diffing算法是什么?以及DOM中key的作用----经典面试题
- 【React】1_使用React脚手架创建项目步骤--------详解(含项目结构说明)
- 【React】2_如何使用react脚手架写一个简单的页面?