百度发布新一代对话模型，打造知识和情感的双向连接

最近，百度发布了新一代对话生成模型Prito-XL，一举超过FacebookBlender，谷歌Meena和微软DiloGPT。
让机器像人一样进行逻辑，知识和情感对话一直是人类智能交互的重要技术挑战。
预训练技术大大提高了模型对大规模无标记数据的学习能力。
通过灵活的注意力机制，模型对文章进行了双向编码，充分利用和理解了文本信息；单方面解码回复以适应响应生成的Auto-refugie特征。
为了进一步改善对话模型有时的自相矛盾问题，Prito-XL引入了多角色感知的输入表示，以提高多轮对话的一致性。针对社交媒体对话的多方参与的特点，Prito-XL进行了多角色感知的预培训，明确区分了多轮对话中的各种角色，辅助模型生成更加连贯和一致的答复。
人们越来越习惯于使用语言和设备进行交流，但是无论在何处，智能助手与现实之间可以自然地与公众就开放主题进行了对话仍然存在差距。
Prito-2使用课程学习进行培训，其过程包括两个阶段：第一阶段基于简化地“一对一”映射，训练获得了基础的回复生成模型；第二阶段包含产生-评估两种模式。
针对开放区域对话的“一对多”问题，通过引入离散隐形变量建模，培训获得更高质量的响应生成模型，同时还对评估模型进行了培训和评估，并从多个候选人中选择最合适的回复。
在赛道上，百度基于预训练模型进一步培训了前两个子任务的分类和排序模式，从而实现了准确的知识选择并帮助Plato-2模型生成增强知识。根据对话的文本，系统从大型知识库中选出合适的知识，并合理利用该知识来产生高质量的答复。
Prito-2包含两个模块：中英文。其中，中文模型基于12亿个中国开放域多轮对话样本进行训练，而英语模式则根据7亿个英语开放域多轮对话样本进行了培训。
关于开放区域对话，有两种常见的评估方法：静态评价和交互式评估。
它是当前最大的中英文对话生成模式，并再次刷新了开放区域对话的效果。

百度发布新一代对话模型，打造知识和情感的双向连接

浏览过的版块