【资料图】
近日,谷歌方面宣布推出能够处理和生成文本及语音的大型语言模型(LLMs)AudioPaLM。据了解,AudioPaLM 将两个现有的大模型、即文本大模型 PaLM-2 和语音大模型 AudioLM,融合到一个统一的多模态架构中,并利用该架构处理和生成文本和语音。
据谷歌方面透露,AudioPaLM" 继承 " 了 PaLM-2 模型的语言知识,以及 AudioLM 模型保留副语言信息(例如说话者身份和语调)的能力,从而能够更全面地理解和生成文本和音频,使得其能够适用于语音识别、语音翻译、语音转文字的多种应用场景。据了解,AudioPaLM 使用了一个联合词汇表,可使用有限数量的离散标记表示语音和文本。并将这个联合词汇表与标记化的任务描述相结合,此外 AudioPaLM 还可以在各种声音和基于文本的任务上训练单个解码器模型,这也意味着传统需要单独模型来处理的语音识别、文本转语音合成和语音到语音翻译等任务,可统一到一个架构和训练过程中。
谷歌方面透露,经试验表明,AudioPaLM 在语音翻译方面的表现明显优于现有模型。同时 AudioPaLM 还展现了对语言组合执行零样本语音到文本翻译的能力,也就是说这款大模型可以准确地将陌生语言的语音翻译成文本。
此外,AudioPaLM 还可基于简短的口语提示在语言之间进行声音转换,并捕捉和重现不同语言中的独特声音,以实现语音转换和适应。
对此谷歌方面表示," 我们证明,用纯文本大语言模型的权重初始化 AudioPaLM 可改善语音处理,也成功地利用了预训练中使用的大量文本训练数据来帮助语音任务。所得模型在语音翻译任务方面明显优于现有系统,并且能够对训练中未发现输入 / 目标语言组合的许多语言,执行零样本语音到文本的翻译。AudioPaLM 还演示了音频语言模型的功能,例如基于简短的语音提示跨语言传输语音。"
【本文图片来自网络】
关键词:
-
天天讯息:谷歌推出大模型 AudioPaLM,可支持文本及语音
近日,谷歌方面宣布推出能够处理和生成文本及语音的大型语言模型(LLMs
-
首个覆盖主要发电类型企业的保险风险评估工作指引发布
首个覆盖主要发电类型企业的保险风险评估工作指引发布---中新网6月26日
-
江阴:参加“安全夜市”宣传防灾减灾
6月15日,江苏省江阴市气象局参加市人民政府安全生产委员会办公室组织
-
德邦证券南京某营业部一员工收警示函 全球焦点
德邦证券南京某营业部一员工收警示函
-
【网信普法】网络安全进社区 安全防范入人心——港城大街街道交建里社区
网络安全关系千家万户,为了提高广大群众网络安全意识和法治观念,近日
-
新宝来缺点和坏处_新宝来缺点-前沿资讯
1、2021款宝来的故障率为7%,2021款的宝来的主要缺点在于,第一,车内
-
国际禁毒日丨毒贩在哪里,我们的战场就在哪里
他们是城市中的“隐者”,化身于不同角色只为便于侦查,直击犯罪要害。
-
收评:三大指数均跌超1% AI概念股持续大跌-全球新要闻
收评:三大指数均跌超1%AI概念股持续大跌,概念股,个股,创业板,涨停,电
-
嘉禾“洗澡肉” 名俗味不俗 报资讯
嘉禾名菜“洗澡肉”。红网时刻新闻6月26日讯(通讯员邓和明李姝婷)“
-
治理网暴不妨设立舆情“熔断机制”|今日最新
最近,最高人民法院、最高人民检察院、公安部三部门联合发布《关于依法
-
天天新消息丨金新城置业4.603亿摘天津生态城核心区地块
乐居财经 6月26日,天津1宗编号为津滨生转让(挂)2023-2号的地块成功
-
动态:精选!《真人快打1》仍然保留惩罚怒退玩家终结技
《真人快打1》仍然保留惩罚怒退玩家终结技介绍了 以血腥暴力为主要
-
扬杰科技:将努力拓宽与英伟达合作领域,预计会有较大的增长空间 今日要闻
扬杰科技在互动平台表示,公司MOS、二三极管等功率器件产品已运用在英
-
电脑时间变快是什么原因呢 电脑时间总是变快 天天最新
1、主板电池(cmos)没电、有病毒、你没有修改时间的权限。2、电脑时间
-
河北省石家庄市立德实验小学承办教育部中小学骨干教师“网络学习空间人人通”专项培训-热资讯
中国教育报-中国教育新闻网讯(记者周洪松通讯员宫溧)专家引领,课堂
-
焦点速讯:璞泰来拟斥资2亿元至3亿元回购股份
回购价格为不超过54 31元 股(含),回购价格上限不高于董事会审议通过股
-
今起内蒙古雨热共现 呼和浩特这些地区预计有雨→
今起内蒙古雨热共现呼和浩特这些地区预计有雨→,呼伦贝尔市,内蒙古,锡
-
马杜罗:我们在委内瑞拉全力支持普京,他是委内瑞拉的兄弟-世界今日讯
【环球网报道记者朱嘉琪】据塔斯社报道,委内瑞拉总统马杜罗24日晚间,
-
储能中标丨1.376-1.451元/Wh!中国能建入围国能宁夏100MW/200MWh储能电站EPC|快资讯
6月21日,宁夏电力国能宁东复合光伏基地项目配套100MW 200MWh储能电站E
-
俄罗斯最大国有商业银行:照常营业,提现和外汇需求没有增加 前沿资讯
每经AI快讯,当地时间6月24日,俄罗斯最大的国有商业银行联邦储蓄银行