|
|
|
|
公众号矩阵

Google 开源语言模型 Switch Transformer,但不包括权值

Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer,包括 1.6 万亿个参数,相比上一代的 T5 模型,在精度相似的情况下训练时间只要七分之一。

作者:佚名来源:solidot|2021-02-23 10:09

Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer,包括 1.6 万亿个参数,相比上一代的 T5 模型,在精度相似的情况下训练时间只要七分之一。

但 Google 并没有开源预训练的权值,而权值对于语言模型是至关重要,因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度,需要反复调整到输出结果与正确答案相同。

【编辑推荐】

  1. DAIC:检测商业电子邮件欺诈(BEC)的开源利器
  2. 知悉、预防、修复:谷歌提出开源软件漏洞治理框架
  3. 全球首发—鸿蒙开源平台OpenGL
  4. 谷歌 Chrome 浏览器 iOS 测试版增添无痕模式锁定功能,需人脸或指纹解锁查看
  5. 近千片段、25种类别,阿里等开源遮挡场景的视频实例分割数据集
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

6人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

33人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

220人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微