Google 开源语言模型 Switch Transformer，但不包括权值
Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer，包括 1.6 万亿个参数，相比上一代的 T5 模型，在精度相似的情况下训练时间只要七分之一。
- 作者：佚名来源：solidot|2021-02-23 10:09
Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer，包括 1.6 万亿个参数，相比上一代的 T5 模型，在精度相似的情况下训练时间只要七分之一。
但 Google 并没有开源预训练的权值，而权值对于语言模型是至关重要，因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度，需要反复调整到输出结果与正确答案相同。
【编辑推荐】
【责任编辑：张燕妮 TEL：（010）68476606】
点赞 0
- 大家都在看
- 猜你喜欢
编辑推荐
- 24H热文
- 一周话题
- 本月获赞
- 为什么CTO、技术总监、架构师都不写代码，还这么牛？Python30岁，先驱：没想到Python这么流行竟能让照片人物动起来唱歌！这AI黑科技被玩坏了996加班骗局被揭穿，背后真相值得深思！金刚狼战士：美军研发细胞「重新编程」技术，是自愈速度的5倍Gartner 2021 年数据和分析领域十大趋势这个图聚类Python工具火了：社群结构可视化、检测开源开发者的真正价值几何？经济学家给出答案
- 996加班骗局被揭穿，背后真相值得深思！为什么CTO、技术总监、架构师都不写代码，还这么牛？竟能让照片人物动起来唱歌！这AI黑科技被玩坏了我对技术架构的理解与架构师角色的思考为什么要学习更多的编程语言？同时认为 Go 是最佳2021十大科技前沿趋势详解三大编译器：gcc、llvm 和 clang都2021年了，为什么想回看5分钟前写的代码就这么难
- 我对技术架构的理解与架构师角色的思考为什么伟大程序员没有中国人？996加班骗局被揭穿，背后真相值得深思！详解三大编译器：gcc、llvm 和 clang为什么CTO、技术总监、架构师都不写代码，还这么牛？5个开源的Java项目快速开发脚手架，项目经验有了她因重仓马斯克和比特币封神！现在分享了十大2021技术趋势数据分析师必备的9大技能，大多数人只知道一半
订阅专栏+更多
-
数据湖与数据仓库的分析实践攻略
助力现代化数据管理：数据湖与数据仓库的分析实践攻略共3章 | 创世达人6人订阅学习
-
云原生架构实践
新技术引领移动互联网进入急速赛道共3章 | KaliArch33人订阅学习
-
数据中心和VPDN网络建设案例
漫画+案例共20章 | 捷哥CCIE220人订阅学习
视频课程+更多
-
老汤大数据课程之 Hadoop 3
讲师：老汤929人学习过
-
【范昌明】从零开始系列-Project 2010视频课
讲师：范昌明197050人学习过
-
软件测试全栈系列课程
讲师：陈槐2408人学习过
专题推荐+更多
- 精选博文
- 论坛热帖
-
订阅51CTO邮刊
点击这里查看样刊
51CTO服务号
51CTO官微
