谷歌最新 AI 大语言模型 PaLM2 数据量扩充 5 倍
叶紫网 北京时间 5 月 17 日早间消息,谷歌上周发布的最新大语言模型使用的训练数据,几乎是 2022 年的上一代模型 5 倍。得益于此,该模型在编程、数学和创意写作方面表现更好。
谷歌是在其 I / O 开发者大会上发布最新通用大语言模型 PaLM2 的。内部文件显示,该模型采用了 3.6 万亿个令牌(token)进行训练。令牌指的是单词串,这是训练大语言模型的重要基础,因为这可以教给模型如何预测字符串中可能出现的下一个单词。
之前版本的 PaLM 发布于 2022 年,当时使用的令牌为 7800 亿个。
虽然谷歌很希望展示其人工智能技术的实力,以及嵌入搜索、电子邮件、字处理和电子表格后的效果,但该公司却不愿发布其训练数据的规模和其他细节。微软支持的 OpenAI 也对其最新的 GPT-4 大语言模型的细节信息保密。
这些公司表示,之所以不披露这些信息,是出于商业竞争考虑。谷歌和 OpenAI 都在努力吸引想要用聊天机器人代替传统搜索引擎,从而直接获取答案的用户。
但随着人工智能军备竞赛日趋白热化,相关研究人员也呼吁企业加大透明度。
自从发布 PaLM2 之后,谷歌一直表示新的模型比之前的大语言模型更小,这就意味着该公司的技术效率得以提升,但却可以完成更加复杂的任务。内部文件显示,PaLM2 基于 3400 亿个参数训练 —— 这项指标可以说明该模型的复杂程度。最初的 PaLM 则基于 5400 亿个参数训练。
目前,谷歌尚未对此置评。
谷歌在一篇关于 PaLM2 的博文中表示,该模型使用了一种名为“计算机优化扩张”的新技术。这就让大语言“更高效、整体性能更好,包括加快推理速度、减少参数调用和降低服务成本。”
在宣布 PaLM2 时,谷歌证实了此前的媒体报道,计该模型针对 100 种语言进行训练,可以执行更广泛的任务。它已经被用于 25 项功能和产品,包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分,该模型共有 4 种,分别是壁虎(Gecko)、水獭(Otter)、野牛(Bison)和独角兽(Unicorn)。
根据公开披露的信息,PaLM2 比现有的任何模型都更加强大。Facebook 在 2 月份宣布的的 LLaMA 大语言模型采用 1.4 万亿个令牌。OpenAI 上一次披露 GPT-3 的训练规模时表示,它当时基于 3000 亿个令牌。OpenAI 今年 3 月发布 GPT-4 时表示,它在许多专业测试中展示出“与人类媲美的表现”。
LaMDA 是谷歌两年前推出的一个对话型大语言模型,在今年 2 月还与 Bard 一同对外宣传。该模型基于 1.5 万亿个令牌训练。
随着新的人工智能应用快速进入主流,围绕底层技术的争议也越来越激烈。
谷歌高级研究科学家艾尔・迈赫迪・艾尔・麦哈麦迪(El Mahdi El Mhamdi)于今年 2 月辞职,主要原因就是人工智能技术缺乏透明度。本周二,OpenAI CEO 山姆・阿尔特曼(Sam Altman)出席美国国会针对隐私和技术举行的听证会,他也认为需要设立一套新的制度来应对人工智能的潜在问题。
“对于一种全新的技术,我们需要一套全新的框架。”阿尔特曼说,“当然,像我们这样的公司应当为我们推出的工具承担许多责任。”
热门推荐
-
原来藏了这么多黑科技!谷歌翻译深度体验
近日,Google日更新了Google 翻译 App,中国用户可突破性的使用Word Lens(即时... -
谷歌将为 Chrome 引入“双击关闭标签页”
可以关闭 Chrome for Windows 当前激活在浏览器中的选项卡 / 标签页。当然,您也... -
腾讯优图发布AI手语翻译机用人工智能帮助听障人士正常交流
在全球无障碍宣传日之际,腾讯优图实验室联合深圳市信息无障碍研究会共同发布了“优图AI手语翻译机”,致... -
英特尔 ARM 英伟达共同发布规范草案,统一 AI 数据交换格式
草案中和英伟达推荐使用人工智能系统 8 位的 FP8 浮点处理格式。他们表示,FP8 为了加快人工智... -
Android P正式出世!谷歌IO大会宣布这是更智能的系统
随着近年来谷歌下了不少的功夫在底层优化方面,所以即使安卓系统相较iOS对硬件的依赖程度要高很多,但是... -
终于免费了!谷歌地球专业版下载
IT之家(www.ithome.com):终于免费了!谷歌地球专业版下载 IT之家讯1月31日消息,... -
人工智能计算机已经实现图像识别技术
在五六年之前,人工智能计算机这样的一种产品的运营还不是特别的普遍,而且在进行相关图像识别的时候,并不... -
人工智能语言模型 GPT-3 在智商测试中明显胜过人类大学生
在衡量智力的一系列推理测试中,自回归语言模型 GPT-3 的成绩明显优于普通大学生。该程序利用深度学... -
谷歌G1发布:十月正式上市 售价约1200元
北京时间23日晚间10:30分,美国最大运营商T-Mobile在纽约发布首款谷歌Android操作系... -
小米电视5新功能get!!!——声纹识别厉害了喔~
随着科技的不断发展,科技为人们的生活提供着越来越大的便利了,我们必须承认现在的很多家居抹上科技色彩后... -
谷歌浏览器Chrome 41.0.2272.101稳定版下载
IT之家讯 3月20日消息,谷歌浏览器Chrome稳定版今天升级到41.0.2272.101,本次更... -
谷歌允许用户以各种方式定制他们的 Chrome 浏览器
谷歌允许用户以各种方式定制他们的 Chrome 浏览器,其中一种方式是通过安装扩展程序,使 Chro... -
谷歌 Pixel 7/7Pro / 7A 将支持 LE Audio 蓝牙标准
谷歌发布安卓 13 正式版,并开始前进 Pixel 手机推送更新。安卓作为新系统的升级之一,13 ... -
微软人工智能技术将为宝马车主提供更好的互动体验
近期,微软正在使用开源平台为宝马汽车设计多模式智能助理,由微软Azure支持的BMW Open Mo... -
新版华为P30 Pro上架 支持谷歌移动服务
近日,新版华为P30 Pro上架,售价749欧元(8GB+256GB,约合人民币5700元)。它支持... -
部分谷歌 Pixel 6/7 手机有耗电和过热问题
Pixel 6 和 Pixel 7 用户都遇到了电池耗尽和过热的问题。谷歌的 5 月更新似乎增加了功... -
只要有了这12款插件,你的谷歌浏览器Chrome就可以变得无所不能
笔者一直使用谷歌浏览器Chrome,是因为谷歌浏览器Chrome在在全世界是使用人数最多的浏览器,还... -
Pixel Stand无线充电器,谷歌全新升级
谷歌为Pixel 3和Pixel 3 XL设计了一款特殊的无线充电器——Pixel Stand,它不... -
谷歌公司正在研发的全新系统:流畅度一定要高!
说到手机系统,目前用的最多的就是安卓,IOS,还有Windows这几种。其中安卓系统应该是使用的人数... -
“灭霸手套”来了!内置密集的传感器,可通过触摸识别物体
根据英国《自然》杂志30日发表的一项工程学论文,美国麻省理工学院团队报告研发出一种装配了传感器的“人... -
看家本领第一,实锤!!非小嘀人脸识别智能锁R5莫属~
人工智能技术的飞速发展悄然改变着我们人类生活的方方面面,也为我们生活中很多微小的细节提供了切实的帮助... -
小米发布人工智能虚拟形象“小爱”,不过看到她的手办后……
人人都要赚死宅的钱。 昨天,小米在北京召开了首届小米LOT(物联网)开发者大会,大会现场,小米人工智... -
LG推出家电内置AI芯片 提供最优化人工智能解决方案
LG电子近日宣布,已经成功研发出搭载于扫地机器人、洗衣机、冰箱、空调等家电产品中的人工智能(AI)芯... -
人工智能领域里面的配套服务产业有什么
现代社会上,人工智能领域已经非常的普及,而且研发出了相应的产品,所以说相关的一些企业开始有着具体的分... -
谷歌旗下一公司探索人工智能领域
根据相关媒体的报道,谷歌这个公司为了能够进行人工智能领域的探索,并且寻找这一个领域的技术,对于整个社...