电影《孤注一掷》票房破10亿 电影揭秘境外网络诈骗全产业链
据专业数据显示,电影《孤注一掷》自上映三天以来,国内票房已经突破10
上证报中国证券网讯(记者 宋薇萍)继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”(以下简称“语料数据联盟”),上海人工智能实验室(上海AI实验室)于8月14日宣布,联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。
“书生·万卷”1.0目前包含文本数据集、图文数据集、视频数据集三部分,本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本,2200万个图文交错文档,1000个节目影像视频,具备多元融合、精细处理、价值对齐、易用高效等四大特征。
(资料图片)
集合语料数据联盟成员丰富的内容积累与上海AI实验室领先的数据处理能力等优势,“书生·万卷”将为学术界及产业界提供更符合主流中文价值对齐的高质量大模型多模态预训练语料。
跨界联合,共建宽领域语料库
本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料,数据总量超过5亿个文档,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等多个领域。
图文数据主要来自公开网页,经处理后形成图文交错文档。文档总量超过2200万个,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等多个领域。
视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,总计视频文件数超过1000个,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。
精细处理 构建高质量预训练语料
高质量、大规模、安全可信的语料数据对于大语言模型的训练和性能提升至关重要。基于语料数据联盟构建的语料库,上海AI实验室对其中部分数据进行细粒度清洗、去重以及价值对齐,形成了高质量多模态预训练语料“书生·万卷”1.0,具备多元融合、精细处理、价值对齐、易用高效等四大特征。
在多元融合方面,“书生·万卷”1.0包含文本、图文、视频等多模态数据,范围覆盖科技、文学、媒体、教育、法律等多个领域,在训练提升模型知识含量、逻辑推理和泛化能力方面具有显著效果。
在精细处理方面,“书生·万卷”1.0经历了语言甄别、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多尺度去重、数据质量评估等精细化数据处理环节,因而能更好地适配后续的模型预训练需求。
在价值对齐方面,研究人员在“书生·万卷”1.0的构建过程中,着眼于内容与中文主流价值观的对齐,通过算法与人工评估结合的方式,提升了语料的纯净度。
在易用高效方面,研究人员在“书生·万卷”1.0采用统一格式,并提供详细的字段说明和工具指导,使其兼顾了易用性和效率,可快速应用于语言、多模态等大模型预训练。
据悉,高质量、多模态、宽领域的数据支持已成为当前人工智能大模型发展的重要基石,中国大模型语料数据联盟将持续通过开源开放,共建包容、开放、有序、共享的人工智能大生态。
上海人工智能实验室是我国人工智能领域的新型科研机构,目标为建成国际一流的人工智能实验室,成为享誉全球的人工智能原创理论和技术的策源地。
中国大模型语料数据联盟是由上海人工智能实验室联合国家气象中心、上海数据集团、上海市数商协会等单位联合发起成立的开放组织。旨在通过链接模型训练、数据供给、学术研究、第三方服务等多方面机构,联合打造多知识、多模态、标准化的高质量语料数据,探索形成基于贡献、可持续运行的激励机制,打造国际化、开放型的大模型语料数据生态圈。
标签:
上一篇 : 湖北一村庄无人机运橙子好壮观:用科技省了15个人
下一篇 : 最后一页
上证报中国证券网讯(记者宋薇萍)继今年7月在2023世界人工智能大会发
08-15 02:50:58
惊爆!最近10届羽毛球世锦赛,5个协会重大突破,国羽将王者归来。2023
08-15 02:28:46
“河里芡实渐渐成熟,明天可以尝鲜果啦……”8月10日,扬州市邗江区方
08-15 01:45:27
3D建模中经常要用到倒角,小编就教大家如何使用倒角。1、创建图形下找
08-15 01:56:46
近日,一则关于外卖骑手深夜送餐期间车辆被盗的视频引发公众关注。昆明
08-15 00:06:27
湖北一村庄无人机运橙子好壮观:用科技省了15个人
08-14 23:46:41
2023年8月14日,TVB母公司电视广播(00511 HK)发布盈利警示公告,预计20
08-14 23:26:24
商标权和专利权的主要区别在于二者的客体对象、保护期限、保护的内容范
08-14 23:05:19
进入汛期,生态环境部印发通知,要求各地迅即采取有效措施,切实防范汛
08-14 23:13:06
暑运高峰持续,首都机场客流量大幅攀升,截至8月11日,2023年首都机场
08-14 23:17:47
2023年是世界母乳喂养周举办的第32年,济南市第四人民医院举行了一次主
08-14 23:00:51
2023年8月14日,视声智能今日开启申购,发行代码为889976,本次发行价
08-14 22:58:26
中国青年报客户端北京8月14日电(中青报·中青网见习记者赵安琪)当地
08-14 22:35:06
中超联赛官方公布了截至第22轮射手榜,莱昂纳多、武磊依旧位列射手榜前
08-14 22:11:44
亚康股份涨16 19%
08-14 21:58:13
美国密歇根州38岁的女子艾琳·霍尼卡特凭借11 8英寸(约30厘米)的络腮
08-14 21:43:41
据专业数据显示,电影《孤注一掷》自上映三天以来,国内票房已经突破10
08-14 21:23:29
0 15毫米——这是一个仅可供两根头发丝穿过的隧孔直径,这个隧孔存在于
08-14 21:32:40
乐居财经刘治颖8月13日,桐乡市城市发展集团有限公司2023年面向专业投
08-14 21:30:36
【新华社北京8月13日电】8月13日,国家防总办公室、应急管理部组织防汛
08-14 21:23:15
关注函要求新大正说明原业绩考核指标设置的具体背景,结合新大正目前实
08-14 21:25:49
8月14日,常熟银行发布业绩快报,公司2023年1-6月实现营业收入49 14亿
08-14 21:22:11
【商务部等9部门:提高农产品冷链流通效率进一步降低流通损耗】商务部
08-14 20:00:58
中国大模型语料数据联盟开源发布高质量多模态语料“书生·万卷”金十数
08-14 19:57:41
想入手最智能的乘用车“双雄”——Model3和ModelY的朋友们,可要抓紧了。
08-14 19:47:28
,你们好,今天0471房产来聊聊一篇莫·阿亨巴赫,莫·阿亨巴赫简述的文
08-14 19:11:47
一票难求的热门景区、每天满房的网红酒店、需要抢购的演出票、排队用餐
08-14 18:30:55
深圳市美科星通信技术有限公司(MERCURY)成立于2001年,是一家专业的网
08-14 18:10:30
中国报告大厅2023年8月14日山东省聚合氯化铝铁价格最新走势监测显示:
08-14 17:16:23
匿名投稿发布侮辱性言论P明星丑图诱导粉丝骂战臭气熏天的“网络厕所”
08-14 17:12:06
维拉官方消息,球队后卫明斯严重膝伤,将接受手术治疗并长期缺阵。在新
08-14 16:49:30
2023中国杏花村国际酒业博览会将于8月19日至21日在汾阳市举办,目前,
08-14 16:49:58
早年间,我们在大马路上面几乎看到的都是燃油版汽车,然而现如今,这一
08-14 16:33:09
内容正在升级改造,请稍后再试!【免责声明】本文仅代表合作供稿方观点
08-14 15:57:02
新建“渝馨家园”70家新增残疾人就业1538人(主题)重庆日报记者杨铌紫
08-14 15:48:50
一男子因醉驾被查获,为求“平事”找人办事,送给一位辅警10万元,之后
08-14 15:52:29
剑与远征光三宝先红哪个?剑与远征中光三宝是不少玩家都认识的强力英雄
08-14 15:52:36
8月13日,自治区第十四届运动会射箭项目比赛进入最后一天,决出青年组
08-14 15:30:32
中证转债指数收盘跌0 28%,近三成可转债上涨
08-14 15:04:35
你对家用投影仪行业有了解吗?相信提及这样的话题,很多喜欢投影仪的小
08-14 14:56:55
金融界8月14日消息今日早间,港股低开后震荡走弱,截至午间收盘,恒生
08-14 15:01:17
意媒:国米和阿瑙托维奇谈妥两年合同,300万欧元年薪+50万奖金,欧元,意
08-14 14:36:34
联想i7笔记本报价表作为一款电脑品牌,联想是众多消费者喜爱的品牌之一
08-14 14:34:15
博德之门3梅丽娜的吊坠的主要作用就是能增加和影心之间的好感度,在获
08-14 14:12:47
室内甲醛的去除的正确方法,主要有两种,一种是通风法,另一种是源头催
08-14 13:47:48
央视网消息:这几天,在房山、门头沟、昌平等地,中部战区陆军第82集团
08-14 13:12:29
鞭牛士8月14日消息,AI视频生成创企Runway8月10日宣布,Runway现已对旗
08-14 13:08:06
在宁夏中卫市沙坡头区境内,乌玛高速(内蒙古乌海市至青海玛沁县)有18
08-14 13:06:08
男篮4后卫10+9失误:球迷狂刷想念郭艾伦两高端局乔帅对后场失望,乔帅,
08-14 12:49:17
国内首款为丘陵山地“量身定制”、全电动小型轮式无人驾驶多功能农机,
08-14 12:15:17
上证报中国证券网讯(记者宋薇萍)继今年7月在2023世界人工智能大会发
2023-08-15
惊爆!最近10届羽毛球世锦赛,5个协会重大突破,国羽将王者归来。2023
2023-08-15
“河里芡实渐渐成熟,明天可以尝鲜果啦……”8月10日,扬州市邗江区方
2023-08-15
3D建模中经常要用到倒角,小编就教大家如何使用倒角。1、创建图形下找
2023-08-15
近日,一则关于外卖骑手深夜送餐期间车辆被盗的视频引发公众关注。昆明
2023-08-15
暑运高峰持续,首都机场客流量大幅攀升,截至8月11日,2023年首都机场
【新华社北京8月13日电】8月13日,国家防总办公室、应急管理部组织防汛
关注函要求新大正说明原业绩考核指标设置的具体背景,结合新大正目前实
【商务部等9部门:提高农产品冷链流通效率进一步降低流通损耗】商务部
你对家用投影仪行业有了解吗?相信提及这样的话题,很多喜欢投影仪的小
2023年8月14日,TVB母公司电视广播(00511 HK)发布盈利警示公告,预计20
据专业数据显示,电影《孤注一掷》自上映三天以来,国内票房已经突破10
Copyright © 2015-2022 热讯纤维网版权所有 备案号:豫ICP备20005723号-6 联系邮箱:29 59 11 57 8@qq.com