7年内超级AI将问世OpenAI宣布20%算力投入4年内控制超级智能

7年内超级AI将问世OpenAI宣布20%算力投入4年内控制超级智能

7年内超级AI将问世OpenAI宣布20%算力投入4年内控制超级智能

为了控制、引导超级智能对齐问题，OpenAI周三（5日）表示，组建了一支人工智能对齐团队Superalignment。同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性，在4年内解决超级智能对齐问题。

超级智能将是人类发明的最具影响力的技术之一，可以帮助我们解决世界上许多难题。但超级智能的巨大力量也可能非常危险，并导致人类失去控制权，甚至灭绝人类。虽然超级智能还很遥远，但OpenAI认为，10年之内就很有可能实现。

目前，OpenAI还没有一个明确的解决方案来引导或控制超级人工智能。当下可控制的人工智能技术，例如，根据人类反馈进行***化学习，依赖于人类监督的AI能力等。但人类无法可靠地监督，比我们聪明多的AI系统，因此，我们目前的对齐技术无法扩展到超级智能，需要新的科学技术突破。

20%算力用来解决AI失控问题

为了控制、引导超级智能对齐问题，OpenAI组建了一支由IlyaSutskever（OpenAI联合创始人兼首席科学家）和JanLeike领导的人工智能对齐团队——Superalignment。

同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性，包括非法滥用、经济破坏、虚***信息、偏见和歧视、数据隐私和其他可能出现的问题。

他们预测，超智能AI（即比人类更聪明的系统）可能在这个十年（2030年前）就会到来，人类将需要比目前更好的技术来控制超智能AI，因此需要在所谓的“一致性研究”方面取得突破，该研究的重点是确保人工智能对人类有益。

根据他们的说法，在微软（Microsoft）的支持下，OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外，该公司正在组建一个新的团队来组织这项工作，称为超级一致性团队。

据悉，该团队的目标是创建一个“人类级别”的AI研究人员，然后通过大量的计算能力进行扩展。OpenAI表示，这意味着他们将使用人类反馈来训练AI系统，训练AI系统来**人类评估，然后最终训练AI系统进行实际的一致性研究。

OpenAI的方法

建立一个大致达到人类水平的自动对齐系统。然后，可以使用大量算力来扩展工作，并调整超级智能。

1、开发可扩展的训练方法：为了针对人类难以评估的任务提供训练方法，可以通过人工智能系统来协助评估，其他人工智能系统（可扩展的监督）。此外，OpenAI希望了解和控制其模型，将监督应用到无法监督的任务（泛化）上。

2、验证生成的模型：为了验证系统的一致性，OpenAI将自动搜索有问题的行为（稳定性）和有问题的内部结构（自动可解释性）。

3、对整个对齐管道进行压力测试：可以通过故意训练未对准的模型，来测试整个安全流程，并确认技术检测到最差的未对准类型（对抗性测试）。

OpenAI预计，随着对超级智能对齐了解越来越多，研究重点将会发生重大变化，可能会增加全新的研究领域。

未来，会分享更多有关技术研究路线图的信息。

每日经济新闻综合OpenAI**

openai是什么

OpenAI是由诸多硅谷大亨联合建立的人工智能非营利组织，成立于2015年12月。

2016年11月16日，微软宣布，与由特斯拉首席执行官埃隆·马斯克和YCombinator总裁山姆·阿尔塔曼联合创建的估值达10亿美元的人工智能非盈利性研究公司OpenAI展开合作。

2019年7月23日，微软宣布出资10亿美元，投向知名AI研究机构OpenAI，双方达成一项多年合作协议——OpenAI在微软Azure云平台开发AI技术。2021年5月27日，OpenAI宣布与微软成立1亿美元的人工智能创业基金。

作为一个非盈利性人工智能项目，OpenAI的使命是 “推动数字智能的发展，同时不被财务回报所限制，从而造福整个人类”。OpenAI获得的投资承诺已经超过10亿美元，资金提供方包括Sam Altman、Elon Musk、PayPal联合创始人Peter Thiel、LinkedIn联合创始人Reid Hoffman、AWS、Infosys和YC Research等。

发展历史：

2015年12月12日，非盈利性的人工智能项目—OpenAI宣布正式启动，YCombinator总裁 Sam Altman和特斯拉CEO?Elon?Musk将共同担任OpenAI的联席**。

2017年5月，OpenAI发布了一款能在“观看”人类搭积木后模仿这一行为的机器人。

2017年8月12日，在Dota 2国际邀请赛上Open AI公司的机器人在Dota2 1v1比赛中战胜了Dota人类顶级职业玩家Dendi。

2021年1月7日，旧金山人工智能研究公司OpenAI已经开发了一种新系统，能根据短文本来生成图像。OpenAI在官方博客中表示，这个新系统名为DALL-E，名称来源于艺术家萨尔瓦多·达利和皮克斯的机器人英雄瓦力的结合。新系统展示了“为一系列广泛的概念”创造图像的能力，创作的作品包括牛油果形状的扶手椅等。

openai是***人工智能吗

OpenAI，是***人工智能。

公司核心宗旨在于“实现安全的通用人工智能(AGI)”，使其有益于人类。[2]

外文名

OpenAI

创立时间

2015年

相关**

1.4万播放|02:26

AI自己写代码让智能体进化！OpenAI的大模型有“人类思想”

张小艺爱生活

1万播放|04:08

OpenAI制造了首个单手解魔方的机器人，使用了神经网络技术

火力全开

8700播放|02:15

【高数有多难！ AI考高数仅得81分 】数学难，高等数学更难！多年来，科学家一直尝试让AI机器人挑战数学考试，但连年不及格，甚至低到20多分。因此，人们普遍认为人工智能无法挑战高数。然而近日，麻省理工的科学家基于OpenAI Codex预训练模型在高数上通过few-shot learning的正确率达到了81%！相关研究已经被ArXiv收录。

飞碟说

2.5万播放|01:11

微软向OpenAI投资10亿美元，在Azure平台上开发AI技术

科技今日看

5928播放|01:04

细思极恐[吃惊]【#专家称人工智能已有轻微意识#[吃惊]】2月15日消息，据媒体报道，建立在大型人工神经网络的人工智能，正在帮助人类解决金融、研究和医学领域的问题，科学家认为这些AI或许已经具有了人类的“轻微意识”。近日，OpenAI 公司创始人推特发文称，现今最大的人工神经网络可能存在某些意识。例如OpenAI 公司建造的一个 1750 亿参数语言处理系统，能够翻译、回答问题和填补缺失的单词。人

WEMONEY研究室

公司背景公司发展TA说

公司背景

2015年，OpenAI由马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等硅谷科技大亨创立。[2]

公司发展

2016年6月21日，OpenAI宣布了其主要目标，包括制造“通用”机器人和使用自然语言的聊天机器人。OpenAI研发主管伊利娅·苏特斯科娃(Ilya Sutskever)、OpenAI CTO格雷格·布劳克曼（Greg Brockman）硅谷知名创业加速器Y Combinator总裁萨姆·阿尔特曼（Sam Altman）以及连续创业家伊隆·马斯克（Elon Musk）等人联合发表博文称：“我们正致力于利用物理机器人（现有而非OpenAI开发）完成基本家务。”[1]

2019年7月22日，微软投资OpenAI 10亿美元，双方将携手合作替Azure云端平台服务开发人工智能技术。

2020年6月11日，OpenAI宣布了GPT-3语言模型，微软于2020年9月22日取得独家授权。

2022年6月，量子计算专家、ACM计算奖得主Scott Aaronson宣布，将加盟公司。