发现者网
产业经济 科技业界 3C数码 文化传媒 移动智能 家电行业 产业互联网 AI大模型 汽车出行

OpenAI成立“准备”团队 加强人工智能系统安全评估

2023-12-19来源:发现者网编辑:星辉

【发现者网】12月19日消息,美国当地时间周一,OpenAI宣布在人工智能(AI)安全领域取得重大突破。尽管公司领导层认为其AI模型足够安全,但公司董事会表示,即便如此,他们也有权推迟发布。这标志着OpenAI加强了尖端技术开发安全保障的决心。

公司周一发布的一套指导方针详细说明了决策流程,并解释了OpenAI计划如何应对其最强大人工智能系统可能带来的极端风险。在发布指导方针之前,OpenAI首席执行官萨姆·奥特曼(Sam Altman)曾被董事会短暂罢免,公司陷入动荡。这使得董事和公司高管之间的权力平衡成为人们关注的焦点。

据发现者网了解,OpenAI最近成立的“准备”(Preparedness)团队将持续评估公司的人工智能系统,特别关注四个不同类别的表现,包括潜在的网络安全问题,以及化学、核和生物武器威胁。该团队致力于减少该技术可能造成的任何危害,监控所谓的“灾难性”风险,定义为“可能导致数千亿美元经济损失或导致许多人受到严重伤害或死亡的风险”。

“准备”团队的负责人亚历山大·马德里(Aleksander Madry)表示,该团队将向新的内部安全咨询小组发送月度报告,并由该小组分析工作,并向奥特曼和董事会提交建议。董事会经过全面改革,根据新的文件,奥特曼及其领导团队可以根据这些报告决定是否发布新的人工智能系统,但董事会有权否决。

OpenAI在10月份宣布成立“准备”团队,使其成为监督人工智能安全的三个独立团队之一。另外两个团队分别是“安全系统”团队,关注当前产品如GPT-4,以及“超级对齐”(Superalignment)团队,专注于未来可能存在的极其强大的人工智能系统。

马德里表示,他的团队将反复评估OpenAI最先进的、尚未发布的人工智能模型,根据不同类型的感知风险将它们评为“低等”、“中等”、“高等”或“关键”。该团队还将努力减少在人工智能中发现的潜在危险,并衡量其有效性。根据新的指导方针,OpenAI将只推出危险评级为“中等”或“低等”的模型。

马德里还呼吁其他公司采用OpenAI的指导方针来评估其人工智能模型的潜在风险。他表示,这些指导方针是OpenAI之前在评估已发布人工智能技术时遵循的许多流程的正规化,并在过去几个月里通过内部反馈不断完善。

微软斥资6.5亿美元携手Inflection AI 加速AI布局
【发现者网】3月22日消息,奥迪汽车再次刷新了豪华车市场的格局,新款奥迪A8L Horch创始人版正式上市,为消费者带来了两款豪华车型,定价分别为130万元和207.68万元。这款车型不仅是对品牌传统的传承,更是对豪华汽

2024-03-22

侯晓楠领航阅文集团:“爆款之年”展望 海外业务与AI应用成新增长引擎
【发现者网】3月19日消息,阅文集团于3月18日发布了2023年全年业绩报告,显示该公司在过去的一年中取得了不错的业绩。据悉,阅文集团全年营收达到70.12亿元,虽然同比下降了8%,但归母净利润却实现了32.3%的同比增长

2024-03-19

英伟达推出高性能GB200芯片 助力AI模型训练再提速
【发现者网】3月19日消息,英伟达在美国加州圣何塞的全球开发者大会上,发布了最新一代专用于人工智能的GPU芯片及相应软件,意图巩固其在人工智能领域的领先地位。据发现者网了解,英伟达新推出的GPU架构名为Blackwe

2024-03-19

英伟达或斥巨资收购Run:AI 人工智能领域将迎新变革
【发现者网】3月18日消息,近日有知情人士向发现者网独家透露,全球知名的图形处理器制造商英伟达正与以色列的人工智能基础设施编排和管理平台Run:AI进行紧密谈判,双方正在商讨一项可能涉及数亿美元,甚至高达10亿

2024-03-18

Yi大模型API震撼上线 零一万物助力开发者领跑AI赛道
【发现者网】3月14日消息,零一万物公司近日宣布推出全新的Yi大模型API开放平台,该平台将为全球的开发者带来三款功能强大的模型:通用聊天模型「Yi-34B-Chat-0205」、支持超长上下文的「Yi-34B-Chat-200K」以及多模

2024-03-14