发现者网
产业经济 科技业界 3C数码 文化传媒 移动智能 家电行业 产业互联网 AI大模型 汽车出行

OpenAI 设立‘防备’预警团队,确保 AI 技术安全

2023-12-19来源:发现者网编辑:芳华

【发现者网】12月19日消息,OpenAI,全球领先的人工智能研究公司,最近成立了一个名为“防备”(Preparedness)的专项团队,专注于评估和缓解其技术可能带来的潜在风险。这一措施是对近期关于 AI 技术安全性的广泛关注的回应。

这一新团队由 AI 领域的资深专家亚历山大・马德里(Aleksander Madry)领衔,他在麻省理工学院的人工智能研究中心担任主要职位。团队成员涵盖多个领域的专家,包括人工智能研究员、计算机科学家、国家安全专家和政策专家,共同监控 OpenAI 开发的技术,并确保这些技术不会被滥用,如用于制造化学、生物甚至核武器。

据发现者网了解,OpenAI 还发布了一个名为“防备框架”的指导方针,虽然目前仍处于试验阶段,但目的是确保技术的安全可控。此外,防备团队将定期向公司内部的安全咨询小组报告其发现,进而向首席执行官萨姆・阿尔特曼和董事会提出建议。基于这些建议,公司将决定是否发布新的 AI 系统,同时董事会拥有最终决策权。

为了进一步增强对技术的监控,防备团队将对 OpenAI 最先进的 AI 模型进行定期评估,并根据潜在风险将其分为四个等级:低、中、高和严重。根据新指南,仅当模型的风险等级被评定为低或中时,OpenAI 才会考虑发布。

OpenAI 的这一步骤是对全球科技界关于 AI 安全性的热烈讨论的回应。一些知名 AI 专家,包括来自谷歌和微软的专家,曾警告称 AI 技术可能构成严重威胁,与流行病或核武器威胁相当。尽管有些人认为这些担忧被夸大了,但 OpenAI 采取了更加审慎的立场。

在公司内部,马德里的领导地位受到了高度重视。他在麻省理工学院的职务以及他在 AI 政策论坛中的角色为他在 OpenAI 的角色奠定了基础。在公司的一次领导层变动中,他曾短暂离职,但随后又重返公司。在这个过程中,OpenAI 的董事会也经历了变化,目前正在寻找新的成员。

马德里表示,尽管公司经历了领导层的动荡,但他依然对 OpenAI 董事会处理 AI 风险的能力充满信心。除了技术人才,他还强调将引入国家安全领域的专家,以增强团队的多元化。

OpenAI 还计划允许合格的第三方独立测试其技术,以进一步提高透明度和安全性。马德里强调,AI 的发展需要在创新与安全之间找到平衡,既不能忽视其巨大潜力,也不能忽视潜在的风险。他认为,正确的途径是在保证安全的前提下,推动技术的发展。