美国国防创新委员会公布了五角大楼的AI伦理原则

原则指出，人类应继续对“发展、部署、使用和成果”负责，军方使用的人工智能系统应避免可能导致意外伤害的偏见。国防部部署的AI还应该可靠、可管理，并使用“透明且可审核的方法，数据源以及设计过程和文档。”

“您可能会在[AI伦理原则文档]中看到公平一词引起的共鸣。我会告诫您，在许多情况下，国防部不应该公平。” 国防创新委员会成员和卡耐基梅隆大学研究副总裁Michael McQuade周四表示。“这应该是一个坚定的原则，即我们的系统中不应有意外的偏见。”

Applied Inventions联合创始人和计算机理论家Danny Hillis及其他委员会成员同意对文件草案进行修订，称可管理原则应包括“避免意外伤害和破坏以及避免人为部署系统的脱离接触。”Hillis表示，该报告应明确这点。军方使用的AI系统应配备一个关闭开关，以防万一情况出错时人为按下。

“我认为这是关于它们的最具问题性的方面，因为它们能够展现和发展出设计者很难预测的行为形式，有时这些行为形式实际上是一种自我保护的行为形式，可以他与设计者的意图和目标有些脱节，所以我认为这是关于它们的最危险的潜在方面之一。”他说。

国防创新委员会由谷歌前首席执行官Eric Schmidt主持，成员包括麻省理工学院CSAIL主任 Daniela Rus，海顿天文馆主任 Neil deGrasse Tyson，LinkedIn联合创始人Reid Hoffman，Code for America主任 Jennifer Pahlka和Aspen 研究所主任Walter Isaacson。

国防部发言人告诉VentureBeat，题为“人工智能原则：国防部关于人工智能在伦理上的使用的建议”的文件和相关的白皮书将在国防创新委员会的网站上共享。现在，这两者都将与国防部领导共享，以供他们决定是否采纳任何原则。

展望未来，委员会希望负责国防部内领先AI计划的联合AI中心与国防部长Mark Esper合作，制定沟通和政策命令，以确保原则能够成功，在可重复性，加强AI测试和评估技术，并创建年度AI安全和保障会议。

道德原则通过两个红队演习进行了研究，以考虑它们如何影响作战决策并认识到AI的潜在意外后果。它还承认指导美国国防部道德规范的现有文件，例如美国宪法，2015年版《战争法手册》和1949年日内瓦公约。

道德原则文件强调了俄罗斯等国不断增长的AI投资。

“在国家安全的高风险领域中，必须指出的是，美国正处于与威权主义国家的技术竞争中，这些国家正在以与民主国家所期望的法律、道德和道德规范相抵触的方式来追求人工智能应用。报告的目的是，我们的目标是建立在国防部长期的道德框架中提供的原则，该原则在过去的几十年中经受了新兴军事特定或双重用途技术的出现和部署，并反映了我们的民主规范和价值观。”

周四发布的原则是一个为期15个月的过程的产物，该过程将收集来自公共论坛和AI社区领导人（例如Facebook首席AI科学家Yann Le Cun，前MIT媒体实验室主任，Joi Ito，OpenAI研究总监Dario Amodei博士、斯坦福大学前首席AI科学家李飞飞博士）的评论和见解，也欢迎公众发表意见。

在今年春季在硅谷举行的一次公开会议上，人工智能专家和反对致命自动机器人的人们就五角大楼和美国服务人员可能面临的潜在道德挑战发表了意见，例如改进目标检测或武器瞄准系统。当时，微软的道德与社会道德总监Mira Lane等人认识到美国对手可能缺乏道德上的困扰，但美军可以在定义未来如何以及如何不使用AI方面发挥重要作用。AI伦理中军事领导的概念在周四再次出现。

McQuade表示：“这是一个领导全球对话的机会，这种对话建立在我们是谁，我们作为一个国家和部门如何运作以及我们从何而来的基础上。”

Schmidt在今年早些时候由斯坦福大学人类中心人工智能研究所举行的一次会议上说，人工智能伦理报告的目的以及计划于下周向国会提交的关于人工智能报告的国家安全委员会旨在帮助美国建立国家人工智能政策，全球30多个其他国家已制定了类似的AI政策。

他们周四在乔治敦大学的DIB会议上还讨论了以下话题：国防部和联合AI中心如何招募和保留AI-ML人才；讨论军队如何缺乏数字创新；以及增加采用精益设计，技术技能，为服务人员提供AI教育以及开展AI就绪型军事运动的建议。