几十年来，军队一直使用汽车不知名的武器，如水雷、鱼雷和热制导导弹基于简单的反应反馈，无需人为控制。然而，人工智能(AI)现在已经进入了武器设计领域。
哈佛医学院布拉瓦尼克研究所神经生物学副教授卡纳卡·拉詹和她的团队表示，人工智能驱动的自主武器代表了战争的新时代，对科学进步和基础研究构成了具体威胁。
拉詹说，人工智能武器，通常涉及无人机或机器人，正在积极开发和部署。她预计，随着时间的推移，它们只会变得更有能力、更复杂，并被广泛使用，因为这种技术很容易扩散。
在这种情况下，她担心人工智能武器可能会导致地缘政治不稳定，以及它们的发展如何影响学术界和工业界的非军事人工智能研究。
Rajan与HMS神经生物学研究员Riley Simmons-Edler和Ryan Badman以及麻省理工学院博士生Shayne Longpre在2024年机器学习国际会议上发表的立场文件中概述了他们的核心关注点和前进道路。
在与《哈佛医学新闻》的对话中，拉詹也是哈佛大学肯普纳自然与人工智能研究所的创始教员，她解释了为什么她和她的团队决定深入研究人工智能军事技术的主题，他们认为最大的风险是什么，以及他们认为接下来应该发生什么。
哈佛医学新闻:你是一位计算神经科学家，在人类和动物大脑的背景下研究人工智能。你是怎么想到人工智能自主武器的?
Kanaka Rajan:我们开始考虑这个话题是对2023年春天流传的一些关于人工智能的末日预言的回应。我们问自己，如果这些预测确实被夸大了，那么人类社会面临的真正风险是什么?我们研究了军队是如何使用人工智能的，并发现军事研究和开发正在大力推动建立具有全球影响的人工智能自主武器系统。
我们意识到，人工智能学术研究界无法免受这些武器广泛发展的后果。在没有外界建议的情况下，军队往往缺乏足够的专业知识来开发和部署人工智能技术，因此他们必须利用学术和行业人工智能专家的知识。这给学术机构的研究人员和管理人员提出了重要的伦理和实践问题，类似于任何资助学术研究的大公司所面临的问题。
HM News:当人工智能和机器学习被纳入武器中时，你认为最大的风险是什么?
拉詹:开发人工智能武器有很多风险，但我们认为最大的三个风险是:首先，这些武器可能会使各国更容易卷入冲突;第二，非军事人工智能科学研究可能会受到审查或被用来支持这些武器的发展;第三，军队如何利用人工智能驱动的自主技术来减少或转移人类在决策中的责任。
第一点，阻止国家发动战争的一大威慑因素是士兵的死亡——这是公民的人力成本，可能会给领导人带来国内后果。目前许多人工智能武器的开发旨在使人类士兵免受伤害，这本身就是一件人道的事情。然而，如果很少有士兵在进攻性战争中死亡，就会削弱战争行为与人力成本之间的联系，从政治上讲，发动战争变得更容易，这反过来又可能导致更多的死亡和破坏。因此，随着人工智能军备竞赛的加剧和这种技术的进一步扩散，重大的地缘政治问题可能很快出现。
关于第二点，我们可以看看核物理学和火箭学等学术领域的历史。由于这些领域在冷战期间获得了至关重要的国防重要性，研究人员经历了旅行限制、出版审查和需要安全许可才能进行基本工作。随着人工智能自主技术成为全球国防规划的核心，我们可能会看到非军事人工智能研究受到类似的限制，这将极大地阻碍基础人工智能研究、在医疗保健和科学研究方面有价值的民用应用以及国际合作。考虑到人工智能研究的增长速度和人工智能武器的研究和开发正在获得牵引力，我们认为这是一个紧迫的问题。
最后，如果人工智能武器成为国防的核心，我们可能会看到学术界和工业界将人工智能研究人员的努力纳入这些武器或开发更多“两用”项目的重大尝试。如果越来越多的人工智能知识开始被锁定在安全许可之后，它将在智力上阻碍我们的领域。一些计算机科学家已经在呼吁进行如此严格的限制，但他们的论点忽视了一个事实，即新的武器技术一旦被开创，就往往会扩散。
HM News:为什么你认为那些思考人工智能威胁的人相对忽视了武器设计?
拉詹:原因之一是这是一个快速变化的新形势:自2023年以来，一些大国已经开始迅速公开地接受人工智能武器。此外，单独的人工智能武器系统在孤立的情况下似乎不那么具有威胁性，与将其视为更广泛的系统和能力集合相比，容易忽略问题。
另一个挑战是，科技公司对其武器系统的自主程度和人类监督程度不透明。对于某些人来说，人类的监督可能意味着在AI武器单位做出一长串黑盒决策后，在人类无法理解或无法发现系统逻辑中的错误的情况下，按下“去杀”按钮。对其他人来说，这可能意味着人类有更多的实际控制，并检查机器的决策过程。
不幸的是，随着这些系统变得越来越复杂和强大，战争中的反应时间必须更快，黑箱结果更有可能成为常态。此外，在人工智能驱动的自主武器上看到“人在循环”，可能会让研究人员认为，按照军事标准，该系统是合乎道德的，而事实上，它并没有有意义地让人类参与决策。
HM News:最迫切需要回答的研究问题是什么?
拉詹:虽然建造人工智能武器还有很多工作要做，但大多数核心算法已经被提出，或者是由非军事应用驱动的主要学术和工业研究的焦点，例如自动驾驶汽车。考虑到这一点，我们必须考虑作为科学家和研究人员的责任，在道德上指导这些技术的应用，以及如何应对军事利益对我们研究的影响。
如果世界各地的军队打算用人工智能部队取代相当一部分战场和支援角色，他们将需要学术界和工业界专家的支持。这引发了一些问题:大学应该在军事人工智能革命中扮演什么角色，不应该跨越哪些边界，应该建立什么样的集中监督和监督机构来监督人工智能在武器中的应用。
在保护非军事研究方面，我们可能需要考虑哪些人工智能开发可以归类为闭源还是开源，如何建立使用协议，以及国际合作将如何受到计算机科学日益军事化的影响。
HM News:我们如何才能在实现创造性人工智能研究的同时，防止人工智能被用于武器?
拉詹:学术界已经并将继续与政府、科技、医药和信息领域的大公司以及军方进行重要而富有成效的合作。然而，从历史上看，学术界也曾与糖业、化石燃料业和烟草业有过尴尬而有害的合作。现代大学有制度培训、监督和透明度要求，以帮助研究人员了解行业资助的伦理风险和偏见，并避免产生伦理上可疑的科学。
据我们所知，目前对军事经费没有这样的训练和监督。我们提出的问题很复杂，不能通过单一的政策来解决，但我们认为，好的第一步是让大学为军事、国防和国家安全局资助的项目建立讨论研讨会、内部法规和监督程序，就像那些已经到位的工业资助项目一样。
HM News:你认为现实的结果是什么?
拉詹:社会上有些人呼吁全面禁止军事人工智能。虽然我们同意这在道德上是理想的，但我们认识到这是不现实的——人工智能对于军事目的太有用了，无法获得建立或执行此类禁令所需的国际共识。
相反，我们认为各国应该集中精力开发人工智能武器，以增强而不是取代人类士兵。通过优先考虑人类对这些武器的监督，我们有望防止最严重的风险。
我们还想强调的是，人工智能武器不是一个庞然大物，需要通过能力来检验。对我们来说，重要的是尽快禁止和规范最恶劣的人工智能武器类别，并让我们的社区和机构建立不应该跨越的界限。
来源:HMS
相关信用证油墨:
你可以提供链接到一个与这篇文章主题相关的页面。
译:
一个Pho的声音安装
nic有限公司
临时操作特约职位
本文来自作者[听音]投稿，不代表cjxdt号立场，如若转载，请注明出处：https://m.cjxdt.cn/wiki/202508-3672.html
评论列表（4条）
我是cjxdt号的签约作者“听音”！
希望本篇文章《武器设计中的人工智能风险》能对你有所帮助！
本站[cjxdt号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：几十年来，军队一直使用汽车不知名的武器，如水雷、鱼雷和热制导导弹基于简单的反应反馈，无需人为控制。然而，人工智能(AI)现在已经进入了武器设计领域。...