AI Ethics & Governance

Addressing the societal implications, privacy concerns, and regulations of AI.
构建安全的 AI 智能体:为什么防护栏至关重要
AI Applications

构建安全的 AI 智能体:为什么防护栏至关重要

AI 智能体正在从简单的助手迅速演进为能够推理、决策并代表用户行动的自主系统。无论是在企业自动化、开发者工具,还是生产力编排方面,这些智能体都代表了 AI 能力的一次重大飞跃,拥有更强的决策自主权和更广的影响范围。 然而,这一演进也带来了风险。基于大型语言模型(LLM)构建的智能体可能会生成错误信息、在未经授权的情况下访问敏感数据,或做出偏离组织目标的决策。当多个智能体相互交互时,这些问题可能被放大,导致不可预测的行为和结果。随着应用的加速普及,确保智能体的对齐、安全与问责,不仅要成为技术团队的重点,也需要企业高层和监管者的共同关注。 为什么防护栏很重要 开发和运营 AI 应用或智能体过程中,开发者和企业往往面临内容合规、数据泄露、提示词注入、幻觉以及越狱等安全风险。这些风险不仅威胁业务运作,也可能导致企业承担高额的合规和社会责任风险。 在实现安全的方法上,各大 AI 实验室在技术路径上各不相同,但普遍认同的一点是:安全应当从一开始就融入设计。他们使用宪法式 AI、红队测试、治理委员会等工具来管理风险、引导智能体行为,并帮助系统安全成长。 对于想要使用 AI 智能体的企业来说
7 min read
自主性基础:界定与衡量人工智能系统中的能动性
AI Ethics & Governance

自主性基础:界定与衡量人工智能系统中的能动性

随着人工智能日益深入人们的日常生活,关于"AI自主性"(通常表述为"能动性")的讨论变得愈发紧迫。所谓能动性,指的是AI系统在无需持续人工干预的情况下独立行动、决策并执行计划的能力。尽管我们习惯性地将某些系统称为"自主",但深入探究便会发现其中交织着技术、哲学与伦理的复杂命题。 我们曾发表过探讨实现具身智能关键技术的文章。但AI真正具备能动性意味着什么?如何量化这种自主性?这对社会和企业界又将产生哪些深远影响?本文旨在剖析AI能动性的理论基础,探索其定义与量化方法,并通过实际商业案例加以阐释。 人工智能中的能动性概念 能动性(Agency)是哲学与认知科学中的经典概念,传统上指具备独立行动能力和意向性的主体。当我们将这一概念引入人工智能领域时,一个根本性问题随之浮现:机器是否真的具有自主性,抑或只是在执行一套复杂的预设指令?这场争论的核心,在于类人类的理解能力与机械化处理之间的本质张力。当今从自动驾驶汽车到智能助手的AI系统,虽展现出不同程度的自主性,却普遍缺乏构成人类能动性核心的自我意识与真实意向。 即便有限度的能动性,也能深刻改变AI系统与世界的交互方式。例如实时规避障碍
6 min read