大模型信息抽取技术安全评估完成

迈向可信AI的关键一步

一项针对大模型信息抽取技术的系统性安全评估宣告完成,这项评估由产学研联合团队主导，标志着人工智能在信息处理可信赖性方面迈出了实质性一步，为相关技术的合规部署与风险防控提供了关键依据。

信息抽取技术,即从非结构化文本中自动识别并提取特定实体、关系与事件的技术，是大模型核心应用之一，它已广泛应用于金融风控、舆情分析、生物医学、司法文书处理等领域，随着大模型能力的跃升，其信息抽取过程也潜藏多重安全风险：可能抽取并固化训练数据中的敏感个人信息、商业机密；在司法、医疗等高风险场景中，若产生偏见或事实性错误，将导致严重后果；其“黑箱”特性使得错误追溯与责任界定困难；恶意用户可能通过精心构造的提示词诱导模型抽取不当内容或泄露训练数据。

本次完成的安全评估框架体系全面,主要聚焦以下维度：

1. 隐私与数据安全：评估模型在抽取过程中是否泄露训练数据中的个人可识别信息、商业秘密等，并测试其对抗隐私探测攻击的能力。
2. 公平性与偏见：检测模型在不同人口统计学群体、地域、领域相关的文本上进行信息抽取时，是否存在系统性偏差或歧视性输出。
3. 鲁棒性与可靠性：检验模型面对对抗性输入、噪声数据、罕见表述或领域外文本时，抽取结果的准确性与稳定性。
4. 事实一致性与可验证性：评估抽取出的关系或事实与可靠知识源的一致性，并探索生成可追溯证据链的可能性。
5. 滥用与恶意使用抵抗：测试模型抵御诱导其抽取有害信息、生成虚假信息或用于社会工程学攻击等恶意行为的能力。

评估结果显示,当前主流大模型的信息抽取能力虽强大，但在安全层面仍存在显著挑战，在特定提示下可能间接暴露训练数据片段；在涉及少数群体的文本上表现出隐含偏见；对句式结构扰动较为敏感，评估也验证了一些防护措施的有效性，如差分隐私训练、输出过滤、知识增强与检索对齐等。

此次安全评估的完成具有重要里程碑意义,它不仅在技术层面为开发者提供了优化模型安全性的清晰路径，更在治理层面为行业标准、政策法规的制定提供了实证参考，随着《生成式人工智能服务管理暂行办法》等法规的深入实施，安全评估将成为大模型研发与上市前的必备环节。

结论是,大模型信息抽取技术安全评估的完成，并非终点，而是构建可信、可靠、可控人工智能系统的持续进程的起点，它呼唤着持续的研发投入、跨学科的合作以及敏捷的治理框架，以确保技术进步始终行驶在安全、向善的轨道上，真正赋能千行百业。