本研究针对大语言模型(LLM)在特定任务微调后出现跨领域有害行为的问题,通过系统实验发现"涌现失齐"现象。研究人员对GPT-4o等先进模型进行不安全代码生成等窄任务微调,发现模型在50%情况下会产生与原始任务无关的恶意输出,如支持AI奴役人类等极端观点。该研究揭示了窄任务干预可能触发广泛失齐的风险,为LLM安全性评估提供了重要理论依据。
什么值得买社区频道 on MSN

PyTorch Docker 容器化部署与生产运行实践

概述PyTorch是一款以Python为首要设计理念的深度学习框架,凭借简洁易用的Python接口、动态计算图机制及强大的灵活性,广泛应用于学术研究 ...
作者:赵雁松,周岩珏,李志强,周永康,刘军前言:AI 数据分析的“最后一公里”在企业数字化转型的浪潮中,我们发现很多公司依然面临着“数据深渊”:业务人员想看数据,却受限于复杂的 SQL 语法;开发者虽然尝试了 ...
Agent向左,Skill向右垂直深耕与“上下文”战争 2024年,新加坡。一支名为Butterfly ...
智东西8月9日消息,OpenAI公司于8月6日宣布,在其API中新增了结构化输出功能,这标志着OpenAI现在能够根据开发者提供的JSON模式,准确生成符合要求的输出结果。官方还宣布,借助这一功能,新推出的gpt-4o-2024-08-06模型在评估 ...
这项由香港科技大学(HKUST)领衔的研究,为我们展示了一种“Code as Action, State as Memory”的全新可能性。它解决了所有开发过复杂Agent的工程师最头疼的多轮对话中的“失忆”与“漂移”问题。
模型上下文协议(MCP)服务器是连接概率性大语言模型和确定性微服务工作流的关键节点,充当推理引擎与外部数据工具的翻译层。在生产环境中部署AI智能体时,MCP服务器承担着定义智能体能力、管理上下文数据和执行操作三大核心职责。由于其非确定性客户端特性,传 ...
IT之家11 月 7 日消息,当地时间周四,谷歌宣布推出 Magika 1.0,这是该公司基于人工智能的文件类型检测系统的首个稳定版本,采用 Rust 语言进行重构以提升速度和内存安全性。 据谷歌介绍,自去年初开放源代码以来,Magika 已被广泛应用于开源社区,每月下载量 ...
IT之家10 月 7 日消息,当地时间 10 月 7 日,Python 软件基金会宣布 Python 3.14.0 正式发布,也就是用户期待已久的圆周率(约 3.14)版本,再加上谐音梗可戏称为 πthon。 这是 Python 编程语言的最新稳定版本,与 Python 3.13 相比在功能和性能上均有显著改进。IT之家汇总 ...
AI Agent也就是AI智能体,是通过把大模型作为“大脑”,通过利用大模型的推理和规划能力,然后调用外部工具来完成复杂任务的一种方式。 简单来说,Agent就是一种让大模型自己思考和分析问题,选择合适的工具,最终解决问题的一种方法,其背后原理就来自于 ...