点击上方“Deephub Imba”,关注公众号,好文章不错过 !这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是,这里写的是一个简洁的最小化训练脚本,目标是了解 JEPA 的本质:对同一文本创建两个视图,预测被遮蔽片段的嵌入,用表示对齐损失来训练。本文的目标是 ...
这次开源之所以在技术圈激起这么大的浪花,不仅是因为马斯克敢于“晒家底”,更因为这份代码揭示了 X 平台正在经历一场激进的技术范式转移:他们正在告别那个靠“人工堆砌规则”的旧时代。
几天前,X 平台掌舵者埃隆·马斯克抛出的这句话,着实让不少人愣了一下。毕竟这意味着,外界将第一次有机会系统性地了解:X 到底是如何决定向用户推荐哪些自然内容、哪些广告内容的。 让人有些兴奋的是,X 平台工程团队的 Engineering 官方账号于今天给出了答案。他们重磅宣布,正式开源新的 X 推荐算法——该算法采用了与 xAI 的 Grok 模型相同的 Transformer 架构。
LLM-in-Sandbox 提出了一个简洁而有效的范式:通过给大模型提供一台虚拟电脑,让其自由探索来完成任务。实验表明,这一范式能够显著提升模型在非代码领域的表现,且无需额外训练。 研究者认为, LLM-in-Sandbox 应当成为大模型的默认部署范式 , 取代纯 LLM 推理 。当沙盒可以带来显著的性能提升,并且部署成本几乎可以忽略不计时,为什么还要用纯 LLM?
一项发表在 Science上的最新研究表明,当前爆火的氛围编码(Vibe Coding)可能会扩大人与人之间的技能与收入差距。 来自乌得勒支大学的研究团队通过机器学习方法,系统地分析了 160097 名开发者在 GitHub 上提交的超过 3000 万份 Python 代码,首次大规模地揭示了 AI Coding 的渗透实况。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode ...
在 600 万至 1100 万 Token 规模的 BrowseComp-Plus(1K)多文档推理任务中,RLM(GPT-5)的正确率高达 91.33%,大幅超越其他长文本处理方案; ...
神经计算建模利用数学、物理、计算机等工具来研究神经系统的结构、功能和机制,目前已经成为阐明大脑工作的计算原理和发展类脑智能的基本工具。为了普及神经计算建模方法,推动我国计算神经科学的人才培养与发展,由中国神经科学学会计算神经科学与 ...
近日,科技界迎来一则重磅消息:X平台掌舵者埃隆·马斯克宣布,将X平台最新的内容推荐算法开源。这一决定犹如一颗投入平静湖面的石子,在社交平台领域激起层层涟漪,引发了广泛关注与热议。