DeepSeek最新论文提出“条件内存”（附股）

admin

1. 核心问题

Transformer 模型没有原生的知识查找机制。当需要用到事实或知识时，它只能通过大量的神经网络计算来“模拟”检索过程，这非常低效。

2. DeepSeek解决方案：Engram 模块

论文提出了 “条件内存” 作为一种新的稀疏化维度，与 MoE 的条件计算形成互补。简单说，Engram 是一个可扩展的、静态的外部知识内存，模型可以根据需要直接从里面查找信息，而无需重新计算。

3. 提升效果：

知识检索任务显著增强、通用推理能力提升更大、代码和数学能力也大幅提升。

4、建议关注：

金蝶国际、用友网络、卓易信息、鼎捷数智、汉得信息、合合信息、虹软科技等