Singularity
DeepSeek에서 Engram을 소개합니다: 차세대 모델(V4 등)을 지원하는 LLM용 메모리 룩업 모듈을 소개합니다.
익명창작자6665·1개월 전·조회 848
DeepSeek는 논문에서 소개한 **Engram**이라는 새로운 연구 모듈을 출시했습니다.
"확장 가능한 조회를 통한 조건부 메모리: 대규모 언어 모델을 위한 새로운 희소성 축"이라는 논문을 발표했습니다.
Engram은 현대화된 해시 N 그램 임베딩을 사용해 결정론적 O(1) 룩업 스타일 메모리를 **추가**하여 신경 계산에서 **초기 계층** 패턴 재구성을 오프로드합니다.
이소 파라미터와 이소 플롭 설정에서 Engram 모델은 지식, 추론, 코드 및 수학 작업 전반에서 **일관된** 향상을 보여 메모리와 컴퓨팅을 별도의 스케일링 축으로 분리할 수 있음을 시사합니다.
**논문과 코드는 오픈 소스입니다**.
**Source: DeepSeek**