에이전트 메모리를 파일 형식으로: Memoryfields
Agent Memory as a File Format
많은 에이전트 메모리 시스템이 복잡하거나 특정 하네스에 종속되지만, 저자는 메모리를 프로세스가 아닌 데이터로 취급해야 한다고 주장합니다. Memoryfields는 Markdown 페이지와 SQLite 벡터 인덱스로 구성된 휴대용 파일 형식으로, 에이전트가 직접 메모리를 작성하고 의미 검색(semantic search)으로 관련 페이지를 병렬로 읽어 최대 2번의 도구 호출만으로 필요한 정보를 얻습니다. 그래프 탐색보다 빠르고 안정적이며, 모델 발전에 따라 확장됩니다. 개방형 사양으로 특정 하네스에 종속되지 않습니다.
메모리는 프로세스가 아니라 데이터로 표현하는 것이 훨씬 낫다.
HN 토론
83- dataviz1000
메모리를 사용하지 않는 사람이 또 있나요?
저는 한 줄의 오염된 텍스트가 있으면 그 아래의 모든 것에 부정적인 영향을 미친다는 것을 알게 되었습니다. 대신 temp/ 폴더에 문서를 넣고 에이전트와 모델마다 다른 파일을 사용합니다. 그리고 파일을 계속 정리하고 삭제해야 합니다. 추론할 수 있는 정보는 모두 노이즈일 뿐이며 에이전트에 부정적인 영향을 미칩니다. 데이터베이스 구조에 대한 정의가 있고 그것이 구현되었다면, 그 정보는 어떤 텍스트 문서에도 포함되어서는 안 됩니다. 그것은 노이즈이고, 표류할 것이며, 에이전트가 계속 원치 않는 동작을 생성하는 이유를 디버깅하는 것이 불가능해질 것입니다.
저는 ~/Projects 폴더를 사용합니다. 예를 들어, 성능 테스트와 누수 감지를 위해 Chrome DevTools 프로토콜과 함께 Playwright를 사용합니다. 이를 처리하는 스크립트가 있습니다. 제 프롬프트는 "~/Projects에서 CDP와 Playwright를 사용한 성능 테스트를 검색하고 여기에 구현하세요"입니다. 요점은, 필요한 것이 있으면 리소스를 가리키거나 리소스를 검색하도록 요청하면 빠르게 찾을 수 있고, 가장 중요한 것은 반복할 때마다 개선되는 경향이 있다는 것입니다.
만약 제가 기관에 있다면 저장소를 가지고 리소스를 가리키고 로컬에 메모리를 두는 대신 그것을 사용하라고 말할 것입니다.
- morelandjs
본질적으로 RAG이기 때문에 비꼬는 말을 쓸 준비가 되어 있었지만, 저자는 미묘한 세부 사항을 지적하고 있는 것 같고 그것이 중요한 것 같습니다.
- 메모리 시스템은 모든 문서를 생성하는 특정 유형의 지식 베이스입니다. 임베딩 토큰 한도보다 작게 생성하여 청킹의 필요성을 없앨 수도 있습니다.
- 임베딩 모델은 점점 더 좋아지고 있으며 더 이상 단순한 의미론적 평균이 아닙니다.
- 작은 모델은 매우 저렴해져서 병렬 읽기 비용을 감당할 수 있게 되었습니다.
그들이 설명하는 것은 이러한 관찰을 활용하는 가장 간단한 아키텍처입니다. 그들이 잘 작동한다고 말할 때 믿습니다.
하지만 모든 메모리가 단지 벡터라면 키워드 검색 같은 것은 완전히 실패할 것이라고 생각합니다. 그래서 Typesense 하이브리드 검색 같은 것이 여전히 유용할 수 있습니다.
- JohnMakin
> 마크다운 "페이지"와
> (선택 사항) YAML 프론트매터와
> (선택 사항) 의미론적 검색을 위한 SQLite 벡터 인덱스
이것은 기본적으로 제가 구축한 MCP API에서 사용하는 것과 정확히 같으며 꽤 잘 작동합니다. S3와 같은 스토리지 시스템을 사용하고 메타데이터를 활용하면 더욱 풍부해질 수 있습니다.
"하네스 관리" 메모리는 완전히 쓰레기라고 저는 확신하며 즉시 비활성화합니다. 가장 큰 문제는 시간이 지남에 따라 성능이 저하되고 충돌하는 정보나 완전히 거짓된 정보가 몰래 들어간다는 것입니다. 그러다 어느 날 에이전트가 술에 취한 것처럼 행동할 것이고, 제가 이 상태에 도달할 때마다 조사해 보면 자동 관리 메모리가 항상 문제였습니다.
- Avijit_Thawani
"관련 없는 자료는 의미론적 검색으로 절대 표면화되지 않습니다."
그것은 꽤 낙관적입니다. 에이전트와의 과거 대화나 '메모리' 중에는 잘못된 곳을 찾고 있거나 결국 틀린 것으로 판명되어 억제되고 잊혀져야 할 것이 많이 있습니다. 그런데도 의미론적으로는 미래 검색에 매우 관련성이 높아 보일 것입니다. 그래서 시험 문제를 풀 때 교과서와 공상과학 소설을 모두 검색해서는 안 되는 이유입니다.
- JustFinishedBSG
그건 '마크다운'이라고 말하는 데 정말 많은 텍스트를 썼네요.