Screenpipe:用24/7屏幕录制为AI代理注入记忆
Launch HN: Screenpipe (YC S26) – Power your agents by your 24/7 screen recording
我是Louis,Screenpipe的创作者。这款应用能本地录制你的屏幕和音频,为AI代理构建可搜索的记忆库,让你不再需要反复提示。从2020年构建个人第二大脑开始,我尝试过RAG、微调模型和MCP,但始终缺乏对电脑操作上下文的完整感知。Screenpipe通过监听应用切换、点击和滚动等事件,结合截图与无障碍树,在本地SQLite中高效索引数据。它支持通过内置聊天或Claude、ChatGPT等代理,实现任务回顾、个人Wiki维护及自动化工作流。所有数据本地存储,并配备AI PII模型保护隐私,代码开源但商业使用需授权。
我渴望AI能知晓我的一切行踪,永不遗忘记忆,并使用与人类相同的软件,无需痛苦地切换上下文。
HN 评论区
62- AmazingTurtle
时机真巧。我业余时间也在做一个类似的项目,叫 Daydream。两者有很多重合之处:本地屏幕/音频捕获、OCR 和转录、窗口与活动上下文、SQLite,以及可搜索的“发生了什么”的记忆库。
主要区别在于产品方向。Screenpipe 似乎专注于通过 API、MCP 和技能持续为代理提供上下文。而 Daydream 则更聚焦于回答“我今天做了什么?”这个问题,通过一个可检查、回放、搜索并生成每日摘要的时间轴来实现。
我也把“删除”视为数据模型的一部分。如果你切掉了一段敏感内容,那么其对应的帧、音频、OCR 结果、转录文本、嵌入向量和摘要也都应该被删除或失效。
我的项目还处于早期阶段,且优先支持 Linux。我打算开源它,以防有人想贡献代码、探索一番,或者以此作为起点。它基于 Tauri 构建,后端用 Rust,前端用 React/TypeScript,数据库是 SQLite,还集成了 GStreamer、Whisper、OCR 和 VLM 处理。
我刚开始做的时候,真不知道你们也在做这个。看来个人记忆捕获也要变成 SaaS 赛道了,哈哈。
代码在这里:
- subhajeet2107
你们打算如何区分专业用途和个人用途?我不希望任何代理或 LLM 随时都知道我在系统上做了什么,这简直是隐私噩梦。而且大多数时候,屏幕录制的内容并没有意义。人们可能会用工作电脑或设备偶尔去刷 Reddit 或 Hacker News。
- rahulladumor
一旦 Screenpipe 在本地索引了数月的屏幕和音频数据,有什么能阻止一个被攻破或权限过大的代理通过 3030 端口的 API 查询整个历史记录,而不仅仅是当前任务的上下文?持续录制虽然解决了记忆问题,但它把“给代理访问我的第二大脑”变成了比“给代理访问一份文档”大得多的爆炸半径。是否有针对每次查询的作用域限制或时间窗口限制,来约束代理能拉取的数据?还是说身份验证是唯一的关卡?
- fillskills
从去年开始,我就一直在用 Screenpipe 为我构建一些“AI 伙伴”。其核心在于让 AI 能够看到时空中的动态。如果没有 Screenpipe,要达到它提供的性能,这做起来相当困难。
- kerv
我几个月前试过这个。虽然我觉得它很有用,但在我的 MacBook M1 上,由于它一直在录制,导致 CPU 温度一直飙升,简直要熔化了。最终我不得不关掉它并停止使用。
好奇它在更现代的硬件上运行得怎么样?现在是不是已经比较轻量了?