推理优化

1篇文章

Agent Agent Memory Agent Skills AGENTS.md AI AI Gateway Ai-Memory ASR CI Claude Code CodeGraph Codex Coding Agent Computer Use Context-Mode DeepSeek DESIGN.md Firecracker Git Worktree GitHub GPT-6 Astra Harness Jev Landlock LiteLLM LLM LLM Routing MCP MoE MXC OpenAI Opencode OpenCodeReview OWASP PageIndex Prompt Injection RAG RouteLLM Rtk Rust Skill SKILL.md SkillOpt Skills SSD Token Token 成本 Token 预算 Trending TTS TypeSafe Univer 安全 版本控制 北京大学 北京航空航天大学 本地推理 编排 并行开发 插件市场 成本 成本优化 成本治理 大模型 代码审查 多Agent 多智能体 二进制移植 工程实践 供应链 供应链安全 基础设施 记忆 记忆系统 技能工程 技能检测 架构 检索增强 静态重编译 觉醒学院 开源 可观测性 浏览器自动化 流式推理 模拟器 模型路由 内存层级 逆向工程 前端设计 清华大学 沙箱 厦门大学 上下文工程 上下文压缩 设计系统 渗透测试 声音权 腾讯云 提示词 推理引擎 推理优化 网关 向量数据库 验证 语音克隆 语音识别 长期记忆 中央民族大学
把 7440 亿参数塞进 25GB 内存：MoE 流式卸载的账本

把 7440 亿参数塞进 25GB 内存：MoE 流式卸载的账本

2026-11-04T07:11:22+08:00

一台 25GB 内存的笔记本跑 744B 模型，0.05 tok/s。把硬盘当第三层内存这件事，有人跑通了，也有人用算术证明了它只能救「差一点就装下」的模型。
@
7分钟阅读
Me

Cut out summary from your post content here.

The remaining content of your post.