DSH-WM

MIT DSH Node

给 DeepSeek Harness 用的可玩世界模型工具箱——看条带、认路线、给 run 打分、迭代研究闭环。

把 agent 指到一次 rollout（或直接 fixtures/sunset）再问：后半段是不是融化了、Sora 算不算世界模拟器、哪种 memory 配方才有资格赢。

🚀 一行命令安装 ｜ 不用 GPU 就能玩 sunset ｜ 内置 WM 地图 ｜ 对 skill / eval 做 RSI

🌐 English | 中文

在 DeepSeek Harness 里做世界模型，最好玩的状态是：agent 能看见条带、叫出路线、量到声称。DSH-WM 就是这块 profile bundle：接触图看帧、对照页（并排 / 滑杆 / 差异热力 + action HUD）、三条路线知识（3D 显示 / Pixel Video Gen / Latent Prediction）、run 打分，以及作用在 skill 和 wm.yaml 上的 RSI。

dsh plugin --profile wm add github:WayneJin0918/dsh-wm
dsh --profile wm

然后试一句：分诊 fixtures/sunset。看 first / mid / last。是后半段崩了吗？

运行时： deepseek-ai/deepseek-harness

目录

• 30 秒就能玩
• 亮点
• 三条路线
• 适合谁用
• 快速开始：三步完成
• 常见任务
• 工具一览
• 用 Harness 做 RSI
• 致谢

30 秒就能玩

fixtures/sunset 是 8 帧玩具条带。前半 pred 还是暖色、贴近 GT；后半被抹成冷蓝，late-horizon collapse 一眼能看出来。不需要 checkpoint、集群或 GPU。

node cli.js inspect fixtures/sunset --indices first,mid,last
node cli.js view fixtures/sunset
node cli.js diff --pred fixtures/sunset/pred --gt fixtures/sunset/gt
node cli.js diagnose "Sora 算世界模型吗"
node cli.js knowledge --id wm-routes

wm_inspect 会打出终端里就能读的亮度草图：

pred #0  luma=148.7  low contrast, warm / orange
    ****************
    **##************
pred #7  luma=62    near-uniform, cool / blue
    ::::::::::::::::
gt   #7  luma=160.4  low contrast, warm / orange
    ***#############

同一条带上的 wm_rollout_diff 会报后半段 SSIM 下降，并把 4–6 帧标成最差窗口。需要自己拖 pred vs GT 时用 wm_view。先看、再打分、再打开一张卡片。

亮点

• 装上就能玩。 官方 DSH bundle，纯 JavaScript，没有 prepare / allowBuilds。没开 Harness 也能用 node cli.js 跑 sunset。
• 看图就在本仓库里。 wm_inspect 抽 first / mid / last（或指定下标），写出接触图，并返回亮度草图和颜色 / 对比度 look。
• 对照页自己拖。 wm_view 写出一份自包含 HTML：并排、滑杆叠图、差异热力图、SSIM 时间轴；有 actions.json 时还有 action HUD。
• 先认路线。 3D 显示、Pixel / Video Gen WM、Latent Prediction 是三场不同的考试。wm-routes 再进 display-3d / pixel-wm / latent-wm。
• 一次 run 是一个目录。 可选 wm.yaml 声明 pred / gt / log / metrics / actions；没有清单就启发式；认不出就返回候选和警告，不编路径。
• 有 run 就测量。 wm_discover → wm_summarize → wm_rollout_diff → wm_inspect → wm_view 给出 layout、log、数字、观感和一张能拖的页。
• 内置 WM 知识。 chunk-AR、memory、KV、exposure bias、revisit、消融、action following、cache eviction、Harness 上的 RSI。先 wm_knowledge / wm_diagnose，再谈新结构。
• RSI 作用在 harness 层。 skill wm-rsi 用 DSH trajectory、fork、Creator 和 sunset 去演化 skill、wm.yaml 和评测备注。
• Skill 把游戏规则说清楚。 分诊、知识、RSI、公平消融、revisit。
• 起步不需要 GPU。 rollout 分数是纯 JS 亮度 SSIM + MSE。视频要 ffmpeg；PNG/PPM 目录可以完全离线。

三条路线

「世界模型」这个词其实是三场研究游戏。卡片对照 Awesome World Models 的地图。设计 backbone 之前先打开 wm-routes。

路线	卡片	在预测什么	「好」长什么样	场上常说的梗
3D 显示	display-3d	能飞进去的几何（mesh、Gaussian、occupancy、4D）	空间一致、可探索的场景	一致性是买来的；fly-through 在摇杆生效前只是展示
Pixel / Video Gen WM	pixel-wm	下一帧像素（常带 action）	还听摇杆的交互条带	「Sora 是世界模拟器吗？」；好看片 + 不听杆；Self-Forcing / 后半融化
Latent Prediction	latent-wm	下一个紧凑状态（RSSM、JEPA、DINO）	在梦里做规划和控制	别给每个像素付 loss；解码出来的视频只是投影

回程忘了房间：像素条带上是 revisit-eval，3D 场景上是 pose / occupancy，JEPA / Dreamer 上是 latent mismatch。先认路线，再测量。

node cli.js knowledge --id display-3d
node cli.js knowledge --id pixel-wm
node cli.js knowledge --id latent-wm
node cli.js diagnose "Gaussian 可探索 3D"
node cli.js diagnose "JEPA latent Dreamer"

适合谁用

你想做的事	DSH-WM 给你的
没有集群也想玩一次 rollout	sunset + 笔记本上的 wm_inspect / wm_rollout_diff
看清这次 run 目录里有什么	wm_discover：layout、路径、帧数、警告
把 log 尾变成下一步实验	wm_summarize：last loss / NaN / 早停 + 3 条假设
给「看起来更差」一个数字	wm_rollout_diff：mean/min SSIM、曲线、最差帧、诊断
看那些最差帧	wm_inspect：接触图、亮度草图、每块 look
自己拖 pred vs GT，看杆有没有跟上	wm_view：并排 / 滑杆 / 热力、action 箭头、followed / dropped
把论文放到地图上	wm-routes → display-3d / pixel-wm / latent-wm
消融说得过去	wm-ablation：先成对 (scene, protocol, seed) 和 failure 率
讨论「有没有回家」	wm-revisit：几何 vs 帧相似度代理
让 agent 更会 debug WM	wm-rsi：一条声称、一张卡片、一次测量、一处 skill / wm.yaml 改动

快速开始：三步完成

1. 安装

装进专用研究 profile：

dsh plugin --profile wm add github:WayneJin0918/dsh-wm

Web / Headless 也可以：

dsh plugin --profile web add github:WayneJin0918/dsh-wm
dsh plugin --profile headless add github:WayneJin0918/dsh-wm

本地 checkout（路径安装不需要 GitHub 权限）：

dsh plugin --profile wm add /path/to/dsh-wm

包是纯 JS。从 git 安装不需要 pnpm allowBuilds。想钉死版本就写：github:WayneJin0918/dsh-wm#<sha>。

2. 重启并确认

dsh --profile wm --dump-config    # 应出现 "# == dsh-wm"
dsh --profile wm

Web profile 加完 bundle 后请重启，并开一个新 session，让 skill 目录重新加载。

3. 问一句你会真的问出口的话

分诊 fixtures/sunset。失败点是什么，是不是后半段崩了？
看 first / mid / last——后半段像素在干什么？
Sora 是世界模拟器，还是还得过摇杆考试的 Pixel WM？
回程忘了房间——哪种 memory 配方才有资格上？
这两个 run 说 memory 赢了——scene/protocol/seed 对齐了吗？
用 Harness RSI 收紧 revisit skill；sunset 当门禁。

常见任务

任务	推荐工作流
前五分钟 / 没有 GPU	inspect sunset → diff → diagnose 一个你在意的问题
训练或评测 run 看起来不对	wm-run-triage → discover → summarize → diff → inspect → view
这篇论文是哪条 WM 路线？	wm-routes → display-3d / pixel-wm / latent-wm
「该用哪种 memory？」	wm-knowledge → chunk-ar / memory-types / kv-memory → 再测量
后半段融化，train loss 还很健康	wm_diagnose → exposure-bias → scheduled sampling
哪个 cache / memory 配置赢了	wm-ablation → 成对 n 和 failure 率 → 均值差
相机有没有回来	wm-revisit → 整段 diff → 没有 pose 才用首尾帧
改进研究闭环本身	wm-rsi → Creator / trajectory → 改一处 skill 或 wm.yaml → sunset 门禁
离线 CI / 没有 API key	node cli.js knowledge / diagnose / discover / diff / inspect / view

工具一览

三类可以在同一次 session 里组合：

类别	工具	职责
测量	wm_discover、wm_summarize、wm_rollout_diff、wm_inspect、wm_view	目录、log、pred vs GT 数字、看帧、对照页
知识	wm_knowledge、wm_diagnose	路线 + 技术卡片，症状 → 下一步
迭代	skill wm-run-triage、wm-knowledge、wm-rsi、wm-ablation、wm-revisit	诚实评测和 harness 层 RSI

工具	最适合解决的问题	主要结果
wm_discover	「这个 run 目录里有什么？」	layout、pred/gt/log/metrics、帧数、警告
wm_summarize	「训练真的跑完了吗，下一步测什么？」	last loss / NaN / 早停、指标键、3 条假设
wm_rollout_diff	「pred 相对 GT 漂在哪？」	mean/min SSIM、曲线、最差 3 帧、诊断
wm_inspect	「first / mid / last / 最差帧长什么样？」	接触图、亮度草图、颜色 / 对比度 look
wm_view	「让我自己拖 pred vs GT，看 action 跟没跟上。」	HTML 对照页 + pred / gt / 热力接触图
wm_knowledge	「哪条路线 / chunk-AR / KV / RSI 是什么？」	目录或一整张技术卡片
wm_diagnose	「一回来就忘了——然后呢？」	卡片 id + 下一步工具 / skill

rollout 分数是 亮度 SSIM + MSE。看条带用内置的 wm_inspect；对照和 action 用 wm_view。

知识卡片

路线： wm-routes · display-3d · pixel-wm · latent-wm

技术： chunk-ar · memory-types · kv-memory · exposure-bias · revisit-eval · ablation-protocol · action-following · cache-eviction · rsi-harness · diagnosis-map

node cli.js knowledge
node cli.js knowledge --id wm-routes
node cli.js knowledge kv memory
node cli.js knowledge --id rsi-harness
node cli.js diagnose "Sora 算世界模型吗"
node cli.js diagnose "第一个 chunk 之后后半段崩了"

Skills

• wm-run-triage — 走完一次 run：discover → summarize → diff → inspect → view，再给失败点起名
• wm-knowledge — 设计前先打开路线或技术卡片
• wm-rsi — 一条声称、一张卡片、一次测量、一处 skill / wm.yaml 改动、sunset 门禁
• wm-ablation — 先成对 scene / protocol / seed 再报均值
• wm-revisit — 几何回环 vs 帧相似度代理

用 Harness 做 RSI

DeepSeek Harness 已经提供 append-only trajectory、fork/replay，以及 Creator mode（查看正在跑的插件树）。DSH-WM 把这套能力对准世界模型的过程：

1. 写下一条可证伪的声称。
2. 打开 wm_knowledge（rsi-harness + 对应技术；路线不清时先 wm-routes）。
3. 测量（wm_summarize / wm_rollout_diff）并看图（wm_inspect / wm_view）。
4. 只改 一处 skill、wm.yaml 字段或评测备注。
5. 用 fixtures/sunset（必须仍报 late-horizon drop）和用户的成对场景做门禁。
6. 固化或回滚；保留 session。

可重复的核心是数字和卡片。

wm.yaml

name: sunset-revisit
pred: outputs/pred          # 帧目录或 mp4
gt: outputs/gt
log: logs/train.log
metrics: metrics.json       # 任意 JSON；只做 key 摘要，不校验 schema
actions: actions.json       # 可选；给 wm_view 画每帧控制

没有这份文件时，插件会找 pred|preds|recon、gt|target|ref、train.log / logs/*.log、metrics.json / *eval*.json，以及 actions.json。

工作原理

flowchart LR
  play[提问或指向一次 run] --> know[wm_knowledge / wm_diagnose]
  know --> measure[wm_discover / summarize / diff / inspect / view]
  measure --> rsi[wm-rsi 改 skill 和 wm.yaml]
  rsi --> gate[sunset fixture 加成对场景]

三层，一次 session：

1. 知识 — 先认路线，再打开技术卡片。
2. 测量 — 读文件系统的工具，加上 wm_inspect 和 wm_view。
3. RSI — 演化研究闭环，并通过 sunset 门禁。

离线 fixture

fixtures/sunset 是内置游乐场。pred 的 0–3 接近 GT，4–7 被抹掉，所以后半段 SSIM 下降。

npm test
npm run check
node scripts/generate-fixtures.js    # 改完画图逻辑后重新生成

配置与限制

运行要求

• DeepSeek Harness 0.1.0-rc.6 或兼容版本；dsh plugin 需要 PATH 上有 pnpm。
• Node.js 18+。
• JPEG / 视频需要可选的 ffmpeg。PNG/PPM 帧目录可以完全离线。

安装、升级、禁用和卸载

dsh plugin --profile wm update github:WayneJin0918/dsh-wm
dsh plugin --profile wm remove dsh-wm

临时禁用时，在 profile patch 里写：

- id: dsh-wm
  disabled: true

启用或升级后请重启 profile。

常见问题

问题	处理方式
--dump-config 里没有 # == dsh-wm	从 checkout 或 github:WayneJin0918/dsh-wm 重新 dsh plugin --profile wm add；确认 PATH 上有 pnpm
git 安装 404 或要登录	确认仓库已公开：github:WayneJin0918/dsh-wm；或改用本地路径安装
提示 pred not found	补一份 wm.yaml，或给 wm_rollout_diff 显式传 pred / gt
视频 / JPEG 被拒绝	安装 ffmpeg，或先抽成 PNG 帧
agent 不调工具就下结论	先加载 wm-run-triage 或 wm-knowledge；没有 layout / 没有卡片就没有结论
agent 对着聊天发明 KV 方案	wm_knowledge --id kv-memory 再走 wm-rsi；先打开卡片
把首尾 SSIM 当成 loop closure	加载 wm-revisit；没有 pose 时那个数字只是代理
「RSI」开始改训练代码	先停一下。wm-rsi 改的是 skill / wm.yaml / 评测备注，除非用户打开了训练任务

开发

npm test
npm run check

• 版本变化见 CHANGELOG.md。
• Bug 和功能请求请开本仓库的 GitHub Issues。

致谢

DSH-WM 建立在这些上游之上。感谢作者，以及他们让插件和地图可以复用的格式。

• DeepSeek Harness（dsh）——本 bundle 安装进去的官方运行时。文档：deepseek.com/harness。
• DSH Vision Toolkit，作者 Anionex，以及 agent-vision-toolkit——感谢开源插件，以及本页写作时参考的 主页。
• Awesome World Models——内置三条路线卡片所对照的 3D / pixel / latent 地图。

许可证

MIT