我一边配合着 Claude 做这个 skill,一边写下了这篇东西。这篇博客是我在完成这个产品的同时写的一些感想。

先交代这个项目。它叫 film-director,是一组给写代码的 agent(Claude Code、Codex,以及其他认 SKILL.md 的 agent)用的 skill 和插件。agent 拿到剧本,像导演一样拍一部短片:先排镜头,空间容易错的戏先在 Blender 里搭白模,再用现成的视频模型一段段生成、检查,最后剪成片。我自己用的是 Claude Code(Opus 5.5 xhigh)+ gpt-image 2.6 + Wan 3.0,二维动画用过 Seedance 2.5,全程自动。

这个 skill 的目的,是让人高效地做出高质量的 AI 电影。举个简单的例子:我一次性跑了 6 个 1 分钟的片子,3 个基本看不出奇怪的切换,3 个有小问题;那 3 个,我看完指出问题,Claude 重抽一次自己就修好了。人只要看片、提意见,剩下的交给 agent,这就是这个 skill 想做到的样子。

仓库在 https://github.com/memoryoffish/film-director-skill-plugin,展示页在 https://memoryoffish.github.io/film-director-page/。

宣传片《电影导演 Claude》,3 分 03 秒:Claude 拿到这份 skill,当导演拍了四部短片《雨夜》《第一口》《月亮掉下来了》《两张照片》,画面都出自真实运行。

为什么做这个 skill

首先,我觉得这是我的 engineering 工作,不是 research 工作。激发我做它的,是我对 research 提出了一些问题、却又没法优雅解决的那份不甘。

说真的,我不是说 research 做得不好,只是觉得 research 的场景还是太单一了:针对某一个点钻得太深,反而忽略了整体的真实成片质量。这是工业界和学术界常见的隔阂。

因而,我想做一个开箱即用的高质量产品,从工程上把这个问题解决掉。

我理解的 agentic code world model

我的研究方向是 agent 驱动的 code world model:由 coding agent 用代码维护持续存在的世界状态、推演事件和物理,再交给视频模型渲染成画面(做过的几个工作在研究项目里)。

放到拍片上,最直接的做法就是让 agent 先在 Blender 里搭白模,把谁在哪、朝哪、机位在哪算清楚,再交给视频模型去画,这个 skill 现在也是这么做的。但我一直在想一个问题:

proxy(白模这类代替真实场景的粗几何)是否真能达到 code world model 里说的重要地位呢?我个人觉得,目前的视频模型在 training free 的情况下,很难适配 proxy。B 站有个视频很能说明白模的许多缺陷:https://www.bilibili.com/video/BV1aTWm6jEqW/。当然我知道会有人来喷这个观点,不过我觉得可以深入探讨。我对未来的判断是:现在是先用 Blender 搭好世界,再交给视频生成模型去渲染;以后会变成先用游戏引擎把世界跑起来,再交给视频生成模型去渲染。我组里就有师兄在做这方面的内容,欢迎来我们组里讨论。

怎么落地

做这个 skill,我在意三件事:便捷性、有效性、高质量。

  • 便捷性: 快速装进 agent,让 agent 马上能用,而不是一条复杂的 pipeline。那种 pipeline 不仅冗余,也没发挥出 harness 最本真的能力。
  • 有效性: 不把无用的东西放进来。我认为 AI 视频要成为电影,最重要的几个部分是:切镜(这是失去 AI 感、获得艺术感最重要的方式)、剧本构造、视频模型的 input engineering、剪辑。
  • 高质量: 不出特别烂的成片(视频基模能力不行的除外)。我追求的是把视频基模的能力用出 90%(100% 得靠用 AI 做片的大师级剪辑师亲自上手,有时候还要靠运气),这也是我对一个项目的追求。

这个 skill 好在哪里:实在的全自动化,以及高贵的艺术感

我觉得目前的很多 skill,其实都没法做到全自动地产出很好的内容。用这个 skill,开头那套组合就能全自动地拍完一部片;有小问题的,我看完提出来,Claude 重抽一次自己就能修好。

我做了一个展示页,放了 27 部短片,全是自动生成的。我还和目前仍在更新且非常火热的两个 AI video pipeline 和 skill 进行了比较。之后我也会放上一些 human in the loop 的例子:全自动生成的视频,人看完提出问题,Claude 是怎么快速修好的。最后的费用我也会一起列出来。

在这个 skill 里,你不会看到 AI 短剧那种非常 AI 的感觉,而是一种拍摄的真实感、艺术感,我也会用展示页把它表现出来。这也是我做 AI 自动化生成一直在追求的东西。

我对几个视频模型的看法

其实吧,我觉得目前最累的一点,是首帧模式不能带其他参考图。如果可以带,一大半问题都能解决,人物一致性也会轻松很多。现在的 skill 在一致性上还是有问题,这里面是个 tradeoff:

  • 首帧 / 首尾帧(fl2v) 不能用参考图,但很听首帧的话。可这样一来,之后镜头里新出现的人物可能会变;而单镜外推的时候,首帧遵循度又非常关键。
  • ref2v(参考图) 能用参考图,但完成不了单镜外推的任务,只能在切镜的时候用。
  • 两者有机结合能解决很多问题,但解决不了所有;而且首帧模式生成出来的质量,就是更好。

所以我只能在镜头表里按镜头选喂法,一致性这块尽量靠参考图,不靠文字。

再说说 HappyHorse、Wan、Seedance,这是我用下来的感觉:

  • HappyHorse(1.1): 动作片效果不错,但一些正常的家庭场景很不好。我拍过两部,看片的结论是不如另外两家。
  • Wan(3.0): 正常场景和黑白动画很不错,粘土等动漫场景也好;打斗和科幻一般。可以说除了打斗和科幻,都比较全能。
  • Seedance: 2.0 用下来很好,2.5 整体都挺不错,白模遵循度也是最高的。

共同弱点:科幻太容易起褶皱,人脸生成也起褶皱。

skill 的意义、价值和遗憾

先说我为什么认为 skill 是承载这件事最好的形式。基模的能力已经够强了,你只要告诉它需要做什么,它就能完成;好的 skill 应该只是告诉基模干什么。在这个 agent 时代,浓缩的 skill 反而才是最大的精华,就像一篇论文,其实核心就是 abstract 加一个 problem insight。film-director 也是这么分的:核心是一个 skill(拍片流程、Blender 白模、挑音效三部分),装上就能把片拍完;plugin 是可选的,给想看每一镜、想接进 ComfyUI 的人用。

可惜的是,目前 skill 和 plugin 很难立稳脚跟。没有哪家公司推出的产品,是只有一个 skill 的,都是 harness 加上一些 plugin 和 skill。我觉得原因有不少,说三点:

  1. skill 的不确定性太大,没人愿意买单。 同时 skill 太轻量,体现不出工程量。但说真的,最便捷、最实用的就是 skill。
  2. 之前营销的 skill,过度消费了人们对 skill 的热情。 skill 过于简单,效果又难以定义,于是有人仗着 skill 的好坏不好衡量,生产出一堆无用的 skill。这些垃圾毋庸置疑,把 skill 的作用拉低了。
  3. RSI harness 出来了。 大家的目光都被 harness 吸走了,skill 就更难被看见。但是,对个人来说,skill 装上就能用,RSI harness 却是一整套重系统。

还没做好的,和期待

我想改进的有这几处:

  • 白模和切镜还没有完全有机融合。 现在做得好,主要是镜头表(shot-list)在发力。物理检测,以及一些特别有意思的场景切换,还比较少。
  • 关键帧的一些设计也不够好。
  • 各种模型的适配经验文档,还是相对较少,期待之后继续加入。
  • 和 ComfyUI 的协作性一般。 现在只能回放,人在 ComfyUI 里改了提示词点运行,不会重新生成,要调整还得告诉 agent。

瑕疵当然是有的,毕竟视频模型还没到什么都不错的那一档。我希望这个 skill 能让大家一起进一步探索 AI 电影,来探讨怎样让 agent video gen 做得更好。


宣传片里的音效。 下面这几段录音经过剪辑、混音后用在宣传片里;其余的声音是视频模型生成的成片原声,旁白用 Qwen3-TTS(Apache-2.0)合成。

本项目与 Anthropic 无关,非 Anthropic 官方项目。Claude 是 Anthropic 的商标。