开源仓库:lemomo-ai/lemo-opuscar
在线图鉴(51 支样片直接预览):https://lemomo-ai.github.io/lemo-opuscar/
在过去的一段时间里,大量使用 Opus 5.5 制作的短片爆火传播。每一支短片代表一种截然不同的视觉与听觉风格:水墨、皮影、油画厚涂、80 年代赛璐璐、像素 RPG、60 年代间谍片头、纸片立体书……
与当下的 AIGC 视频热潮不同,这些片子没有调用任何视频生成大模型(如 Seedance、Runway),也没有使用任何现成的素材库画面。
每一帧画面,都是 Agent 编写 Canvas 和 WebGL 代码逐帧渲染出来的;每一段配乐,都是调用免费采样库编写的原创曲目;配音基于本地 TTS 生成,最后由 Agent 自己完成混音、校对、质检与出片。
我在尝试了跑通风格迥异的样片后,得出了一个核心结论:AI 出片好不好、稳不稳,关键根本不在于提示词(Prompt)写得多华丽,而在于两件事:
- Agent 手里有没有一套成熟的工业化方法论:怎么讲故事、怎么定节奏、怎么拍镜头、怎么配声音、怎么自检。
- 你给它的需求(Brief)有没有说到点上。
第一件事已经有人替我们做完了,并直接浓缩进了开源库 lemo-opuscar 中,让我们可以直接使用;本文将重点拆解这套方法论的架构,以及如何搞定第二件事。
一、 核心架构:把动画工作室塞进三份 Markdown
我们将一整套导演与工程管线沉淀为了仓库里的三类核心文档,让 Agent 从“盲目写代码的脚本小子”变成“懂视听语言的独立工作室”:
DIRECTOR.md(导演方法论):定义了故事结构、声音设计、节奏控制、镜头语言、角色表演与自我审片的标准。TECHNIQUE.md(工程与渲染管线):规范了 Canvas/WebGL 逐帧确定性渲染、本地 TTS 配音、采样器编曲、音频混音与自动化审片的技术实现。styles/<风格>/STYLE.md(39 种视听字典):详细拆解了每种风格“长什么样、听起来什么样”,并附带了对应样片的完整工程拆解。
极简启动工作流
只要你的本地环境具备 Node 20+、Chrome、ffmpeg 和 Python 3.11+(配音模型与音频采样库等大文件会在按需使用时自动拉取),只需三行命令即可启动:
git clone https://github.com/lemomo-ai/lemo-opuscar.gitcd lemo-opuscarclaude进入交互后,直接向 Agent 下达自然语言指令:
“用水彩风格做一支 45 秒的片子,讲我家经营的咖啡园。”
Agent 会自动读取上述三份文档开工。在全流程中,它会像真正的外包工作室一样主动停下来找你确认两次(Sign-off):第一次确认故事与分镜,第二次确认渲染出的画面风格帧。确认无误后,才会执行全片渲染与混音。
工程耗时参考:生成一支成片,Agent 大约需要独立工作 30–60 分钟。整体 Token 消耗并不算高(3D 场景的消耗会显著高于 2D 场景),默认使用 High 档位即可获得非常扎实的成片效果。
二、 需求工程:你负责“拍什么”,编排交给 Agent
与 Agent 协作的核心原则是:你负责提供核心事实与意图,把视听编排交给 Agent。 你不需要懂分镜术语、BPM 或景别,但在下达需求时把下面这 6 件事交代清楚,出片稳定性会呈指数级上升。
1. 主题:拍什么、给谁看、多长
用一句话说清核心目的。不要只说“做一个视频”,而是说“做一支 40 秒的片子,给新用户介绍我们 App 的离线模式”。
- 时长:默认 30–60 秒。短片永远比长片稳,第一支片子强烈建议控制在 30–45 秒。
- 画幅比例:默认横屏
16:9;若用于抖音、小红书或 Reels,直接声明“竖屏9:16”。 - 语言与字幕:直接使用你提问的语言,管线会自动完成字幕烧录。
2. 故事:有事实给事实,没故事给方向
- 提供事实(极其重要):如果有真实经历、品牌来历、一个梗或具体数据,一定要明确喂给 Agent(包括特定名称、关键数字、必须露出的产品与 Logo)。切记:Agent 自己编造的事实是不可靠的。
- 提供方向:如果没有现成故事,给一个情绪或结构方向即可,例如“温暖一点,结尾有反转”。Agent 会自动按照**“一个主体、一个目标、一次转折”**的经典戏剧结构编写剧本,保证开场 3 秒抓人、结尾首尾呼应。
3. 节奏:决定整支片子的骨架
这是最容易被人类忽略、但对成片质量影响最大的一环。在 lemo-opuscar 的管线里,音乐网格先于画面动画——Agent 会先写出 cue map(确立速度、小节、每个视觉卡点落在哪一拍),随后所有的 Canvas/WebGL 动画严格吸附到音乐网格上。你对快慢的描述会直接转化为底层参数:
- 音乐配速:快闪卡点片可达
140 BPM以上,而叙事抒情片通常落在70–90 BPM。 - 剪辑密度:快片一拍触发一个动作,慢片则可以用一个长镜头走到底。
- 速度曲线:好片子绝不是匀速的。你可以直接要求:“前面慢,中间越来越快,高潮前停一下,结尾留白”。
- 人声与旁白:明确指定“温暖的女声旁白”、“不要旁白,纯音乐驱动”,或是“像默片一样只用字幕卡”。
4. 导演能力:用“对标(Reference)”代替规则描述
镜头、转场、表演和声音是 Agent 的本职工作,DIRECTOR.md 对此有严苛的硬性指标:
- 镜头语言:每个镜头必须有叙事理由,全片至少包含 4 种运镜,且必须设计一个让人记住的签名镜头(Signature Shot)——例如一镜到底、极端的尺度揭示、或用媒介本身做转场。
- 原生转场:拒绝廉价的默认淡入淡出。转场必须长在风格里:水墨风用墨滴洇开,立体书用物理翻页,剪纸风用刀刻剥落。
- 动画表演:每个动作严格遵循动画十二法则中的“预备(Anticipation)、动作、跟随(Follow-through)”,角色必须有清晰的情绪变化。
- 声音设计:画面上的每个物理动作都必须配有音效(Foley),全片至少留出两处**真正的静音(Silence)**来制造呼吸感与张力,严禁使用万能且廉价的“钢琴 + 弦乐”敷衍了事。
作为人类,你能做的最有效的一件事就是给一个“对标”:“节奏参考 Edgar Wright 的剪辑”、“像 60 年代 007 的片头”。Agent 只会提取对标作品的视听语法(构图、剪辑节奏、运镜、配乐结构),绝不抄袭具体角色与画面。在我们的实战经验中,一个精准的对标对质量的提升,远大于任何一条长篇大论的规则。
5. 外部素材:打破“纯代码洁癖”
虽然官方的 39 支样片是为了验证极限而用纯代码手搓的,但你的实际项目完全不必有这种“洁癖”。你可以随时向工程注入外部资产:
- 图像生成工具:生成角色三视图、复杂纹理贴图或背景参考,让 Agent 照着绘制或直接作为图层贴入。
- 3D 模型生成工具:生成
.glb模型,直接丢进Three.js场景里交由 Agent 打光、调景深、写运镜。 - 自有品牌资产:实拍照片、矢量 Logo、产品真实截图、现成录音、品牌定制字体。
只需将素材放进指定文件夹并告知路径即可。(注:开源库内置资产严格遵循版权规范,仅使用 CC0、CC BY、OFL 协议素材,并逐条记录于 CREDITS 中。)
6. 审阅与自动化质检(QA)
Agent 在执行过程中会严格遵守**“两次人工确认 + 一套自动化自检”**:
- 第一确认点(故事与分镜):在这里改方向只需几分钟;一旦全片渲染完毕再推翻,返工成本就是几个小时。这一步请务必认真审阅。
- 第二确认点(画面风格帧):Agent 会先渲染出 2–3 张关键风格静帧(若有角色还会输出角色设定表),并主动向你汇报它“最没把握的地方”。
- Agent 自动化质检:在交付成片前,Agent 会自己跑完一整套 QA 脚本:
- 将生成的每句 TTS 配音用语音识别(ASR)逆向转写回来,核对是否有吞字或错读;
- 音频响度标准化校准至
-14 LUFS; - 扫描全片排查异常黑帧;
- 每 1–2 秒抽一帧拼成全片缩略图总览(Contact Sheet),并在关键动作处按
0.2 秒的高密度抽帧检查动作连贯性。
当成片交付给你时,请给出具象的修改反馈:说“第 12 秒摔倒太快,看不懂”,比说“感觉节奏不太对”有效十倍。我们在审片时最常抓的四个典型问题供你参考:主体太小、字幕没停够时间就切走、动作不连贯、画面有动作但没配音效。
三、 开箱即用:需求提示词万能模板
如果你不知道从何下手,直接复制以下模板填空并发送给 Agent 即可:
用【风格名,比如 watercolor】风格做一支【30–60】秒的片子。主题:【拍什么,给谁看】故事:【有就写:谁、想要什么、发生了什么、结局。没有就写“你来编,要有一个转折”】节奏:【快 / 慢 / 前慢后快】,【旁白:什么声线、什么语言;或者不要旁白】对标:【一两部你喜欢的片子、片头、广告,学它的节奏或镜头】素材:【我放在 assets/ 里的照片、logo、模型;必须出现的名字和数字】画幅:【横屏 16:9 / 竖屏 9:16】先给我看故事和分镜,再给我看画面,我确认后再做全片。如果你甚至不知道该选哪种视觉风格,可以用这段探索型指令开局:
我想做一支关于【……】的片子,帮我从库里挑两三个合适的风格,说说各自怎么拍,其他你定。四、 模型适配指南:没有 Opus 5.5 怎么办?
坦诚地说:官方的 51 支样片全部基于 Opus 5.5 制作,风格参数也是围绕它的能力边界调校的。一支短片需要模型连续编写数千行前端/图形代码、自己调用视觉能力看图审片、自己分析混音并主动返工,这对模型的长程规划能力(Long-horizon Agency) 要求极高。
但这套方法论本身完全解耦于特定模型——三份核心文档全部是纯文本 Markdown,任何支持读取项目上下文或 AGENTS.md 的 Agent 工具(如 Codex、Cursor 等)均可直接接入。如果你使用的是其他大模型,遵循以下 6 条工程降级策略,依然能跑出稳定的效果:
- 从样片改,不要从零写:每个风格的
demo/目录下都有完整的源码和build.sh。只需运行sh tools/fetch.sh demo <风格>拉取配乐与字体输入,就能在本地原样重建官方样片。让模型在一个已经跑通的渲染引擎上替换故事与文本,比从零搭建场景稳得多。 - 优先挑选“代码原生”的风格:排版、几何图形、数据可视化类风格(如瑞士动态排版、数据叙事、等距信息图、ASCII 终端)对代码的确定性最高,对所有模型都极其友好;而复杂的 2D 角色动画和复杂 3D 场景最考验模型上限。
- 缩短时长、削减复杂度:先尝试 20–30 秒、单一角色、4–6 个镜头的轻量级短片。
- 拆解小步,高频停靠:按照
方案 → 风格静帧 → 单个镜头渲染 → 全片合成的颗粒度推进,每一步都强制它渲染出静帧给你过目,切忌让弱模型一口气盲跑到底。 - 强模型当导演,普通模型干活(Model Routing):前期的导演方案、音乐网格(Cue Map)和分镜脚本用你能调用的最强模型生成;中期的代码编写与渲染执行交给高性价比模型;最后的审片质检再切回强模型把关。
- 视觉标准可以降,工作流绝对别省:声音设计、自动化自检、两次人工确认点,这些工程护栏与模型智商无关,严格照做就能避开 90% 的废片坑。
五、 案例深度拆解:11 支代表作看代码渲染的极限
我们从图鉴的 51 支样片中挑选了 11 支覆盖不同维度的代表作,看看纯代码渲染究竟能做到什么程度(完整视频可在在线图鉴中直接播放):
01 · Swiss Motion Graphics(瑞士动态排版)—《Five Rules for a Poster》
- 内容:一张音乐会海报按照瑞士国际主义设计的五条规则自我排版,而第五条规则是“只打破一条规则”。
- 视觉风格:致敬 50–70 年代苏黎世海报设计语言——白纸、黑字、黑条,全片克制到只使用一种红色。
- 技术与导演手法:所有视觉元素严格吸附网格,每次落位都精准踩在节拍器上,宛如一声干脆的打击乐;唯一不守规矩的红色元素自然成为了叙事主角。全片高潮处揭晓底牌:7 列排版网格对应 7 个音高,16 行对应 16 个八分音符——整张海报本身就是那首曲子的乐谱。
- 适用场景:品牌视觉发布、先锋活动预告、设计原理教学。
02 · Urban Sketch(钢笔淡彩)—《Where the Wind Went》
- 内容:整座公园最初只是一张黑白钢笔速写,一阵风吹走了草帽,风吹到哪里,哪里才染上色彩与生机。
- 视觉风格:还原现场写生的速写本质感——纤细的棕黑钢笔线条,上面罩着一层透明水彩(故意保留水彩与线稿微微错位的手工感),纸张边缘留白处写着手写体观察笔记。
- 技术与导演手法:矢量线条按照真实的绘画笔顺一笔笔动态勾勒;水彩颜色从单一源头带着流体水痕向外洇开,只有被色彩触碰到的人物才开始产生动画帧;结尾镜头拉远,露出整本摊开的速写本,自然兼作片尾字幕。
- 适用场景:城市漫游与文旅、建筑设计展示、生活方式品牌。
03 · Chinese Ink Wash(中国水墨)—《The Swordsman and the River》
- 内容:孤高侠客踏水过江,拔剑一斩,江水断流。
- 视觉风格:宣纸纹理上的焦、浓、重、淡、清“五色墨”,采用没骨画法;全片保持 60%–80% 的大面积留白,唯一的亮色是一方朱砂印章。
- 技术与导演手法:不画水纹,宣纸的留白本身就是江水,侠客一剑劈开墨色,露出底部的纸白即为“断流”;利用墨滴在纸面洇开的物理扩散代替传统转场;高潮出剑前全场彻底静音,随后一记刚劲的“飞白”笔触横扫整个屏幕。
- 适用场景:武侠游戏与国风 IP、东方文化品牌、诗词意境视觉化。
04 · Shadow Puppetry(皮影戏)—《Hou Yi Shoots the Suns》
- 内容:十日同出炙烤大地,后羿登坛张弓射日。
- 视觉风格:模拟白色幕布后的一盏摇曳油灯,染色驴皮雕刻而成的影人透光发亮,红、绿、赭石色如彩色玻璃般通透,肢体连接处的关节铆钉清晰可见。
- 技术与导演手法:将光学逻辑融入叙事——天上的每个太阳,实际上就是幕布后方的一盏真实虚拟光源;后羿每射落一个太阳,画面的物理曝光就真实地暗下一档。 影人在操控下带有细微的手持颤动感,腿部与翎子遵循物理重力随铆钉自由摆动;高潮过后摄影机直接绕到白色幕布后方,揭晓油灯、老艺人的双手与操纵竹签。
- 适用场景:神话民俗故事、非遗文化传播、传统节庆短片。
05 · 60s Spy Title Sequence(60 年代间谍片头)—《The Velvet Cipher》
- 内容:一部虚构的 1964 年冷战间谍片片头:特工追逐一把被窃的密钥,失落的几何碎片最终拼合成电影片名。
- 视觉风格:纯正的 Saul Bass(索尔·巴斯)时代片头美学——高饱和平涂色纸、手工裁剪的不规则粗糙边缘、纯黑剪影人物,排版字体直接作为画面的物理结构。
- 技术与导演手法:演职员表(Credits)就是舞台布景本身,剪影主角躲在字母
I的背后掩护、在不同的单词之间飞跃跳车;利用精妙的图形匹配剪辑(Match Cut:旋转的车轮 → 赌场轮盘 → 放大的瞳孔 → 满月 → 机械锁孔)死死卡在爵士铜管乐的重音上,追逐越激烈剪辑密度越高;结尾所有散落的几何碎片沿开场的斜线飞回,严丝合缝地拼成片名。 - 适用场景:影视与播客片头、大型活动开场、悬疑预告片。
06 · Whiteboard Explainer(白板讲解)—《Einstein in Your Pocket》
- 内容:硬核科普你的智能手机是如何精准定位的:GPS 卫星、原子钟,以及爱因斯坦相对论每天带来的“38 微秒误差”。
- 视觉风格:一块极其真实的物理白板,画面中没有出现人手,只有马克笔悬浮在空中自动书写;精细还原了笔尖在落笔停顿处的积墨现象,以及白板擦留下的擦不干净的淡淡旧笔迹。
- 技术与导演手法:物理公式严格按照真实书写笔顺一项项推导出来,落笔的瞬间精准对齐旁白念到的那个专业词汇;全片采用一镜到底的无剪辑跟随运镜;在对比地面时钟与太空轨道时钟时,画面分裂出两支笔同步书写;最后摄影机大幅拉远,将整块写满推导过程的白板全貌一次性完整呈现。
- 适用场景:硬核知识科普、在线教育网课、复杂产品底层原理解析。
07 · Living Screencast(活体实机录屏)—《Clawd Moves In》
- 内容:像素小人 Clawd 从枯燥的命令行终端里跳出来,“搬家”住进现代化的 Claude 桌面应用中,在一镜到底的录屏里现场演示 Plan 模式、Diff 代码评论与自动化自检。
- 视觉风格:乍看之下像是一段真实的软件产品录屏,但实际上每一个窗口、下拉菜单、按钮都是用代码重新绘制的矢量组件;大方块低分辨率的像素小人,居住在视网膜级的高清现代 UI 界面里,两种极端分辨率的碰撞本身就是核心视觉风格。
- 技术与导演手法:采用现代化录屏软件式的平滑推近与急速甩镜头(Whip Pan);像素小人具备真实的物理碰撞体积,只能稳稳站在真实 UI 元素的上边缘(其坐标在每一帧都从 DOM/页面布局中实时测算获取);小人的每一次踩踏与交互都会触发真实的 UI 状态改变,每一次键盘敲击都会同步在屏幕底部渲染出按键回显。
- 适用场景:开发者工具与 SaaS 产品教程、新功能发布演示、交互式新手引导。
08 · Pictogram Motion(象形运动图形)—《Aichi-Nagoya 2026 — All 43 Sports》
- 内容:一口气展示 2026 爱知·名古屋亚运会全部 43 个比赛大项,无脸几何象形人卡着狂暴的节拍极速快闪。
- 视觉风格:严谨的大型国际赛事视觉识别系统(VI)——满屏铺开的几何纹样网格、高度抽象的象形运动员、极具压迫感的巨大粗体英文标题配日文副标题,每个赛事大类章节彻底切换一套主题色。
- 技术与导演手法:以
150 BPM的传统太鼓混搭现代电子乐打底,70 张运动项目卡片严格执行“一拍一个动作”;为了打破长片的机械感,在恒定的 BPM 速度下突然切出“一拍两张卡”的双倍速快板,在统一网格里制造出强烈的节奏变速;体量最大的赛事章节直接用一个无缝横移长镜头一气呵成;结尾全部 43 个运动图标汇聚拼成一面视觉高墙,最终坍缩收拢为一轮红日。 - 适用场景:体育赛事宣发、品牌视觉识别系统展示、高能活动暖场。\
09 · HD-2D —《The Lampbearer》
- 内容:远方的古老灯塔骤然熄灭,小孙女提着仅存的最后一簇火苗,孤身穿过幽暗夜林、攀上狂风暴雨的悬崖。
- 视觉风格:致敬《八方旅人》的 HD-2D 美学——在 3D 搭建的微缩模型场景上贴满低分辨率像素材质,2D 像素小人伫立其中;幽邃的冷蓝夜色与微弱的暖橙火光形成强烈冷暖对撞,配合强烈的辉光(Bloom)、厚重的暗角(Vignette)以及一套精致复古的 RPG 对话界面。
- 技术与导演手法:帧率分离设计——2D 角色刻意保持复古的低帧率抽帧像素动画,而 3D 摄影机、动态点光源、风雨粒子与景深焦点则按每帧平滑插值运动;大幅度的移轴景深(Tilt-shift)让宏大的自然场面显得如微缩沙盘般小巧而珍贵;小女孩手中提着的灯笼既是整个 3D 场景的主光源,也是剧情的“情绪计量表”,火光每一次闪烁暴涨,身后的像素影子就会被真实地拉长。
- 适用场景:独立游戏预告片、奇幻世界观设定集、重氛围剧情短片。
10 · Paper Pop-up(纸片立体书)—《Pip's Paper Adventure》
- 内容:一本精装立体书在书桌上缓缓打开,纸片小精灵 Pip 在层叠的纸艺世界里穿梭冒险,最终打破次元壁跳出书外。
- 视觉风格:在同一帧画面里构建两个平行的物理世界——外部是照片级写实的木质书桌与温暖台灯,桌面上摊开的立体书内部,则是平涂色块、带有粗描边的剪纸卡通世界。
- 技术与导演手法:外部世界的真实三维灯光与微距镜头景深,真实地投射在内部的 2D 纸片上,每一层剪纸都会向后方投下边缘锐利的剪影阴影;“翻页”就是唯一的转场方式,随着书页翻动,旧场景的纸片受机关牵引折叠倒下,新场景的纸片顺势弹起立直;当旁白念到故事高潮“黑暗中,又亮起了一盏温暖的灯”时,镜头拉出,揭晓那盏拯救世界的灯正是书桌前读者的真实台灯。
- 适用场景:儿童绘本与教育产品、解谜/冒险游戏预告、温情品牌剧情短片。
11 · Sci-Fi Sitcom Toon(科幻情景喜剧卡通)—《Coffee Run》
- 内容:厌世的疯狂天才科学家打开跨维度传送门,目的仅仅是想下楼买杯咖啡,结果却接连穿过一个比一个离谱的平行宇宙。
- 视觉风格:典型的成人向欧美 2D 电视动画(致敬《瑞克和莫蒂》)——微微抖动的粗黑手绘描边、平涂色块搭配硬边赛璐璐阴影、角色标志性的大白眼配小黑瞳孔、长相既恶心又莫名可爱的外星生物,而极其逆天的科幻装备像垃圾一样随便堆在客厅角落。
- 技术与导演手法:核心喜剧张力在于**“用毁天灭地的科幻手段,去办一件鸡毛蒜皮的日常小事”**;主角每穿过一次传送门,整个宇宙的色彩规范、音乐动机(Leitmotif)和奇葩生物就彻底换一套,全片只有传送门本身带有发光特效。剪辑采用经典的三段式加速,越跳越快,高潮处达到“一秒钟连跳一个宇宙”的密集轰炸;在每一个极其猎奇离谱的大场面之后,必定紧跟一个主角毫无波澜的死鱼眼反应特写——笑点永远落在人物的反应脸上,而不是怪物身上;结尾高潮戛然而止,留出两秒以上的彻底死寂静音,随后再冷冷地抖出最后一个包袱,精准呼应片头。
- 适用场景:喜剧短视频、硬核科技品牌的幽默反差营销、高传播度社媒短片。
结语
用代码写动画,表面上看是在绕远路,但实际上它赋予了创作者和 Agent 100% 的确定性与像素级的修改自由——改一句台词、调快 10 个 BPM、把主角的衣服从红色改成蓝色,在视频生成大模型里意味着重新抽卡,而在 lemo-opuscar 的代码管线里,只是一次精准的变量修改与局部重编译。
现在,这套包含 51 种视听语言的“自动化工作室”已经完全开源。带上你的故事,去克隆仓库拍出你的第一支片子吧:
- GitHub 仓库:https://github.com/lemomo-ai/lemo-opuscar
- 51 支样片在线图鉴:https://lemomo-ai.github.io/lemo-opuscar/