第 20 讲 · 音乐与音效生成

音乐是"时间维上的建筑"：一首歌要在三四分钟里维持调性、和声、节拍与主题的呼应，还要人声与歌词逐字对齐——比语音（几十秒、单线条）难一个量级。本讲讲清两代技术路线，然后直接在你的 ComfyUI 里出歌：ACE-Step 的原生节点我已在你的 0.22 注册表里核实过，模型下好即开唱。

1. 音乐难在哪：三个约束叠加

1. 长程结构：主歌-副歌-桥段的呼应横跨几分钟——对应姊妹课程第 06 讲的"长程依赖"问题，只是这次跨度是数万个音频帧；
2. 纵向一致性：同一时刻的鼓、贝斯、和声、人声必须在调性和节拍上锁死——图像里没有这种"多轨对齐"约束；
3. 歌词对齐：人声要逐字唱在正确的音高和拍点上——文本条件从图像的"语义引导"升级成"逐字硬同步"。

2. 两代范式

2.1 Codec 语言模型（MusicGen，2023）

路线与第 19 讲第二代 TTS 同构：音频 → EnCodec 的 RVQ token → 当语言来建模。技术亮点是 delay pattern：RVQ 每帧有 \(N\) 级 token（第 19 讲），若把 \(N\) 级全展平成序列，长度膨胀 \(N\) 倍；MusicGen 让各级错开一帧并行预测——第 \(i\) 级在时刻 \(t\) 的预测可以看到第 \(i-1\) 级在 \(t\) 的结果（粗码先行、细码跟进），兼顾依赖与并行。生态意义：证明了"文生音乐"可行；局限：纯器乐见长、唱歌费劲、生成慢（AR 逐帧）。

2.2 音频潜空间扩散 / DiT（当前主流）

与图像/视频完全同构的配方（第 16 讲四步框架第三次兑现）：音频 VAE 压缩 → 潜空间上扩散/流匹配 → DiT 去噪 → 解码回波形。

• Stable Audio Open（2024）：音频 VAE + DiT，最长 47 秒——定位是音效与器乐 loop（雨声、鼓点循环、转场音效），不做完整歌曲；它的"秒数"条件直接作为向量注入（想要 3 秒就说 3 秒——扩散对定长块的控制力优势）；
• ACE-Step（2025，中国团队开源）：完整歌曲级——深压缩音频 VAE（DCAE）+ 线性注意力 DiT + 歌词对齐模块，一次生成整首带人声的歌（几分钟长度、多语种含中文），A 卡级 GPU 上分钟级出歌。发布后迅速成为"开源 Suno"的事实答案，ComfyUI 官方原生接入（你机器上的 TextEncodeAceStepAudio / EmptyAceStepLatentAudio 及 1.5 版节点就是它）。

商业标杆 Suno/Udio 仍在人声表现力与混音质感上领先，但差距已从"能不能"缩到"精不精"——按第 16 讲的判断框架：单曲精品用商业，批量素材、BGM、实验探索用本地。

3. ComfyUI 实战：ACE-Step 出歌

3.1 就位

模型单文件（约 3.5GB，fp8 更小）放 E:\AI\Models\checkpoints\，模板在 Browse Templates → Audio 分区（ACE-Step 官方模板随你的 templates 包发布；精确文件名以 docs.comfy.org 的 audio tutorial 为准）。工作流骨架依然是老三样的变体——第 07 讲的读图法直接适用：

CheckpointLoader → TextEncodeAceStepAudio(tags + lyrics 双输入) → KSampler
                 → EmptyAceStepLatentAudio(时长) ↗            → VAEDecodeAudio → SaveAudioMP3

（粉线换成了"音频潜空间"，橙线的条件从一段提示词变成 tags+歌词两栏——数学身份不变。）

3.2 双输入的写法

Tags 栏（风格控制，逗号分隔，直给不抒情）：

mandarin pop, female vocal, emotional ballad, piano, strings,
slow tempo, 80 bpm, clean vocals, studio quality
(流派 + 人声类型 + 情绪 + 乐器 + 速度/BPM + 质量词 —— 第08讲提示词纪律的音乐版)

Lyrics 栏（结构标签 + 歌词正文，标签控制段落）：

[verse]
夜色漫过窗台
代码还在运行
[chorus]
让梯度带我下降
落在损失最低的地方
[outro]

[verse]/[chorus]/[bridge]/[inst](器乐段)/[outro] 这些结构标签就是你对歌曲结构的编排权——歌词写多长、段落怎么排，直接决定歌的骨架。纯音乐则 lyrics 留 [inst]。

3.3 参数与迭代

• 时长在 EmptyAceStepLatentAudio 上设（从 60–90 秒起步，别上来就四分钟——迭代快才能多试）；
• steps/cfg 按模板默认起步；seed 纪律照旧（第 08 讲）：满意的歌先记种子再微调歌词；
• ACE-Step 支持 repaint/编辑类玩法（局部重生成某一段——inpaint 思想的音频版，第 09 讲的知识又平移了一次），在对应模板里；
• 一次生成不满意很正常，音乐的"抽卡感"比图像强——批量生成挑段落，或固定种子只改 tags 收敛风格。

3.4 音效与配乐的补位

• 短音效/loop：Stable Audio Open 更对口（模型放 checkpoints\，同在 Audio 模板区；ConditioningStableAudio 节点带秒数控制）——"雨打铁皮屋顶 5 秒""8 bit 跳跃音效"这类需求它比 ACE-Step 更利落；
• 给视频自动配音效：video-to-audio 方向（MMAudio 等：看画面生成拟音）正在成熟，作为认知雷达上的一个点，需要时再查——判断方法你已经有了（四步框架 + 第 16 讲判断表）。

4. 版权与使用边界

AI 音乐的版权地位比图像更未定（旋律相似度争议、训练数据诉讼进行中）。实用边界：自用/配自己的视频 BGM 放心用；商用发行前查当地现行规则与平台条款；用 AI 翻唱真人歌手音色（RVC 唱歌）发布，风险等同第 19 讲的声音克隆红线——别碰未授权音色。

上机任务

1. 下载 ACE-Step，从 Audio 模板出发生成一首 60 秒器乐 BGM（tags 只写风格乐器，lyrics 用 [inst]）；
2. 写一段两段式中文歌词（[verse]+[chorus]），生成你的第一首带人声的歌——歌词就用你手头项目里的意象（上面那段"梯度下降"式歌词是认真的建议：写熟悉的东西你才判断得出对齐质量）；
3. 固定种子，把 tags 里的 female vocal 换 male vocal、80 bpm 换 120 bpm 各生成一次，体会 tags 的控制粒度；
4. 用 Stable Audio Open 给第 18 讲的视频生成一条 5 秒环境音效，手动合到视频上——第 21 讲流水线的预演。

图、视频、语音、音乐都齐了。最后一讲补上 3D 与数字人，然后把整个拓展篇串成一条从角色图到成品短片的全本地流水线——这门课的终点，也是你创作管线的起点。