FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架

FoleyCrafter是什么

FoleyCrafter是上海人工智能实验室和香港中文大学（深圳）共同推出的AI视频配音框架，FoleyCrafter能自动听出视频中的动作，配上恰到好处的声音效果。不管是视频里的人走路、跑步，还是动物的叫声，甚至是环境里的风声、水声，FoleyCrafter都能智能地加上去，让原来没有声音的视频瞬间变得生动起来。而且还可以给它一些提示，比如“声音要高一点”或者“不要风声”，FoleyCrafter都能听懂并做到。这个技术不仅让视频制作更简单，还能让视频看起来更真实、更有感觉。

FoleyCrafter的主要功能

• 自动配音：FoleyCrafter能给无声的视频加上各种声音，比如脚步声、关门声，让视频听起来更真实。
• 声音同步：不管视频里的动作多快或多慢，FoleyCrafter都能让声音和动作完美对上节奏。
• 理解视频：FoleyCrafter很聪明，能看懂视频里的内容，然后配上最合适的声音效果。
• 时间精准：FoleyCrafter有一个特别的时间控制器，确保声音的开始和结束都和视频里的动作完全同步。
• 听你指挥：用户可以通过写一些简单的文字提示，比如“大声点”或者“轻一点”，FoleyCrafter能自动调整声音效果。
• 多样的声音：无论是自然的声音、游戏的声音还是动画的声音，FoleyCrafter都能根据视频内容创造出相应的音效。

FoleyCrafter的技术原理

• 预训练的音频模型：FoleyCrafter基于一个已经学会怎么生成好声音的模型。就像一个已经知道怎么唱歌的人，我们只需要告诉它什么时候唱什么歌。
• 语义适配器：这个部分是FoleyCrafter的大脑，它通过观看视频来理解里面正在发生什么。比如，如果视频里有人跑步，语义适配器就会知道需要生成脚步声。
• 并行交叉注意力层：这是一种特殊的技术，让FoleyCrafter能够同时关注视频里的视觉信息和可能的文本描述，然后决定生成什么样的声音。
• 时间控制器：这个部分确保声音效果在正确的时间点出现。就像一个指挥家，告诉乐队什么时候开始演奏，时间控制器告诉FoleyCrafter什么时候开始发出声音。
• 起始检测器：这是时间控制器里的一个工具，它能够检测视频中的声音应该何时开始。比如，如果视频中的球刚刚碰到地面，起始检测器就会知道这是发出撞击声的正确时机。
• 时间戳适配器：这个工具使用起始检测器的信息来调整声音的生成，确保声音与视频中的动作完美同步。
• 文本提示兼容性：FoleyCrafter还可以根据你给出的文字提示来生成声音。比如，你写“轻柔的风声”，它就会生成相应的声音效果。

FoleyCrafter的项目地址

• 项目官网：https://foleycrafter.github.io/
• GitHub仓库：https://github.com/open-mmlab/foleycrafter
• HuggingFace Demo：https://huggingface.co/spaces/ymzhang319/FoleyCrafter
• YouTube视频：https://www.youtube.com/watch?v=7m4YLrSBOv0

FoleyCrafter的应用场景

• 电影和视频制作：在电影、电视剧或网络视频的后期制作中，FoleyCrafter可以自动为各种动作场景生成逼真的音效，如脚步声、关门声、物体碰撞声等。
• 游戏开发：在电子游戏中，FoleyCrafter可以为角色动作、环境互动等生成相应的音效，增强游戏的沉浸感和真实性。
• 动画制作：动画中的动作往往需要音效来配合，FoleyCrafter能根据动画内容自动生成匹配的声音效果。
• 虚拟现实(VR)体验：在VR环境中，声音的空间感和同步性尤为重要，FoleyCrafter能为VR体验提供精确的音效，提升用户的沉浸体验。