dia

dia是NARI Labs创建的语音模型的1.6B参数文本。

更新?（06/27） ： dia现在可以通过拥抱面孔变压器获得！

dia直接从成绩单中生成高度逼真的dia LOGUE 。您可以在音频上调节输出，从而实现情感和音调控制。该模型还可以产生非语言交流，例如笑声，咳嗽，清澈的喉咙等。

为了加速研究，我们正在提供验证验证的模型检查点和推理代码。模型权重托管在拥抱的脸上。该模型目前仅支持英语。

我们还提供了一个将模型与Elevenlabs Studio和芝麻CSM-1B进行比较的演示页面。

• 我们有一个Zerogpu空间运行！现在在这里尝试。感谢HF团队的支持:)
• 加入我们的Discord Server以获得社区支持并访问新功能。
• 玩更大版本的dia ：生成有趣的对话，混音内容并与朋友分享。 ?加入候补名单以备尽早访问。

• 保持输入文本长度适中
  • 简短的输入（对应于音频的5秒以下）听起来不自然
  • 很长的输入（对应于20次音频）将使语音不自然地快速。
• 从读书中的列表中少量使用非语言标签。过度使用或使用未列出的非骨折可能会导致怪异的伪像。
• 始终使用[S1]开始输入文本，并始终在[S1]和[S2]和[S1] ... [S1] ...不好的情况下交替
• 使用音频提示（语音克隆）时，请仔细遵循以下说明：
  • 在生成文本之前，提供要克隆的音频的笔录。
  • 成绩单必须正确使用[s1]，[s2]扬声器标签（即单个扬声器：[s1] ...，两个扬声器：[s1] ... [s2] ...）
  • 要克隆的音频的持续时间应为5〜10秒，以获得最佳结果。 （请记住：1秒≈86个令牌）
• 将[S1]或[S2]（二次扬声器的标签）放在音频结束时，以提高音频质量

现在，我们有一个拥抱的脸部变压器实施dia ！您应该安装变压器的主要分支以使用它。有关更多信息，请参见HF.PY。

pip install git+https://gi**thub*.com/huggingface/transformers.git
# or install with uv
uv pip install git+https://gi**thub*.com/huggingface/transformers.git

 from transformers import AutoProcessor , dia ForConditionalGeneration


torch_device = "cuda"
model_checkpoint = "nari-labs/ dia -1.6B-0626"

text = [
    "[S1] dia is an open weights text to dia logue model. [S2] You get full control over scripts and voices. [S1] Wow. Amazing. (laughs) [S2] Try it now on Git hub or Hugging Face."
]
processor = AutoProcessor . from_pretrained ( model_checkpoint )
inputs = processor ( text = text , padding = True , return_tensors = "pt" ). to ( torch_device )

model = dia ForConditionalGeneration . from_pretrained ( model_checkpoint ). to ( torch_device )
outputs = model . generate (
    ** inputs , max_new_tokens = 3072 , guidance_scale = 3.0 , temperature = 1.8 , top_p = 0.90 , top_k = 45
)

outputs = processor . batch_decode ( outputs )
processor . save_audio ( outputs , "example.mp3" )

 # Clone this repository
git clone https://g*ith*u*b.com/nari-labs/dia.git
cd dia

# Optionally
python -m venv .venv && source .venv/bin/activate

# Install dia
pip install -e .

 # Install directly from GitHub
pip install git+https://g*ith*u*b.com/nari-labs/dia.git

python example/simple.py

 # Clone this repository
git clone https://g*ith*u*b.com/nari-labs/dia.git
cd dia

uv run example/simple.py

python app.py

# Or if you have uv installed
uv run app.py

python cli.py --help

# Or if you have uv installed
uv run cli.py --help

• 通过[S1]和[S2]标签生成dia Logue
• 产生非语言（笑），（咳嗽），等。
  • 在口头标签下面将被识别，但可能会导致意外的输出。
  • (laughs), (clears throat), (sighs), (gasps), (coughs), (singing), (sings), (mumbles), (beep), (groans), (sniffs), (claps), (screams), (inhales), (exhales), (applause), (burps), (humming), (sneezes), (chuckle), (whistles)
• 语音克隆。有关更多信息，请参见示例/voice_clone.py。
  • 在拥抱面孔的空间中，您可以上传要克隆的音频并将其成绩单放在脚本之前。确保成绩单遵循所需的格式。然后，该模型将仅输出脚本的内容。

dia仅在GPU上进行了测试（Pytorch 2.0+，CUDA 12.6）。 CPU支持将很快添加。由于还需要下载描述音频编解码器，因此初始运行将需要更长的时间。

这些是我们在RTX 4090中基准测试的速度。

将来我们将添加量化版本。

如果您没有可用的硬件，或者想使用我们的型号的更大版本，请在此处加入候补名单。

该项目已根据Apache许可证2.0的许可 - 有关详细信息，请参见许可证文件。

该项目提供了用于研究和教育用途的高保真语音生成模型。严格禁止以下用途：

• 身份滥用：如果未经许可，请勿产生类似于真实个人的音频。
• 欺骗性内容：不要使用此模型来产生误导性内容（例如假新闻）
• 非法或恶意使用：不要将此模型用于非法或旨在造成伤害的活动。

通过使用此模型，您同意维护相关的法律标准和道德责任。我们对任何滥用并坚定地反对对这项技术的任何不道德用法不承担任何责任。

• Docker支持ARM Architecture和MacOS。
• 优化推理速度。
• 添加量化以提高内存效率。

我们是一支由1个全职和1个兼职研究人员组成的小团队。我们对任何贡献都有超级胜利！加入我们的Discord服务器进行讨论。

• 我们感谢Google TPU研究云计划提供的计算资源。
• 我们的作品受到了Soundstorm，Pareakeet和Descript Audio编解码器的重大启发。
• 拥抱脸部提供Zerogpu Grant。
• “纳里”是莉莉的纯韩语。
• 我们感谢Jason Y.为数据过滤提供帮助。