基于NLP的多任务分析和TTS-RVC集成
该项目实现了多任务NLP管道，以进行主题分类，情感分析和土耳其对话数据的摘要。它还集成了TTS（文本到语音）和RVC（基于检索的语音转换）管道，以通过语音调制将摘要转换为语音。
?目录
- 特征
- 要求
- 安装
- 项目结构
- 用法
- 多任务NLP管道
- TTS和RVC语音转换
- 型号
- 数据集
- 笔记
- 执照
特征
- 多任务NLP管道
- 主题分类
- 情感分析（零射 +基于单词）
- 对话的摘要
- TTS和RVC集成
- 使用TTS将汇总文本汇总为语音
- 使用RVC调节语音
- Gradio UI
- 交互式选项卡用于分析和音频生成
?要求
- Python 3.10
- 兼容CUDA版本（可选）
- Visual Studio构建工具：
- MSVC V142 -VS 2019 C ++ X64/X86构建工具
- Windows 10 SDK
- C ++ CMAKE工具
- NVIDIA GPU与CUDA（推荐）
安装
# Step 1: Create virtual environment
python -m venv .venv
# Step 2: Activate
# Linux/Mac:
source .venv/bin/activate
# Windows:
.venv S cripts a ctivate
# Step 3: Install dependencies
pip install -r Requirements.txt?项目结构
project-root/
│
├── methods/
│ └── topic_sentiment_summarization.py
│
├── tts_rvc_logic.py
├── tts_rvc_ui.py
├── Requirements.txt
├── .gitignore
└── README.md
配x 排除在存储库中：
datasets/→请检查?数据集部分models/local_models/→从拥抱脸上下载rvc_models/→.pth文件（手册）outputs/→生成结果
用法
?多任务NLP管道
python methods/topic_sentiment_summarization.py- 输入：自定义JSON数据集
- 输出：
multitask_output.json，summarized_output.json在outputs/
tts和RVC语音转换
python tts_rvc_ui.py- 数据集分析选项卡：上传对话json
- 语音转换选项卡：选择RVC型号，调整音调，生成音频
?型号
| 任务 | 模型 | 关联 |
|---|---|---|
| 主题分类 | bert-topic-classification-turkish | 拥抱脸 |
| 情感分析 | xlm-roberta-large-xnli | 拥抱脸 |
| 文本到语音 | facebook/mms-tts-tur | 拥抱脸 |
| RVC模型 | .pth文件 | 手动下载，放置在rvc_models/文件夹中 |
- RVC样本模型：
-
rvc_models/.pth语音转换模型包含。 - 您可以用自己的型号替换它。
-
?数据集
该数据集托管在Kaggle上：
?从Kaggle下载
预期格式：
[
{
"conversation_id" : 1 ,
"category" : " Finansal Hizmetler " ,
"speaker" : " customer " ,
"text" : " Merhaba, son satın alımımla ilgili bir faturalama sorunum var. Sipariş numaram BB987654321. Tahsil edilmesi gereken 50 $ yerine 75 $ ödedim. "
},
{
"conversation_id" : 1 ,
"category" : " Finansal Hizmetler " ,
"speaker" : " representative " ,
"text" : " Bu durumu duyduğuma üzüldüm. Hesabınıza bir göz atacağım ve sorunu çözmeye çalışacağım.(Temsilci araştırma yapar) "
},
{
"conversation_id" : 1 ,
"category" : " Finansal Hizmetler " ,
"speaker" : " representative " ,
"text" : " Siparişinizi inceledim ve faturalama hatası buldum. Özür dilerim. Fark tutarını iade edeceğim ve iadeniz önümüzdeki 3-5 iş günü içinde hesabınızda olacak. "
},
{
"conversation_id" : 1 ,
"category" : " Finansal Hizmetler " ,
"speaker" : " customer " ,
"text" : " Evet, bu kabul edilebilir. Teşekkür ederim. "
},
{
"conversation_id" : 1 ,
"category" : " Finansal Hizmetler " ,
"speaker" : " representative " ,
"text" : " İadenizi işlemek için kredi kartınızın son dört hanesine ihtiyacım var. "
}
]笔记
- 所有必要的模型必须从拥抱面中手动下载并放置在正确的文件夹中（
models/，local_models/，rvc_models/）。 - 输出文件（例如
.json和.wav或.mp3）在运行管道时将自动生成。 - 由于实际和尺寸相关的原因，数据集，模型和输出被排除在此存储库中。您可以从Kaggle链接访问数据集，并从“模型”部分下载模型。
?许可证
该项目已根据MIT许可获得许可。有关详细信息，请参见许可证文件。
下载源码
通过命令行克隆项目:
git clone https://github.com/Anilsevinc/nlp-multitask-turkish-intent-analysis.git