跳到主要内容

AIBook端上 TTS 运行说明

使用说明

基于端上语音合成轻量级工具包进行TTS模型推理。

目录

程序模型包

公网下载: https://mt-vaas-web.tos-cn-beijing.volces.com/tts/litetts/mt_litetts_v4d.tar

内部文件说明

  • 推理脚本:mt_litetts/inference_zh.py

  • 模型位置:mt_litetts/serving_models/litetts_v4d/

  • 使用方式详见mt_litetts/README.md或下文"完整示例"

模型音色

  • MT TTS精品音色:程小可

Python环境依赖

  • Python >= 3.8

  • 安装依赖库:

    • 详见requirements.txt文件

    • 执行pip install -r requirements.txt

完整示例

# 基于 conda 部署 python 环境(如已有稳定 python 环境可跳过)
# 下载安装 Miniforge(社区版,适合 ARM64 / aarch64)
# 官方说明:https://github.com/conda-forge/miniforge
# 下载最新 Miniforge3(Linux aarch64)
curl -L -O https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-aarch64.sh
# 安装
chmod +x Miniforge3-Linux-aarch64.sh
./Miniforge3-Linux-aarch64.sh

# 创建python(3.8.20)环境
source ~/.bashrc && conda create -n tts python==3.8.20
conda activate tts

# 下载解压程序模型包
wget https://mt-vaas-web.tos-cn-beijing.volces.com/tts/litetts/mt_litetts_v4d.tar
tar -xvf mt_litetts_v4d.tar && cd mt_litetts

# 查看目录结构
ls
# 输出示例:
# attentions.py configs fig inference.ipynb LICENSE mel_processing.py
# modules.py pqmf.py __pycache__ README_opensource.md serving_models stft.py
# train_latest.py utils.py commons.py data_utils.py filelists inference_zh.py
# losses.py models.py monotonic_align preprocess.py README.md requirements.txt
# stft_loss.py text transforms.py

# 安装相关依赖库
pip install -r requirements.txt
# (如果下载较慢考虑加上-i https://mirrors.aliyun.com/pypi/simple)

# 开始合成
python inference_zh.py "轻轻的,我走了,正如我轻轻的来"
# 输出信息:
# 1、输入待合成文本:[轻轻的,我走了,正如我轻轻的来]
# 2、加载模型:[serving_models/litetts_v4d/G_280000.pth]
# ....
# 3、模型完成加载
# 4、开始合成...
# 5、完成合成
# 6、合成音频保存至: [./audio.wav]