AI 工程实践 on Harry0703

阿里开源 CosyVoice 语音克隆部署和使用

harry0703@hotmail.com (Harry) — Sat, 03 Aug 2024 12:30:01 +0800

应该是 开源界音色最稳定 的语音合成和克隆模型了，支持预训练音色合成、自然语言控制、3秒极速复刻和跨语种复刻。

官方部署方式比较复杂，错误较多，我这里进行了整理和优化，支持GPU和CPU，方便大家使用。

CosyVoice 开源仓库: CosyVoice

效果展示

自然语言控制

3秒极速复刻

使用方法

均支持 GPU 和 CPU

第一次启动过程可能会有点长，需要从魔搭下载3个模型

Windows 一键启动包

百度网盘: https://pan.baidu.com/s/1UTuRKPQ9nuQk69qxQzdL4A?pwd=j2ei 提取码: j2ei

下载后使用 7z 解压。没有 7z 的话，可以在这里下载：https://7-zip.org/download.html
双击 双击启动.bat 启动服务
启动后，访问 http://127.0.0.1:50000/

注意：文件夹中不能有中文、特殊字符和空格，否则可能会启动失败

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

CPU 版本

1
2

curl -fsSL https://harry0703.com/cosyvoice/docker-compose.yml -o docker-compose.yml
docker-compose up

GPU 版本

1
2

curl -fsSL https://harry0703.com/cosyvoice/docker-compose-gpu.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://127.0.0.1:50000/

FunASR实时语音识别部署和使用

harry0703@hotmail.com (Harry) — Thu, 25 Jul 2024 20:30:01 +0800

FunASR 模型的整理和集成，Docker一键启动，能够实时识别语音输入，准确度非常高

项目地址：https://github.com/harry0703/AudioNotes

FunASR开源仓库: https://github.com/modelscope/FunASR

效果展示

使用方法

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

1
2

curl -fsSL https://harry0703.com/realtime-funasr/docker-compose.yml -o docker-compose.yml
docker-compose up

注意：第一次启动过程可能会有点长，需要从魔搭下载4个模型

FSMN-VAD模型,

Paraformer-lagre实时模型,

CT-Transformer标点预测模型,

基于FST的中文ITN

docker 启动后，访问 http://localhost:10096/

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

2pass: （默认）实时语音识别，并且句尾采用离线模型进行纠错（准确度更高）
online: 实时语音识别
offline: 一句话识别

② 逆文本标准化（ITN）

是: （默认）表示进行逆文本标准化
否: 表示不进行逆文本标准化

逆文本标准化（Inverse Text Normalization, ITN） 是语音识别和自然语言处理领域的一种技术，用于将自动语音识别（ASR）系统生成的文本转化为更自然和可读的格式。这是对文本标准化（Text Normalization, TN）的逆过程。

逆文本标准化的目的

当语音被转换为文本时，ASR 系统通常会输出一种更标准化的文本形式。例如：

数字 “123” 可能会被识别为 “一二三” 或 “123”。
日期 “2024年7月25日” 可能会被识别为 “二零二四年七月二十五日” 或 “2024年7月25日”。

这些输出虽然标准化，但不一定是人们习惯书写或阅读的格式。 ITN 的作用是将这些标准化的文本转换回更自然、更符合书面习惯的形式。例如：

“一二三” 转换为 “123”
“二零二四年七月二十五日” 转换为 “2024年7月25日”
“五千七百六十三” 转换为 “5763”

👉👉如果你想使用API，请参考以下文档

系统架构图

注意：

10096端口为网页界面

10095端口为websocket通信端口 >

🅰️ 从客户端往服务端发送数据

消息格式

配置参数用json，音频数据采用bytes

① 首次通信

客户端发送配置参数

{
 "chunk_size": [
 5,
 10,
 5
 ],
 "wav_name": "h5",
 "is_speaking": true,
 "wav_format": "pcm",
 "chunk_interval": 10,
 "itn": true,
 "mode": "2pass",
 "hotwords": "{\"阿里巴巴\":20,\"hello world\":40}"
}

参数说明：

wav_name：表示需要推理音频文件名
wav_format：表示音视频文件后缀名，只支持pcm音频流
is_speaking：表示断句尾点，例如，vad切割点，或者一条wav结束
chunk_size：表示流式模型latency配置，[5,10,5]，表示当前音频为600ms，并且回看300ms，又看300ms。
hotwords：如果使用热词，需要向服务端发送热词数据（字符串），格式为 “{“阿里巴巴”:20,“通义实验室”:30}”
itn: 设置是否使用itn，默认 true

② 发送音频数据

直接将音频数据移除头部信息后，使用 bytes 数据发送，支持音频采样率为8000

③ 发送结束标志

音频数据发送结束后，需要发送结束标志

1
2
3

{
 "is_speaking": false
}

🅱️ 从服务端往客户端发数据

发送识别结果

识别中

{
 "is_final": false,
 "mode": "2pass-online",
 "text": "阿里",
 "wav_name": "h5"
}

识别结束

{
 "is_final": false,
 "mode": "2pass-offline",
 "stamp_sents": [
 {
 "end": 4385,
 "punc": "",
 "start": 820,
 "text_seg": "阿 里 开 源 的 语 音 识 别 真 是 太 牛 了"
 }
 ],
 "text": "阿里开源的语音识别真是太牛了",
 "timestamp": "[[820,1060],[1060,1319],[1319,1480],[1480,1760],[1760,2220],[2220,2420],[2420,2659],[2659,2820],[2820,3300],[3300,3480],[3480,3659],[3659,3820],[3820,4060],[4060,4385]]",
 "wav_name": "h5"
}

参数说明：

mode：推理模式
- 2pass-online：表示实时识别结果
- 2pass-offline：表示2遍修正识别结果
wav_name：需要推理音频文件名
text：语音识别输出文本

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

如果你是在其他电脑或服务器上部署的服务，而不是在本地，当你打开页面后，可能会遇到这个问题。

假设服务器IP是 192.168.1.170，打开的页面是 http://192.168.1.170:10096/

解决方法：

Chrome浏览器

在浏览器地址栏输入 chrome://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

Edge浏览器

在浏览器地址栏输入 edge://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

ChatTTS 开源语音合成服务的部署和使用

harry0703@hotmail.com (Harry) — Wed, 29 May 2024 20:16:01 +0800

项目地址：https://github.com/2noise/ChatTTS

Windows 用户建议直接下载一键启动包，运行环境和模型都已经配置好，使用更简单。

Windows 一键启动包

百度网盘下载：https://pan.baidu.com/s/1wfdqQDTzDnMf01bV1wzKgQ?pwd=v2kb 提取码：v2kb

解压密码：harryai

下载后解压，然后双击 启动服务.bat 即可。

启动成功后，会自动打开 http://localhost:8845/ 页面。

输入文本内容，即可合成语音。

手动部署

1. 下载代码

点击下载代码压缩包，然后解压到本地。

2. 下载模型

从魔搭下载 https://www.modelscope.cn/models/pzc163/chatTTS/summary 建议使用 git 克隆

`1`	`git clone https://www.modelscope.cn/pzc163/chatTTS.git`

注意：魔搭里面缺少文件 spk_stat.pt，点击这里下载，然后放到 chatTTS/asset 目录下。

再将下载的整个文件夹，放到 models 文件夹下，结构如下：

3. 安装依赖

`1`	`pip install -r requirements.txt`

4. 启动服务

`1`	`python webui.py`

启动成功后，会自动打开 http://localhost:8845/ 页面，输入文本内容，即可合成语音。

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

harry0703@hotmail.com (Harry) — Fri, 03 May 2024 17:56:01 +0800

注意：没有GPU，也可以微调一个属于你自己的大模型，只是微调的时间长一点而已，建议晚上睡觉前运行，第二天早上就可以使用了 😄

效果演示

部署环境

点击下载 LLaMA3-8B 微调代码压缩包
将下载的压缩包解压
在 终端 (macOS) 或 cmd命令提示符 (Windows) 里面，进入解压后的文件夹，创建一个新的 Conda 虚拟环境

未安装 Conda 的用户，可以到 Conda官网下载安装。
1 2 3

cd llama3-ft conda create -n llama3-ft python=3.10 conda activate llama3-ft
安装依赖包
1

pip install -r requirements.txt

数据准备

你可以直接使用 dataset/huanhuan.json 数据集（该数据集来源于 https://github.com/KMnO4-zx ），也可以自己准备数据集，比如你的客服对话（FAQ）数据集，这样就可以微调一个更适合你的智能客服的模型，客服回答更准确。

数据集的格式也比较简单，示例如下：

instruction 是问题
output 是回答

[
 {
 "instruction": "你好",
 "input": "",
 "output": "皇上好，我是甄嬛，家父是大理寺少卿甄远道。"
 },
 {
 "instruction": "你不愿意见我？",
 "input": "",
 "output": "不该相见自然不愿见，还望王爷尊重我的意愿。"
 }
]

模型微调

模型选择

我使用的是 LLM-Research/Meta-Llama-3-8B-Instruct ，你也可以选择一个其他模型，只需要修改 train.py 文件里面的 model_id 变量即可。

由于国内访问 HuggingFace 比较困难，因此使用 ModelScope 提供的模型。

# 需要微调的基座模型

# https://www.modelscope.cn/studios/LLM-Research/Chat_Llama-3-8B/summary
model_id = 'LLM-Research/Meta-Llama-3-8B-Instruct'

# 比如你也可以使用 Qwen1.5-4B-Chat 模型
# https://www.modelscope.cn/models/qwen/Qwen1.5-4B-Chat/summary
# model_id = 'qwen/Qwen1.5-4B-Chat'

开始微调

只需要在项目根目录下执行以下命令即可。

`1`	`python train.py`

或者可以打开 LLaMA3-8B-Instruct Lora.ipynb 文件，使用 Jupyter Notebook 进行微调。

注意：

微调的时间会根据你的数据集大小和模型大小而定。我由于没有 GPU，因此耗时2个小时，如果你有 GPU，大概需要 30 分钟。
代码会自动下载模型，然后开始微调

微调完成后，所有的文件会保存在 models 文件夹下面，结构如下：

├── models
 ├── checkpoint #【模型微调的 checkpoint】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ │ ├── checkpoint-100
 │ │ ├── checkpoint-200
 │ │ ├── checkpoint-xxx
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 │ ├── checkpoint-100
 │ ├── checkpoint-200
 │ ├── checkpoint-xxx
 ├── lora #【模型微调的 lora 文件】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 └── model #【自动下载的基座模型】
 ├── LLM-Research
 │ └── Meta-Llama-3-8B-Instruct
 └── qwen
 └── Qwen1___5-4B-Chat

模型测试

微调完成后，你可以执行以下命令启动一个 ChatBot 进行对话测试。

`1`	`streamlit run chat.py`

该命令执行后，会自动打开浏览器对话页面

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

harry0703@hotmail.com (Harry) — Mon, 29 Apr 2024 07:56:01 +0800

前提

先搭建好 本地化的企业级知识库问答系统 ，参考《手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统》

下载Docker启动文件

因为 ChatGPT-On-WeChat 代码有 Bug，作者一直未修复，因此我修改后，重新打了一个Docker镜像，避免大家踩坑。

1
2
3

mkdir chatgpt-on-wechat
cd chatgpt-on-wechat
curl -O https://harry0703.com/chatgpt-on-wechat/docker-compose.yml

修改配置文件

打开 docker-compose.yml 文件，修改 OPEN_AI_API_KEY 和 OPEN_AI_API_BASE 为你的 FastGPT 的 API Key 和 API 地址。

version: '2.0'
services:
 chatgpt-on-wechat:
 image: harryliu888/chatgpt-on-wechat:latest
 container_name: chatgpt-on-wechat
 security_opt:
 - seccomp:unconfined
 environment:
 # OPEN_AI_API_KEY 在 FastGPT 的 应用发布页面生成（API访问）
 OPEN_AI_API_KEY: 'fastgpt-iAt0KIDwpZqFvxfpmWstAkars36s0ASBENYKYLGSwJcf7NuCn2NzT'
 # OPEN_AI_API_BASE 填写 FastGPT 的 API 地址
 # 特别注意，如果 chatgpt-on-wechat 是docker部署的，因此要访问外部的 FastGPT，这里需要使用 host.docker.internal
 OPEN_AI_API_BASE: 'http://host.docker.internal:3000/api/v1'

 MODEL: 'gpt-3.5-turbo'
 PROXY: ''
 SINGLE_CHAT_PREFIX: '["bot", "@bot"]'
 SINGLE_CHAT_REPLY_PREFIX: '"[bot] "'
 GROUP_CHAT_PREFIX: '["@bot"]'
 GROUP_NAME_WHITE_LIST: '["ChatGPT测试群", "ChatGPT测试群2"]'
 IMAGE_CREATE_PREFIX: '["画", "看", "找"]'
 CONVERSATION_MAX_TOKENS: 1000
 SPEECH_RECOGNITION: 'False'
 CHARACTER_DESC: '你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。'
 EXPIRES_IN_SECONDS: 3600
 USE_GLOBAL_PLUGIN_CONFIG: 'True'
 USE_LINKAI: 'False'
 LINKAI_API_KEY: ''
 LINKAI_APP_CODE: ''
 extra_hosts:
 - 'host.docker.internal:host-gateway'

启动Docker

1
2

cd chatgpt-on-wechat
docker-compose up

手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统

harry0703@hotmail.com (Harry) — Sat, 20 Apr 2024 13:56:01 +0800

我将通过一个系列分享，手把手的教大家打造一个完全本地化的，免费的，企业级知识库问答系统

本地大模型回答演示图

知识库导入演示图

我认为本地化主要有2方面的意义：

1. 安全性

当使用外部模型或服务时，我们的私有数据，用户问题，都会被发送给第三方那我们就要面临私有数据暴露给别人的风险，甚至会导致数据泄露本地化会让我们的数据就更安全

2. 灵活性

另外随着我们的业务发展，如果模型不能很好的满足我们需求的时候我们可以很方便的对本地模型其进行微调以达到更好的适配

这样就既兼顾了安全，又兼顾了灵活性

应用场景

知识库问答的使用场景其实非常多，我随便举2个商业系统的例子

比如对个人，可以用来整理笔记、论文解读、文献检索、文档问答等等。这里我用轻闪PDF的文档对话 https://lightpdf.cn/chatdoc 来演示一下效果。

我们随便上传一个PDF文档，等文档解析完成后，我们就可以通过提问的方式，对文档里面的内容进行解读，可以很快的从文档中找到我们想要的内容， 大大提高我们查看文档的效率。

对企业，可以用来做智能客服，数据沉淀或者数字员工等等，同样我用思乎的在线客服 https://gitmind.cn 来演示一下。

我们可以向客服提问，AI就会准确的回复我们的问题，而这些问题的答案，大模型本身是没有的。因为大模型既不了解我们的业务，也不知道我们的数据，这些AI回复的答案，都是从企业的知识库里面获取的。这样我们就实现了一个7x24小时的智能客服， 不仅为企业降本增效，还提高了客户的满意度。

服务器配置要求

环境	最低配置	推荐配置
测试	2核 2GB	2核 4GB
100w 组向量	4核 8GB 50GB	4核 16GB 50GB
500w 组向量	8核 32GB 200GB	16核 48GB 200GB
1000w 组向量	16核 48GB 200GB	32核 64GB 500GB

架构图

整个的系统搭建，都是基于这个架构图来进行的

RAG原理

是什么

检索：Retrieval，通过向量模型，或者多种混合检索方式，从知识库中检索出相关的文档
增强：Augmentation，通过将检索到的文档，附加到提示词中，进行增强。也即 ICL（In Context Learning）
生成：Generation，通过大语言模型，生成答案

有什么优势

有助于减轻大模型的幻觉，提高大模型回复的准确性
与微调不同，RAG提供了一定的可观察性和可检查性
成本低，好实施

安装 Docker

下载 Docker 并安装 https://www.docker.com/products/docker-desktop/

安装 Ollama

下载 Ollama 并安装 https://ollama.com/

下载 Chat 模型

我使用阿里的通义千问作为演示，根据自己的电脑配置情况，选择合适的模型。

总体来说，模型是越大，效果越好，但是对电脑的配置要求也越高

4b 模型要 3GB内存
7b 模型要 8GB 内存
13b 模型要 16GB 内存
70b 模型要 64GB 内存

特别注意：你如果要用于商业用途，需要申请授权，否则只能用于个人学习

千问许可说明: https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权: https://dashscope.console.aliyun.com/openModelApply/qianwen

下载模型

`1`	`ollama pull qwen:7b`

测试API请求

等模型下载和安装好后，执行下面的命令，测试API请求是否成功

Mac/Linux下执行：

curl 'http://localhost:11434/api/chat' \
--data '{
 "model": "qwen:7b",
 "messages": [
 {
 "role": "user",
 "content": "你是谁"
 }
 ],
 "temperature": 0.1,
 "stream": false
}'

Windows下执行：

1
2

curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"

下载 Embedding 模型

我使用了 DmetaSoul 的中文Embedding模型，该模型号称在 MTEB 中文榜单取得开源第一的成绩: https://huggingface.co/DMetaSoul/Dmeta-embedding-zh/blob/main/README_zh.md

下载模型

`1`	`ollama pull shaw/dmeta-embedding-zh`

测试API请求

等模型下载和安装好后，执行下面的命令，测试API请求是否成功

Mac/Linux下执行：

curl 'http://localhost:11434/api/embeddings' \
--data '{
 "model": "shaw/dmeta-embedding-zh",
 "prompt": "天空是灰色的"
}'

Windows下执行：

1
2

curl "http://localhost:11434/api/embeddings" ^
--data "{""model"": ""shaw/dmeta-embedding-zh"", ""prompt"": ""天空是灰色的""}"

安装FastGPT及其依赖

1. 下载 docker 文件和 config 文件

你可以手动下载，放到一个文件夹里面

docker-compose.yml: https://harry0703.com/kbqa/docker-compose.yml
config.json: https://harry0703.com/kbqa/config.json

也可以直接执行下面的命令，自动下载

mkdir kbqa
cd kbqa
curl -O https://harry0703.com/kbqa/docker-compose.yml
curl -O https://harry0703.com/kbqa/config.json

2. 启动 docker

`1`	`docker-compose up`

注意

第一次启动会有点慢，因为要拉取镜像，后面启动就会很快了
如果第一次启动失败，可以多次执行 docker-compose up

3. 访问 FastGPT 和 OneAPI

你第一次访问，系统里面是没有数据的，截图里面的数据，是我测试的时候已经创建好了的。

FastGPT

点击访问：http://localhost:3000

用户名 root，密码 1234（密码可以在 docker-compose.yml 环境变量里设置 DEFAULT_ROOT_PSW 进行修改）

OneAPI

点击访问：http://localhost:3001

用户名 root，密码 123456

配置OneAPI

添加模型：http://localhost:3001/channel

1. 配置大语言模型

类型：Ollama
名称：ollama-qwen:7b
模型：输入自定义模型名称，qwen:7b
密钥：随便填，比如 123
代理：http://host.docker.internal:11434

2. 配置Embedding向量模型

类型：Ollama
名称：ollama-dmeta-embedding-zh
模型：输入自定义模型名称，shaw/dmeta-embedding-zh**，比如
密钥：随便填，比如 123
代理：http://host.docker.internal:11434

特别注意：

模型 必须和 ollama 安装的模型名称保持一致，可以使用 ollama list 命令查看
代理地址 必须是 http://host.docker.internal:11434，这样 OneAPI 才能访问到 ollama

默认情况下，Docker 使用的是桥接模式启动服务，即容器使用 Docker 自己创建的虚拟网络，容器之间可以相互通信，但是它们无法直接访问宿主机（即你的电脑）上的网络服务。

但是 Ollama 是运行在你的电脑上的，而 OneAPI 是运行在 Docker 容器里面的，所以 OneAPI 无法直接访问 Ollama。

docker 官方提供了一种支持方案，可通过指向 host.docker.internal 来指向宿主机的 IP。

参见官方文档：从容器连接到主机上的服务

配置FastGPT

我们先创建一个简单的应用，实现一个基本的AI对话，目的是测试OneAPI的接口以及Ollama的接口是否正常。

未完待续

AI 工程实践 on Harry0703

阿里开源 CosyVoice 语音克隆 部署和使用

效果展示

自然语言控制

3秒极速复刻

使用方法

Windows 一键启动包

Docker部署🐳

CPU 版本

GPU 版本

FunASR实时语音识别部署和使用

效果展示

使用方法

Docker部署🐳

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

② 逆文本标准化（ITN）

👉👉如果你想使用API，请参考以下文档

系统架构图

🅰️ 从客户端往服务端发送数据

消息格式

① 首次通信

② 发送音频数据

③ 发送结束标志

🅱️ 从服务端往客户端发数据

发送识别结果

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

Chrome浏览器

Edge浏览器

ChatTTS 开源语音合成服务的部署和使用

Windows 一键启动包

手动部署

1. 下载代码

2. 下载模型

3. 安装依赖

4. 启动服务

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

效果演示

部署环境

数据准备

模型微调

模型选择

开始微调

模型测试

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

下载Docker启动文件

修改配置文件

启动Docker

手把手教你构建一个 本地化的，免费的，企业级的，AI大模型知识库问答系统

本地大模型回答演示图

知识库导入演示图

我认为本地化主要有2方面的意义：

1. 安全性

2. 灵活性

应用场景

服务器配置要求

架构图

RAG原理

是什么

有什么优势

安装 Docker

安装 Ollama

下载 Chat 模型

下载模型

测试API请求

Mac/Linux下执行：

Windows下执行：

下载 Embedding 模型

下载模型

测试API请求

Mac/Linux下执行：

Windows下执行：

安装FastGPT及其依赖

1. 下载 docker 文件 和 config 文件

2. 启动 docker

3. 访问 FastGPT 和 OneAPI

FastGPT

OneAPI

阿里开源 CosyVoice 语音克隆部署和使用

手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统

1. 下载 docker 文件和 config 文件