Harry0703

🎉 关于

harry0703@hotmail.com (Harry) — Sat, 20 Apr 2024 00:00:00 +0000

19年资深码农，15年持续创业🛵，全栈工程师🧑‍💻

github.com/harry0703

开源项目

Python · MIT

MoneyPrinterTurbo

利用 AI 大模型和自动化工作流，根据主题或关键词生成短视频，覆盖文案、素材、配音、字幕与合成。

Python · MIT

AudioNotes

快速提取音视频内容，结合本地模型整理为结构化 Markdown 笔记，并支持围绕内容继续问答。

Rust · Tauri · GPLv3

MangoDisk

面向 macOS 和 Windows 的开源磁盘清理与空间分析工具，帮助用户在确认后安全释放空间。

GitHub 数据更新于 2026-09-04

从 0 到 12 万 Star：MoneyPrinterTurbo 做对了什么，又没解决什么

harry0703@hotmail.com (Harry) — Fri, 04 Sep 2026 12:30:00 +0800

截至 2026 年 9 月，MoneyPrinterTurbo 在 GitHub 上获得了超过 12 万 Star 和 1.84 万 Fork。

这两个数字只能说明项目被大量关注和复制，不能证明生成的视频足够好，更不能证明它已经解决了 AI 视频生产的问题。

真正值得分析的是：为什么这么多人愿意点进来，并且认为这套代码值得保留和修改？

项目地址：https://github.com/harry0703/MoneyPrinterTurbo

它没有创造新模型，但跑通了一条工作流

MoneyPrinterTurbo 没有训练视频模型，也没有提出新的生成算法。

它做的事情并不神秘：生成文案、搜索素材、合成语音、制作字幕，最后把这些内容组合成视频。

这些能力在项目出现之前就已经存在。问题在于，它们分散在不同的工具和服务中。用户要自己选择模型、转换数据、处理字幕时间，再调用视频工具完成合成。每一步都不算难，连起来却足以挡住大多数人。

MoneyPrinterTurbo 把这堆零件收进了一条可以运行的流程：

输入一个主题，得到一条视频。

它降低的不是某项技术的计算成本，而是用户组织整套流程的成本。

开发者很容易沉迷于模型、框架和参数，用户只关心最后有没有东西交付。技术是零件，跑通任务才是产品。

1.84 万 Fork 比 12 万 Star 更值得看

Star 很轻，看到感兴趣的项目，顺手就可以点一下。Fork 通常多了一层意图：准备部署、修改，或者把它接进自己的系统。

MoneyPrinterTurbo 的用户会更换大模型和语音服务，接入自己的素材源，修改提示词、视频尺寸和合成规则。还有人把它改造成批量生产服务，放进自己的内容业务里。

封闭产品只给用户一个输入框和最终结果。开源之后，文案、素材、配音、字幕和合成中的任何一环都可以替换。

所以，1.84 万 Fork 所反映的需求，不只是“一键生成视频”，还有一套能够自己控制的内容生产流程。

它解决了生产，没有解决内容

MoneyPrinterTurbo 可以生成视频，却回答不了一个更难的问题：

为什么有人愿意把这条视频看完？

关键词搜索可以找到相关素材，却不理解叙事。语音模型可以读出文案，却未必懂得情绪。程序可以对齐画面、配音和字幕，却不会自然产生节奏、审美和观点。

最后得到的视频可能结构完整，也可能毫无记忆点。

说得直接一点，自动化可以更快地生产内容，也可以更快地制造平庸。如果选题没有价值，文案没有观点，生成速度越快，只会得到更多没人愿意看的视频。

MoneyPrinterTurbo 把视频制作从“不会做”降低到了“能做”，但从“能做”到“做好”，仍然需要人的判断。

素材拼接的上限很明确

MoneyPrinterTurbo 本质上仍然是一套素材组织和视频合成流程。这一点没有必要回避。

它适合快速验证选题、制作基础内容，也确实能省掉大量重复操作。但仅靠关键词搜索素材，很难解决人物一致性、镜头连续性和视觉表达。

把它说成可以替代编导、剪辑和内容创作者，是夸大工具的能力；只把它看成简单的素材拼接，又忽略了完整工作流节省的时间。

更准确的定位是：

它处理视频生产中的重复劳动，但不替用户决定什么值得表达。

下一步不该只是接入更多模型

如果后续只是不断增加模型供应商、语音服务和配置项，功能清单会越来越长，生成结果却未必更好。这类接入也很容易被其他项目复制。

更难、也更值得继续做的部分，是内容生产过程本身：

从理解文案到生成可编辑的分镜，而不只是提取几个关键词；
让人物、场景和视觉风格在多个镜头中保持一致；
保留中间结果，让人可以介入，而不是只能接受最终成片；
根据发布后的真实反馈，调整下一次选题和内容结构。

12 万 Star 说明这类需求足够大，但没有替 MoneyPrinterTurbo 回答这些问题。

它现在是一套有效的视频自动化工具。能不能继续往前走，取决于它能否跨过素材拼接的边界，开始理解内容，而不只是组装内容。

电脑空间去哪了？我开源了 MangoDisk

harry0703@hotmail.com (Harry) — Wed, 05 Aug 2026 16:05:20 +0800

最近几年，我经常遇到一个很熟悉的提醒：磁盘空间不足。

刚换电脑时，总觉得几百 GB 已经足够。可随开发工具越来越多，项目越做越多，再加上本地运行的 AI 模型，剩余空间还是会一点点变少。

真正开始清理时，却很难说清这些空间到底去了哪里。

空间不是突然消失的

有时是一个很久没有打开的视频，有时是重复下载的安装包，有时是已经结束的项目留下了几 GB 构建文件。浏览器、开发工具和各种应用也在持续产生缓存，但它们分散在系统的不同位置，平时几乎感觉不到。

这些东西单独看都不算大，积累起来却很可观。

我试过手动查找，也写过一些清理脚本。它们偶尔很有效，但用久了就会遇到另一个问题：我不确定删掉的到底是什么。

脚本中的路径可能已经过时，网上找到的命令也未必适合自己的电脑。面对一个几十 GB 的目录，最难做的不是按下删除键，而是判断里面有没有仍然重要的内容。

我想要的工具并不复杂

我找过不少磁盘清理软件。有些功能很多，但每次打开都会推荐各种不需要的服务；有些直接告诉我可以释放几十 GB，却没有把这些文件解释清楚；还有一些需要登录账号，或者把简单的清理功能放进订阅中。

我真正需要的其实很简单：

告诉我空间主要用在了哪里；
把可能不再需要的内容整理出来；
在删除之前，让我能看清位置、大小和风险；
不上传文件，也不要求注册账号。

既然一直没有找到完全符合自己习惯的工具，我就开始做 MangoDisk。

把杂乱的磁盘重新看清楚

MangoDisk 最早只是用来处理我自己的开发缓存，后来逐渐加入了大文件查找、重复文件清理、应用卸载和磁盘空间分析。

现在，我会先用空间分析看看哪些目录占用最多，再检查大文件和已经不用的项目。如果某个应用准备卸载，也可以顺便确认它留下了哪些缓存和数据，不需要再去网上查每一个目录的位置。

对开发者来说，MangoDisk 也能找到常见的项目构建产物和工具缓存。node_modules、Rust 的 target、IDE 索引以及包管理器缓存，往往就是磁盘空间缓慢减少的原因。

但 MangoDisk 不会扫描结束后直接替你删除。它会先把内容分类，显示大小、位置和风险，再由你决定哪些应该保留。智能推荐可以减少逐项判断的时间，但最终的选择仍然属于用户。

有些大文件，本来就不应该被随便清理

做这个工具以后，我越来越觉得，磁盘清理并不是“删得越多越好”。

比如本地 AI 模型经常占用几十 GB，但重新下载同样需要大量时间和流量。照片、代码、文档和云同步文件更不用说，它们不能仅仅因为体积大，就被当作垃圾。

所以 MangoDisk 对这些内容会更保守。普通清理不会把个人文件或用户管理的模型当成缓存；遇到可能影响使用的数据，也会把风险和位置展示出来，而不是默认选中。

我希望它给人的感觉不是“帮我做决定”，而是“帮我把决定需要的信息整理好”。这也是我自己愿意长期使用它的前提。

为什么把它开源

清理工具需要读取很多文件信息，也拥有删除文件的能力。与其只告诉用户“可以放心使用”，我更希望大家能够直接看到它扫描了什么、如何判断，以及一次清理最终会做什么。

因此，我决定将 MangoDisk 以 GPLv3 许可证开源。它支持 macOS 和 Windows，扫描与清理都在本地完成，不需要登录，也不会上传文件或扫描结果。

开源也意味着，一个人不熟悉的软件和系统，可以由真正使用它的人补充。不同开发工具、不同版本的缓存位置，都可以通过社区一起完善。

写在最后

MangoDisk 不是一个追求“每次都清出几十 GB”的工具。有时候扫描以后，会发现真正适合清理的内容并没有想象中那么多，我觉得这反而是正常的。

它更像是我为自己做的一次磁盘整理：先看清空间去了哪里，再决定什么可以离开。

目前 MangoDisk 已经可以在 macOS 和 Windows 上使用。如果你也经常被磁盘空间不足困扰，可以前往 MangoDisk 官网下载体验，也可以在 GitHub 查看源码和参与改进。

阿里开源 CosyVoice 语音克隆部署和使用

harry0703@hotmail.com (Harry) — Sat, 03 Aug 2024 12:30:01 +0800

应该是 开源界音色最稳定 的语音合成和克隆模型了，支持预训练音色合成、自然语言控制、3秒极速复刻和跨语种复刻。

官方部署方式比较复杂，错误较多，我这里进行了整理和优化，支持GPU和CPU，方便大家使用。

CosyVoice 开源仓库: CosyVoice

效果展示

自然语言控制

3秒极速复刻

使用方法

均支持 GPU 和 CPU

第一次启动过程可能会有点长，需要从魔搭下载3个模型

Windows 一键启动包

百度网盘: https://pan.baidu.com/s/1UTuRKPQ9nuQk69qxQzdL4A?pwd=j2ei 提取码: j2ei

下载后使用 7z 解压。没有 7z 的话，可以在这里下载：https://7-zip.org/download.html
双击 双击启动.bat 启动服务
启动后，访问 http://127.0.0.1:50000/

注意：文件夹中不能有中文、特殊字符和空格，否则可能会启动失败

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

CPU 版本

1
2

curl -fsSL https://harry0703.com/cosyvoice/docker-compose.yml -o docker-compose.yml
docker-compose up

GPU 版本

1
2

curl -fsSL https://harry0703.com/cosyvoice/docker-compose-gpu.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://127.0.0.1:50000/

FunASR实时语音识别部署和使用

harry0703@hotmail.com (Harry) — Thu, 25 Jul 2024 20:30:01 +0800

FunASR 模型的整理和集成，Docker一键启动，能够实时识别语音输入，准确度非常高

项目地址：https://github.com/harry0703/AudioNotes

FunASR开源仓库: https://github.com/modelscope/FunASR

效果展示

使用方法

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

1
2

curl -fsSL https://harry0703.com/realtime-funasr/docker-compose.yml -o docker-compose.yml
docker-compose up

注意：第一次启动过程可能会有点长，需要从魔搭下载4个模型

FSMN-VAD模型,

Paraformer-lagre实时模型,

CT-Transformer标点预测模型,

基于FST的中文ITN

docker 启动后，访问 http://localhost:10096/

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

2pass: （默认）实时语音识别，并且句尾采用离线模型进行纠错（准确度更高）
online: 实时语音识别
offline: 一句话识别

② 逆文本标准化（ITN）

是: （默认）表示进行逆文本标准化
否: 表示不进行逆文本标准化

逆文本标准化（Inverse Text Normalization, ITN） 是语音识别和自然语言处理领域的一种技术，用于将自动语音识别（ASR）系统生成的文本转化为更自然和可读的格式。这是对文本标准化（Text Normalization, TN）的逆过程。

逆文本标准化的目的

当语音被转换为文本时，ASR 系统通常会输出一种更标准化的文本形式。例如：

数字 “123” 可能会被识别为 “一二三” 或 “123”。
日期 “2024年7月25日” 可能会被识别为 “二零二四年七月二十五日” 或 “2024年7月25日”。

这些输出虽然标准化，但不一定是人们习惯书写或阅读的格式。 ITN 的作用是将这些标准化的文本转换回更自然、更符合书面习惯的形式。例如：

“一二三” 转换为 “123”
“二零二四年七月二十五日” 转换为 “2024年7月25日”
“五千七百六十三” 转换为 “5763”

👉👉如果你想使用API，请参考以下文档

系统架构图

注意：

10096端口为网页界面

10095端口为websocket通信端口 >

🅰️ 从客户端往服务端发送数据

消息格式

配置参数用json，音频数据采用bytes

① 首次通信

客户端发送配置参数

{
 "chunk_size": [
 5,
 10,
 5
 ],
 "wav_name": "h5",
 "is_speaking": true,
 "wav_format": "pcm",
 "chunk_interval": 10,
 "itn": true,
 "mode": "2pass",
 "hotwords": "{\"阿里巴巴\":20,\"hello world\":40}"
}

参数说明：

wav_name：表示需要推理音频文件名
wav_format：表示音视频文件后缀名，只支持pcm音频流
is_speaking：表示断句尾点，例如，vad切割点，或者一条wav结束
chunk_size：表示流式模型latency配置，[5,10,5]，表示当前音频为600ms，并且回看300ms，又看300ms。
hotwords：如果使用热词，需要向服务端发送热词数据（字符串），格式为 “{“阿里巴巴”:20,“通义实验室”:30}”
itn: 设置是否使用itn，默认 true

② 发送音频数据

直接将音频数据移除头部信息后，使用 bytes 数据发送，支持音频采样率为8000

③ 发送结束标志

音频数据发送结束后，需要发送结束标志

1
2
3

{
 "is_speaking": false
}

🅱️ 从服务端往客户端发数据

发送识别结果

识别中

{
 "is_final": false,
 "mode": "2pass-online",
 "text": "阿里",
 "wav_name": "h5"
}

识别结束

{
 "is_final": false,
 "mode": "2pass-offline",
 "stamp_sents": [
 {
 "end": 4385,
 "punc": "",
 "start": 820,
 "text_seg": "阿 里 开 源 的 语 音 识 别 真 是 太 牛 了"
 }
 ],
 "text": "阿里开源的语音识别真是太牛了",
 "timestamp": "[[820,1060],[1060,1319],[1319,1480],[1480,1760],[1760,2220],[2220,2420],[2420,2659],[2659,2820],[2820,3300],[3300,3480],[3480,3659],[3659,3820],[3820,4060],[4060,4385]]",
 "wav_name": "h5"
}

参数说明：

mode：推理模式
- 2pass-online：表示实时识别结果
- 2pass-offline：表示2遍修正识别结果
wav_name：需要推理音频文件名
text：语音识别输出文本

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

如果你是在其他电脑或服务器上部署的服务，而不是在本地，当你打开页面后，可能会遇到这个问题。

假设服务器IP是 192.168.1.170，打开的页面是 http://192.168.1.170:10096/

解决方法：

Chrome浏览器

在浏览器地址栏输入 chrome://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

Edge浏览器

在浏览器地址栏输入 edge://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

如何利用本地模型，将音视频整理成一份结构化的Markdown笔记

harry0703@hotmail.com (Harry) — Fri, 19 Jul 2024 15:16:01 +0800

项目地址：https://github.com/harry0703/AudioNotes

基于 FunASR 和 Qwen2 构建的音视频转结构化笔记系统

能够快速提取音视频的内容，并且调用大模型进行整理，成为一份结构化的markdown笔记，方便快速阅读

FunASR: https://github.com/modelscope/FunASR

Qwen2: https://ollama.com/library/qwen2

效果展示

音视频识别和整理

与音视频内容对话

使用方法

① 安装 Ollama

下载对应系统的 Ollama 安装包进行安装

https://ollama.com/download

② 拉取模型

我以 阿里的千问2 7b 为例 https://ollama.com/library/qwen2

`1`	`ollama pull qwen2:7b`

Docker部署（推荐）🐳

1
2

curl -fsSL https://harry0703.com/audio-notes/docker-compose.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://localhost:15433/

登录账号为 admin，密码为 admin （可以在 docker-compose.yml 文件里面修改）

本地部署 📦

需要有可访问的 postgresql 数据库

conda create -n AudioNotes python=3.10 -y
conda activate AudioNotes
git clone https://github.com/harry0703/AudioNotes.git
cd AudioNotes
pip install -r requirements.txt

将 .env.example 重命名为 .env，修改相关配置信息

`1`	`chainlit run main.py`

服务启动后，访问 http://localhost:8000/

登录账号为 admin，密码为 admin （可以在 docker-compose.yml 文件里面修改）

ChatTTS 开源语音合成服务的部署和使用

harry0703@hotmail.com (Harry) — Wed, 29 May 2024 20:16:01 +0800

项目地址：https://github.com/2noise/ChatTTS

Windows 用户建议直接下载一键启动包，运行环境和模型都已经配置好，使用更简单。

Windows 一键启动包

百度网盘下载：https://pan.baidu.com/s/1wfdqQDTzDnMf01bV1wzKgQ?pwd=v2kb 提取码：v2kb

解压密码：harryai

下载后解压，然后双击 启动服务.bat 即可。

启动成功后，会自动打开 http://localhost:8845/ 页面。

输入文本内容，即可合成语音。

手动部署

1. 下载代码

点击下载代码压缩包，然后解压到本地。

2. 下载模型

从魔搭下载 https://www.modelscope.cn/models/pzc163/chatTTS/summary 建议使用 git 克隆

`1`	`git clone https://www.modelscope.cn/pzc163/chatTTS.git`

注意：魔搭里面缺少文件 spk_stat.pt，点击这里下载，然后放到 chatTTS/asset 目录下。

再将下载的整个文件夹，放到 models 文件夹下，结构如下：

3. 安装依赖

`1`	`pip install -r requirements.txt`

4. 启动服务

`1`	`python webui.py`

启动成功后，会自动打开 http://localhost:8845/ 页面，输入文本内容，即可合成语音。

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

harry0703@hotmail.com (Harry) — Fri, 03 May 2024 17:56:01 +0800

注意：没有GPU，也可以微调一个属于你自己的大模型，只是微调的时间长一点而已，建议晚上睡觉前运行，第二天早上就可以使用了 😄

效果演示

部署环境

点击下载 LLaMA3-8B 微调代码压缩包
将下载的压缩包解压
在 终端 (macOS) 或 cmd命令提示符 (Windows) 里面，进入解压后的文件夹，创建一个新的 Conda 虚拟环境

未安装 Conda 的用户，可以到 Conda官网下载安装。
1 2 3

cd llama3-ft conda create -n llama3-ft python=3.10 conda activate llama3-ft
安装依赖包
1

pip install -r requirements.txt

数据准备

你可以直接使用 dataset/huanhuan.json 数据集（该数据集来源于 https://github.com/KMnO4-zx ），也可以自己准备数据集，比如你的客服对话（FAQ）数据集，这样就可以微调一个更适合你的智能客服的模型，客服回答更准确。

数据集的格式也比较简单，示例如下：

instruction 是问题
output 是回答

[
 {
 "instruction": "你好",
 "input": "",
 "output": "皇上好，我是甄嬛，家父是大理寺少卿甄远道。"
 },
 {
 "instruction": "你不愿意见我？",
 "input": "",
 "output": "不该相见自然不愿见，还望王爷尊重我的意愿。"
 }
]

模型微调

模型选择

我使用的是 LLM-Research/Meta-Llama-3-8B-Instruct ，你也可以选择一个其他模型，只需要修改 train.py 文件里面的 model_id 变量即可。

由于国内访问 HuggingFace 比较困难，因此使用 ModelScope 提供的模型。

# 需要微调的基座模型

# https://www.modelscope.cn/studios/LLM-Research/Chat_Llama-3-8B/summary
model_id = 'LLM-Research/Meta-Llama-3-8B-Instruct'

# 比如你也可以使用 Qwen1.5-4B-Chat 模型
# https://www.modelscope.cn/models/qwen/Qwen1.5-4B-Chat/summary
# model_id = 'qwen/Qwen1.5-4B-Chat'

开始微调

只需要在项目根目录下执行以下命令即可。

`1`	`python train.py`

或者可以打开 LLaMA3-8B-Instruct Lora.ipynb 文件，使用 Jupyter Notebook 进行微调。

注意：

微调的时间会根据你的数据集大小和模型大小而定。我由于没有 GPU，因此耗时2个小时，如果你有 GPU，大概需要 30 分钟。
代码会自动下载模型，然后开始微调

微调完成后，所有的文件会保存在 models 文件夹下面，结构如下：

├── models
 ├── checkpoint #【模型微调的 checkpoint】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ │ ├── checkpoint-100
 │ │ ├── checkpoint-200
 │ │ ├── checkpoint-xxx
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 │ ├── checkpoint-100
 │ ├── checkpoint-200
 │ ├── checkpoint-xxx
 ├── lora #【模型微调的 lora 文件】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 └── model #【自动下载的基座模型】
 ├── LLM-Research
 │ └── Meta-Llama-3-8B-Instruct
 └── qwen
 └── Qwen1___5-4B-Chat

模型测试

微调完成后，你可以执行以下命令启动一个 ChatBot 进行对话测试。

`1`	`streamlit run chat.py`

该命令执行后，会自动打开浏览器对话页面

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

harry0703@hotmail.com (Harry) — Mon, 29 Apr 2024 07:56:01 +0800

前提

先搭建好 本地化的企业级知识库问答系统 ，参考《手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统》

下载Docker启动文件

因为 ChatGPT-On-WeChat 代码有 Bug，作者一直未修复，因此我修改后，重新打了一个Docker镜像，避免大家踩坑。

1
2
3

mkdir chatgpt-on-wechat
cd chatgpt-on-wechat
curl -O https://harry0703.com/chatgpt-on-wechat/docker-compose.yml

修改配置文件

打开 docker-compose.yml 文件，修改 OPEN_AI_API_KEY 和 OPEN_AI_API_BASE 为你的 FastGPT 的 API Key 和 API 地址。

version: '2.0'
services:
 chatgpt-on-wechat:
 image: harryliu888/chatgpt-on-wechat:latest
 container_name: chatgpt-on-wechat
 security_opt:
 - seccomp:unconfined
 environment:
 # OPEN_AI_API_KEY 在 FastGPT 的 应用发布页面生成（API访问）
 OPEN_AI_API_KEY: 'fastgpt-iAt0KIDwpZqFvxfpmWstAkars36s0ASBENYKYLGSwJcf7NuCn2NzT'
 # OPEN_AI_API_BASE 填写 FastGPT 的 API 地址
 # 特别注意，如果 chatgpt-on-wechat 是docker部署的，因此要访问外部的 FastGPT，这里需要使用 host.docker.internal
 OPEN_AI_API_BASE: 'http://host.docker.internal:3000/api/v1'

 MODEL: 'gpt-3.5-turbo'
 PROXY: ''
 SINGLE_CHAT_PREFIX: '["bot", "@bot"]'
 SINGLE_CHAT_REPLY_PREFIX: '"[bot] "'
 GROUP_CHAT_PREFIX: '["@bot"]'
 GROUP_NAME_WHITE_LIST: '["ChatGPT测试群", "ChatGPT测试群2"]'
 IMAGE_CREATE_PREFIX: '["画", "看", "找"]'
 CONVERSATION_MAX_TOKENS: 1000
 SPEECH_RECOGNITION: 'False'
 CHARACTER_DESC: '你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。'
 EXPIRES_IN_SECONDS: 3600
 USE_GLOBAL_PLUGIN_CONFIG: 'True'
 USE_LINKAI: 'False'
 LINKAI_API_KEY: ''
 LINKAI_APP_CODE: ''
 extra_hosts:
 - 'host.docker.internal:host-gateway'

启动Docker

1
2

cd chatgpt-on-wechat
docker-compose up

手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统

harry0703@hotmail.com (Harry) — Sat, 20 Apr 2024 13:56:01 +0800

我将通过一个系列分享，手把手的教大家打造一个完全本地化的，免费的，企业级知识库问答系统

本地大模型回答演示图

知识库导入演示图

我认为本地化主要有2方面的意义：

1. 安全性

当使用外部模型或服务时，我们的私有数据，用户问题，都会被发送给第三方那我们就要面临私有数据暴露给别人的风险，甚至会导致数据泄露本地化会让我们的数据就更安全

2. 灵活性

另外随着我们的业务发展，如果模型不能很好的满足我们需求的时候我们可以很方便的对本地模型其进行微调以达到更好的适配

这样就既兼顾了安全，又兼顾了灵活性

应用场景

知识库问答的使用场景其实非常多，我随便举2个商业系统的例子

比如对个人，可以用来整理笔记、论文解读、文献检索、文档问答等等。这里我用轻闪PDF的文档对话 https://lightpdf.cn/chatdoc 来演示一下效果。

我们随便上传一个PDF文档，等文档解析完成后，我们就可以通过提问的方式，对文档里面的内容进行解读，可以很快的从文档中找到我们想要的内容， 大大提高我们查看文档的效率。

对企业，可以用来做智能客服，数据沉淀或者数字员工等等，同样我用思乎的在线客服 https://gitmind.cn 来演示一下。

我们可以向客服提问，AI就会准确的回复我们的问题，而这些问题的答案，大模型本身是没有的。因为大模型既不了解我们的业务，也不知道我们的数据，这些AI回复的答案，都是从企业的知识库里面获取的。这样我们就实现了一个7x24小时的智能客服， 不仅为企业降本增效，还提高了客户的满意度。

服务器配置要求

环境	最低配置	推荐配置
测试	2核 2GB	2核 4GB
100w 组向量	4核 8GB 50GB	4核 16GB 50GB
500w 组向量	8核 32GB 200GB	16核 48GB 200GB
1000w 组向量	16核 48GB 200GB	32核 64GB 500GB

架构图

整个的系统搭建，都是基于这个架构图来进行的

RAG原理

是什么

检索：Retrieval，通过向量模型，或者多种混合检索方式，从知识库中检索出相关的文档
增强：Augmentation，通过将检索到的文档，附加到提示词中，进行增强。也即 ICL（In Context Learning）
生成：Generation，通过大语言模型，生成答案

有什么优势

有助于减轻大模型的幻觉，提高大模型回复的准确性
与微调不同，RAG提供了一定的可观察性和可检查性
成本低，好实施

安装 Docker

下载 Docker 并安装 https://www.docker.com/products/docker-desktop/

安装 Ollama

下载 Ollama 并安装 https://ollama.com/

下载 Chat 模型

我使用阿里的通义千问作为演示，根据自己的电脑配置情况，选择合适的模型。

总体来说，模型是越大，效果越好，但是对电脑的配置要求也越高

4b 模型要 3GB内存
7b 模型要 8GB 内存
13b 模型要 16GB 内存
70b 模型要 64GB 内存

特别注意：你如果要用于商业用途，需要申请授权，否则只能用于个人学习

千问许可说明: https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权: https://dashscope.console.aliyun.com/openModelApply/qianwen

下载模型

`1`	`ollama pull qwen:7b`

测试API请求

等模型下载和安装好后，执行下面的命令，测试API请求是否成功

Mac/Linux下执行：

curl 'http://localhost:11434/api/chat' \
--data '{
 "model": "qwen:7b",
 "messages": [
 {
 "role": "user",
 "content": "你是谁"
 }
 ],
 "temperature": 0.1,
 "stream": false
}'

Windows下执行：

1
2

curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"

下载 Embedding 模型

我使用了 DmetaSoul 的中文Embedding模型，该模型号称在 MTEB 中文榜单取得开源第一的成绩: https://huggingface.co/DMetaSoul/Dmeta-embedding-zh/blob/main/README_zh.md

下载模型

`1`	`ollama pull shaw/dmeta-embedding-zh`

测试API请求

等模型下载和安装好后，执行下面的命令，测试API请求是否成功

Mac/Linux下执行：

curl 'http://localhost:11434/api/embeddings' \
--data '{
 "model": "shaw/dmeta-embedding-zh",
 "prompt": "天空是灰色的"
}'

Windows下执行：

1
2

curl "http://localhost:11434/api/embeddings" ^
--data "{""model"": ""shaw/dmeta-embedding-zh"", ""prompt"": ""天空是灰色的""}"

安装FastGPT及其依赖

1. 下载 docker 文件和 config 文件

你可以手动下载，放到一个文件夹里面

docker-compose.yml: https://harry0703.com/kbqa/docker-compose.yml
config.json: https://harry0703.com/kbqa/config.json

也可以直接执行下面的命令，自动下载

mkdir kbqa
cd kbqa
curl -O https://harry0703.com/kbqa/docker-compose.yml
curl -O https://harry0703.com/kbqa/config.json

2. 启动 docker

`1`	`docker-compose up`

注意

第一次启动会有点慢，因为要拉取镜像，后面启动就会很快了
如果第一次启动失败，可以多次执行 docker-compose up

3. 访问 FastGPT 和 OneAPI

你第一次访问，系统里面是没有数据的，截图里面的数据，是我测试的时候已经创建好了的。

FastGPT

点击访问：http://localhost:3000

用户名 root，密码 1234（密码可以在 docker-compose.yml 环境变量里设置 DEFAULT_ROOT_PSW 进行修改）

OneAPI

点击访问：http://localhost:3001

用户名 root，密码 123456

配置OneAPI

添加模型：http://localhost:3001/channel

1. 配置大语言模型

类型：Ollama
名称：ollama-qwen:7b
模型：输入自定义模型名称，qwen:7b
密钥：随便填，比如 123
代理：http://host.docker.internal:11434

2. 配置Embedding向量模型

类型：Ollama
名称：ollama-dmeta-embedding-zh
模型：输入自定义模型名称，shaw/dmeta-embedding-zh**，比如
密钥：随便填，比如 123
代理：http://host.docker.internal:11434

特别注意：

模型 必须和 ollama 安装的模型名称保持一致，可以使用 ollama list 命令查看
代理地址 必须是 http://host.docker.internal:11434，这样 OneAPI 才能访问到 ollama

默认情况下，Docker 使用的是桥接模式启动服务，即容器使用 Docker 自己创建的虚拟网络，容器之间可以相互通信，但是它们无法直接访问宿主机（即你的电脑）上的网络服务。

但是 Ollama 是运行在你的电脑上的，而 OneAPI 是运行在 Docker 容器里面的，所以 OneAPI 无法直接访问 Ollama。

docker 官方提供了一种支持方案，可通过指向 host.docker.internal 来指向宿主机的 IP。

参见官方文档：从容器连接到主机上的服务

配置FastGPT

我们先创建一个简单的应用，实现一个基本的AI对话，目的是测试OneAPI的接口以及Ollama的接口是否正常。

未完待续

Harry0703

🎉 关于

开源项目

MoneyPrinterTurbo

AudioNotes

MangoDisk

从 0 到 12 万 Star：MoneyPrinterTurbo 做对了什么，又没解决什么

它没有创造新模型，但跑通了一条工作流

1.84 万 Fork 比 12 万 Star 更值得看

它解决了生产，没有解决内容

素材拼接的上限很明确

下一步不该只是接入更多模型

电脑空间去哪了？我开源了 MangoDisk

空间不是突然消失的

我想要的工具并不复杂

把杂乱的磁盘重新看清楚

有些大文件，本来就不应该被随便清理

为什么把它开源

写在最后

阿里开源 CosyVoice 语音克隆 部署和使用

效果展示

自然语言控制

3秒极速复刻

使用方法

Windows 一键启动包

Docker部署🐳

CPU 版本

GPU 版本

FunASR实时语音识别部署和使用

效果展示

使用方法

Docker部署🐳

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

② 逆文本标准化（ITN）

👉👉如果你想使用API，请参考以下文档

系统架构图

🅰️ 从客户端往服务端发送数据

消息格式

① 首次通信

② 发送音频数据

③ 发送结束标志

🅱️ 从服务端往客户端发数据

发送识别结果

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

Chrome浏览器

Edge浏览器

如何利用本地模型，将音视频整理成一份结构化的Markdown笔记

基于 FunASR 和 Qwen2 构建的音视频转结构化笔记系统

效果展示

音视频识别和整理

与音视频内容对话

使用方法

① 安装 Ollama

② 拉取模型

Docker部署（推荐）🐳

本地部署 📦

ChatTTS 开源语音合成服务的部署和使用

Windows 一键启动包

手动部署

1. 下载代码

2. 下载模型

3. 安装依赖

4. 启动服务

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

效果演示

部署环境

数据准备

模型微调

模型选择

开始微调

模型测试

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

下载Docker启动文件

修改配置文件

启动Docker

手把手教你构建一个 本地化的，免费的，企业级的，AI大模型知识库问答系统

本地大模型回答演示图

阿里开源 CosyVoice 语音克隆部署和使用

手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统

1. 下载 docker 文件和 config 文件