笔者部署的模型版本：DeepSeek R1 Distill Qwen 7B abliterated
翻译成人话：【由 Qwen 蒸馏出来的】【去除了安全审查的】DeepSeek R1
笔者目前是一张 NVIDIA GeForce RTX 4050 Laptop（游戏本的），显存大小为6GB。
所以比较适合跑 7B、Int4 量化的版本（显存占用大约4-5GB）
首先是下载 Ollama
他们官网的这安装包是从 Github 下载。
国内慢的一批。
笔者这里没有找到速度比较快的镜像站，所以连了一个香港梯子。
安装没什么好说的。
安装好之后长这个样子。
但是我们暂时不需要用到 GUI。我们运行模型可以直接走 CLI。
然后下载模型文件
笔者首先想到的是执行
ollama run huihui_ai/deepseek-r1-abliterated:7b但是由于其默认的服务器在国内实在是太慢了，所以果断选择 hf-mirror.com 直接下载模型。
我们需要下载的是：
https://hf-mirror.com/mradermacher/DeepSeek-R1-Distill-Qwen-7B-abliterated-v2-GGUF
这里还踩了一个坑，用浏览器马上就要下载完了竟然从头下载了。
所以，下载大文件绝对不要使用浏览器。笔者使用的是 Motrix，像是 IDM 等下载器都是可以的。
所以，下载大文件绝对不要使用浏览器。笔者使用的是 Motrix，像是 IDM 等下载器都是可以的。
然后把下载的模型文件导入Ollama
我们在目录创建一个 Modelfile 文件，里面这么写：
FROM ./DeepSeek-R1-Distill-Qwen-7B-abliterated-v2.Q4_K_M.gguf然后我们运行：
ollama create dsr1 -f Modelfile
这时候就已经添加进去了。
是时候运行模型了
我们执行：
ollama run dsr1注意到已经可以使用了。
重要：该图片中展示的问题仅为测试需要。请合理、合法的使用此类无道德限制的人工智能模型。
另外，说一下。
由于7B参数真的太小太小、模型的智商十分有限，
平时聊天，就像是一个小学生。
各方面都懂一些，但是无论是语言能力、还是逻辑推理能力，堪比一只成年香蕉。
所以部署这个模型，也就是就当作图一乐就行了。
另外，说一下。
由于7B参数真的太小太小、模型的智商十分有限，
平时聊天，就像是一个小学生。
各方面都懂一些，但是无论是语言能力、还是逻辑推理能力，堪比一只成年香蕉。
所以部署这个模型，也就是就当作图一乐就行了。
老实讲，这个7b的模型，日常聊天是勉强够用，在我的显卡跑起来相当的迅速，大概是20-30 token/s，日常使用是完全够用了，显卡跑起来压力也不算太大。
2 条评论
直接让codex来做🤓👆