LM Studio

安装一行命令搞定：

# Linux / Mac
curl -fsSL https://lmstudio.ai/install.sh | bash

# Windows
irm https://lmstudio.ai/install.ps1 | iex

启动也很简单：

lms daemon up         # 启动守护进程
lms get        # 下载模型
lms server start      # 启动本地 API 服务器
lms chat              # 打开交互式聊天

因为内存只有16GB，满足需求的模型不多，最后找了一个GLM 4.7 Flash Q4_K_M[GGUF]测试，总共18.13GB。其他的我看还有要用到256GB内存的全量模型。咱也没这个本钱，算了算了。

现在lm-studio已经支持api了，把导航上用官方4.7的api换成这个，可以少失败点，官网资源太宝贵了。4.7基本没跑成功过，总是超时。

Ollama

olllama应该是最早的本地模型，好像前几年在docker里面就装过，当时还测试过qwen2的模型，因为环境机器配置太差，才2GB内存。token跑起来一字一蹦的，无法使用。

后来再也没测试过。

安装挺简单的，跟着官网文档，几条命令就行。刚看到已经有封装的，安装版本了。