# Xianren Studio(仙人工作室) 一款对标 LM Studio 的 Windows 本地大模型桌面应用:浏览/下载/管理 GGUF 模型,本机 CPU/GPU 推理聊天,并提供 OpenAI 兼容的本地 API 服务。 ## 当前功能 - **模型管理**:启动时自动扫描模型目录(可手动重新扫描),支持导入本地 GGUF、添加 OpenAI 兼容在线 API 模型(需「启用」后才会出现在对话页可选列表);本地模型可一键「部署」后台加载并查看进度 - **模型广场**:搜索 Hugging Face / ModelScope 上的 GGUF 模型,按量化版本一键下载(ModelScope 文件自动附带 SHA256 校验),下载进度实时显示 - **聊天**:流式输出、Markdown/代码高亮、采样参数调节、多会话管理;右侧栏「可选大模型服务」只列出有部署状态的大模型(运行中/启动中/出错,彩色状态点)与已启用的在线 API 模型,模型名不显示 `.gguf` 后缀;每条回答下方显示所用模型名;回答完成后自动预测用户可能说的话(可点击填入输入框,条数与开关可在设置调整);切换选项卡后保持会话与大模型等状态 - **智能体**:内置预制智能体(通用助手、代码专家、写作助手、翻译官、数据分析师、提示词优化师)并支持自定义,每个智能体拥有独立人设(系统提示词)与专属会话区,可单独对话干活;支持本地与在线大模型,可恢复被删除的预制智能体 - **工作流**:画布式可视化编排(开始 → 大模型/文本 → 输出,节点连线传参),内置翻译、总结、两步润色、写作助手等预制工作流并支持自定义;一键运行,支持本地与在线大模型,可在画布上实时查看每个节点的输出 - **知识库**:上传 txt / md / PDF 等文档自动分块建索引,支持全文检索(中文友好)、文档预览 / 重新切分 / 删除,检索结果可一键复制 - **对话细节**:空会话复用(已有无消息的新建对话时不再新建)、回答重新生成/版本历史/编辑重提、思考过程展示、会话置顶收藏与导入导出 - **本地 API 服务**:OpenAI 兼容端点(/v1/models、/v1/chat/completions、/v1/embeddings),仅本机监听,可选 API Key 完整功能清单见 [docs/FEATURES.md](./docs/FEATURES.md),代码组织与数据流见 [docs/ARCHITECTURE.md](./docs/ARCHITECTURE.md)。 ## 技术栈 - 桌面壳:Tauri 2(Rust)+ WebView2 - 前端:React 18 + TypeScript + Vite + Tailwind CSS - 应用核心:Rust(tokio / axum / reqwest / rusqlite) - 推理引擎:llama.cpp 官方 `llama-server` 子进程(CPU / CUDA / Vulkan) - 存储:SQLite(元数据、会话、设置) ## 仓库结构 ``` apps/desktop Tauri 壳(Rust 命令层 + tauri.conf.json) crates/core 领域核心:模型注册表、会话、设置(SQLite) crates/engine llama-server 子进程生命周期与流式聊天 crates/download 分片断点续传下载器 crates/api OpenAI 兼容本地 API 服务(axum) ui/ React 前端 scripts/ 构建/下载脚本 docs/ 产品与技术方案、功能记录(FEATURES.md)、代码架构(ARCHITECTURE.md) ``` ## 环境要求(Windows) - Rust(stable,MSVC 工具链) - Visual Studio 2022 Build Tools(含 C++ 桌面开发) - Node.js 18+ - WebView2 Runtime(Win10/11 一般自带) - 可选:CUDA Toolkit(GPU 推理)/ Vulkan SDK(AMD/Intel GPU) ## 快速开始 ```powershell # 1. 安装前端依赖 npm --prefix ui install # 2. 获取预编译 llama.cpp 引擎(默认 CPU 版,可加 -Backend cuda/vulkan) .\scripts\fetch-llama.ps1 # 3. 下载一个测试模型(默认 Qwen2.5-0.5B Q4_K_M,约 400MB) .\scripts\download-test-model.ps1 # 4. 启动开发模式(自动拉起 Vite + Tauri) npm --prefix apps/desktop run dev ``` > **重要:调试版(debug)exe 不能直接双击运行。** > `target\debug\xianren-desktop.exe` 在调试构建下会去连 Vite 开发服务器 > (`http://localhost:5173`),不先启动前端就会显示“拒绝连接”,并会附带一个空终端窗口。 > 开发时请始终使用 `npm --prefix apps/desktop run dev`。 **直接双击运行的正式版**: ```powershell # 编译正式版(内嵌前端页面,无终端窗口;必须带 custom-protocol 特性) cargo build --release -p xianren-desktop --features custom-protocol # 运行 .\target\release\xianren-desktop.exe ``` 正式版双击后:设置页确认引擎路径 → 模型库导入 GGUF → 聊天页选择模型即可对话。 如需安装包,可用 `npm --prefix apps/desktop run build`(tauri build 会自动启用该特性并打 NSIS 安装包)。 ## 常用脚本 | 脚本 | 用途 | | --- | --- | | `scripts/fetch-llama.ps1` | 从 GitHub Releases 下载预编译 llama.cpp(cpu/cuda/vulkan) | | `scripts/build-llama.ps1` | 从源码编译 llama.cpp(需要 CMake,可选 CUDA/Vulkan) | | `scripts/download-test-model.ps1` | 下载迷你 GGUF 测试模型(支持 HF 镜像/ModelScope) | | `scripts/generate-icons.ps1` | 重新生成应用图标 | | `scripts/test_mcp_server.py` | 本地 MCP 测试服务器(Streamable HTTP,提供时间/回声工具,用于验证工具页与对话工具调用) | ## 引擎与模型目录 运行时数据默认存放在 `%APPDATA%\XianrenStudio`: - `models/`:下载的模型文件 - `engines/`:llama-server 可执行文件 - `logs/`:引擎日志 - `xianren.db`:SQLite 数据库 可在应用“设置”页修改模型目录与引擎路径。