RWKV-Runner：https://github.com/josStorer/RWKV-Runner
RWKV-Runner是一款专为RWKV大语言模型设计的管理和启动工具。该项目提供了完全自动化的部署流程，程序本身仅8MB大小，并且提供了与OpenAI API兼容的接口，使得任何支持ChatGPT的客户端都可以成为RWKV客户端。
RWKV是一种全开源的大型语言模型，支持商业使用，与目前主流的大语言模型相比，它具有训练成本低、推理速度快、内存占用小等优势。
主要特性
- 模型管理与一键启动：自动完成RWKV模型的下载、管理和启动
- 兼容OpenAI API：使得每个ChatGPT客户端都可以成为RWKV客户端
- 前后端分离架构：支持单独部署前端服务或后端推理服务
- 自动依赖安装：只需一个轻量级可执行程序，其余依赖自动安装
- 多级显存配置：预设多种VRAM配置，适应不同硬件条件
- 多种交互界面：包含用户友好的聊天、补全和作曲交互界面
- 内置WebUI选项：一键启动Web服务，轻松分享硬件资源
- 支持多种GPU：通过WebGPU策略，可以在AMD、Intel等各种显卡上运行
- 内置模型转换工具：方便不同格式模型的转换
- 下载管理与远程模型检查：内置功能便于模型管理
- 一键LoRA微调：内置功能（仅Windows支持）
- 多语言本地化：支持多种语言界面
- 主题切换：支持多种视觉主题
- 自动更新：程序会自动检查并更新到最新版本
实用功能展示
简易部署示例
使用源代码进行部署的简易示例：
# 克隆代码库 git clone <https://github.com/josStorer/RWKV-Runner> # 然后 cd RWKV-Runner python ./backend-python/main.py # 后端推理服务已启动，请求 /switch-model API 加载模型，API文档请参考: <http://127.0.0.1:8000/docs> # 或者 cd RWKV-Runner/frontend npm ci npm run build # 编译前端 cd .. python ./backend-python/webui_server.py # 单独启动前端服务 # 或者 python ./backend-python/main.py --webui # 同时启动前端和后端服务
API并发压力测试
ab -p body.json -T application/json -c 20 -n 100 -l <http://127.0.0.1:8000/chat/completions>
body.json:
{ "messages": [ { "role": "user", "content": "Hello" } ] }
MIDI输入支持
RWKV-Runner还提供了MIDI硬件输入功能，支持USB MIDI设备的即插即用。你可以在软件的Composition页面选择MIDI输入设备进行使用。此外，它还支持Mac和Windows系统下的蓝牙MIDI连接。
如果你没有MIDI键盘，也可以使用虚拟MIDI输入软件如
Virtual Midi Controller 3 LE，配合loopMIDI，将普通电脑键盘作为MIDI输入。相关项目
更多信息
RWKV-Runner是目前最简单易用的RWKV模型部署和管理工具之一，无论是对于AI研究者还是对大语言模型感兴趣的普通用户来说，都是一个非常好的选择。它极大地降低了使用开源大语言模型的门槛，让更多人能够体验到AI技术带来的便利。
如果你对大语言模型感兴趣，或者想要在本地部署一个功能强大且资源占用较小的AI助手，不妨试试RWKV-Runner。