Jarvis

多通道消息（v0.0.6+）

• Discord — Developer Portal 创建 Bot，Web UI 验证 Token、生成邀请链接；Gateway 长连接收消息
• Telegram — BotFather Token 向导，长轮询
• 飞书 — 长连接机器人，与 Web 共用 dispatch
• 定时任务通知 — 结果可推送到 Web / 飞书 / Telegram / Discord

Web 控制台

• 聊天图片多模态 — 输入框左下角上传图片（最多 4 张、单张 ≤ 4MB），预览后随消息发送；以 Multimodal 格式交给大模型分析
• 视觉模型 — 是否支持图片由所选模型 API 决定（如 gpt-4o、MiniMax 多模态等），Jarvis 不提前拦截
• 截图分析 — Agent 调用 screenshot 工具后，可将截图注入下一轮对话供视觉模型解读

Computer Use（v0.1.6+）

让 Agent 像人一样操作你的电脑：截图看屏幕、移动鼠标、敲键盘、打开并聚焦应用，完成计算器、浏览器、Photoshop 等 GUI 任务。

• 统一工具 computer_use — 一个入口覆盖截图、鼠标、键盘、启动/聚焦应用；Agent 按 action 字段分发，无需记多个工具名
• 截图 + 视觉坐标 — screenshot 支持 focus（聚焦窗口客户区，1:1 精度）、secondary（副屏）、full（整桌虚拟桌面）；推荐 coord_space=vision，直接用截图上的像素点击，自动换算多屏偏移与缩放
• 鼠标与键盘 — 点击、拖拽、滚轮、右键菜单、组合键（ctrl+c、F10、方向键等）；表单与对话框优先 keyboard_type 输入，比逐按钮点击更快更稳
• 应用控制 — launch_app / focus_app 打开或聚焦计算器、Chrome、Photoshop 等；返回 focus_window 与建议截图模式，指导后续操作
• 典型流程 — focus_app → screenshot mode=focus → 多步 mouse/keyboard → 关键节点再截图确认；弹出确认框时用 dialog_confirm / dialog_cancel
• 安全授权 — 每个动作经 PolicyGate 拦截，Web 控制台弹窗确认后才执行，避免误触
• 跨平台 — Windows / macOS 原生注入；macOS 需辅助功能与屏幕录制权限；Linux（X11）需 xdotool
• 扩展 — Windows 下可选 adobe_com / freecad 等专用工具，与 computer_use 配合操作 Photoshop、FreeCAD 等专业软件

Skills 目录（跨平台）

• 智能路径解析 — 相对路径基于 config.toml 所在目录；自动跳过从其他操作系统同步来的无效路径（例如在 Mac 上忽略 C:\...）
• 配置向导 — Web 控制台 Skills 标签可扫描本机 Claude Code、Cursor、Hermes 等目录，一键选用或回退到内置 skills/
• 热重载 — 保存目录后立即重新加载 Skill 列表，无需重启网关（Agent 内置工具列表变更需重启）
• Mac / Windows — 同一套 Web UI；Mac 可通过 SSH 拉取编译部署，局域网访问 http://<主机>:8080/webui/

记忆与人格

• 分层记忆 — USER.md（画像与偏好）、MEMORY.md（长期知识），启动时注入 MEMORY_LAYERS
• 错误记忆 — 失败与异常写入 ERRORS.md，自动总结并跨会话避坑
• 人格系统 — 用户画像引导与 onboarding，对话更贴合你的背景

工具与自动化

• computer_use — 截图 + 鼠标 + 键盘 + 应用控制，Agent 直接操作 GUI（见上方 Computer Use）
• Skill — 完整 SKILL.md + 脚本工具，热重载扩展能力
• 文件系统 — 读写、搜索、Diff；可配置允许路径
• Shell — 执行系统命令，驱动编译与运维
• 定时任务 — 内置调度器，计划触发 Agent
• 无头爬虫 — Chromium 渲染动态网页，搜索 + 抓取落盘
• 系统 / 磁盘报告 — Windows、macOS、Linux 三端系统与磁盘信息
• Git / Docker / 搜索 — 常用开发工具一应俱全
• code — Tree-sitter 符号定位/引用/重命名，类 Cursor Agent 编码能力
• document — PDF / DOCX / XLSX / PPTX 解析与编辑

Windows 后台运行

• 登录自启动 — 配置页写入当前用户注册表，开机自动启动 gateway
• 后台运行 — 隐藏控制台；保存后约 2 秒切换到独立进程，关闭终端不影响服务
• 立即切换到后台 — 配置页一键 detach，无需重装

连接与模型

• Web 控制台 — 局域网 WebSocket，流式对话、配置与通道管理
• MCP — 对接 Cursor、Claude 等客户端
• 模型 — OpenAI 兼容 API（MiniMax、DeepSeek 等）、本地 llama.cpp

安装后快速开始

• 下载 — Windows / macOS 安装包见 GitHub Releases；下载站 config.json 可配置直链
• 编辑 config.toml（安装目录或 %LOCALAPPDATA%\Jarvis\ / Mac 同级目录）配置 API Key 与 skills_dir（推荐相对路径 skills）
• Windows：运行 JarvisAgent.exe --gateway；macOS：打开应用程序中的 Jarvis
• 打开 http://127.0.0.1:8080/webui/；打开 Skills 标签配置目录
• 在聊天框输入文字，或点击左下角图片按钮上传后进行多模态提问