dsh-ears
多模态与创作WizisCool/dsh-ears
DeepSeek Harness 的语音输入插件,支持多种 ASR 后端(Web Speech、本地 Whisper、Groq、阿里云百炼、OpenAI 兼容)和基于 LLM 的润色。
- asr
- deepseek-harness
- dsh
- dsh-plugin
- speech-to-text
- voice
- whisper
README
DeepSeek Harness 语音输入插件:支持多种 ASR 后端,并通过 dsh 自身的 LLM 路径完成润色。
https://github.com/user-attachments/assets/1363768e-a393-44bd-a008-1ce2055cac41
安装
前置依赖:DeepSeek Harness(0.1.0-rc.6 至 0.1.1-rc.2)和 Node.js ^22.19.0 || >=24.0.0。
通过 npm 安装:
dsh plugin --profile web add dsh-ears
尚未安装 dsh CLI 时:
npx -y @deepseek-ai/dsh plugin --profile web add dsh-ears
从源码安装:
git clone https://github.com/WizisCool/dsh-ears.git
cd dsh-ears
pnpm install
pnpm build
dsh plugin --profile web add "$PWD"
安装完成后刷新 Web UI,输入框右侧会显示麦克风图标。
更新
更新到最新版本:
dsh plugin --profile web update dsh-ears
更新完成后刷新 Web UI。
卸载
dsh plugin --profile web remove dsh-ears
尚未安装 dsh CLI 时:
npx -y @deepseek-ai/dsh plugin --profile web remove dsh-ears
无论通过 npm 还是源码安装,都使用这条命令。卸载后刷新 Web UI,麦克风图标会消失。源码仓库不会被删除;如有需要,请手动删除。
识别后端
| 后端 | 工作方式 | 需要什么 | 免费额度 |
|---|---|---|---|
| Web Speech | 浏览器实时识别,边说边出字 | Chromium 内核浏览器。音频可能经由浏览器厂商处理 | — |
| 本地 Whisper | 停止录音后由 Host 调用本机 whisper CLI 转写 | 预装 openai-whisper,并在插件设置页下载模型(权重不随插件打包) | — |
| Groq | Host 将录音发送到 Groq Whisper API | Groq API key | Always Free,Rate Limits |
| 阿里云百炼 | DashScope 同步转写(Flash 系列) | HTTPS 源站、API key 和模型名;单次录音最长 300 秒 | 新人免费额度 |
| 自定义 OpenAI 兼容 | 向指定的 /audio/transcriptions 端点发送请求 | 端点地址、API key 和模型名 | — |
| 贡献新后端 | — | 欢迎通过 提交 PR 接入更多转写服务 | — |
表中的额度来自提供商文档,可能随时变化,请以提供商的最新说明为准。
Whisper
medium及以上模型仅靠 CPU 通常难以在 120 秒内完成转写,建议使用 GPU 或更快的本地运行时。
润色
润色模型从 dsh → 设置 → 模型 中已经配置的模型里选择。插件只保存提供方、模型名和提示词;LLM key 直接复用 dsh 的现有配置。
默认提示词会删除口头禅、修正常见的 ASR 错字,还能处理「不是 A,是 B」这类自我纠正和「第一……第二……」这类口头列举。提示词留空时使用内置默认值,具体内容可在设置页查看。润色失败或取消时,插件会保留原始转写结果。
本地开发
pnpm install
dsh plugin --profile web add "$PWD"
pnpm check
pnpm test
pnpm build
pnpm dev:config # 构建并生成 HMR 配置
pnpm dev:web # 启动 dsh web
开发时,在另一个终端运行 pnpm dev:watch。pnpm dev:config 会写出 .dsh/cordis.patch.yml(已在 .gitignore 中)用于 HMR,不会重复注册插件。
文档
贡献指南和架构说明见:CONTRIBUTING.md、AGENTS.md、.agent/。
License
友链
- LINUX DO — 新的理想型社区