麦克风文字输入模组用户文档
Architectury 2.x

简介
Microphone Text Input Mod 是一款专为 Minecraft 客户端设计的 Fabric 模组。它提供语音识别输入功能,自动将口语转换为文本聊天消息,从而增强游戏内的沟通体验。
功能特性
- 多种模式:支持不同的操作模式,包括
AUTO_SEND、RELEASE_KEY_TO_SEND和RELEASE_KEY_TO_INPUT。 - 高级配置:允许用户调整与 Whisper 库相关的高级参数,例如线程数、音频上下文大小以及采样策略。
依赖项
| 依赖名称 | Fabric | NeoForge |
|---|---|---|
| Java | 21 | 21 |
| Fabric API | 参见 fabric.mod.json | ❌ |
| Architectury API | ❌ | 参见 neoforge.mods.toml |
| MidnightLib | 参见 fabric.mod.json | 参见 neoforge.mods.toml |
配置
键位绑定
| 键位绑定名称 | 识别 |
|---|---|
| 分类 | key.category.minecraft.mcmti |
| 翻译键 | key.mcmti.recognize |
| 默认按键 | V |
常规设置
| 设置项 | 翻译键 | 字段 | 类型 | 默认值 | 描述 |
|---|---|---|---|---|---|
| GGML Whisper 模型 | mcmti.midnightconfig.model |
me.jaffe2718.mcmti.config.McmtiConfig.model |
String |
"" |
GGML Whisper 模型的路径。 |
| 语言 | mcmti.midnightconfig.language |
me.jaffe2718.mcmti.config.McmtiConfig.language |
String |
"en" |
语音识别所使用的语言。 |
| 模式 | mcmti.midnightconfig.mode |
me.jaffe2718.mcmti.config.McmtiConfig.mode |
me.jaffe2718.mcmti.config.McmtiConfig.Mode |
"RELEASE_KEY_TO_SEND" |
模组的工作模式。 |
| 录制周期 (毫秒) | mcmti.midnightconfig.recordCycleMs |
me.jaffe2718.mcmti.config.McmtiConfig.recordCycleMs |
int |
5000 |
录制周期,单位为毫秒。 |
| 录制缓冲区大小 (字节) | mcmti.midnightconfig.recordBufferSize |
me.jaffe2718.mcmti.config.McmtiConfig.recordBufferSize |
int |
1024 |
录制缓冲区大小,单位为字节。 |
| 前缀 | mcmti.midnightconfig.prefix |
me.jaffe2718.mcmti.config.McmtiConfig.prefix |
String |
"⌈Speech Input⌋" |
添加到识别文本前的前缀。 |
| 草稿输入 | mcmti.midnightconfig.draftInput |
me.jaffe2718.mcmti.config.McmtiConfig.draftInput |
boolean |
false |
启用草稿输入。如果启用,识别出的文本将以草稿形式显示在输入框中。 |
| 编码修复 | mcmti.midnightconfig.encodingRepair |
me.jaffe2718.mcmti.config.McmtiConfig.encodingRepair |
boolean |
false |
启用编码修复。 |
| 源编码 | mcmti.midnightconfig.srcEncoding |
me.jaffe2718.mcmti.config.McmtiConfig.srcEncoding |
String |
Charset.defaultCharset().displayName() |
文本的源编码。仅在启用编码修复时生效。 |
| 目标编码 | mcmti.midnightconfig.dstEncoding |
me.jaffe2718.mcmti.config.McmtiConfig.dstEncoding |
String |
Charset.defaultCharset().displayName() |
文本的目标编码。仅在启用编码修复时生效。 |
高级设置
| 设置项 | 翻译键 | 字段路径 | 类型 | 默认值 | 描述 |
|---|---|---|---|---|---|
| 启用高级配置 | mcmti.midnightconfig.advancedConfig |
me.jaffe2718.mcmti.config.McmtiConfig.advancedConfig |
boolean |
false |
启用高级配置。 |
| nThreads | mcmti.midnightconfig.nThreads |
me.jaffe2718.mcmti.config.McmtiConfig.nThreads |
int |
0 |
Whisper 模型运行所使用的线程数。设为 0 表示使用最大核心数。 |
| audioCtx | mcmti.midnightconfig.audioCtx |
me.jaffe2718.mcmti.config.McmtiConfig.audioCtx |
int |
0 |
Whisper 模型的音频上下文大小。设为 0 表示使用默认值。 |
| nMaxTextCtx | mcmti.midnightconfig.nMaxTextCtx |
me.jaffe2718.mcmti.config.McmtiConfig.nMaxTextCtx |
int |
16384 |
作为解码器提示使用的过去文本的最大 token 数量。 |
| offsetMs | mcmti.midnightconfig.offsetMs |
me.jaffe2718.mcmti.config.McmtiConfig.offsetMs |
int |
0 |
开始录音的偏移量(毫秒)。 |
| durationMs | mcmti.midnightconfig.durationMs |
me.jaffe2718.mcmti.config.McmtiConfig.durationMs |
int |
0 |
要处理的音频时长(毫秒)。设为 0 表示使用默认值。 |
| translate | mcmti.midnightconfig.translate |
me.jaffe2718.mcmti.config.McmtiConfig.translate |
boolean |
false |
将文本翻译为默认语言。 |
| noTimestamps | mcmti.midnightconfig.noTimestamps |
me.jaffe2718.mcmti.config.McmtiConfig.noTimestamps |
boolean |
false |
不生成时间戳。 |
| initialPrompt | mcmti.midnightconfig.initialPrompt |
me.jaffe2718.mcmti.config.McmtiConfig.initialPrompt |
String |
"" |
用作 whisper 初始提示的文本。 |
| noContext | mcmti.midnightconfig.noContext |
me.jaffe2718.mcmti.config.McmtiConfig.noContext |
boolean |
true |
不使用过去的转录内容(如果有)作为解码器的初始提示。 |
| singleSegment | mcmti.midnightconfig.singleSegment |
me.jaffe2718.mcmti.config.McmtiConfig.singleSegment |
boolean |
false |
强制输出单个片段(对流式处理有用)。 |
| printSpecial | mcmti.midnightconfig.printSpecial |
me.jaffe2718.mcmti.config.McmtiConfig.printSpecial |
boolean |
false |
打印特殊 token。 |
| printProgress | mcmti.midnightconfig.printProgress |
me.jaffe2718.mcmti.config.McmtiConfig.printProgress |
boolean |
true |
打印进度信息。 |
| printRealtime | mcmti.midnightconfig.printRealtime |
me.jaffe2718.mcmti.config.McmtiConfig.printRealtime |
boolean |
false |
打印来自 whisper.cpp 的结果(建议避免使用,改用回调函数)。 |
| printTimestamps | mcmti.midnightconfig.printTimestamps |
me.jaffe2718.mcmti.config.McmtiConfig.printTimestamps |
boolean |
true |
在实时打印时,为每个文本片段打印时间戳。 |
| suppressBlank | mcmti.midnightconfig.suppressBlank |
me.jaffe2718.mcmti.config.McmtiConfig.suppressBlank |
boolean |
true |
解码器选项。 |
| suppressNonSpeechTokens | mcmti.midnightconfig.suppressNonSpeechTokens | me.jaffe2718.mcmti.config.McmtiConfig.suppressNonSpeechTokens | boolean | true | 标记化器选项。 |
| temperature | mcmti.midnightconfig.temperature | me.jaffe2718.mcmti.config.McmtiConfig.temperature | float | 0.0f | 初始解码温度。 |
| maxInitialTs | mcmti.midnightconfig.maxInitialTs | me.jaffe2718.mcmti.config.McmtiConfig.maxInitialTs | float | 1.0f | 最大初始时间戳。 |
| lengthPenalty | mcmti.midnightconfig.lengthPenalty | me.jaffe2718.mcmti.config.McmtiConfig.lengthPenalty | float | -1.0f | 长度惩罚。 |
| temperatureInc | mcmti.midnightconfig.temperatureInc | me.jaffe2718.mcmti.config.McmtiConfig.temperatureInc | float | 0.4f | 温度增量。 |
| entropyThold | mcmti.midnightconfig.entropyThold | me.jaffe2718.mcmti.config.McmtiConfig.entropyThold | float | 2.4f | 熵阈值(类似于 OpenAI 的 "compression_ratio_threshold")。 |
| logprobThold | mcmti.midnightconfig.logprobThold | me.jaffe2718.mcmti.config.McmtiConfig.logprobThold | float | -1.0f | 对数概率阈值。 |
| noSpeechThold | mcmti.midnightconfig.noSpeechThold | me.jaffe2718.mcmti.config.McmtiConfig.noSpeechThold | float | 0.6f | 无声阈值。 |
| greedyBestOf | mcmti.midnightconfig.greedyBestOf | me.jaffe2718.mcmti.config.McmtiConfig.greedyBestOf | int | -1 | 特定于贪婪采样策略。 |
| beamSearchBeamSize | mcmti.midnightconfig.beamSearchBeamSize | me.jaffe2718.mcmti.config.McmtiConfig.beamSearchBeamSize | int | 2 | 特定于束搜索采样策略。 |
| beamSearchPatience | mcmti.midnightconfig.beamSearchPatience | me.jaffe2718.mcmti.config.McmtiConfig.beamSearchPatience | float | -1.0f | 特定于束搜索采样策略。 |
| grammar | mcmti.midnightconfig.grammar | me.jaffe2718.mcmti.config.McmtiConfig.grammar | String | "" | 语法文件路径。空字符串表示不使用语法。 |
| grammarPenalty | mcmti.midnightconfig.grammarPenalty | me.jaffe2718.mcmti.config.McmtiConfig.grammarPenalty | float | 100.0f | 非语法标记的惩罚。 |
| whisperSamplingStrategy | mcmti.midnightconfig.whisperSamplingStrategy | me.jaffe2718.mcmti.config.McmtiConfig.whisperSamplingStrategy | io.github.freshsupasulley.whisperjni.WhisperSamplingStrategy | BEAM_SEARCH | 用于配置 Whisper 采样策略的 WhisperContext 枚举值。 |
| vad | mcmti.midnightconfig.vad | me.jaffe2718.mcmti.config.McmtiConfig.vad | boolean | false | 启用 VAD(语音活动检测)。 |
| vad__max_speech_duration_s | mcmti.midnightconfig.vad__max_speech_duration_s | me.jaffe2718.mcmti.config.McmtiConfig.vad__max_speech_duration_s | float | 0f | 强制分割前的最大语音片段持续时间。 |
| vad__min_silence_duration_ms | mcmti.midnightconfig.vad__min_silence_duration_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__min_silence_duration_ms | int | 0 | 被视为语音结束的最小静音持续时间。 |
| vad__min_speech_duration_ms | mcmti.midnightconfig.vad__min_speech_duration_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__min_speech_duration_ms | int | 0 | 有效语音片段的最小持续时间。 |
| vad__samples_overlap | mcmti.midnightconfig.vad__samples_overlap | me.jaffe2718.mcmti.config.McmtiConfig.vad__samples_overlap | float | 0f | 从语音片段复制音频样本时的重叠秒数。 |
| vad__speech_pad_ms | mcmti.midnightconfig.vad__speech_pad_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__speech_pad_ms | int | 0 | 在语音片段前后添加的填充量。 |
| vad__threshold | mcmti.midnightconfig.vad__threshold | me.jaffe2718.mcmti.config.McmtiConfig.vad__threshold | float | 0f | 被视为语音的概率阈值。 |
| vad_model_path | mcmti.midnightconfig.vad_model_path | me.jaffe2718.mcmti.config.McmtiConfig.vad_model_path | String | "" | VAD 模型的路径。为空表示使用默认值。 |
| useCustomDynamicLib | mcmti.midnightconfig.useCustomDynamicLib | me.jaffe2718.mcmti.config.McmtiConfig.useCustomDynamicLib | boolean | false | 启用为 Whisper 使用自定义动态库。 |
| customDynamicLibDir | mcmti.midnightconfig.customDynamicLibDir | me.jaffe2718.mcmti.config.McmtiConfig.customDynamicLibDir | String | "" | Whisper 的自定义动态链接库目录。 |
- 如需更多信息, 请参阅 WhisperFullParams.java
警告:启用高级配置将更改 Whisper 模型配置的默认参数, 这将对语音识别结果产生重大影响。不当的高级参数配置可能导致语音识别失败、计算机资源占用过高以及程序崩溃等问题。 请谨慎使用。
使用方法
- 安装模组并下载 GGML Whisper 模型。
- 在配置菜单中根据需要配置模组。
- 使用你设置的按键绑定(默认为
V)开始录音和语音识别。 - 如果模式设置为
AUTO_SEND,识别出的文本将自动作为聊天消息发送。如果设置为RELEASE_KEY_TO_SEND或RELEASE_KEY_TO_INPUT,请按照相应的按键释放操作进行。
使用 VAD
如果你想使用 VAD(语音活动检测),你需要下载 VAD 模型,
启用高级配置并在配置菜单中将 vad_model_path 设置为 VAD 模型的路径。
自定义动态库
- 从 Jaffe2718/whisper-jni 下载自定义动态库并解压文件。
- 启用高级配置并在配置菜单中将
useCustomDynamicLib设置为true。 - 在配置菜单中将
customDynamicLibDir设置为自定义动态库所在的目录。 - 如果你想使用支持 Vulkan 的动态库,请检查你的电脑是否已安装运行 Vulkan 的驱动程序和库。
vulkaninfo - 如果你想使用 CUDA,请检查你的电脑是否已安装运行 CUDA 的驱动程序和库。
对于 Linux,你需要安装nvidia-smiCUDA Toolkit >= 12.4.0并配置环境变量。 对于 Windows,如果游戏崩溃,你必须强制游戏使用Java >= 25,参见 Jaffe2718/whisper-jni/v0.5.6
故障排除
- 启动时崩溃:请检查你使用的动态链接库的兼容性和版本。你可以禁用高级配置并将
useCustomDynamicLib设置为false以使用默认动态库(CPU 版本)。 - 音频输入设备加载失败:请检查 Java 是否有权限访问音频输入设备。
- Whisper 模型加载失败:确保 GGML Whisper 模型的路径正确。
贡献
如果你想为这个项目做出贡献,请随时在 GitHub 上提交问题或拉取请求。
你是这个资源的作者?登录后可认领此资源。
相似资源
显示你正在注视的方块的信息。(适用于 Minecraft 1.16+ 的 Hwyla/Waila 分支)
使用 JavaScript 编辑配方、添加自定义物品、编写世界事件!
查看物品与配方
在游戏画面角落显示附近世界地形、玩家、生物和实体的地图。可创建路径点,帮助你找到标记过的位置。
AE2:一款流行的自动化与存储模组
那是什么?一个 Waila/Hwyla 的分支。
评论 0
登录后参与评分
还没有评论,来抢沙发吧