Microphone Text Input

模组

· 作者 Jaffe2718

本模组使用语音识别技术,允许你通过麦克风输入文本并发送玩家消息。 按下 v 键即可进行语音识别并自动发送消息。

0 本站下载 0 关注 更新于 6 个月前

需要前置:MidnightLib

最新 3.0.1+26.1.2-neoforge · 26.1.2 · NeoForge

一键开服(送7天)

麦克风文字输入模组用户文档

Architectury 2.x

icon

简介

Microphone Text Input Mod 是一款专为 Minecraft 客户端设计的 Fabric 模组。它提供语音识别输入功能,自动将口语转换为文本聊天消息,从而增强游戏内的沟通体验。

功能特性

  • 多种模式:支持不同的操作模式,包括 AUTO_SEND、RELEASE_KEY_TO_SEND 和 RELEASE_KEY_TO_INPUT。
  • 高级配置:允许用户调整与 Whisper 库相关的高级参数,例如线程数、音频上下文大小以及采样策略。

依赖项

依赖名称 Fabric NeoForge
Java 21 21
Fabric API 参见 fabric.mod.json ❌
Architectury API ❌ 参见 neoforge.mods.toml
MidnightLib 参见 fabric.mod.json 参见 neoforge.mods.toml

配置

键位绑定

键位绑定名称 识别
分类 key.category.minecraft.mcmti
翻译键 key.mcmti.recognize
默认按键 V

常规设置

设置项 翻译键 字段 类型 默认值 描述
GGML Whisper 模型 mcmti.midnightconfig.model me.jaffe2718.mcmti.config.McmtiConfig.model String "" GGML Whisper 模型的路径。
语言 mcmti.midnightconfig.language me.jaffe2718.mcmti.config.McmtiConfig.language String "en" 语音识别所使用的语言。
模式 mcmti.midnightconfig.mode me.jaffe2718.mcmti.config.McmtiConfig.mode me.jaffe2718.mcmti.config.McmtiConfig.Mode "RELEASE_KEY_TO_SEND" 模组的工作模式。
录制周期 (毫秒) mcmti.midnightconfig.recordCycleMs me.jaffe2718.mcmti.config.McmtiConfig.recordCycleMs int 5000 录制周期,单位为毫秒。
录制缓冲区大小 (字节) mcmti.midnightconfig.recordBufferSize me.jaffe2718.mcmti.config.McmtiConfig.recordBufferSize int 1024 录制缓冲区大小,单位为字节。
前缀 mcmti.midnightconfig.prefix me.jaffe2718.mcmti.config.McmtiConfig.prefix String "⌈Speech Input⌋" 添加到识别文本前的前缀。
草稿输入 mcmti.midnightconfig.draftInput me.jaffe2718.mcmti.config.McmtiConfig.draftInput boolean false 启用草稿输入。如果启用,识别出的文本将以草稿形式显示在输入框中。
编码修复 mcmti.midnightconfig.encodingRepair me.jaffe2718.mcmti.config.McmtiConfig.encodingRepair boolean false 启用编码修复。
源编码 mcmti.midnightconfig.srcEncoding me.jaffe2718.mcmti.config.McmtiConfig.srcEncoding String Charset.defaultCharset().displayName() 文本的源编码。仅在启用编码修复时生效。
目标编码 mcmti.midnightconfig.dstEncoding me.jaffe2718.mcmti.config.McmtiConfig.dstEncoding String Charset.defaultCharset().displayName() 文本的目标编码。仅在启用编码修复时生效。

高级设置

设置项 翻译键 字段路径 类型 默认值 描述
启用高级配置 mcmti.midnightconfig.advancedConfig me.jaffe2718.mcmti.config.McmtiConfig.advancedConfig boolean false 启用高级配置。
nThreads mcmti.midnightconfig.nThreads me.jaffe2718.mcmti.config.McmtiConfig.nThreads int 0 Whisper 模型运行所使用的线程数。设为 0 表示使用最大核心数。
audioCtx mcmti.midnightconfig.audioCtx me.jaffe2718.mcmti.config.McmtiConfig.audioCtx int 0 Whisper 模型的音频上下文大小。设为 0 表示使用默认值。
nMaxTextCtx mcmti.midnightconfig.nMaxTextCtx me.jaffe2718.mcmti.config.McmtiConfig.nMaxTextCtx int 16384 作为解码器提示使用的过去文本的最大 token 数量。
offsetMs mcmti.midnightconfig.offsetMs me.jaffe2718.mcmti.config.McmtiConfig.offsetMs int 0 开始录音的偏移量(毫秒)。
durationMs mcmti.midnightconfig.durationMs me.jaffe2718.mcmti.config.McmtiConfig.durationMs int 0 要处理的音频时长(毫秒)。设为 0 表示使用默认值。
translate mcmti.midnightconfig.translate me.jaffe2718.mcmti.config.McmtiConfig.translate boolean false 将文本翻译为默认语言。
noTimestamps mcmti.midnightconfig.noTimestamps me.jaffe2718.mcmti.config.McmtiConfig.noTimestamps boolean false 不生成时间戳。
initialPrompt mcmti.midnightconfig.initialPrompt me.jaffe2718.mcmti.config.McmtiConfig.initialPrompt String "" 用作 whisper 初始提示的文本。
noContext mcmti.midnightconfig.noContext me.jaffe2718.mcmti.config.McmtiConfig.noContext boolean true 不使用过去的转录内容(如果有)作为解码器的初始提示。
singleSegment mcmti.midnightconfig.singleSegment me.jaffe2718.mcmti.config.McmtiConfig.singleSegment boolean false 强制输出单个片段(对流式处理有用)。
printSpecial mcmti.midnightconfig.printSpecial me.jaffe2718.mcmti.config.McmtiConfig.printSpecial boolean false 打印特殊 token。
printProgress mcmti.midnightconfig.printProgress me.jaffe2718.mcmti.config.McmtiConfig.printProgress boolean true 打印进度信息。
printRealtime mcmti.midnightconfig.printRealtime me.jaffe2718.mcmti.config.McmtiConfig.printRealtime boolean false 打印来自 whisper.cpp 的结果(建议避免使用,改用回调函数)。
printTimestamps mcmti.midnightconfig.printTimestamps me.jaffe2718.mcmti.config.McmtiConfig.printTimestamps boolean true 在实时打印时,为每个文本片段打印时间戳。
suppressBlank mcmti.midnightconfig.suppressBlank me.jaffe2718.mcmti.config.McmtiConfig.suppressBlank boolean true 解码器选项。

| suppressNonSpeechTokens | mcmti.midnightconfig.suppressNonSpeechTokens | me.jaffe2718.mcmti.config.McmtiConfig.suppressNonSpeechTokens | boolean | true | 标记化器选项。 | | temperature | mcmti.midnightconfig.temperature | me.jaffe2718.mcmti.config.McmtiConfig.temperature | float | 0.0f | 初始解码温度。 | | maxInitialTs | mcmti.midnightconfig.maxInitialTs | me.jaffe2718.mcmti.config.McmtiConfig.maxInitialTs | float | 1.0f | 最大初始时间戳。 | | lengthPenalty | mcmti.midnightconfig.lengthPenalty | me.jaffe2718.mcmti.config.McmtiConfig.lengthPenalty | float | -1.0f | 长度惩罚。 | | temperatureInc | mcmti.midnightconfig.temperatureInc | me.jaffe2718.mcmti.config.McmtiConfig.temperatureInc | float | 0.4f | 温度增量。 | | entropyThold | mcmti.midnightconfig.entropyThold | me.jaffe2718.mcmti.config.McmtiConfig.entropyThold | float | 2.4f | 熵阈值(类似于 OpenAI 的 "compression_ratio_threshold")。 | | logprobThold | mcmti.midnightconfig.logprobThold | me.jaffe2718.mcmti.config.McmtiConfig.logprobThold | float | -1.0f | 对数概率阈值。 | | noSpeechThold | mcmti.midnightconfig.noSpeechThold | me.jaffe2718.mcmti.config.McmtiConfig.noSpeechThold | float | 0.6f | 无声阈值。 | | greedyBestOf | mcmti.midnightconfig.greedyBestOf | me.jaffe2718.mcmti.config.McmtiConfig.greedyBestOf | int | -1 | 特定于贪婪采样策略。 | | beamSearchBeamSize | mcmti.midnightconfig.beamSearchBeamSize | me.jaffe2718.mcmti.config.McmtiConfig.beamSearchBeamSize | int | 2 | 特定于束搜索采样策略。 | | beamSearchPatience | mcmti.midnightconfig.beamSearchPatience | me.jaffe2718.mcmti.config.McmtiConfig.beamSearchPatience | float | -1.0f | 特定于束搜索采样策略。 | | grammar | mcmti.midnightconfig.grammar | me.jaffe2718.mcmti.config.McmtiConfig.grammar | String | "" | 语法文件路径。空字符串表示不使用语法。 | | grammarPenalty | mcmti.midnightconfig.grammarPenalty | me.jaffe2718.mcmti.config.McmtiConfig.grammarPenalty | float | 100.0f | 非语法标记的惩罚。 | | whisperSamplingStrategy | mcmti.midnightconfig.whisperSamplingStrategy | me.jaffe2718.mcmti.config.McmtiConfig.whisperSamplingStrategy | io.github.freshsupasulley.whisperjni.WhisperSamplingStrategy | BEAM_SEARCH | 用于配置 Whisper 采样策略的 WhisperContext 枚举值。 | | vad | mcmti.midnightconfig.vad | me.jaffe2718.mcmti.config.McmtiConfig.vad | boolean | false | 启用 VAD(语音活动检测)。 | | vad__max_speech_duration_s | mcmti.midnightconfig.vad__max_speech_duration_s | me.jaffe2718.mcmti.config.McmtiConfig.vad__max_speech_duration_s | float | 0f | 强制分割前的最大语音片段持续时间。 | | vad__min_silence_duration_ms | mcmti.midnightconfig.vad__min_silence_duration_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__min_silence_duration_ms | int | 0 | 被视为语音结束的最小静音持续时间。 | | vad__min_speech_duration_ms | mcmti.midnightconfig.vad__min_speech_duration_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__min_speech_duration_ms | int | 0 | 有效语音片段的最小持续时间。 |

| vad__samples_overlap | mcmti.midnightconfig.vad__samples_overlap | me.jaffe2718.mcmti.config.McmtiConfig.vad__samples_overlap | float | 0f | 从语音片段复制音频样本时的重叠秒数。 | | vad__speech_pad_ms | mcmti.midnightconfig.vad__speech_pad_ms | me.jaffe2718.mcmti.config.McmtiConfig.vad__speech_pad_ms | int | 0 | 在语音片段前后添加的填充量。 | | vad__threshold | mcmti.midnightconfig.vad__threshold | me.jaffe2718.mcmti.config.McmtiConfig.vad__threshold | float | 0f | 被视为语音的概率阈值。 | | vad_model_path | mcmti.midnightconfig.vad_model_path | me.jaffe2718.mcmti.config.McmtiConfig.vad_model_path | String | "" | VAD 模型的路径。为空表示使用默认值。 | | useCustomDynamicLib | mcmti.midnightconfig.useCustomDynamicLib | me.jaffe2718.mcmti.config.McmtiConfig.useCustomDynamicLib | boolean | false | 启用为 Whisper 使用自定义动态库。 | | customDynamicLibDir | mcmti.midnightconfig.customDynamicLibDir | me.jaffe2718.mcmti.config.McmtiConfig.customDynamicLibDir | String | "" | Whisper 的自定义动态链接库目录。 |

警告:启用高级配置将更改 Whisper 模型配置的默认参数, 这将对语音识别结果产生重大影响。不当的高级参数配置可能导致语音识别失败、计算机资源占用过高以及程序崩溃等问题。 请谨慎使用。

使用方法

  1. 安装模组并下载 GGML Whisper 模型。
  2. 在配置菜单中根据需要配置模组。
  3. 使用你设置的按键绑定(默认为 V)开始录音和语音识别。
  4. 如果模式设置为 AUTO_SEND,识别出的文本将自动作为聊天消息发送。如果设置为 RELEASE_KEY_TO_SEND 或 RELEASE_KEY_TO_INPUT,请按照相应的按键释放操作进行。

使用 VAD

如果你想使用 VAD(语音活动检测),你需要下载 VAD 模型, 启用高级配置并在配置菜单中将 vad_model_path 设置为 VAD 模型的路径。

自定义动态库

  1. 从 Jaffe2718/whisper-jni 下载自定义动态库并解压文件。
  2. 启用高级配置并在配置菜单中将 useCustomDynamicLib 设置为 true。
  3. 在配置菜单中将 customDynamicLibDir 设置为自定义动态库所在的目录。
  4. 如果你想使用支持 Vulkan 的动态库,请检查你的电脑是否已安装运行 Vulkan 的驱动程序和库。
    vulkaninfo
    
  5. 如果你想使用 CUDA,请检查你的电脑是否已安装运行 CUDA 的驱动程序和库。
    nvidia-smi
    
    对于 Linux,你需要安装 CUDA Toolkit >= 12.4.0 并配置环境变量。 对于 Windows,如果游戏崩溃,你必须强制游戏使用 Java >= 25,参见 Jaffe2718/whisper-jni/v0.5.6

故障排除

  • 启动时崩溃:请检查你使用的动态链接库的兼容性和版本。你可以禁用高级配置并将 useCustomDynamicLib 设置为 false 以使用默认动态库(CPU 版本)。
  • 音频输入设备加载失败:请检查 Java 是否有权限访问音频输入设备。
  • Whisper 模型加载失败:确保 GGML Whisper 模型的路径正确。

贡献

如果你想为这个项目做出贡献,请随时在 GitHub 上提交问题或拉取请求。

你是这个资源的作者?登录后可认领此资源。

评论 0

0.0
暂无评分
5 星
0
4 星
0
3 星
0
2 星
0
1 星
0
我的评分

登录后参与评分

还没有评论,来抢沙发吧

评论配图

相似资源