llama.jar

模组

· 作者 Popr4x

基于 llama.cpp 的 Minecraft 本地 AI 推理

0 本站下载 0 关注 更新于 6 个月前

最新 alpha-1.0 · 1.21.11 · Forge

一键开服(送7天)

llama.jar ?

llama.jar 是一款轻量级、高性能的 Minecraft 模组,借助 llama.cpp 将本地大型语言模型(LLM)的强大功能直接引入 Minecraft。

完全在你的硬件上离线运行,无需 API 密钥、无需订阅、零外部网络请求。

[!WARNING] 这是一个 alpha 测试版本,尚未在所有环境中经过充分测试。请谨慎使用,并报告你遇到的任何错误或问题。


主要特性

  • 离线本地 LLM 推理:直接在 Minecraft 进程中运行你喜欢的开源模型(如 LLaMA-3、Qwen-2.5、Phi-3、Mistral 等)。
  • 硬件加速与 GPU 支持:支持多核 CPU 执行以及 GPU 卸载(CUDA、Metal、OpenCL/CLBlast),实现硬件加速生成。支持多 GPU 配置。
  • 内置游戏集成:通过游戏内命令实时提示已加载的模型,或监听交互过程。
  • 模组开发库基础:完全架构化为库模组。你可以在自定义模组中导入 llama.jar,轻松添加由 AI 驱动的 NPC、动态任务生成或智能自动化助手。
  • 广泛的版本兼容性:支持 Forge 和 Fabric 平台,涵盖多个 Minecraft 版本:
    • 1.20.1
    • 1.21.1
    • 1.21.11

设置方法

  1. 下载模组:下载与你使用的模组加载器(Forge 或 Fabric)及 Minecraft 版本相匹配的正确 jar 文件。
  2. 添加 GGUF 模型:下载任何 GGUF 格式的模型(例如 llama-3-8b-instruct.Q4_K_M.gguf 或较小的模型如 qwen-2.5-1.5b-instruct),并将 .gguf 文件放入 .minecraft/models/ 文件夹中。
  3. 启动 Minecraft:模组将在启动时自动设置工作区。

游戏内命令

使用命令权限即时管理模型并运行提示:

  • /model list — 列出 models/ 目录中所有可用的 GGUF 文件。
  • /model load <filename> — 将选定的模型加载到内存中。
  • /model status — 显示当前活动模型的信息。
  • /llama <prompt> — 向已加载的模型提交提示,并将输出直接流式传输到聊天栏。
  • /llama stop — 立即停止当前的文本生成。

配置

在 config 目录中会生成一个通用配置文件(llamajar-common.toml 或 llamajar.json)。你可以调整性能参数:

  • modelName — 启动时自动加载的 GGUF 模型名称(留空以手动加载)。
  • systemPrompt — 设置默认系统提示以自定义模型行为、个性或指南(留空则无系统提示)。
  • gpuLayers — 要卸载到 GPU 的模型层数(数值越高,越多计算卸载到 GPU 显存)。
  • threads — 分配给模型推理的 CPU 线程数(默认为匹配 CPU 物理核心数)。
  • contextLength — 对话的最大上下文窗口大小(token 数量)。

开发者集成(库模组用法)

要将 llama.jar 用作你自己的 AI 启用模组的基础,请将其添加到你的开发环境中。

Gradle 设置

repositories {
    mavenLocal() // 在本地发布 llama.jar 后
}

dependencies {
    // 用于 Fabric 开发
    modImplementation "com.popr4x.llamajar:llamajar-fabric-1.20.1:alpha-1.0"
    
    // 用于 Forge 开发
    implementation "com.popr4x.llamajar:llamajar-forge-1.20.1:alpha-1.0"
}

在 Java 中访问 llama.cpp 上下文

import com.llamajar.LlamaJar;
import de.kherud.llama.LlamaModel;
import de.kherud.llama.LlamaIterator;

// 检查是否已加载模型
if (LlamaJar.isModelLoaded()) {
    LlamaModel model = LlamaJar.getModel();
    // 执行自定义推理、注册自定义监听器或管理模型状态
}

许可证

本项目根据 AGPLv3 License 许可。底层使用了 llama.cpp 以及 de.kherud:llama 的 Java JNI 绑定,后者根据 Apache-2.0 许可。

你是这个资源的作者?登录后可认领此资源。

评论 0

0.0
暂无评分
5 星
0
4 星
0
3 星
0
2 星
0
1 星
0
我的评分

登录后参与评分

还没有评论,来抢沙发吧

评论配图

相似资源