找回密码
 立即注册
查看: 19|回复: 0

llama.cpp 多模板集合打包下载(含多种版本)

[复制链接]

 成长值: 5410

43

主题

0

回帖

1万

积分

资源组

积分
14761
发表于 1 小时前 | 显示全部楼层 |阅读模式
230134379-7181e485-c521-4d23-a0d6-f7b3b61ba524 (1).png

llama.cpp是在本地和云端等各种硬件上,以最小的设置和最先进的性能实现 LLM 推理。
纯 C/C++ 实现,没有任何依赖项苹果芯片是一等公民——通过 ARM NEON、Accelerate 和 Metal 框架进行了优化。支持 x86 架构的 AVX、AVX2、AVX512 和 AMX 指令集对 RISC-V 架构的 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE 支持支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化,以加快推理速度并减少内存占用。用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核(通过 HIP 支持 AMD GPU,通过 MUSA 支持 Moore Threads GPU)支持AMD 显卡Vulkan 和 SYCL 后端支持CPU+GPU混合推理,可部分加速大于总显存容量的模型。


模型打包下载:


购买主题 本主题需向作者支付 10 积分 才能浏览
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|动力资源站

GMT+8, 2026-5-19 15:55 , Processed in 0.012476 second(s), 12 queries , MemCached On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表