$ loading_
帮助开发者在本地硬件上运行、部署并基准测试多种大模型与图像模型。
复制安装指令,让 AI 自动完成配置 · 推荐新手
"inferbench" 暂无可直接复制的安装信息,请查看页面文档或源码仓库。
请使用 InferBench 测试我这台配备 RTX 4070 的机器,从目录中筛选适合代码生成的模型,并比较不同量化版本的 tokens/sec、显存占用和可用上下文长度,最后推荐最佳选择。
返回候选模型对比结果,并给出最适合当前 GPU 的量化版本与推荐理由。
请用 InferBench 在本机启动一个本地大模型服务,并执行基准测试,输出首 token 延迟、吞吐量、并发下的表现,以及适合开发环境还是生产验证环境的结论。
得到可运行的本地服务及一份性能报告,帮助判断部署可行性。
请使用 InferBench 分别测试一个 llama.cpp 文本模型和一个 Stable Diffusion 图像模型在当前硬件上的运行速度与资源占用,并总结两类任务的瓶颈差异。
输出文本与图像模型的性能对比摘要,便于规划本地 AI 工作负载。
通过多模型与可视化工具,用自然语言完成软件开发、调试与成本管理。