$ loading_
用匿名多模型盲测对比回答并评分,帮助选择更合适的大模型
复制安装指令,让 AI 自动完成配置 · 推荐新手
"llm-council" 暂无可直接复制的安装信息,请查看页面文档或源码仓库。
把下面这个问题同时发给多个已配置的模型,并隐藏模型名称返回独立答案:‘请比较 RAG 与微调在企业知识库问答中的适用场景。’然后对答案做盲评排序,最后再揭晓对应模型。
返回多个匿名答案、盲评结果与最终揭晓的模型对应关系。
针对这段代码,让多个模型分别解释潜在 bug 与修复建议,先不要显示模型身份;我会根据清晰度和正确性打分,最后再看是哪个模型给出的答案。
得到可匿名比较的多份代码分析结果,并在评分后揭晓模型来源。
开启与某个已接入模型的一对一对话,连续讨论‘如何为本地 MCP 工具设计评测流程’,并保持上下文。
返回单模型连续对话内容,用于深入追问和迭代。
开发者或研究人员在比较多个模型时,可用同一问题收集独立回答,先匿名评审再揭晓模型,减少品牌偏见。这样更适合做模型选型或回答质量对比。
产品经理或团队在验证提示词效果时,可以把同一任务发给多个模型 CLI,再通过盲评判断哪个输出更符合需求。过程适合本地 MCP 环境中的快速对比测试。
当用户不需要多模型对比时,也可以直接与某个模型一对一聊天,持续追问同一主题。适合在评测后继续深入探索某个模型的能力。
它是一个本地 MCP 服务器,用于组织匿名的多模型评议。你可以向多个模型 CLI 提同一个问题,先看独立答案并盲评,再揭晓模型身份。
根据描述,它依赖本地 MCP 服务器环境,并会调用多个模型 CLI。更具体的安装与配置方式,见源码仓库。
不是。描述还提到它支持直接的一对一聊天,因此除了多模型盲评,也可与单个模型单独对话。
在 Mac 本地发起多模型协同评议与综合,辅助编码场景下的高质量决策。
让 Claude 调用其他模型,快速对比不同 AI 的回答与观点。
在 Mac 本地发起多模型协商与综合,辅助编码工具完成更稳健的 LLM 决策。
让 Claude Code 接入外部大模型进行会话咨询、并行求证与联网研究。
实时查询主流大模型的价格、能力与上下文窗口信息。
帮助用户跨平台比较并选择最合适的 AI 模型,评估价格、性能与能力。