TOOL LANDSCAPE / 03

从模型到生产系统

按技术环节浏览核心工具。用途和商业属性是选型入口，具体功能与许可证以官方页面为准。

30 个工具 · 6 个领域

01

推理部署

5 个工具

开源

vLLM

高吞吐模型推理服务

核验于 2026-09-28官网

开源

SGLang

结构化生成与高效推理

核验于 2026-09-28官网

开源

Ollama

本地模型运行与开发

核验于 2026-09-28官网

开源

llama.cpp

本地及边缘设备推理

核验于 2026-09-28官网

开源

TensorRT-LLM

NVIDIA GPU 推理优化

核验于 2026-09-28官网

02

Agent 编排

5 个工具

开源 + 商业

LangChain

链式调用与工具集成

核验于 2026-09-28官网

开源 + 商业

LangGraph

有状态 Agent 工作流

核验于 2026-09-28官网

开源 + 商业

LlamaIndex

数据连接与知识工作流

核验于 2026-09-28官网

开源

AutoGen

多智能体编排

核验于 2026-09-28官网

开源 + 商业

Dify

可视化 AI 应用构建

核验于 2026-09-28官网

03

RAG 与检索

5 个工具

开源 + 商业

Milvus

向量检索数据库

核验于 2026-09-28官网

开源 + 商业

Qdrant

向量搜索与过滤

核验于 2026-09-28官网

开源 + 商业

Weaviate

向量数据库与混合搜索

核验于 2026-09-28官网

开源

FAISS

相似度搜索库

核验于 2026-09-28官网

开源 + 商业

Haystack

检索增强应用管线

核验于 2026-09-28官网

04

评测观测

5 个工具

开源 + 商业

Langfuse

LLM 跟踪、成本与评测

核验于 2026-09-28官网

开源 + 商业

Phoenix

追踪、数据集与实验

核验于 2026-09-28官网

开源

Ragas

RAG 与 Agent 评测

核验于 2026-09-28官网

开源 + 商业

DeepEval

LLM 单元评测框架

核验于 2026-09-28官网

开源

OpenCompass

大模型基准评测

核验于 2026-09-28官网

05

数据与微调

5 个工具

开源 + 商业

Hugging Face Hub

模型、数据集与版本管理

核验于 2026-09-28官网

开源

Axolotl

开源模型微调配置

核验于 2026-09-28官网

开源

LLaMA-Factory

多模型微调与对齐

核验于 2026-09-28官网

开源 + 商业

Unsloth

高效模型微调

核验于 2026-09-28官网

开源 + 商业

Label Studio

训练数据标注

核验于 2026-09-28官网

06

安全治理

5 个工具

开源

NeMo Guardrails

对话规则与输出约束

核验于 2026-09-28官网

开源 + 商业

Guardrails AI

输入输出校验与防护

核验于 2026-09-28官网

开源

Microsoft Presidio

敏感信息识别与脱敏

核验于 2026-09-28官网

商业

Lakera Guard

提示注入检测

核验于 2026-09-28官网

开源 + 商业

Promptfoo

红队测试与提示评测

核验于 2026-09-28官网