学习 LiteLLM 的缓存系统
随着我们的 LLM 网关承载的流量越来越大、接入的模型越来越多，除了稳定性和可靠性，成本和性能 也成为了关键的考量因素。实际上，我们的应用每天都在处理很多相似的查询，比如客服系统中的常见问题、代码生成中的重复模式、文档摘要中的相似内容。如果每次都...
学习 LiteLLM 的路由和回退策略
在之前的系列文章中，我们学习了 LiteLLM 的基础使用，包括模型管理、用户管理、权限认证和访问控制机制等。当我们的 LLM 网关要承载越来越多的流量、接入越来越多的模型供应商时，就会面临新的挑战：某个模型供应商的 ...
学习 LiteLLM 的访问控制
在前两篇文章中，我们深入探讨了 LiteLLM 的认证机制和用户管理体系，认证机制解决了 你是谁 的问题，用户管理则从组织、团队到用户的多层架构，以及基于角色的访问控制（RBAC）模型解决的是 你能做什么 的问题。而今天我们要学习的...
学习 LiteLLM 的用户管理体系
在上一篇文章中，我们学习了 LiteLLM 的认证机制，从基础的虚拟 Key 到企业级的 JWT/OIDC 认证，了解了如何确保 API 访问的安全性。然而，认证只是第一步，解决的是 你是谁 的问题；接下来我们需要解决的是 你能做...
学习 LiteLLM 的认证机制
在之前的两篇文章中，我们分别学习了 LiteLLM 的快速入门和模型管理。我们了解到，LiteLLM 不仅是一个统一的 SDK，更是一个功能强大的企业级 LLM 网关。在生产环境中，如何确保 LLM 资源的安全访问？如何为不同用户和...
学习 LiteLLM 的模型管理
在上一篇文章中，我们快速了解了 LiteLLM 的核心特性和基本用法。我们知道 LiteLLM 通过统一的 API 接口支持调用 100+ 个 LLM 服务商的模型，而 Proxy Server 可以作为一个企业级的 LLM 网...
LiteLLM 快速入门
在 AI 应用的开发过程中，开发者们往往面临一个共同的难题：如何高效地集成多家 LLM 服务商的接口？不同的服务商提供的 API 设计各不相同，OpenAI 有自己的风格，Anthropic 有另一套标准，Azure OpenAI、Goog...
重温 Java 21 之结构化并发
结构化并发（Structured Concurrency） 最初由 JEP 428 提出，并在 JDK 19 中作为孵化 API 发布，接着又在 JDK 20 中通过 JEP 437 再次孵化，现在该特性进入预览版本了...
重温 Java 21 之密钥封装机制 API
密钥封装（Key Encapsulation） 是一种现代加密技术，它使用非对称或公钥加密来保护对称密钥。传统的做法是使用公钥加密随机生成的对称密钥，但这需要 填充（Paddings） 并且难以证明安全，密钥封装机制（Key Encapsulati...
重温 Java 21 之禁用代理的动态加载
Java Agent 通常被直译为 Java 代理，它是一个 jar 包，这个 jar 包很特别，不能独立运行，而是要依附到我们的目标 JVM 进程中。它利用 JVM 提供的 Instrumentation API 来修...