学习 LiteLLM 的访问控制
在前两篇文章中，我们深入探讨了 LiteLLM 的认证机制和用户管理体系，认证机制解决了 你是谁 的问题，用户管理则从组织、团队到用户的多层架构，以及基于角色的访问控制（RBAC）模型解决的是 你能做什么 的问题。而今天我们要学习的...
学习 LiteLLM 的用户管理体系
在上一篇文章中，我们学习了 LiteLLM 的认证机制，从基础的虚拟 Key 到企业级的 JWT/OIDC 认证，了解了如何确保 API 访问的安全性。然而，认证只是第一步，解决的是 你是谁 的问题；接下来我们需要解决的是 你能做...
学习 LiteLLM 的认证机制
在之前的两篇文章中，我们分别学习了 LiteLLM 的快速入门和模型管理。我们了解到，LiteLLM 不仅是一个统一的 SDK，更是一个功能强大的企业级 LLM 网关。在生产环境中，如何确保 LLM 资源的安全访问？如何为不同用户和...
学习 LiteLLM 的模型管理
在上一篇文章中，我们快速了解了 LiteLLM 的核心特性和基本用法。我们知道 LiteLLM 通过统一的 API 接口支持调用 100+ 个 LLM 服务商的模型，而 Proxy Server 可以作为一个企业级的 LLM 网...
LiteLLM 快速入门
在 AI 应用的开发过程中，开发者们往往面临一个共同的难题：如何高效地集成多家 LLM 服务商的接口？不同的服务商提供的 API 设计各不相同，OpenAI 有自己的风格，Anthropic 有另一套标准，Azure OpenAI、Goog...
重温 Java 21 之结构化并发
结构化并发（Structured Concurrency） 最初由 JEP 428 提出，并在 JDK 19 中作为孵化 API 发布，接着又在 JDK 20 中通过 JEP 437 再次孵化，现在该特性进入预览版本了...
重温 Java 21 之密钥封装机制 API
密钥封装（Key Encapsulation） 是一种现代加密技术，它使用非对称或公钥加密来保护对称密钥。传统的做法是使用公钥加密随机生成的对称密钥，但这需要 填充（Paddings） 并且难以证明安全，密钥封装机制（Key Encapsulati...
重温 Java 21 之禁用代理的动态加载
Java Agent 通常被直译为 Java 代理，它是一个 jar 包，这个 jar 包很特别，不能独立运行，而是要依附到我们的目标 JVM 进程中。它利用 JVM 提供的 Instrumentation API 来修...
重温 Java 21 之向量 API
向量 API 最初由 JEP 338 提出，并作为孵化 API 集成到 Java 16 中，在 Java 17 到 20 中，又经过了 JEP 414、JEP 417、JEP 426、JEP 438 四次的孵化，这次在 Java 21 中，已...
重温 Java 21 之作用域值
作用域值（Scoped Values） 是 Loom 项目提出的另一个重要特性，它提供了一种隐式方法参数的形式，允许在大型程序的各个部分之间安全地共享数据，而无需将它们作为显式参数添加到调用链中的每个方法中。作用域值通常是作为一个公共静...