[AI] LiteLLM - 100개 이상의 LLM API를 위한 Python SDK 및 프록시 서버

LiteLLM을 사용하면 Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq 등 다양한 곳에서 제공하는 언어 모델을 OpenAI 형식으로 간편하게 호출할 수 있도록 개발된 Python 라이브러리입니다.

LiteLLM을 사용하면 여러 LLM 제공 업체의 API를 사용하기 위해 코드를 변경할 필요 없이, OpenAI 형식을 사용하여 다양한 LLM을 쉽게 테스트하고 비교할 수 있습니다.

주요 기능:

• Python SDK: Python으로 LiteLLM을 사용하여 여러 LLM을 간편하게 호출할 수 있습니다.
• 프록시 서버: OpenAI 형식을 사용하여 100개 이상의 LLM API를 호출할 수 있는 프록시 서버를 제공합니다. 프록시 서버를 통해 OpenAI 형식으로 요청을 보내면 LiteLLM이 이를 적절한 LLM API 호출로 변환해주기 때문에, 사용자는 여러 API를 배우지 않아도 됩니다.

LiteLLM을 사용하면 좋은 점:

• 여러 LLM 제공 업체의 API를 사용하기 위해 코드를 변경할 필요가 없습니다. 예를 들어 OpenAI 모델을 사용하다가 Cohere 모델로 쉽게 전환할 수 있습니다.
• OpenAI 형식을 사용하여 다양한 LLM을 쉽게 테스트하고 비교할 수 있습니다. LiteLLM을 통해 다양한 LLM의 성능을 비교하고 프로젝트에 가장 적합한 모델을 선택할 수 있습니다.
• LiteLLM을 사용하면 LLM을 사용하는 애플리케이션을 쉽고 빠르게 개발할 수 있습니다. 복잡한 API 연동 과정을 간소화하여 LLM 기반 애플리케이션 개발에 집중할 수 있도록 도와줍니다.

프록시 CLI 시작하기

1단계: litellm proxy 설치하기

pip install 'litellm[proxy]'

2단계: litellm 프록시 시작하기

$ litellm --model gemini/gemini-1.5-pro-exp-0827

#INFO: Proxy running on http://0.0.0.0:4000

3단계: 프록시에 Chat Completions 요청하기

import openai 

client = openai.OpenAI(
    api_key="anything",
    # 프록시를 base_url로 설정
    base_url="http://0.0.0.0:4000"
)

# litellm 프록시에 설정된 모델로 전송된 요청, `litellm --model`
response = client.chat.completions.create(
    model="gemini/gemini-1.5-pro-exp-0827", 
    messages = [
    {
        "role": "user",
        "content": "this is a test request, write a short poem"
    }
])

print(response)

참고:

• LiteLLM은 100개 이상의 LLM 모델을 지원합니다. 지원되는 모델 목록은 LiteLLM 공식 문서에서 확인할 수 있습니다.
• LiteLLM 프록시 서버 실행 시 발생하는 일반적인 오류 및 해결 방법은 LiteLLM Q&A를 참고하세요.

더 자세한 정보는 LiteLLM 공식 GitHub 저장소를 참고하세요:

https://github.com/BerriAI/litellm

_{Posted using Obsidian Steemit plugin}