프롬프트 압축(Prompt Compression)과 소형 모델 스마트 라우팅으로 대규모 트래픽 비용 65% 절감

from llmlingua import PromptCompressor
from openai import OpenAI

class SmartCostOptimizedRouter:
    def __init__(self):
        # 1. 초경량 로컬 프롬프트 압축기 초기화
        self.compressor = PromptCompressor(model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank")
        self.client = OpenAI()

    def route_and_execute(self, user_query: str, large_context: str) -> str:
        # 2. 대용량 컨텍스트 50% 압축 (토큰 대폭 절감)
        compressed = self.compressor.compress_prompt(
            context=[large_context],
            instruction=user_query,
            rate=0.5,  # 50% 압축률
        )
        compressed_prompt = compressed["compressed_prompt"]

        # 3. 질의 복잡도 판별: 복합 추론/법률/재무 계산 여부 감지
        is_complex = any(k in user_query for k in ["비교 분석", "계산 근거", "법적 쟁점", "단계별 설계"])
        selected_model = "gpt-4o" if is_complex else "gpt-4o-mini"

        # 4. 최적화된 모델로 최종 추론 호출
        response = self.client.chat.completions.create(
            model=selected_model,
            messages=[{"role": "user", "content": compressed_prompt}],
            temperature=0.2,
        )
        return response.choices[0].message.content