[비용 70% 절감] 시맨틱 캐싱(Semantic Caching)과 모델 동적 라우팅 기법

import { getEmbedding } from "@/server/embedding";
import { vectorIndex } from "@/server/redis";

export async function askWithSemanticCache(query: string) {
  const queryVec = await getEmbedding(query);
  
  // 1. 유사도 0.93 이상의 캐시 질의가 있는지 검색
  const [cached] = await vectorIndex.query({
    vector: queryVec,
    topK: 1,
    includeMetadata: true,
  });

  if (cached && cached.score >= 0.93) {
    console.log("⚡ 시맨틱 캐시 히트! 지연시간: 12ms");
    return { answer: cached.metadata.answer, fromCache: true };
  }

  // 2. 캐시 미스 시 실제 LLM 호출 후 캐시에 저장
  const answer = await callMainLLM(query);
  await vectorIndex.upsert({
    id: crypto.randomUUID(),
    vector: queryVec,
    metadata: { question: query, answer, timestamp: Date.now() },
  });

  return { answer, fromCache: false };
}