신뢰성 아키텍처

우리는 "안정성"을 제품의 첫 번째 기능으로 취급합니다. 이 페이지에서는 이를 어떻게 달성하는지, 그리고 문제가 발생하면 어떻게 되는지 설명합니다.

신뢰성은 왜 이렇게 어려운가?

공식 API에 직접 연결하는 개발자는 다음과 같은 문제를 겪습니다:

• 지역별 속도 제한 / 사용 불가
• 단일 결제 채널 또는 계정 차단
• 모델 버전 전환 시 호환성 문제
• 피크 시간대 대기열 및 첫 토큰 지연 급증

릴레이 서비스가 단순한 프록시에 불과하다면, 이러한 문제는 사용자에게 그대로 전달되거나 오히려 악화됩니다. 우리의 접근 방식은 이를 예외로 취급하는 대신 "업스트림은 불안정하다"는 전제 위에 시스템을 설계하는 것입니다.

우리의 멀티 소스 라우팅 아키텍처

모든 API 호출에서 요청은 다음 경로를 따라 처리됩니다:

핵심 메커니즘:

• 멀티 업스트림 풀: 동일한 모델 뒤에 여러 독립 채널을 배치하여 단일 장애 지점을 방지합니다
• 헬스 프로빙: 각 업스트림의 성공률, 첫 토큰 지연, 속도 제한 비율을 지속적으로 모니터링하며, 비정상 채널은 자동으로 가중치가 낮아지거나 제거됩니다
• 자동 페일오버: 기본 채널이 5xx / 속도 제한 / 타임아웃을 반환하면 요청은 밀리초 이내에 백업 채널로 전환되며, 일반적으로 사용자 측에는 아무런 영향이 없습니다
• 스트림 중단 재연결: 스트리밍 응답이 중간에 끊기면, 이를 지원하는 프로토콜에서 재개를 시도합니다

서비스 수준 (SLA)

우리의 대외 약속은 "실제로 제공할 수 있는 것"에 기반합니다 — 빈 약속은 하지 않습니다.

Economy 등급은 최고의 가성비를 원하고 간헐적인 변동을 감수할 수 있는 개인 개발자를 위한 것입니다. 비즈니스에 확고한 신뢰성 요구사항이 있다면 Enterprise 등급을 선택하거나 영업팀에 문의하여 맞춤형 플랜을 받으세요.

가용성 측정 방법:

• 우리는 "LMU AI 측"의 요청 성공률만 집계하며, 사용자 측 네트워크 문제, 파라미터 오류, 업스트림 모델 자체의 콘텐츠 거부는 제외합니다
• 60초 미만의 단일 장애는 집계에 포함되지 않습니다
• 월간 리포트에는 모델별 및 시간대별로 세분화된 성공률과 P95 지연이 포함됩니다

인시던트 발생 시 어떻게 되는가

짧은 지터 (< 5분)

• 라우팅 계층이 업스트림을 자동으로 전환하며, 별도 공지는 없습니다
• 상태 페이지에 이벤트가 기록됩니다

단일 업스트림 장애 (< 1시간)

• 라우팅 계층이 전환을 완료합니다. 일부 사용자/모델에 보이는 경우 상태 페이지에 게시합니다
• Standard 및 Enterprise 사용자는 이메일로 통지받습니다

지역 단위 또는 동시 다중 업스트림 영향

• 이벤트가 상태 페이지에 고정되고 주기적으로 업데이트됩니다
• Enterprise 사용자는 진행 상황을 이메일로 실시간 업데이트받습니다
• 이벤트 종료 후 48시간 이내에 사후 분석(postmortem)이 게시됩니다

우리가 하지 않는 것

사용자를 오도하지 않기 위해, 우리는 현재 다음을 약속하지 않습니다:

• 지연 없는 완전 무결한 전환: 페일오버는 밀리초에서 수 초에 이르는 추가 지연을 유발하므로, 결코 완전히 무결하지 않습니다
• 모델 간 호환성 보상: 업스트림 모델 자체가 폐기되는 경우(예: 제공업체가 모델 버전을 단종하는 경우), 조용히 다른 모델로 전환하지 않고 공지합니다
• 무제한 재시도: 실패한 요청은 정책에 따라 제한된 횟수만 재시도되므로, 예상치 못한 반복 호출에 대해 요금이 청구되지 않습니다

FAQ

마지막 업데이트: 2026-09-10