# 신뢰성 아키텍처

> LMU AI AI 신뢰성 아키텍처: 멀티 소스 라우팅, 헬스 프로브, 3단계 자동 페일오버; Standard 및 Enterprise에서 99.5% 가용성 목표.

URL: https://docs.lmuai.com/ko/docs/guide/reliability



우리는 "안정성"을 제품의 첫 번째 기능으로 취급합니다. 이 페이지에서는 이를 어떻게 달성하는지, 그리고 문제가 발생하면 어떻게 되는지 설명합니다.

## 신뢰성은 왜 이렇게 어려운가? [#신뢰성은-왜-이렇게-어려운가]

공식 API에 직접 연결하는 개발자는 다음과 같은 문제를 겪습니다:

* 지역별 속도 제한 / 사용 불가
* 단일 결제 채널 또는 계정 차단
* 모델 버전 전환 시 호환성 문제
* 피크 시간대 대기열 및 첫 토큰 지연 급증

릴레이 서비스가 단순한 프록시에 불과하다면, 이러한 문제는 사용자에게 **그대로 전달**되거나 오히려 악화됩니다. 우리의 접근 방식은 이를 예외로 취급하는 대신 "업스트림은 불안정하다"는 전제 위에 시스템을 설계하는 것입니다.

## 우리의 멀티 소스 라우팅 아키텍처 [#우리의-멀티-소스-라우팅-아키텍처]

모든 API 호출에서 요청은 다음 경로를 따라 처리됩니다:



**핵심 메커니즘:**

* **멀티 업스트림 풀**: 동일한 모델 뒤에 여러 독립 채널을 배치하여 단일 장애 지점을 방지합니다
* **헬스 프로빙**: 각 업스트림의 성공률, 첫 토큰 지연, 속도 제한 비율을 지속적으로 모니터링하며, **비정상 채널은 자동으로 가중치가 낮아지거나 제거됩니다**
* **자동 페일오버**: 기본 채널이 5xx / 속도 제한 / 타임아웃을 반환하면 요청은 밀리초 이내에 백업 채널로 전환되며, **일반적으로 사용자 측에는 아무런 영향이 없습니다**
* **스트림 중단 재연결**: 스트리밍 응답이 중간에 끊기면, 이를 지원하는 프로토콜에서 재개를 시도합니다

## 서비스 수준 (SLA) [#서비스-수준-sla]

우리의 대외 약속은 "실제로 제공할 수 있는 것"에 기반합니다 — 빈 약속은 하지 않습니다.

| 등급         | 가용성 목표             | 월간 리포트 | 비즈니스 계약                |
| ---------- | ------------------ | ------ | ---------------------- |
| Economy    | 최선 노력(Best-effort) | —      | 해당 없음                  |
| Standard   | 99.5%              | —      | 해당 없음                  |
| Enterprise | 99.5%              | 제공     | 더 높은 SLA 및 보상 조건 제공 가능 |

> Economy 등급은 최고의 가성비를 원하고 간헐적인 변동을 감수할 수 있는 개인 개발자를 위한 것입니다. 비즈니스에 확고한 신뢰성 요구사항이 있다면 Enterprise 등급을 선택하거나 영업팀에 문의하여 맞춤형 플랜을 받으세요.

가용성 측정 방법:

* 우리는 "LMU AI 측"의 요청 성공률만 집계하며, **사용자 측 네트워크 문제, 파라미터 오류, 업스트림 모델 자체의 콘텐츠 거부는 제외합니다**
* 60초 미만의 단일 장애는 집계에 포함되지 않습니다
* 월간 리포트에는 모델별 및 시간대별로 세분화된 성공률과 P95 지연이 포함됩니다

## 인시던트 발생 시 어떻게 되는가 [#인시던트-발생-시-어떻게-되는가]

**짧은 지터 (\< 5분)**

* 라우팅 계층이 업스트림을 자동으로 전환하며, 별도 공지는 없습니다
* [상태 페이지](https://api.lmuai.com/monitor)에 이벤트가 기록됩니다

**단일 업스트림 장애 (\< 1시간)**

* 라우팅 계층이 전환을 완료합니다. 일부 사용자/모델에 보이는 경우 상태 페이지에 게시합니다
* Standard 및 Enterprise 사용자는 이메일로 통지받습니다

**지역 단위 또는 동시 다중 업스트림 영향**

* 이벤트가 상태 페이지에 고정되고 주기적으로 업데이트됩니다
* Enterprise 사용자는 진행 상황을 이메일로 실시간 업데이트받습니다
* 이벤트 종료 후 48시간 이내에 사후 분석(postmortem)이 게시됩니다

## 우리가 하지 않는 것 [#우리가-하지-않는-것]

사용자를 오도하지 않기 위해, 우리는 현재 다음을 약속하지 **않습니다**:

* **지연 없는 완전 무결한 전환**: 페일오버는 밀리초에서 수 초에 이르는 추가 지연을 유발하므로, 결코 완전히 무결하지 않습니다
* **모델 간 호환성 보상**: 업스트림 모델 자체가 폐기되는 경우(예: 제공업체가 모델 버전을 단종하는 경우), 조용히 다른 모델로 전환하지 않고 공지합니다
* **무제한 재시도**: 실패한 요청은 정책에 따라 제한된 횟수만 재시도되므로, 예상치 못한 반복 호출에 대해 요금이 청구되지 않습니다

## FAQ [#faq]

<Callout type="info" title="왜 여전히 가끔 실패가 발생하나요?">
  100% 가용성을 갖춘 시스템은 없습니다. 우리의 목표는 전체 가용성을 99.5% 이상으로 유지하고 장애가 발생하면 신속하게 복구하는 것입니다. 지속적인 실패를 겪는 경우(예: 동일한 종류의 요청이 5분 이내에 여러 번 실패), 요청 ID와 함께 지원팀에 문의해 주시면 우선적으로 조사하겠습니다.
</Callout>

<Callout type="info" title="Enterprise 등급은 어떻게 신청하나요?">
  [Enterprise 플랜](/ko/docs/enterprise) 페이지를 참조하거나 영업팀에 직접 문의하세요:

  * 이메일: [business@lmuai.com](mailto:business@lmuai.com)
  * WeChat / 전화: 18599001010
</Callout>