문제 (Problem)

개인 및 중소기업이 AI를 사용하면서 겪는 복합적 고통입니다:

  • ChatGPT, Claude, Gemini 등 클라우드 AI에 민감한 데이터(계약서, 환자 기록, 법률 문서)를 전송하는 것에 대한 우려
  • 셀프호스팅은 기술적으로 복잡 — Docker, Railway 등 배포 지식 필요
  • 여러 AI 서비스의 구독료가 월 $20~$100씩 중복 지출
  • $1.99 셀프디플로이 게이트웨이(Free AI 등)가 등장했지만 팀 공유, 접근 제어, 컴플라이언스 기능 부재
  • 규제 산업(법률, 의료, 금융)에 필수적인 거버넌스·감사·데이터 레지던시 증명이 기존 OSS 도구에 없음

Pain Point 강도: 7/10 - GDPR/CCPA 등 프라이버시 규제 강화와 함께 수요 급증

시장 (Market)

  • 1차 시장: 프라이버시에 민감한 중소기업, 프리랜서/1인 개발자
  • 세그먼트: 규정 준수가 필요한 소규모 법률·의료 사무소, 금융 컨설팅 회사
  • TAM: 엔터프라이즈 AI $114~116B (2026), 온프레미스 AI 인프라 ~$41B (전체의 46%)
  • 엔터프라이즈 LLM: $8.19B (2026), 프라이빗/하이브리드 배포 CAGR 19.53%

솔루션 (Solution)

Private AI Gateway - 컴플라이언스와 거버넌스를 갖춘 관리형 프라이빗 AI 게이트웨이

핵심 기능

  1. 원클릭 배포: Docker/Railway/Fly.io 배포, DevOps 지식 불필요
  2. 멀티모델 라우팅: GPT-4, Claude, Gemini, Llama를 단일 인터페이스로 접근
  3. 제로 데이터 보존(Zero-Data-Retention): 증명 가능한 데이터 레지던시, AI 프로바이더에 로그 미전송
  4. 팀 접근 제어: 사용자 관리, 사용량 제한, 팀원별 비용 할당
  5. 컴플라이언스 대시보드: SOC2/HIPAA 감사 로그, PII 자동 마스킹 파이프라인, 데이터 레지던시 증명
  6. BYOK(Bring Your Own Key): 자체 API 키 사용, 실제 사용량만큼만 지불

사용 시나리오

# 원클릭 배포
$ docker-compose up -d private-ai-gateway

# 브라우저에서 대시보드 접속
# → 팀 멤버 초대 및 역할 설정 (Admin, User, Viewer)
# → API 키 등록 (OpenAI, Anthropic, Google)
# → 사용량 제한 설정 (팀원당 $50/월)

# 개발자는 기존 OpenAI SDK를 그대로 사용
from openai import OpenAI
client = OpenAI(
    base_url="https://ai.mycompany.com/v1",  # 프라이빗 게이트웨이
    api_key="team_xxx"
)

# 자동으로 PII 마스킹 후 프로바이더에 전송
response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "이 계약서를 검토해줘..."}]
)
# → 감사 로그 자동 기록 (누가, 언제, 어떤 모델, 토큰 수)

경쟁 (Competition)

경쟁사가격약점
LiteLLMFree (OSS, YC)컴플라이언스 기능 없음, 관리형 호스팅 없음
Bifrost (Maxim AI)Free (Apache 2.0)성능 중심, 거버넌스 없음
Kong AI GatewayFree (OSS)인프라 레벨, 최종 사용자 대상 아님
HeliconeFree gateway비용 추적 중심, 컴플라이언스/감사 없음
TrueFoundry엔터프라이즈고가, 대기업 전용
Free AI ($1.99)$1.99/월기술 설정 필요, 팀/컴플라이언스 없음

경쟁 강도: High - LiteLLM이 OSS 표준 장악, 다수 무료 도구 존재 차별점: 컴플라이언스 + 감사 가능성 레이어. LiteLLM은 규제 준수를 해결하지 않음 — 이것이 진입 쐐기

MVP 개발 (MVP)

  • MVP 기간: 6주
  • 풀 버전: 6개월
  • 기술 복잡도: Medium
  • 필요 스택: Node.js (게이트웨이), PostgreSQL (감사 로그), React (대시보드), Docker

MVP 범위

  1. 멀티모델 프록시 게이트웨이 (OpenAI 호환 API)
  2. 기본 팀 관리 + BYOK 설정
  3. 감사 로그 (요청/응답 메타데이터 기록)
  4. Docker Compose 원클릭 배포

수익 모델 (Revenue)

  • 모델: Subscription + Usage
  • 가격:
    • Starter: $9/월 (1 사용자, 3 모델, 기본 감사 로그)
    • Team: $29/월 (5 사용자, 전체 모델, 컴플라이언스 대시보드)
    • Business: $99/월 (20 사용자, PII 마스킹, SOC2 리포트, SLA)
    • Enterprise: 맞춤 $500+/월 (전용 인스턴스, HIPAA 컴플라이언스)
  • 예상 MRR (6개월): $3,000-20,000
  • 예상 MRR (12개월): $15,000-60,000

리스크 (Risk)

유형수준대응
기술LowAPI 게이트웨이 = 핵심 백엔드 스킬
시장HighLiteLLM/OSS 상품화 → 컴플라이언스가 차별화 쐐기
실행MediumSOC2/HIPAA 도메인 전문성 필요 → 컴플라이언스 컨설턴트 파트너십

추천 (Recommendation)

점수: 80/100 ⭐⭐⭐⭐

추천 이유

  1. 거대한 TAM ($8~41B 엔터프라이즈 LLM 시장)
  2. 어떤 OSS 도구도 해결하지 못하는 컴플라이언스 갭
  3. 규제 산업의 반복 SaaS 수익
  4. API 게이트웨이 = 완벽한 백엔드 스킬 정합
  5. GDPR/CCPA 등 프라이버시 규제 강화가 지속적 수요 창출

리스크 요인

  1. LiteLLM이 OSS 마인드셰어 지배
  2. SOC2/HIPAA 컴플라이언스 구현에 도메인 전문성 필요
  3. AI 프로바이더 이용약관이 프록시/게이트웨이 사용을 제한할 수 있음

첫 번째 액션

  1. 기본 멀티모델 게이트웨이 + 감사 로깅 구축
  2. BYOK + 제로 데이터 보존 아키텍처 구현
  3. 소규모 법률 사무소 타겟 초기 검증 (높은 프라이버시 민감도, 낮은 기술 스킬)

이 아이디어는 “Free AI” 프라이빗 어시스턴트 컨셉을 개선하여, 규제 기업이 필요로 하는 거버넌스, 컴플라이언스, 팀 관리 레이어를 추가한 것입니다.