Private LLM
제조업 Private LLM
AI 시대, 기업의 핵심 데이터를 지키면서 AI를 활용하는 유일한 방법
Problem
기업이 AI를 도입하지 못하는 세 가지 장벽
AI 도입을 검토하는 기업이 공통적으로 마주하는 문제가 있습니다.
생산 데이터, BOM, 재고 정보는 기업의 핵심 자산입니다. 클라우드 AI API에 이 데이터를 전송하는 것은 보안 정책상 허용되지 않는 경우가 대부분입니다.
특정 AI 공급자의 API에 의존하면 가격 변동, 서비스 중단, 정책 변경에 그대로 노출됩니다. 사용량이 늘수록 비용은 예측 불가능해집니다.
대부분의 AI 솔루션은 “똑똑한 챗봇”에 그칩니다. 기존 ERP, MES, 품질 DB와 직접 연동되지 않으면 현장 업무에 실질적 도움이 되지 않습니다.
Solution
블루에이전트의 접근
블루에이전트는 세 가지 장벽을 하나의 통합 구성으로 해결합니다.
온프레미스 GPU 서버 — 업무 규모와 모델 크기에 맞는 GPU를 선정합니다. NVIDIA DGX Spark(128GB 통합 메모리)부터 일반 GPU 서버까지, 메모리 용량에 적합한 하드웨어 위에서 LLM을 로컬 서빙합니다. 데이터는 사내를 벗어나지 않습니다.
MCP + Tool Use 기반 에이전트 시스템 — MCP 프로토콜과 Tool Use 기능을 지원하는 오픈소스 LLM을 선정하고, OpenClaw와 같은 오케스트레이션 프레임워크로 에이전트 시스템을 구성합니다. LLM이 도구를 호출하여 ERP, MES, 품질 DB의 실제 업무 데이터에 접근합니다.
다중 사용자 동시 서빙 — 관리자와 현장 작업자가 동시에 사용할 수 있는 환경을 제공합니다. 역할별 접근 제어로 데이터 범위를 차등 적용합니다.
Architecture
시스템 아키텍처
Features
주요 기능
완전 로컬 실행
모든 데이터와 모델이 사내 네트워크 안에서 동작합니다. 외부 API 호출이 없어 데이터 유출 경로 자체가 존재하지 않습니다.
MCP 기반 시스템 연동
표준 MCP 프로토콜로 ERP, MES, 품질 DB 등 기존 시스템과 연결합니다. 커스텀 API 개발 없이 LLM이 직접 도구를 호출합니다.
다중 사용자 동시 서빙
관리자는 전체 데이터 분석, 현장 작업자는 작업지시 확인. vLLM의 동시 요청 처리로 여러 사용자가 동시에 사용할 수 있습니다.
모델 선택 자유
Qwen, Llama, Mistral 등 오픈소스 모델을 자유롭게 선택하고 교체할 수 있습니다. 특정 공급자에 종속되지 않습니다.
Tech Stack
기술 스택
Process
도입 프로세스
환경 분석
현장 인프라·보안 정책·연동 대상 시스템 파악
하드웨어 구성
모델 크기에 적합한 GPU 선정·설치·네트워크·보안 구성
모델 배포
업무 특성에 맞는 LLM 선정·양자화·서빙 환경 구축
시스템 연동
MCP 도구 서버 구축·ERP/MES/DB 연동·테스트
운영 이관
파일럿 운영·사용자 교육·모니터링 체계 수립