AI 작동 원리 쉽게 이해하기: LLM부터 RAG, AI Agent, MCP까지

챗GPT와 같은 AI를 사용하다 보면 이런 생각이 듭니다.

“AI 모델 하나가 질문을 이해하고, 정보를 찾고, 판단하고, 모든 작업까지 처리하는 것 아닐까?”

간단한 대화만 놓고 보면 그렇게 보일 수 있습니다. 하지만 실제 업무에 사용하는 AI 서비스는 LLM 하나만으로 완성되지 않습니다.

LLM은 문장을 만들고 추론하는 역할을 담당합니다. 최신 정보와 사내 문서를 찾으려면 RAG와 Vector DB가 필요합니다. 이메일을 보내거나 워드프레스 글을 수정하려면 AI Agent와 도구 연결 기능이 필요합니다. 잘못된 행동을 막는 안전장치와 결과를 검사하는 과정도 있어야 합니다. (Microsoft Learn)

복잡해 보이지만 공장에 비유하면 쉽게 이해할 수 있습니다.

---

AI 시스템을 공장에 비유하면 어떻게 될까?

AI 서비스를 하나의 공장이라고 생각해 보겠습니다.

AI 구성 요소	공장에서 맡는 역할
LLM	제품을 만드는 생산 기계
RAG	필요한 재료를 가져오는 담당자
Vector DB	재료와 지식을 보관하는 창고
AI Agent	작업 순서를 결정하는 현장 관리자
MCP	기계와 도구를 연결하는 표준 연결 규격
Guardrails	사고를 막는 안전 규정
Evals	완성된 결과를 검사하는 품질검사

생산 기계의 성능이 아무리 좋아도 재료가 없으면 제대로 된 제품을 만들 수 없습니다.

기계가 외부 도구와 연결되지 않으면 공장 밖의 일을 처리하지 못합니다. 안전 규칙과 품질검사도 없다면 결과를 믿고 사용하기 어렵습니다.

AI 시스템도 마찬가지입니다.

---

1. LLM이란? 문장을 만드는 생산 기계

LLM은 Large Language Model의 약자입니다. 한국어로는 대규모 언어 모델이라고 부릅니다.

LLM은 사용자가 입력한 문장을 분석하고, 다음에 올 가능성이 높은 내용을 생성합니다. 질문에 답하거나 글을 요약하고, 코드를 작성하고, 내용을 설명하는 역할을 담당합니다. 생성형 AI 서비스에서 자연어를 처리하는 주요 엔진이라고 이해하면 됩니다. (Microsoft Learn)

예를 들어 다음과 같은 작업은 LLM이 잘 처리합니다.

• 블로그 글 초안 작성
• 긴 문서 요약
• 문장 번역
• 이메일 작성
• 코드 생성
• 아이디어 정리

하지만 LLM이 모든 정보를 정확하게 알고 있는 것은 아닙니다.

학습할 때 포함되지 않은 정보는 알 수 없습니다. 최근 변경된 정책이나 회사 내부 문서도 기본적으로는 확인할 수 없습니다. 이 문제를 보완하는 방식이 RAG입니다. (Microsoft Learn)

---

2. RAG란? 필요한 정보를 찾아오는 방식

RAG는 Retrieval-Augmented Generation의 약자입니다. 일반적으로 검색 증강 생성이라고 번역합니다.

이름은 어렵지만 작동 방식은 단순합니다.

사용자의 질문과 관련된 자료를 먼저 찾고, 찾은 내용을 LLM에 전달한 뒤 답변을 만들게 하는 방식입니다.

예를 들어 고객이 다음과 같이 질문했다고 가정해 보겠습니다.

워프센스 강의 환불 규정을 알려주세요.

LLM은 워프센스의 최신 환불 규정을 기본적으로 알지 못합니다.

RAG가 연결되어 있다면 강의 운영 문서에서 환불 규정을 먼저 찾습니다. 그 내용을 질문과 함께 LLM에 전달합니다. LLM은 전달받은 문서를 바탕으로 답변을 작성합니다.

RAG는 LLM이 학습하지 않은 사내 자료, 비공개 데이터, 새로 작성된 문서 등을 답변에 활용할 때 사용됩니다. (Microsoft Learn)

RAG가 필요한 대표적인 상황

• 회사 내부 규정 안내
• 상품 설명서 기반 상담
• 강의 자료 기반 질의응답
• 최신 뉴스나 정책 검색
• 고객별 문서 분석
• 기술 문서 기반 답변

RAG는 AI 모델을 다시 학습시키는 방식과 다릅니다.

모델 자체를 바꾸는 것이 아니라, 답변할 때 필요한 정보를 찾아서 함께 제공하는 방식입니다.

---

3. Vector DB란? 의미를 기준으로 찾는 지식 창고

RAG가 자료를 찾으려면 검색할 장소가 필요합니다. 이때 자주 사용되는 저장소가 Vector DB입니다.

Vector DB는 문장이나 이미지 같은 데이터를 벡터 형태로 저장하고 검색하는 데이터베이스입니다. 벡터는 콘텐츠의 특징을 숫자로 표현한 값이라고 이해하면 됩니다. (Microsoft Learn)

일반적인 키워드 검색은 같은 단어가 들어 있는 문서를 찾습니다.

Vector DB를 이용한 검색은 단어가 정확히 일치하지 않아도 의미가 비슷한 자료를 찾을 수 있습니다.

예를 들어 사용자가 다음과 같이 질문할 수 있습니다.

결제를 취소하고 싶어요.

문서에는 ‘결제 취소’라는 표현이 없고 ‘환불 신청’이라는 표현만 있을 수 있습니다.

키워드 검색은 두 문장을 다른 것으로 판단할 수 있습니다. 벡터 검색은 두 문장의 의미가 비슷하다는 점을 이용해 관련 문서를 찾아낼 수 있습니다. 비슷한 의미의 벡터가 가까운 위치에 배치되는 원리를 이용하기 때문입니다. (Microsoft Learn)

RAG와 Vector DB의 차이

초보자가 가장 많이 혼동하는 부분입니다.

RAG는 정보를 찾아 LLM에 전달하는 전체 방식입니다.

Vector DB는 RAG가 정보를 검색할 때 사용할 수 있는 저장소 중 하나입니다.

RAG를 사용한다고 해서 반드시 Vector DB가 필요한 것은 아닙니다. 일반 데이터베이스나 키워드 검색을 사용할 수도 있습니다.

---

4. AI Agent란? 스스로 작업 순서를 정하는 현장 관리자

LLM은 답변을 만드는 데 강합니다. 하지만 답변을 작성하는 것과 실제 행동을 수행하는 것은 다릅니다.

사용자가 다음과 같이 요청했다고 가정해 보겠습니다.

지난달 매출을 분석해서 보고서를 만들고 담당자에게 이메일로 보내주세요.

이 작업을 완료하려면 여러 단계가 필요합니다.

1. 매출 데이터를 가져옵니다.
2. 기간을 지난달로 설정합니다.
3. 매출과 증감률을 계산합니다.
4. 보고서를 작성합니다.
5. 담당자의 이메일 주소를 확인합니다.
6. 이메일을 발송합니다.

AI Agent는 목표를 이해하고 필요한 지식과 도구를 선택합니다. 여러 단계로 이루어진 작업의 순서를 정하고, 검색·계산·코드 실행·이메일 발송 같은 도구를 호출할 수 있습니다. (Microsoft Learn)

LLM과 AI Agent의 차이

LLM은 주로 생각하고 문장을 만드는 모델입니다.

AI Agent는 LLM을 이용해 무엇을 해야 할지 판단하고 도구를 실행하는 구조입니다.

따라서 모든 LLM이 AI Agent인 것은 아닙니다. LLM에 도구, 작업 지침, 실행 과정, 권한 관리 등이 결합되어야 실제 업무를 수행하는 Agent에 가까워집니다.

---

5. MCP란? AI와 외부 도구를 연결하는 표준 규격

AI Agent가 작업하려면 워드프레스, 데이터베이스, 파일, 이메일, 캘린더 같은 외부 시스템과 연결되어야 합니다.

각 서비스마다 연결 방식을 따로 개발하면 관리가 복잡해집니다.

MCP는 Model Context Protocol의 약자입니다. AI 애플리케이션이 외부 데이터와 도구에 연결되는 방식을 표준화하기 위한 공개 프로토콜입니다. 공식 문서에서는 AI 애플리케이션을 데이터 소스, 도구, 업무 흐름과 연결하는 표준으로 설명합니다. (Model Context Protocol)

쉽게 말하면 AI를 위한 USB-C 규격과 비슷합니다.

USB-C 규격을 지원하는 기기는 같은 형태의 단자로 여러 장치를 연결할 수 있습니다. MCP를 지원하는 AI 애플리케이션도 일정한 규격을 통해 여러 도구와 데이터를 연결할 수 있습니다.

MCP로 연결할 수 있는 대상

• 워드프레스
• 로컬 파일
• 데이터베이스
• GitHub
• 검색 도구
• 이메일
• 캘린더
• 사내 업무 시스템

MCP 자체가 작업을 판단하는 것은 아닙니다.

AI Agent가 현장 관리자라면 MCP는 현장 관리자와 각종 장비를 연결하는 통로에 가깝습니다.

---

6. Guardrails란? AI의 행동 범위를 제한하는 안전장치

AI Agent가 외부 도구를 사용할 수 있게 되면 편리해집니다.

동시에 위험도 커집니다.

AI가 잘못된 게시물을 공개하거나, 중요한 파일을 삭제하거나, 접근하면 안 되는 개인정보를 읽을 수도 있습니다.

Guardrails는 AI의 입력, 출력, 도구 사용, 데이터 접근 범위에 제한을 두는 안전장치입니다.

유해 콘텐츠를 차단하고, 프롬프트 공격을 탐지하며, 허용되지 않은 행동이나 데이터 접근을 제한하는 정책과 기술이 여기에 포함됩니다. (Microsoft Learn)

예를 들어 워드프레스 관리 AI에는 다음과 같은 제한을 둘 수 있습니다.

• 글 삭제는 사용자 승인 후 실행
• 관리자 계정 생성 금지
• 개인정보가 포함된 댓글은 외부 전송 금지
• 플러그인 설치 전 백업 여부 확인
• 허용된 사이트에서만 작업
• 게시물 공개 전 최종 확인 요청

AI가 실제 행동을 수행할수록 Guardrails의 중요성은 커집니다.

---

7. Evals란? 결과가 제대로 나왔는지 검사하는 과정

AI가 답변을 만들었다고 해서 작업이 끝난 것은 아닙니다.

답변이 정확한지, 질문과 관련이 있는지, 위험한 내용은 없는지 확인해야 합니다.

Evals는 Evaluation의 줄임말입니다. AI 모델이나 AI 애플리케이션의 결과를 일정한 기준으로 평가하는 과정입니다.

RAG 시스템에서는 답변의 정확성, 관련성, 완전성, 제공된 문서와의 일치 여부 등을 평가할 수 있습니다. AI 서비스 전체에서는 안전성, 비용, 처리 속도, 작업 성공률도 확인할 수 있습니다. (Microsoft Learn)

품질검사 없이 생길 수 있는 문제

• 질문과 무관한 답변 생성
• 제공된 문서에 없는 내용 추가
• 오래된 정보 사용
• 도구 실행 실패
• 같은 요청에 결과가 지나치게 달라짐
• 처리 비용과 시간이 계속 증가함

좋은 AI 서비스는 한두 번 정상적으로 작동하는 것으로 판단하지 않습니다.

다양한 질문과 실패 상황을 미리 만들어 반복해서 검사해야 합니다.

---

실제 AI 서비스는 어떻게 함께 작동할까?

워드프레스 운영 AI에 다음과 같이 요청했다고 가정해 보겠습니다.

지난달 방문자가 많이 본 글을 찾아서 제목과 도입부 개선안을 만들어주세요.

각 구성 요소는 다음과 같이 움직일 수 있습니다.

AI Agent가 요청을 여러 단계로 나눕니다.

MCP를 통해 워드프레스와 통계 도구에 연결합니다.

RAG가 게시물 내용과 운영 자료를 가져옵니다.

Vector DB에서 의미가 비슷한 과거 글과 관련 자료를 찾습니다.

LLM이 제목과 도입부 개선안을 작성합니다.

Guardrails가 게시물을 바로 수정하지 못하게 막고 사용자 승인을 요청합니다.

Evals가 제목과 본문의 관련성, 사실성, 길이 등을 검사합니다.

이 예시는 특정 제품의 고정된 작동 방식이 아니라, 각 구성 요소가 결합되는 방식을 설명하기 위한 구조입니다.

---

초보자가 기억해야 할 네 가지 차이

LLM과 AI Agent는 다릅니다

LLM은 언어를 처리하고 결과를 생성합니다.

AI Agent는 LLM을 이용해 작업 순서를 정하고 도구를 실행합니다.

RAG와 Vector DB는 다릅니다

RAG는 관련 정보를 찾아 답변에 활용하는 방식입니다.

Vector DB는 의미 기반 검색을 지원하는 저장소입니다.

AI Agent와 MCP는 다릅니다

AI Agent는 어떤 작업을 할지 결정합니다.

MCP는 Agent가 외부 도구와 연결되는 규격입니다.

Guardrails와 Evals는 다릅니다

Guardrails는 위험한 입력이나 행동을 제한합니다.

Evals는 결과가 기준에 맞는지 평가합니다.

---

자주 묻는 질문

AI와 LLM은 같은 것인가요?

같은 개념이 아닙니다. AI는 더 넓은 개념이며, LLM은 텍스트와 언어를 처리하는 AI 모델의 한 종류입니다.

챗봇을 만들 때 RAG가 반드시 필요한가요?

반드시 필요한 것은 아닙니다. 일반적인 대화나 글쓰기만 처리한다면 LLM만 사용할 수도 있습니다. 사내 문서나 최신 자료를 근거로 답변해야 한다면 RAG가 유용합니다.

Vector DB가 없으면 RAG를 만들 수 없나요?

만들 수 있습니다. 키워드 검색, 관계형 데이터베이스, 검색엔진 등을 사용할 수도 있습니다. 의미 기반 검색이 중요할 때 Vector DB가 자주 활용됩니다.

MCP를 사용하면 모든 프로그램과 바로 연결되나요?

아닙니다. 연결하려는 프로그램이나 기능을 제공하는 MCP 서버가 필요합니다. 사용 권한과 인증 방식도 별도로 설정해야 합니다.

AI Agent가 사람의 승인 없이 작업해도 되나요?

작업의 위험도에 따라 달라집니다. 글 초안 작성처럼 되돌리기 쉬운 작업은 자동화할 수 있습니다. 게시물 삭제, 결제, 계정 변경처럼 영향이 큰 작업에는 사용자 승인 절차를 두는 편이 안전합니다.

---

AI 서비스를 선택할 때 모델의 성능만 비교해서는 부족합니다.

LLM이 어떤 정보를 참고하는지 확인해야 합니다. 외부 도구와 어떤 방식으로 연결되는지도 봐야 합니다. AI가 할 수 있는 행동의 범위와 결과를 검사하는 방법도 필요합니다.

단순한 AI는 LLM 하나로 작동할 수 있습니다.

하지만 실제 업무에서 믿고 사용할 수 있는 AI 시스템을 만들려면 RAG, Vector DB, AI Agent, MCP, Guardrails, Evals가 목적에 맞게 조합되어야 합니다.

좋은 AI는 가장 비싼 모델 하나에서 나오지 않습니다.

필요한 정보를 정확히 찾고, 올바른 도구를 안전하게 사용하며, 결과를 계속 검사할 수 있어야 합니다.

---

발행 전 추가하면 좋은 내부 링크

본문의 해당 문장에서 관련 글로 연결하는 방식이 좋습니다.

• LLM이란 → 생성형 AI와 LLM 차이 설명 글
• RAG란 → 워드프레스 문서 기반 AI 챗봇 만들기
• AI Agent란 → AI 에이전트와 자동화의 차이
• MCP란 → 워드프레스 MCP 연결 방법
• Guardrails → AI Agent 권한과 승인 구조

실제 운영 경험이나 워드프레스 AI 적용 사례를 1개 추가하면 일반적인 개념 설명 글과 차별화하는 데 도움이 됩니다. Google도 AI 검색 노출을 위해 대량으로 재작성한 평범한 정보보다, 직접 경험과 고유한 가치를 제공하는 콘텐츠를 권장합니다. (Google for Developers)