LLM Wiki: 나만의 AI 지식 저장소 구축법
여러분은 AI에게 같은 질문을 반복해서 던진 경험이 있으신가요? 질문하고, 답을 받고, 창을 닫고… 다음 날 비슷한 주제가 나오면 또 처음부터 묻는 거죠. 이 과정에서 지식은 전혀 축적되지 않아요. 대화는 끝나면 흩어지고, 연결은 형성되지 않죠. 2026년 4월, 안드레이 카파시(OpenAI 공동 창업자, 전 테슬라 AI 디렉터)가 GitHub 에 'LLM Wiki'라는 제목의 문서를 공개하면서 AI 커뮤니티에 엄청난 반향을 일으켰어요. 해당 게시물은 X에서 1,600만 회 이상 조회되었고, GitHub Gist는 며칠 만에 5,000개 이상의 스타를 기록했어요. 오늘 이 글에서는 LLM Wiki의 개념부터 실전 구축법까지 한 번에 정리해 드릴게요.
LLM Wiki란? 카파시가 제안한 AI 지식 저장소 개념 정리
LLM Wiki는 LLM을 활용해 개인 지식 베이스를 구축하는 패턴이에요. 특정 앱이나 제품이 아니라 '패턴'이라는 점이 핵심이에요 — LLM 에이전트가 원시 소스에서 구조화된 마크다운 지식 베이스를 구축하고 유지 관리하는 방식이죠.
카파시는 이렇게 설명했어요. 최근 LLM을 활용해 다양한 연구 관심 분야의 개인 지식 베이스를 구축하는 것이 매우 유용하며, 자신의 토큰 사용량이 코드 작성보다 지식 관리(마크다운과 이미지)에 더 많이 쓰이고 있다고 말이에요.
안드레이 카파시(Andrej Karpathy)는 왜 LLM Wiki를 제안했는가
지식 베이스 구축에는 세 단계가 있어요: 수집(쉬움), 정리(어려움), 유지관리(대규모에서는 불가능). 정리하고, 교차 참조하고, 요약하고, 업데이트하는 지루한 작업에서 시스템이 무너지죠. 사람들은 유지 관리 부담이 가치보다 빠르게 커지기 때문에 위키를 포기해요.
카파시의 통찰은 단순해요: LLM이 바로 이런 종류의 북키핑(bookkeeping)에 탁월하다는 것이에요. 문서를 읽고, 핵심 개념을 식별하고, 구조화된 요약을 생성하고, 교차 참조를 업데이트하고, 모순을 표시하는 일을 지치지 않고, 일관되게, 거의 제로에 가까운 비용으로 수행할 수 있거든요.
기존 위키와 LLM Wiki의 핵심 차이점
| 구분 | 기존 위키 / RAG | LLM Wiki |
|---|---|---|
| 지식 축적 | 매 쿼리가 독립적이고, 상태가 없어요. 지식이 복리처럼 쌓이지 않아요. | 상태가 유지돼요. 이전 지식 위에 새로운 지식이 쌓여요. |
| 관리 주체 | 사람이 수동으로 편집 | LLM이 요약, 교차 링크, 인덱스, 모순을 자동 업데이트해요. |
| 응답 방식 | 매번 원문에서 재검색 | 이미 정리된 위키에서 즉시 합성 |
Karpathy LLM Wiki 핵심 아이디어 심층 분석
LLM에게 지식을 '가르치는' 새로운 패러다임
LLM을 지식 검색기가 아닌 지식 큐레이터로 활용하는 것이 핵심 차이예요. 대부분의 사람들이 LLM을 똑똑한 검색 엔진으로 쓰지만, 카파시의 통찰은 LLM을 '도서관을 소유한 사서'로 활용할 수 있다는 것이에요.
카파시는 이를 다음과 같이 비유했어요: "옵시디언이 IDE, LLM이 프로그래머, 위키가 코드베이스"라고요. 여러분은 소스를 큐레이션하고 좋은 질문을 던지는 역할에 집중하면 돼요.
프롬프트 기반 지식 주입 vs 위키 기반 지식 관리
기존 RAG 방식의 한계를 살펴볼게요.
대부분의 LLM 문서 활용은 RAG 방식이에요 — 파일을 업로드하면 쿼리 시 관련 청크를 검색해 답변을 생성하죠. 이건 동작하지만, LLM은 매 질문마다 처음부터 지식을 재발견해요. 축적이 없고, 5개 문서를 합성해야 하는 미묘한 질문에도 매번 관련 조각을 찾아 조합해야 해요.
반면 LLM Wiki는 다르게 작동해요. 원시 문서를 반복 검색하는 대신, LLM이 먼저 구조화된 지식 베이스를 구축하고 그걸 활용하는 거예요. 자신만의 개인 위키백과가 LLM에 의해 자동 관리된다고 생각하면 돼요.
Karpathy LLM Wiki가 주목받는 3가지 이유
- 복리 효과: 새로운 소스 하나가 여러 페이지를 업데이트하고, 교차 참조를 강화하고, 모순을 기록해요. 이것이 위키를 시간이 지날수록 풍부하게 만들어요.
- 유지 비용 제로: LLM은 지루해하지 않고, 교차 참조 업데이트를 잊지 않으며, 한 번에 15개 파일을 처리할 수 있어요. 유지 비용이 거의 제로에 가까워요.
- 데이터 주권: 지식이 본인이 통제하는 파일에 존재해요. 로컬 마크다운 위키와 Claude Code를 사용하면, 제3자 지식 베이스에 데이터를 업로드할 필요도 없고, 특정 회사의 AI에 종속되지도 않아요.
LLM Wiki GitHub 저장소 구조와 코드 살펴보기
LLM Wiki GitHub 리포지토리 접근 및 클론 방법
카파시의 원본 LLM Wiki는 GitHub Gist로 공개되어 있어요. 이건 '아이디어 파일'로, LLM 에이전트(OpenAI Codex, Claude Code, OpenCode 등)에 복사·붙여넣기 하도록 설계되었어요. 고수준 아이디어를 전달하고, 에이전트가 여러분과 협업하여 구체적 구현을 만들어가는 방식이죠.
실제 구현 프로젝트도 등장했는데요, 예를 들어 git clone https://github.com/SamurAIGPT/llm-wiki-agent.git으로 클론한 뒤, Claude, Codex, OpenCode, Gemini 등의 에이전트에서 바로 사용할 수 있어요. API 키 없이도 동작해요.
프로젝트 디렉토리 구조 분석
LLM Wiki 프레임워크는 3개 레이어 아키텍처로 구성돼요: Raw Sources(변경 불가 — PDF, 기사, 트랜스크립트 등으로 LLM은 읽기만 함), Wiki(LLM이 유지관리하는 마크다운 파일 디렉토리 — 요약, 개념 페이지, 타임라인), Schema(설정 파일로 CLAUDE.md 등이 에이전트에게 위키 구조와 인제스트 방식을 알려줌).
실제 디렉토리 구조는 이렇게 생겼어요:
your-project/
├── raw/ ← 변경 불가 원본 소스
│ └── topic/
├── wiki/ ← LLM이 관리하는 위키 페이지
│ ├── sources/
│ ├── entities/
│ ├── concepts/
│ ├── index.md
│ └── log.md
└── CLAUDE.md ← 에이전트 설정 파일
핵심 코드 동작 원리 이해하기
3개 레이어(raw/, wiki/, CLAUDE.md) 위에서 3가지 핵심 작업이 수행돼요 — 인제스트(새 소스 처리), 쿼리(질문에 답변), 린트(건강 상태 점검).
소스 문서를 raw/에 넣고 /wiki-ingest를 입력하면, 에이전트가 읽고 지식을 추출해서 영속적인 인터링크 위키를 구축해요. 새로운 소스가 추가될수록 위키는 풍부해지고, 여러분은 직접 작성할 필요가 없어요.
LLM Wiki MD 파일 작성법: 마크다운으로 지식 구조화하기
LLM Wiki MD 포맷의 기본 규칙과 문법
플레인 마크다운은 최소한의 문법을 가진 텍스트 파일이에요. 독점적 인코딩이나 잠긴 데이터베이스가 없고, 내보내기 마찰이 없어요. 마크다운을 선택함으로써 지식 베이스가 특정 벤더에 종속되지 않아요. 미래에도 안전하고, 옵시디언이 사라져도 어떤 텍스트 편집기로든 읽을 수 있죠.
효과적인 지식 문서 작성 템플릿
각 노트에 요약(Summary) 한 줄, 태그, 생성일, 수정일을 포함하는 프론트매터를 추가하면 돼요. 핵심은 모든 노트에 요약 줄과 태그가 있어야 한다는 거예요. 이를 통해 Claude가 전체 파일을 읽지 않고도 관련성에 대한 빠른 신호를 얻을 수 있어요.
LLM이 잘 이해하는 마크다운 작성 팁 5가지
- 명확한 제목 계층: H1 → H2 → H3으로 일관되게 구조화하세요
- 한 줄 요약 필수: 모든 페이지 상단에 핵심 내용을 한 문장으로 기술하세요
- 위키링크 활용:
[[개념명]]형태로 페이지 간 연결을 만드세요 - YAML 프론트매터: 태그, 날짜, 소스 수 등 메타데이터를 추가하세요
- 짧은 문단: LLM이 처리하기 쉽도록 3~4줄 단위로 끊어 작성하세요
LLM Wiki 실전 구축 가이드: 5단계로 나만의 지식 저장소 만들기
1단계: 환경 설정 및 필수 도구 준비
공식 사이트에서 옵시디언을 다운로드하고, ~/wiki 같은 폴더에 새 볼트(vault)를 만드세요. 옵시디언의 볼트는 그냥 폴더예요. 안에 있는 모든 것이 플레인 마크다운이에요.
2단계: 지식 도메인 정의와 문서 설계
4~5개의 최상위 폴더로 시작하세요: _templates/, projects/, research/, reference/, meetings/, 그리고 아직 정리되지 않은 노트를 위한 inbox/ 폴더까지요.
3단계: MD 파일 작성 및 지식 입력
원본 소스(기사, 논문, 회의록 등)를 raw/ 폴더에 넣으세요. 웹 기사는 Obsidian Web Clipper 브라우저 확장 프로그램을 사용하면 마크다운으로 즉시 변환할 수 있어요.
4단계: LLM 연동 및 검색 기능 구현
Claude Code는 로컬 파일 시스템에서 직접 파일을 읽을 수 있어요. 채팅 창에 내용을 붙여넣을 필요 없이, 노트 위치를 알려주고 질문하면 돼요.
위키 규모가 작을 때는 RAG 없이도 잘 작동해요 — LLM이 인덱스를 먼저 읽고 관련 문서 3~5개를 선택해 읽는 방식이에요. 전체 위키를 로드할 필요가 없죠.
5단계: 테스트와 지속적 업데이트 전략
정기적으로 린트(Lint) 작업을 실행하세요. 린트 리포트는 고아 페이지, 깨진 링크, 누락된 엔티티 페이지, 데이터 공백 및 이를 채울 소스 제안까지 포함해요.
LLM Wiki Skills: 활용도를 극대화하는 고급 스킬
RAG(Retrieval-Augmented Generation)와 LLM Wiki 연동
카파시에 따르면 약 100개 기사, 40만 단어 규모에서는 LLM이 요약과 인덱스 파일을 통해 탐색하는 것만으로 충분해요. 부서 위키나 개인 연구 프로젝트에서는 RAG 인프라가 오히려 더 많은 지연과 검색 노이즈를 초래하는 경우가 많아요.
규모가 커지면 Shopify CEO 토비 뤼트케가 만든 QMD(마크다운 파일용 로컬 검색 엔진)를 추가할 수 있어요. 이건 BM25/벡터 하이브리드 검색과 LLM 리랭킹을 지원하며, 카파시가 LLM Wiki의 검색 레이어로 추천하는 도구예요. CLI와 MCP 서버 모두 지원해요.
멀티 에이전트 환경에서 LLM Wiki 활용하기
LLM이 위키를 컨텍스트 윈도우로 읽는 것을 넘어, 사용자가 위키 자체를 기반으로 소규모 효율적 모델을 파인튜닝할 수도 있어요. 이를 통해 LLM이 개인 지식 베이스를 가중치 자체에 '아는' 상태가 되어, 개인 연구 프로젝트가 커스텀 사설 인텔리전스로 변환되죠.
팀 협업을 위한 공유 지식 저장소 운영법
Slack 스레드, 고객 통화, PR을 위키에 피드하면, 신규 팀원이 아무도 수동으로 작성하지 않은 최신 내부 위키를 즉시 탐색할 수 있어요.
LLM Wiki 활용 사례와 실무 적용 시나리오
개발자를 위한 코드 문서화 자동화
한 개발자는 카파시의 LLM Wiki 패턴을 발견한 후, Claude Code와의 대화만으로 한 시간 만에 2개의 구조화된 위키를 구축했어요 — 하나는 Medium 글쓰기용, 다른 하나는 SQL, Python, Power BI를 활용한 BI 리포팅용으로요.
비개발자를 위한 업무 지식 관리 시스템
개인 영역에서는 목표, 건강, 심리, 자기 개선 추적에 활용할 수 있어요 — 저널 항목, 기사, 팟캐스트 노트를 모아 시간에 걸쳐 구조화된 자기 기록을 구축하는 거예요.
기업 내부 지식 베이스로의 확장 가능성
기업 차원에서는 '원시 데이터 레이크'에서 '컴파일된 지식 자산'으로의 전환을 의미해요. 실제로 한 사용자는 26개 스킬, 14개 MCP 서버, 8개 훅, 그리고 수백 개 파일로 구성된 옵시디언 볼트를 LLM이 유지관리하는 시스템을 프로덕션에서 운영하고 있어요.
자주 묻는 질문 (FAQ)
Q1. LLM Wiki는 무료로 사용할 수 있나요?
LLM Wiki 자체는 제품이 아니라 '패턴'이에요. 카파시의 Gist는 무료로 공개되어 있고, 옵시디언은 개인 사용 시 무료예요. 다만 Claude Code나 OpenAI Codex 같은 LLM 에이전트 사용 시에는 해당 서비스의 요금이 발생할 수 있어요.
Q2. LLM Wiki와 노션, 옵시디언의 차이점은 무엇인가요?
기존 노트 앱은 사람이 수동으로 브라우징하고 검색하는 데 최적화되어 있어요. 반면 LLM Wiki는 모델이 여러분을 대신해 읽는 데 최적화되어 있고, 이 전환이 정보 구조화 방식 전체를 바꿔요. 옵시디언은 LLM Wiki의 뷰어로 함께 사용되지만, 핵심은 LLM이 위키를 자동 관리한다는 점이에요.
Q3. 프로그래밍을 모르는 초보자도 LLM Wiki를 구축할 수 있나요?
충분히 가능해요! 이 문서를 LLM 에이전트와 공유하고 함께 작업하면서 자신의 필요에 맞는 버전을 만들면 돼요. 이 문서의 역할은 패턴을 전달하는 것이고, 나머지는 LLM이 알아서 해결할 수 있어요.
Q4. LLM Wiki에 저장한 데이터의 보안은 어떻게 관리하나요?
지식이 본인이 통제하는 로컬 파일에 존재하기 때문에, 제3자 지식 베이스에 데이터를 업로드할 필요가 없고, 특정 회사의 AI에 종속되지 않아요. 다만 LLM 에이전트 사용 시 API를 통해 데이터가 전송될 수 있으므로, 민감한 데이터는 로컬 LLM 활용을 권장해요.
Q5. 어떤 LLM 모델과 가장 잘 호환되나요?
이 패턴은 OpenAI Codex, Claude Code, OpenCode/Pi 등 다양한 LLM 에이전트와 호환돼요. 실제로 Claude, Codex, OpenCode, Gemini 등 주요 에이전트 모두에서 동작하며, API 키 없이도 시작할 수 있어요.
LLM Wiki는 AI를 '똑똑한 검색창'이 아니라 '나만의 전담 사서'로 바꾸는 패러다임 전환이에요. 카파시는 단순히 스크립트를 공유한 게 아니라 철학을 공유한 거예요. LLM을 자체 메모리를 유지관리하는 능동적 에이전트로 대함으로써, '일회성' AI 상호작용의 한계를 넘어선 거죠. 지금 바로 카파시의 GitHub Gist를 열어, 여러분만의 LLM Wiki를 시작해 보세요!