# --------------------------------------------------
# 1. 네이버 & 구글 검색 로봇 (일반 검색 노출 허용)
# --------------------------------------------------
User-agent: Yeti
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /master/

User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /master/

# --------------------------------------------------
# 2. 관리자 페이지 및 민감한 디렉토리 차단 (공통 적용)
# --------------------------------------------------
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /api/
Disallow: /config/
Disallow: /master/

# --------------------------------------------------
# 3. 주요 AI 학습용 크롤러 차단
# --------------------------------------------------
# OpenAI (ChatGPT 학습용)
User-agent: GPTBot
Disallow: /

# Anthropic (Claude 학습용)
User-agent: ClaudeBot
Disallow: /

# Google AI (Gemini 학습용 - 구글 검색 로봇인 Googlebot과 별개로 작동)
User-agent: Google-Extended
Disallow: /

# Common Crawl (대규모 AI 데이터셋 수집용)
User-agent: CCBot
Disallow: /

# Perplexity AI (답변 생성용 검색 로봇)
User-agent: PerplexityBot
Disallow: /

# Meta AI (페이스북/인스타그램 AI 학습용)
User-agent: FacebookBot
Disallow: /