AI Crawler

AI 크롤러

핵심 정의

생성형 AI 모델 학습 데이터 구축 및 실시간 웹 검색 답변 생성을 위해 웹을 수집하는 전용 로봇

실무 적용 및 상세 가이드

차단 시 AI 검색 결과 답변에서 브랜드가 완전히 배제되므로 신중한 접근 필요 GPTBot ClaudeBot PerplexityBot 등의 User-Agent 접근을 robots.txt에서 전략적 허용