웹사이트 기술 점검표: robots.txt에서 허용할 AI 크롤러, 구조화된 데이터와 llms.txt를 다루는 법

    작성: TriloAI 편집팀게시:

    ChatGPT, Perplexity, Claude, Google AI 개요가 웹사이트를 읽게 하려면 기술적으로 세 관문을 넘어야 합니다. robots.txt가 검색용 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot)를 막지 않아야 하고, CDN이나 방화벽이 뒤에서 이들을 차단하지 않아야 하며, 사이트의 기본 정보를 구조화된 데이터로 분명히 적어 두어야 합니다. 학습용인 GPTBot과 ClaudeBot을 막을지는 별개의 선택이고, 각 회사 모두 검색과 따로 관리합니다. Google-Extended는 조금 다릅니다. Gemini 학습뿐 아니라 Gemini 앱이 답할 때 콘텐츠를 참고 자료로 쓸 수 있는지도 관리합니다. llms.txt는 만들어도 되지만 지금은 보조 수단일 뿐입니다.

    기술적인 설명마다 공식 원문 링크를 붙였고, 2026년 10월 16일에 하나씩 열어 확인했습니다. 플랫폼 규칙은 바뀔 수 있으니 작업 전에 한 번 더 열어 보세요.

    AI 크롤러는 세 종류이며, 하나만 잘못 막아도 AI 검색에서 사라질 수 있습니다

    AI 회사들은 크롤러를 나눠 씁니다. 검색 기능의 색인을 만드는 크롤러, 모델 학습용 콘텐츠를 모으는 크롤러, 사용자가 질문할 때만 웹페이지를 여는 에이전트가 있습니다. OpenAI가 가장 분명하게 적고 있습니다. OAI-SearchBot과 GPTBot 설정은 서로 독립적이어서, OAI-SearchBot을 허용해 검색 결과에 나오면서 GPTBot을 막아 콘텐츠를 학습에 쓰지 말라고 표시할 수 있습니다(OpenAI 크롤러 안내). 아래 표는 각 회사의 공식 문서를 정리한 것입니다.

    robots.txt에 쓰는 이름누구의 무엇막으면 어떻게 되나(공식 설명)
    OAI-SearchBotOpenAI, 검색용: ChatGPT 검색 기능에 웹사이트가 나오게 함ChatGPT 검색 답변에 나오지 않고, 탐색용 링크(navigational links)로만 나올 수 있음
    GPTBotOpenAI, 학습용: 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집콘텐츠를 학습에 쓰지 말라는 표시가 됨. OAI-SearchBot에는 영향 없음
    ChatGPT-UserOpenAI, 사용자 요청: 사용자가 ChatGPT에 질문할 때 웹페이지를 대신 열 수 있음사용자가 시작한 동작이라 OpenAI는 robots.txt 규칙이 적용되지 않을 수 있다고 설명. 검색 노출 여부를 정하는 데도 쓰이지 않음
    Claude-SearchBotAnthropic, 검색용: 사용자를 위한 검색 결과 품질을 높이려고 웹을 탐색검색 최적화를 위해 콘텐츠를 인덱싱하지 못해 사용자 검색 결과에서 사이트의 가시성이 줄어들 수 있음(Anthropic 안내)
    ClaudeBotAnthropic, 학습용: 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집사이트의 향후 자료를 AI 모델 학습 데이터에서 제외해야 한다는 표시가 됨
    Claude-UserAnthropic, 사용자 요청: 사용자가 Claude에 질문할 때 웹사이트에 접근사용자 질문에 응답해 콘텐츠를 가져오지 못하므로 사용자 주도 웹 검색에서 가시성이 줄어들 수 있음
    PerplexityBotPerplexity, 검색용: Perplexity 검색 결과에 웹사이트를 보여 주고 링크함. 공식 설명으로는 AI 기반 모델용 콘텐츠 수집에 쓰지 않음공식적으로 허용을 권장하며, 허용해야 검색 결과에 나옴(Perplexity 크롤러 안내)
    Perplexity-UserPerplexity, 사용자 요청: 사용자가 질문할 때 웹페이지를 열고 답변에 링크를 붙일 수 있음사용자가 요청한 것이라 일반적으로 robots.txt를 무시한다고 공식 설명
    GooglebotGoogle, 검색용: Google 검색과 모든 검색 기능Google은 AI가 검색에 내장되어 있어 Googlebot의 robots.txt 지침이 검색(AI 개요, AI 모드 포함)의 크롤링을 관리한다고 설명. 막으면 전부 크롤링되지 않음
    Google-ExtendedGoogle, 별도 크롤러가 아니라 robots.txt의 제어용 토큰: Google이 크롤링한 콘텐츠를 차세대 Gemini 모델 학습에 쓸지, Gemini 앱과 Vertex AI가 답할 때 참고 자료(그라운딩)로 쓸지를 관리Google 검색 포함 여부에 영향을 주지 않고 Google 검색 순위 신호도 아님(Google 크롤러 목록). 다만 Gemini 앱이 답할 때 콘텐츠를 참고하지 않을 수 있음
    BingbotMicrosoft, Bing의 표준 크롤러Bing 가이드라인은 Bing 검색, Copilot, 그라운딩 API 결과를 다루며 ‘robots.txt에서 Bingbot 차단’을 피해야 할 일로 듦(Bing 가이드라인)

    표에서 가장 오해하기 쉬운 것이 Google-Extended입니다. 많은 글이 ‘학습용’으로만 분류하는데 절반만 맞습니다. Google 원문에는 Gemini 앱과 Vertex AI의 그라운딩, 즉 답하는 순간 Google 검색 색인의 콘텐츠를 모델에 참고로 제공하는 일도 들어 있습니다. AI 개요와 AI 모드는 검색에 속하고, Google은 〈AI 기능 및 웹사이트〉에서 이를 관리하는 방법이 Googlebot의 robots.txt 지침이라고 밝힙니다. 그래서 Google-Extended를 막아도 Google 검색이나 AI 개요에서 사라지지는 않지만, Gemini가 답할 때 콘텐츠를 참고하지 않을 수는 있습니다.

    사용자 요청형 에이전트는 따로 봐야 합니다. ChatGPT-User와 Perplexity-User는 사용자가 직접 AI에게 웹페이지를 열게 한 것이라, 공식 문서도 robots.txt가 적용되지 않을 수 있다거나 일반적으로 무시한다고 적고 있습니다. Claude-User는 다릅니다. Anthropic은 사이트 소유자가 robots.txt로 Claude-User의 접근을 제어할 수 있다고 설명합니다.

    한국 사이트라면 네이버 검색로봇도 확인하세요. 네이버 서치어드바이저는 robots.txt 예시에서 네이버 검색 서비스용 검색로봇을 User-agent: Yeti로 적고, 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수한다고 안내합니다(네이버 robots.txt 설정하기). Yeti는 AI 전용 크롤러가 아니라 네이버 검색용 로봇이므로, 네이버 검색에 나오고 싶다면 막지 않아야 합니다.

    검색은 허용하고 학습은 거부하는 robots.txt는 이렇게 씁니다

    robots.txt는 웹사이트 루트 디렉터리, 즉 https://내도메인/robots.txt에 두고, 하위 도메인마다 따로 하나씩 있어야 합니다. 아래 예시의 뜻은 이렇습니다. GPTBot과 ClaudeBot은 콘텐츠를 학습에 쓸 수 없습니다. Google-Extended 줄은 Gemini 학습을 거부할 뿐 아니라 Gemini 앱이 답할 때 콘텐츠를 참고하지 않게 할 수도 있습니다. 나머지 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, 네이버의 Yeti 포함)는 ‘User-agent: *’ 그룹에 따라 모두 허용됩니다. example.com을 내 도메인으로 바꾸고 한 줄씩 복사하세요.

    robots.txt
    User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

    앞의 세 줄은 이어서 하나의 규칙 그룹이 됩니다. Google robots.txt 사양은 user-agent 행을 반복해 여러 크롤러에 적용되는 규칙을 하나로 묶을 수 있다고 설명합니다(Google robots.txt 사양). 아무것도 막고 싶지 않다면 앞의 네 줄을 지우면 됩니다. Gemini가 답할 때 사이트를 참고하길 원한다면 Google-Extended 줄만 지우세요. 원래 ‘User-agent: *’ 아래에 있던 규칙, 예를 들어 관리자 경로를 막는 Disallow는 그대로 둡니다.

    가장 흔한 실수는 안전하게 하려고 User-agent: Googlebot과 Allow로 이뤄진 그룹을 따로 하나 더 쓰는 것입니다. 같은 사양에 따르면 크롤러 하나에는 그룹 하나만 유효하고, 크롤러는 자기 이름과 가장 구체적으로 일치하는 그룹만 따르며 나머지는 무시합니다. 특정 이름 그룹과 ‘*’ 그룹은 결합되지 않습니다. 그 결과 ‘*’ 아래에서 막아 둔 관리자 경로가 Googlebot에게는 오히려 전부 열립니다. 아예 쓰지 않거나, 쓴다면 ‘*’ 아래 규칙도 함께 옮겨 적으세요.

    수정한 뒤 각 회사가 새 버전을 읽기까지 시간이 조금 걸립니다. OpenAI는 robots.txt 변경이 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있다고 하고, Perplexity는 최대 24시간이 걸릴 수 있다고 밝힙니다.

    CDN과 방화벽이 robots.txt보다 먼저 AI 크롤러를 막을 수 있습니다

    robots.txt만 제대로 써서는 부족합니다. Google은 〈AI 기능 및 웹사이트〉의 기본 권장사항 첫 줄에 robots.txt, CDN 또는 호스팅 인프라에서 크롤링이 허용되는지 확인하라고 적었습니다. OpenAI도 ChatGPT 검색 도움말에서 웹사이트 호스트나 콘텐츠 전송 네트워크가 OpenAI가 공개한 검색 봇 IP 주소의 트래픽을 허용하는지 확인하라고 안내합니다(OpenAI 도움말). Perplexity는 Cloudflare WAF와 AWS WAF에서 허용하는 설정 단계를 직접 제공합니다.

    Cloudflare를 쓰는 사이트는 꼭 살펴보세요. 아래 메뉴와 설정 이름은 Cloudflare 문서의 영문 표기를 그대로 적었습니다. Cloudflare는 AI 트래픽을 세 가지로 나눠 따로 설정합니다. Search는 콘텐츠를 수집하거나 색인해 나중에 질문에 답하는 크롤러, Agent는 챗봇이 웹페이지를 가져오는 것처럼 사람을 대신해 실시간으로 움직이는 자동 활동, Training은 콘텐츠를 모델 학습이나 미세 조정에 쓰는 크롤러입니다(Cloudflare 문서). 2026년 9월 15일부터 두 가지가 바뀌었습니다(Cloudflare 공식 블로그). 첫째, Training에서 Block이나 Block on pages with ads(광고가 있는 페이지에서만 차단)를 고르면 이제 검색과 학습을 겸하는 혼합 용도 크롤러에도 적용됩니다. Cloudflare는 Applebot, Bingbot, Googlebot을 예로 들었으니 검색까지 함께 막힌다는 뜻입니다. 학습만 막고 검색은 지키려면 Disallow AI Training을 골라야 합니다. 둘째, 새 도메인을 추가하면 광고로 수익을 내는지에 따라 두 가지 권장 설정을 제시하며, 광고가 있는 쪽 설정을 고르면 Agent 유형이 광고가 있는 페이지에서 차단됩니다.

    놓치기 쉬운 부분이 하나 더 있습니다. Cloudflare의 Bot Preference Sync는 설정에 따라 원래 robots.txt 앞에 관리용 규칙을 자동으로 덧붙여 합친 뒤 크롤러에게 보냅니다(Cloudflare 안내). 서버에 있는 파일이 크롤러가 받는 내용과 같다고 단정할 수 없으니, 점검할 때는 언제나 브라우저로 https://내도메인/robots.txt를 직접 여세요.

    1. Cloudflare를 쓴다면 Security Settings에서 Configure AI bot policies를 열고 Search, Agent, Training이 각각 어떻게 설정되어 있는지 봅니다. Search는 Block으로 두지 않습니다.
    2. Training을 막고 싶다면 Block이 아니라 Disallow AI Training을 고릅니다. Block을 고르면 Googlebot과 Bingbot까지 함께 막힙니다. 다만 Cloudflare에 따르면 Bing은 아직 robots.txt의 '학습 금지' 설정을 읽지 않으므로, Bing이 지원하기 전까지는 이 선택이 Bing에 전달되지 않습니다.
    3. AI Crawl Control의 크롤러 목록을 열어 OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색용 크롤러의 동작(Action)이 Allow인지 확인합니다.
    4. 브라우저로 https://내도메인/robots.txt를 열어 Cloudflare가 덧붙인 부분(BEGIN Cloudflare Managed content라는 문구가 있음)이 동의한 내용인지 확인합니다.
    5. Cloudflare를 쓰지 않는다면 호스팅 업체나 개발자에게 서버 로그를 확인해 달라고 해서, OAI-SearchBot, PerplexityBot, Claude-SearchBot 같은 이름의 요청에 403 같은 거부 응답이 나가고 있지 않은지 봅니다.

    구조화된 데이터는 기계가 사이트의 주인을 알아보게 돕는 것이지 인용을 보장하지 않습니다

    구조화된 데이터는 웹페이지 소스 코드에 넣는, 기계가 읽는 표준 형식의 데이터로 보통 JSON-LD로 씁니다. AI 검색과 가장 관련 있는 것은 두 가지입니다. 홈페이지에 넣는 Organization(조직)은 Google이 조직의 관리 세부정보를 파악하고 검색 결과에서 다른 조직과 구분하는 데 도움이 된다고 설명합니다(Google 조직 마크업 안내). LocalBusiness(지역 비즈니스)는 영업시간, 비즈니스 안의 여러 부서 같은 정보를 Google에 알리는 데 쓰며, 필수 속성은 이름과 주소뿐입니다(Google 지역 비즈니스 마크업 안내).

    한계도 분명히 알아 둬야 합니다. Google은 생성형 AI 검색 공식 가이드에서 생성형 AI 검색에는 구조화된 데이터가 필요하지 않고 추가해야 하는 특별한 schema.org 마크업도 없으며, 그 가치는 리치 결과에 표시될 자격을 갖추는 데 있다고 적고 있습니다(Google 생성형 AI 기능 최적화 가이드). 구조화된 데이터 일반 가이드라인도 마크업이 올바르더라도 표시를 보장하지 않는다고 밝힙니다(가이드라인 원문). 다른 AI 플랫폼이 구조화된 데이터를 어떻게 쓰는지는 어느 곳도 공식적으로 설명하지 않았습니다. 그러니 기계가 가게나 회사를 알아보게 하는 명찰로 생각하고 이름, 주소, 전화번호를 일관되게 적으세요. AI가 더 많이 추천하게 만드는 스위치가 아닙니다.

    1. 가장 정확한 유형을 고릅니다. Google은 가장 구체적인 하위 유형을 쓰라고 권합니다. 예를 들어 음식점은 LocalBusiness 아래의 Restaurant, 온라인 상점은 OnlineStore입니다.
    2. Organization은 홈페이지나 회사 소개 페이지처럼 조직을 소개하는 단일 페이지에 넣습니다. Google은 모든 페이지에 넣을 필요가 없다고 설명합니다.
    3. name(이름), address(주소), telephone(전화번호), url(웹사이트 주소)을 채우고, 영업시간이 있다면 openingHoursSpecification을 더합니다. Google은 전화번호에 국가 코드와 지역 번호를 넣으라고 요구합니다. 한국은 +82로 시작합니다.
    4. sameAs에는 다른 웹사이트에 있는 공식 페이지를 나열합니다. 예를 들어 소셜 미디어나 리뷰 사이트의 비즈니스 페이지입니다.
    5. 마크업 내용은 페이지에 보이는 내용과 같아야 합니다. Google 가이드라인은 페이지 독자에게 보이지 않는 콘텐츠를 마크업하지 말라고 적고 있습니다.
    6. 리치 결과 테스트로 검증해 심각한 오류를 고친 뒤, Search Console의 URL 검사 도구로 Google이 실제로 읽은 내용을 확인합니다.

    개발자를 위한 최소 예시입니다. 페이지 소스 코드에 넣으세요. 가게 이름, URL, 주소, 전화번호는 예시 값이니 실제 값으로 바꾸고, 내용은 페이지에 적힌 것과 같아야 합니다. addressCountry에는 두 글자 국가 코드를 쓰며 한국은 KR입니다.

    html
    <script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Restaurant",
  "name": "가게 이름",
  "url": "https://www.example.com/",
  "telephone": "+82-2-0000-0000",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "도로명 주소와 건물 번호(예시)",
    "addressLocality": "서울특별시",
    "addressCountry": "KR"
  },
  "sameAs": [
    "https://www.facebook.com/내페이지"
  ]
}
</script>

    llms.txt는 만들어도 되지만 지금은 보조 수단일 뿐입니다

    llms.txt는 Jeremy Howard가 2024년 9월에 낸 제안입니다. 웹사이트 루트 디렉터리에 마크다운 파일을 하나 두고, 짧은 설명과 링크로 AI 에이전트가 사이트의 중요한 정보를 빨리 찾도록 돕자는 것입니다(llmstxt.org). 형식은 간단합니다. 첫 줄은 사이트나 프로젝트 이름을 적은 H1이고, 이것이 유일한 필수 항목입니다. 이어서 요약을 담은 인용 블록을 쓰고, H2로 구역을 나눠 중요한 페이지 링크를 나열합니다. 제안은 robots.txt와 용도가 다르다고도 설명합니다. robots.txt는 자동화 도구에 어디까지 접근해도 되는지 알려 주고, llms.txt는 AI 에이전트가 사용자를 위해 정보를 찾을 때 그때그때 읽는 파일입니다.

    하지만 2026년 10월 16일 현재, OpenAI, Anthropic, Perplexity가 검색 결과나 인용 출처를 고를 때 사이트 소유자의 llms.txt를 읽겠다고 공개적으로 약속한 내용은 찾지 못했습니다. Google은 공식 가이드에 분명히 적었습니다. Google 검색 자체는 LLMS.txt 같은 파일을 사용하지 않으므로 만들어도 Google 검색 가시성에는 득도 실도 없으며, 다른 서비스를 위해 만드는 것은 완전히 괜찮다고 합니다. 그래서 우선순위를 정할 때 llms.txt는 robots.txt, CDN, 구조화된 데이터 다음입니다. 비용이 적으니 하는 김에 만들어도 되지만, AI의 추천을 바꿀 거라고 기대하지는 마세요.

    수정한 뒤에는 공식 도구로 크롤러가 정말 들어오는지 꼭 확인해야 합니다

    위 항목마다 확인할 수 있는 공식 도구가 있습니다. Google Search Console의 생성형 AI 실적 보고서는 2026년 8월 31일부터 전 세계 웹사이트에 제공되며, 어떤 URL이 AI 개요와 AI 모드에 나왔는지 보여 줍니다(Google 발표). Bing Webmaster Tools의 AI Performance는 웹페이지가 Copilot과 Bing의 AI 생성 요약에서 인용된 횟수를 보여 줍니다(Bing 발표).

    같은 2026년 8월 31일 전 세계에 열린 설정이 하나 더 있습니다. Search Console 설정 안의 ‘Google 검색 생성형 AI 제어’입니다. 기본값은 포함이며, 제외로 바뀌어 있으면 사이트가 AI 개요, AI 모드, 디스커버의 생성형 AI 기능에 나오지 않습니다(Search Console 도움말). 다른 사람이 만든 사이트를 넘겨받았다면 여기를 꼭 확인하세요.

    네이버 검색까지 챙겨야 한다면 네이버 서치어드바이저 웹마스터도구의 robots.txt 도구를 쓰세요. 네이버는 이 도구로 수정한 robots.txt의 수집을 요청해 검색로봇에게 빨리 알리고, 설정된 규칙에 따라 웹페이지를 수집할 수 있는지 테스트할 수 있다고 안내합니다(네이버 robots.txt 설정하기).

    항목확인 방법정상 결과
    robots.txt 실제 내용브라우저로 https://내도메인/robots.txt를 엽니다. 서버에 있는 파일만 보지 않습니다검색용 크롤러가 Disallow: /로 막혀 있지 않음. CDN이 자동으로 덧붙인 부분이 동의한 내용임
    Google이 robots.txt를 읽는지Search Console의 robots.txt 보고서파일을 가져왔고 오류나 경고가 없음
    Googlebot이 중요한 페이지를 가져가는지Search Console의 URL 검사 도구로 Google이 실제로 받은 HTML을 확인색인 생성이 가능하고 주요 내용이 보이는 텍스트로 있음
    Google 검색 생성형 AI 제어Search Console의 설정 > Google 검색 생성형 AI사이트를 포함하는 설정(기본값)이 선택되어 있고 제외가 아님
    AI 개요와 AI 모드 노출Search Console의 생성형 AI 실적 보고서어떤 URL이 어느 국가, 기기에서 나왔는지 보임
    Bing과 CopilotBing Webmaster Tools의 AI Performance인용된 URL과 grounding 검색어가 보임
    CDN과 방화벽Cloudflare의 Configure AI bot policies와 AI Crawl Control. Cloudflare를 쓰지 않으면 서버 로그 확인Search 유형은 허용. OAI-SearchBot, PerplexityBot 등의 요청에 403이 나가지 않음
    네이버 검색로봇(한국 사이트)네이버 서치어드바이저 웹마스터도구의 robots.txt 도구Yeti가 중요한 페이지를 수집할 수 있다고 나옴
    구조화된 데이터리치 결과 테스트에 URL을 넣어 테스트심각한 오류가 없고 이름, 주소, 전화번호가 페이지 내용과 같음
    llms.txt(선택)브라우저로 https://내도메인/llms.txt를 엽니다첫 줄이 사이트 이름이고 안의 링크가 모두 열림

    자주 묻는 질문

    GPTBot을 막으면 ChatGPT 검색에서 사라지나요?

    OpenAI 설명에 따르면 그렇지 않습니다. OAI-SearchBot과 GPTBot 설정은 서로 독립적이라, OAI-SearchBot을 허용하면 ChatGPT 검색 결과에 나올 수 있고 GPTBot을 막는 것은 콘텐츠를 학습에 쓰지 말라는 표시일 뿐입니다. 둘 다 허용하면 OpenAI는 중복 크롤링을 피하려고 한 번만 크롤링해 두 용도에 함께 쓸 수 있다고 밝힙니다.

    Google-Extended를 막아도 AI 개요에 제 사이트가 나오나요?

    Google 원문에 따르면 Google-Extended는 Google 검색 포함 여부에 영향을 주지 않고 순위 신호도 아닙니다. AI 개요와 AI 모드는 Google 검색에 속하며, Googlebot의 robots.txt 지침과 Search Console의 Google 검색 생성형 AI 제어로 관리합니다. 다만 Google-Extended는 Gemini 앱이 답할 때 콘텐츠를 참고할 수 있는지도 관리하므로, 막으면 Gemini 답변에는 콘텐츠가 쓰이지 않을 수 있습니다.

    구조화된 데이터를 잘 넣으면 AI가 추천해 주나요?

    그렇다고 보장되지는 않습니다. Google은 생성형 AI 검색에 구조화된 데이터가 필요하지 않고, 마크업이 올바르더라도 표시를 보장하지 않는다고 밝힙니다. 구조화된 데이터의 쓸모는 기계가 가게나 회사의 이름, 위치, 연락 방법을 정확히 알아보게 하는 데 있습니다. AI가 결국 누구를 추천하는지는 어느 플랫폼도 전체 규칙을 공개하지 않았습니다. AI 플랫폼은 추천 목록을 어떻게 고르나도 참고하세요.

    llms.txt는 만들어야 하나요?

    만들어도 되지만 맨 마지막 순서입니다. 아직 llmstxt.org에 올라온 제안 단계이고, Google은 Google 검색이 이를 사용하지 않는다고 밝혔으며, 다른 주요 AI 플랫폼이 읽겠다고 공개적으로 약속한 내용도 찾지 못했습니다. 시간을 조금 들여 만들어 두는 것은 손해가 아니지만, 중점을 둘 일은 아닙니다.

    네이버 검색로봇 Yeti도 robots.txt에 따로 적어야 하나요?

    위 예시처럼 ‘User-agent: *’ 그룹에서 Allow: /로 열어 두었다면 따로 적지 않아도 됩니다. 네이버 서치어드바이저도 ‘User-agent: *’와 ‘Allow: /’를 모든 검색엔진의 로봇에 수집을 허용하는 예로 들고 있습니다. Yeti 이름으로 그룹을 따로 만든다면, 앞에서 설명한 Googlebot 사례와 같은 실수를 피하도록 그 그룹에도 필요한 규칙을 모두 적어 두는 편이 안전합니다.

    기술 관문을 다 점검했다면 다음은 고객이 물을 만한 질문에 AI가 실제로 어떻게 답하는지 보는 일입니다. 먼저 무료 빠른 스캔으로 ChatGPT 한 곳을 확인해 보세요. 회원가입 없이 1~2분이면 AI가 웹사이트를 제대로 읽는지 점검하고, ChatGPT 실시간 질문 2개의 결과도 보여 줍니다.

    지금 ChatGPT가 우리 브랜드를 추천하는지 확인해 보세요

    무료 빠른 스캔(ChatGPT만, 약 1~2분) →
    고객사 GEO를 맡고 계신가요? 에이전시 플랜 보기 →