긁어도 되는지 먼저 확인하기

내용

⚠️ 수집기를 만들기 전에 확인합니다. 만든 뒤에 확인하면 이미 긁은 뒤입니다.

📌 실제로 있었던 예 (2026-09-10 확인)
국제금융센터(kcif.or.kr)에서 경제 자료를 매일 받아오려다 robots.txt 를 열어봤습니다.

  User-Agent : *
  Disallow: /
  (그다음 Googlebot · bingbot · Yeti · Daumoa 만 Allow, Crawl-delay 3600)

검색엔진 넷만 허용하고 나머지는 막아둔 것입니다.
여기서 자동으로 받아가는 수집기는 그 표시를 어기는 것이 됩니다.

📌 그런데 목적은 대개 다른 길로 이룰 수 있습니다
같은 정보를 공식 API 나 RSS 로 여는 기관이 많습니다.
막힌 곳을 뚫는 대신 열린 곳을 찾는 것이 빠르고 안전합니다.

[ 확인 지시문 ]
아래 사이트에서 자료를 정기적으로 받아오려고 해. 만들기 전에 확인해줘.

① robots.txt 를 실제로 열어서 내용을 그대로 보여줘 (도메인 뒤에 /robots.txt)
② 내가 만들 수집기가 그 표시에 어긋나는지 — 어느 줄 때문인지 짚어줘
③ 공식 API · RSS · 공공데이터 제공이 있는지. 있으면 그 주소
④ 이용약관에서 자동 수집 관련 조항을 확인할 위치
⑤ 그래도 모르겠으면 물어볼 곳 (문의처)

지켜줘
• 위반인지 아닌지 판정하지 말 것. 표시된 내용을 그대로 보여줄 것
• robots.txt 를 기억으로 답하지 말고 실제로 열어볼 것
• 허용되어 있어도 요청 간격과 부하를 고려하라고 알려줄 것
• robots.txt 가 없다고 마음대로 해도 된다고 말하지 말 것

사이트: {{INPUT}}

⚠️ robots.txt 는 법이 아니라 표시입니다
그러나 어겼을 때 차단되거나 문제가 되는 것은 실제입니다.
그리고 표시가 없다고 해서 허락받은 것도 아닙니다. 약관이 따로 있습니다.

💡 「정기 실행으로 굳히기」와 함께 보세요
무엇을 언제 돌릴지는 그쪽, 어디서 받아도 되는지는 이쪽입니다.

샘플 입력

https://www.kcif.or.kr

하려는 것: 국제금융속보와 보고서 목록을 매일 아침 받아서 새 글만 알림 받기
방식: 서버에서 하루 한 번 실행

이런 모양이면 잘 나온 것

우리가 쓴 예시입니다. 실제 실행 결과가 아니고, 답변은 매번 조금씩 다릅니다.

① robots.txt 원문
   User-Agent : *
   Disallow: : /
   User-Agent : Googlebot
   User-agent: bingbot
   User-Agent : Yeti
   User-Agent : Daumoa
   Crawl-delay: 3600
   Disallow: /sysMngr/
   Allow : /
   Sitemap: https://www.kcif.or.kr/sitemap.xml

② 내 수집기가 어긋나는가
   첫 두 줄이 모든 봇(`*`)을 막고 있습니다.
   그 아래 Allow 는 Googlebot·bingbot·Yeti·Daumoa 에 대한 것입니다.
   내가 만들 수집기는 그 넷에 해당하지 않습니다.
   ※ 표기가 다소 어긋나 있지만(콜론 중복), 검색엔진만 허용하려는 뜻으로 읽힙니다

③ 공식 API · RSS · 공공데이터
   〈이 사이트에서 찾은 것 / 없으면 없다고〉
   대안으로 볼 곳 — 금융위원회 RSS, 한국은행 ECOS Open API,
   KOSIS 공유서비스, 공공데이터포털

④ 이용약관 확인 위치
   〈사이트 하단 이용약관 · 정보이용 안내 페이지〉

⑤ 물어볼 곳
   〈고객지원·문의 페이지〉

⚠️ robots.txt 내용을 기억으로 답했다면 다시 시키세요. 실제로 열어야 합니다.
⚠️ 「위반입니다 / 괜찮습니다」로 결론지었다면 잘못 나온 것입니다.
   표시된 내용을 보여주는 것까지가 이 프롬프트의 일입니다.

받은 답 확인하기

• robots.txt 를 실제로 열어 원문을 보여줬는가 — 기억으로 답하지 않았는가
• 위반인지 아닌지 판정하지 않고 표시 내용만 보여줬는가
• 어느 줄 때문에 걸리는지 짚어줬는가
• 공식 API·RSS·공공데이터가 있는지 찾아봤는가
• 허용된 경우에도 요청 간격과 부하 이야기를 했는가
• robots.txt 가 없을 때 마음대로 해도 된다고 말하지 않았는가

잘못 나왔을 때 이어서 보낼 말

robots.txt 를 기억으로 답하지 말고 실제 주소를 열어서 원문 그대로 보여줘.
위반인지 아닌지는 판정하지 마. 어느 줄이 무엇을 막는지만 짚어줘.
같은 자료를 받을 수 있는 공식 API 나 RSS 가 있는지도 찾아줘.