איך בודקים כללי robots.txt עבור כתובת URL וסורק מסוים?

פורסם

תשובה קצרה

כדי לבדוק כתובת URL עבור סורק אחד, מצאו את הקבוצה שמציינת את הטוקן של הסורק (או User-agent: * אם אין כזאת), אספו בה כל כלל Allow ו-Disallow שתואם את נתיב הכתובת, והחילו את הארוך ביותר; בתיקו, Allow מנצח. אפשר לעשות את זה ידנית, עם המנתח בקוד פתוח של Google, או עם בודק שמציג פסיקה לכל סורק. הבודק הישן של robots.txt ב-Search Console הוסר, ודוח robots.txt שהחליף אותו מראה מה Google הביאה, לא פסיקה לכתובת URL.

קובץ robots.txt נראה פשוט עד שצריך תשובה חד-משמעית: האם GPTBot רשאי להביא את העמוד הזה, והאם OAI-SearchBot רשאי? התשובה תלויה באיזו קבוצה הסורק בוחר ואיזה כלל בתוכה מנצח, וקל לטעות בשני השלבים. הנה איך ההתאמה עובדת לפי RFC 9309, ארבע דוגמאות פתורות ושלוש דרכים לבדוק קובץ בעצמכם.

בעמוד זה
  1. מה קרה לבודק robots.txt ב-Google Search Console?
  2. איך סורק מחליט אם כתובת URL מותרת?
  3. אפשר לעבור על דוגמה לבדיקת robots.txt?
  4. איך מריצים את המנתח בקוד פתוח של Google ל-robots.txt?
  5. אפשר לבדוק robots.txt עם urllib.robotparser של Python?
  6. למה בדיקת robots.txt עוברת והסורק עדיין חסום?
  7. איך בודקים robots.txt עבור כל סורקי ה-AI בבת אחת?

מה קרה לבודק robots.txt ב-Google Search Console?

בנובמבר 2023 Google הוסיפה ל-Search Console דוח robots.txt והודיעה שהיא מוציאה משימוש את בודק ה-robots.txt. הדוח נמצא תחת Settings ומכסה רק את הסורקים של Google. הוא מציג:

הדוח לא מקבל כתובת URL ומחזיר מותר או חסום. כדי לבדוק כתובת אחת עבור Googlebot, Google מפנה לכלי בדיקת כתובות URL, ולבדיקה מקומית לספריית robots.txt שלה בקוד פתוח. אף אחד מהם לא אומר לכם דבר על סורקי AI כמו GPTBot או ClaudeBot.

איך סורק מחליט אם כתובת URL מותרת?

RFC 9309, פרוטוקול Robots Exclusion Protocol, מגדיר את ההתאמה. Google מתעדת את אותה התנהגות עבור הסורקים שלה.

קוד התגובה של robots.txt חשוב כמו הכללים שבו. תגובת 4xx פירושה שהסורק רשאי להביא הכול; Google מתייחסת לכל 4xx מלבד 429 כאילו אין קובץ. תגובת 5xx פירושה שהסורק חייב להניח שכל האתר חסום. Google מפסיקה לסרוק ב-12 השעות הראשונות, ואחר כך משתמשת בעותק התקין האחרון עד 30 יום. RFC 9309 מחייב סורקים לנתח לפחות 500 KiB, ו-Google מתעלמת מכל מה שאחרי 500 KiB.

אפשר לעבור על דוגמה לבדיקת robots.txt?

הנה robots.txt קטן עם קבוצת ברירת מחדל ושני סורקי AI בשמם:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

תיקו נדיר יותר אבל פועל לפי אותו היגיון. התיעוד של Google מביא את המקרה של allow: /folder ו-disallow: /folder עבור הכתובת /folder/page: שניהם באותו אורך, ולכן הכתובת מותרת.

איך מריצים את המנתח בקוד פתוח של Google ל-robots.txt?

Google מפרסמת את ספריית ה-C++ שבה היא משתמשת בייצור כדי להתאים כללי robots.txt, עם תוכנית שורת פקודה קטנה לבדיקת כתובת URL אחת ו-user agent אחד מול קובץ מקומי. כש-Bazel מותקן:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

המאגר מתעד גם בנייה עם CMake, שמפיקה קובץ הרצה בשם robots עם אותם ארגומנטים. הכלי רק מנתח ומתאים; הוא לא מוריד את robots.txt, אז שמרו קודם את הקובץ החי. ה-README שלו מציין גם שהתנהגות ספציפית לסורק מעבר לניתוח ולהתאמה אינה חלק מהספרייה.

אפשר לבדוק robots.txt עם urllib.robotparser של Python?

הספרייה הסטנדרטית של Python כוללת מנתח שעונה מותר או חסום עבור user agent וכתובת URL. הסקריפט הזה בודק את הדוגמה שלמעלה:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

בדקו את גרסת ה-Python שלכם לפני שאתם סומכים על הפלט. תמיכה בהתאמה לפי RFC 9309 נוספה ל-CPython ב-2026 והופיעה לראשונה ב-Python 3.13.14 וב-3.14.5. גרסאות ישנות יותר, כולל כל 3.12 ומטה, מחילות את הכלל התואם הראשון לפי סדר הקובץ ולא את הארוך ביותר, ולא מבינות * או $ בתוך נתיבים. בגרסאות האלה הסקריפט מדווח על הבדיקה הראשונה והרביעית הפוך: Googlebot חסום מ-/search/help/billing ו-OAI-SearchBot רשאי להביא את ה-PDF.

שני הבדלים נוספים חלים על כל הגרסאות. RobotFileParser.read() מתייחס לתגובת 401 או 403 עבור robots.txt כאיסור מוחלט, בעוד ש-RFC 9309 קובע ש-4xx פירושו שמותר להביא הכול. ו-read() מוריד את הקובץ עם ה-user agent של Python כברירת מחדל, שחלק מחומות האש חוסמות, כך שבדיקה יכולה לדווח על חסימה מסיבות שאינן קשורות לכללים שלכם. הבאת הקובץ בעצמכם והעברתו ל-parse(), כמו למעלה, עוקפת את שתי הבעיות.

למה בדיקת robots.txt עוברת והסורק עדיין חסום?

בודק עונה על שאלה אחת: האם הכללים מתירים את הכתובת הזאת? כמה דברים נמצאים מחוץ לתשובה הזאת:

איך בודקים robots.txt עבור כל סורקי ה-AI בבת אחת?

בודק ה-robots.txt החינמי של AISeeWhy מקבל כתובת של עמוד או robots.txt מודבק ומראה, לכל סורק AI וחיפוש, אם מותר להביא את העמוד. מחולל ה-robots.txt החינמי כותב קובץ לפי הבחירות שלכם, והבדיקה החינמית מושכת את העמוד בתור 16 סורקים כדי להראות אם חומת אש חוסמת את מה ש-robots.txt מתיר.

תיקונים לבעיה הזו

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

האם עדיין יש בודק robots.txt ב-Google Search Console?

לא. בנובמבר 2023 Google החליפה אותו בדוח robots.txt, שמציג את הקבצים ש-Google הביאה, את הסטטוס שלהם ואת השגיאות. כדי לבדוק אם Googlebot רשאי לסרוק כתובת URL מסוימת, השתמשו בכלי בדיקת כתובות URL.

האם Allow גובר על Disallow ב-robots.txt?

רק כשכלל ה-Allow ארוך יותר, או באותו אורך בדיוק. הכלל עם הנתיב התואם הארוך ביותר מנצח, מכל סוג שהוא, ו-Allow מנצח בתיקו.

האם robots.txt תלוי באותיות גדולות וקטנות?

חלקית. הערך של User-agent מותאם בלי תלות באותיות גדולות וקטנות, כך ש-gptbot ו-GPTBot מציינים את אותה קבוצה. נתיבים תלויים באותיות, כך ש-Disallow: /Private/ לא חוסם את /private/.

מה בודק מאמת robots.txt?

מאמת בודק שהקובץ נגיש, מוגש כטקסט וכתוב בתחביר תקין. בודק הולך רחוק יותר ונותן פסיקה לכתובת URL ולסורק מסוימים. בדרך כלל צריך את שניהם, כי קובץ תקין עדיין יכול לחסום עמוד שהתכוונתם להתיר.

אם לסורק יש קבוצה משלו, האם הוא עדיין פועל לפי User-agent: *?

לא. קבוצה בשם מחליפה לגמרי את קבוצת * עבור הסורק הזה. כל כלל שאתם רוצים שיחול על כולם צריך לחזור בכל קבוצה בשם.

מקורות

מאמרים נוספים