איך בודקים כללי robots.txt עבור כתובת URL וסורק מסוים?
כדי לבדוק כתובת URL עבור סורק אחד, מצאו את הקבוצה שמציינת את הטוקן של הסורק (או User-agent: * אם אין כזאת), אספו בה כל כלל Allow ו-Disallow שתואם את נתיב הכתובת, והחילו את הארוך ביותר; בתיקו, Allow מנצח. אפשר לעשות את זה ידנית, עם המנתח בקוד פתוח של Google, או עם בודק שמציג פסיקה לכל סורק. הבודק הישן של robots.txt ב-Search Console הוסר, ודוח robots.txt שהחליף אותו מראה מה Google הביאה, לא פסיקה לכתובת URL.
קובץ robots.txt נראה פשוט עד שצריך תשובה חד-משמעית: האם GPTBot רשאי להביא את העמוד הזה, והאם OAI-SearchBot רשאי? התשובה תלויה באיזו קבוצה הסורק בוחר ואיזה כלל בתוכה מנצח, וקל לטעות בשני השלבים. הנה איך ההתאמה עובדת לפי RFC 9309, ארבע דוגמאות פתורות ושלוש דרכים לבדוק קובץ בעצמכם.
בעמוד זה
- מה קרה לבודק robots.txt ב-Google Search Console?
- איך סורק מחליט אם כתובת URL מותרת?
- אפשר לעבור על דוגמה לבדיקת robots.txt?
- איך מריצים את המנתח בקוד פתוח של Google ל-robots.txt?
- אפשר לבדוק robots.txt עם urllib.robotparser של Python?
- למה בדיקת robots.txt עוברת והסורק עדיין חסום?
- איך בודקים robots.txt עבור כל סורקי ה-AI בבת אחת?
מה קרה לבודק robots.txt ב-Google Search Console?
בנובמבר 2023 Google הוסיפה ל-Search Console דוח robots.txt והודיעה שהיא מוציאה משימוש את בודק ה-robots.txt. הדוח נמצא תחת Settings ומכסה רק את הסורקים של Google. הוא מציג:
- את קובצי robots.txt ש-Google מצאה עבור 20 המארחים המובילים בנכס שלכם.
- את סטטוס ההבאה של כל קובץ (
Fetched,Not Fetched - Not found (404)אוNot Fetched - Any other reason), מתי Google בדקה אותו לאחרונה ואת גודלו בבייטים. - בעיות בקובץ. Google אומרת ששגיאות מונעות שימוש בכלל, ואזהרות לא.
- את הגרסאות ש-Google הביאה ב-30 הימים האחרונים, וכפתור לבקשת סריקה חוזרת אחרי שתיקנתם את הקובץ.
הדוח לא מקבל כתובת URL ומחזיר מותר או חסום. כדי לבדוק כתובת אחת עבור Googlebot, Google מפנה לכלי בדיקת כתובות URL, ולבדיקה מקומית לספריית robots.txt שלה בקוד פתוח. אף אחד מהם לא אומר לכם דבר על סורקי AI כמו GPTBot או ClaudeBot.
איך סורק מחליט אם כתובת URL מותרת?
RFC 9309, פרוטוקול Robots Exclusion Protocol, מגדיר את ההתאמה. Google מתעדת את אותה התנהגות עבור הסורקים שלה.
- בחירת הקבוצה. התאמת User-agent אינה תלויה באותיות גדולות וקטנות. אם קבוצה אחת או יותר מציינות את הטוקן של הסורק, הכללים שלהן מאוחדים וקבוצת
User-agent: *מתעלמים ממנה לגמרי. רק סורק שאין לו קבוצה בשמו פועל לפי*. - בחירת הכלל. מבין כללי
Allowו-Disallowשהנתיב שלהם תואם את הכתובת, הכלל עם הכי הרבה תווים מנצח. אםAllowו-Disallowבאותו אורך,Allowאמור לנצח. - קריאת התבניות.
*מתאים לכל רצף תווים ו-$מסמן את סוף הכתובת. נתיבים תלויים באותיות גדולות וקטנות, כך ש-/Admin/לא תואם את/admin/. - אין כלל תואם פירושו מותר.
/robots.txtעצמו תמיד מותר.
קוד התגובה של robots.txt חשוב כמו הכללים שבו. תגובת 4xx פירושה שהסורק רשאי להביא הכול; Google מתייחסת לכל 4xx מלבד 429 כאילו אין קובץ. תגובת 5xx פירושה שהסורק חייב להניח שכל האתר חסום. Google מפסיקה לסרוק ב-12 השעות הראשונות, ואחר כך משתמשת בעותק התקין האחרון עד 30 יום. RFC 9309 מחייב סורקים לנתח לפחות 500 KiB, ו-Google מתעלמת מכל מה שאחרי 500 KiB.
אפשר לעבור על דוגמה לבדיקת robots.txt?
הנה robots.txt קטן עם קבוצת ברירת מחדל ושני סורקי AI בשמם:
Googlebotו-/search/help/billing: מותר. אין קבוצת Googlebot, ולכן חלה קבוצת*. גםDisallow: /searchוגםAllow: /search/helpתואמים, וכלל ה-Allowארוך יותר.GPTBotו-/blog/post: חסום. ל-GPTBot יש קבוצה משלו, ו-Disallow: /תואם כל נתיב.OAI-SearchBotו-/admin/settings: מותר. ל-OAI-SearchBot יש קבוצה משלו, ולכןDisallow: /admin/שבקבוצת*לא חל עליו. זו ההפתעה הנפוצה ביותר; חזרו על כללים משותפים בכל קבוצה בשם.OAI-SearchBotו-/files/report.pdf: חסום.Allow: /תואם בתו אחד,Disallow: /*.pdf$תואם בשבעה, והכלל הארוך מנצח.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ תיקו נדיר יותר אבל פועל לפי אותו היגיון. התיעוד של Google מביא את המקרה של allow: /folder ו-disallow: /folder עבור הכתובת /folder/page: שניהם באותו אורך, ולכן הכתובת מותרת.
איך מריצים את המנתח בקוד פתוח של Google ל-robots.txt?
Google מפרסמת את ספריית ה-C++ שבה היא משתמשת בייצור כדי להתאים כללי robots.txt, עם תוכנית שורת פקודה קטנה לבדיקת כתובת URL אחת ו-user agent אחד מול קובץ מקומי. כש-Bazel מותקן:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed המאגר מתעד גם בנייה עם CMake, שמפיקה קובץ הרצה בשם robots עם אותם ארגומנטים. הכלי רק מנתח ומתאים; הוא לא מוריד את robots.txt, אז שמרו קודם את הקובץ החי. ה-README שלו מציין גם שהתנהגות ספציפית לסורק מעבר לניתוח ולהתאמה אינה חלק מהספרייה.
אפשר לבדוק robots.txt עם urllib.robotparser של Python?
הספרייה הסטנדרטית של Python כוללת מנתח שעונה מותר או חסום עבור user agent וכתובת URL. הסקריפט הזה בודק את הדוגמה שלמעלה:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") בדקו את גרסת ה-Python שלכם לפני שאתם סומכים על הפלט. תמיכה בהתאמה לפי RFC 9309 נוספה ל-CPython ב-2026 והופיעה לראשונה ב-Python 3.13.14 וב-3.14.5. גרסאות ישנות יותר, כולל כל 3.12 ומטה, מחילות את הכלל התואם הראשון לפי סדר הקובץ ולא את הארוך ביותר, ולא מבינות * או $ בתוך נתיבים. בגרסאות האלה הסקריפט מדווח על הבדיקה הראשונה והרביעית הפוך: Googlebot חסום מ-/search/help/billing ו-OAI-SearchBot רשאי להביא את ה-PDF.
שני הבדלים נוספים חלים על כל הגרסאות. RobotFileParser.read() מתייחס לתגובת 401 או 403 עבור robots.txt כאיסור מוחלט, בעוד ש-RFC 9309 קובע ש-4xx פירושו שמותר להביא הכול. ו-read() מוריד את הקובץ עם ה-user agent של Python כברירת מחדל, שחלק מחומות האש חוסמות, כך שבדיקה יכולה לדווח על חסימה מסיבות שאינן קשורות לכללים שלכם. הבאת הקובץ בעצמכם והעברתו ל-parse(), כמו למעלה, עוקפת את שתי הבעיות.
למה בדיקת robots.txt עוברת והסורק עדיין חסום?
בודק עונה על שאלה אחת: האם הכללים מתירים את הכתובת הזאת? כמה דברים נמצאים מחוץ לתשובה הזאת:
- הקובץ החי שונה מזה שבדקתם, או שהסורק עדיין משתמש בעותק שמור. RFC 9309 קובע שסורקים לא אמורים להשתמש בעותק שמור יותר מ-24 שעות, ו-Google שומרת עותק עד 24 שעות באופן כללי.
- כתובת ה-robots.txt מחזירה עמוד HTML או שגיאה. עמוד HTML עם סטטוס 200 לא מכיל כללים תקינים, ותגובת 5xx חוסמת את כל האתר.
- robots.txt הוא בקשה, לא בקרת גישה. חומת אש, CDN או הגנה מפני בוטים עדיין יכולים לענות לסורק ב-403 או בעמוד אתגר.
איך בודקים robots.txt עבור כל סורקי ה-AI בבת אחת?
בודק ה-robots.txt החינמי של AISeeWhy מקבל כתובת של עמוד או robots.txt מודבק ומראה, לכל סורק AI וחיפוש, אם מותר להביא את העמוד. מחולל ה-robots.txt החינמי כותב קובץ לפי הבחירות שלכם, והבדיקה החינמית מושכת את העמוד בתור 16 סורקים כדי להראות אם חומת אש חוסמת את מה ש-robots.txt מתיר.
תיקונים לבעיה הזו
- robots.txt מתיר את GPTBot, אבל השרת חוסם אותו
- robots.txt אוסר על OAI-SearchBot
- robots.txt הוא דף HTML
- לא ניתן לאחזר את robots.txt
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
האם עדיין יש בודק robots.txt ב-Google Search Console?
לא. בנובמבר 2023 Google החליפה אותו בדוח robots.txt, שמציג את הקבצים ש-Google הביאה, את הסטטוס שלהם ואת השגיאות. כדי לבדוק אם Googlebot רשאי לסרוק כתובת URL מסוימת, השתמשו בכלי בדיקת כתובות URL.
האם Allow גובר על Disallow ב-robots.txt?
רק כשכלל ה-Allow ארוך יותר, או באותו אורך בדיוק. הכלל עם הנתיב התואם הארוך ביותר מנצח, מכל סוג שהוא, ו-Allow מנצח בתיקו.
האם robots.txt תלוי באותיות גדולות וקטנות?
חלקית. הערך של User-agent מותאם בלי תלות באותיות גדולות וקטנות, כך ש-gptbot ו-GPTBot מציינים את אותה קבוצה. נתיבים תלויים באותיות, כך ש-Disallow: /Private/ לא חוסם את /private/.
מה בודק מאמת robots.txt?
מאמת בודק שהקובץ נגיש, מוגש כטקסט וכתוב בתחביר תקין. בודק הולך רחוק יותר ונותן פסיקה לכתובת URL ולסורק מסוימים. בדרך כלל צריך את שניהם, כי קובץ תקין עדיין יכול לחסום עמוד שהתכוונתם להתיר.
אם לסורק יש קבוצה משלו, האם הוא עדיין פועל לפי User-agent: *?
לא. קבוצה בשם מחליפה לגמרי את קבוצת * עבור הסורק הזה. כל כלל שאתם רוצים שיחול על כולם צריך לחזור בכל קבוצה בשם.
מקורות
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- תיעוד Python: urllib.robotparser
- קוד המקור של CPython: Lib/urllib/robotparser.py