GPTBot یک صفحه خالی دریافت میکند
خزنده وضعیت 200 گرفت، اما نه صفحه واقعی را. متن قابل مشاهده آن کمتر از 15% متنی است که مرورگر گرفت، یا عبارتی مسدودکننده مانند «access denied» یا «are you a robot» دارد که در صفحه مرورگر نیست. قانون رباتی را که این صفحه خالی را میفرستد پیدا کنید و بگذارید خزنده صفحه کامل را ببیند.
یعنی چه
درخواستی با user agent GPTBot وضعیت 200 گرفت، اما متن صفحه یک پیام مسدودسازی است یا بسیار کوتاهتر از چیزی است که مرورگر دریافت میکند.
چرا برای جستجوی هوش مصنوعی مهم است
تشخیص مسدودسازی نرم از 403 سختتر است، چون لاگها و مانیتورهای در دسترس بودن وضعیت 200 نشان میدهند. خزنده هر متنی را که دریافت کرده ذخیره میکند، پس ممکن است یک موتور پاسخ بهجای محتوای شما صفحهای را ایندکس کند که میگوید «JavaScript و کوکیها را فعال کنید»، یا صفحه را کممحتوا بداند و کنار بگذارد.
این بررسی فقط وقتی اجرا میشود که نسخه مرورگر دستکم 200 کاراکتر متن داشته باشد. هر دو پاسخ با چند لحظه فاصله از همان سرور دریافت میشوند، پس اختلاف زیاد در متن از رفتار زیرساخت شما با user agent خزنده میآید، نه از شبکه یا تغییر محتوا.
چطور آن را اصلاح کنید
- طول متن و عبارت تطبیقیافته در شواهد گزارش را با نسخه مرورگر مقایسه کنید. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- به دنبال قابلیتهای مدیریت ربات بگردید که بهجای خطا یک صفحه میانی نشان میدهند: صفحههای چالش یا تشخیص JavaScript در Cloudflare، صفحههای ربات Imperva و Akamai، یا افزونهای از نوع «تأیید کنید که انسان هستید».
- قوانین رندر پویا یا کش را که قالب متفاوتی به رباتها میدهند بررسی کنید، و همچنین ابزارهای تست A/B یا جغرافیایی را که صفحه را برای بازدیدکنندگان ناشناس جایگزین میکنند.
- در قانونی که صفحه خالی را میفرستد برای خزنده استثنا بگذارید و اگر پلتفرم شما پشتیبانی میکند، آن را با محدوده IP یا DNS معکوس تأیید کنید.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.