ನನ್ನ ಸೈಟ್ Perplexity ಯಲ್ಲಿ ಏಕೆ ಕಾಣಿಸುತ್ತಿಲ್ಲ?
PerplexityBot ನಿಮ್ಮ ಪುಟವನ್ನು ತಲುಪಬಹುದೇ ಮತ್ತು ಯಾವ ತಡೆ (robots.txt, ಫೈರ್ವಾಲ್ ಅಥವಾ JavaScript) ನಿಮ್ಮನ್ನು ಅದರ ಉತ್ತರಗಳಿಂದ ಹೊರಗಿಟ್ಟಿದೆ ಎಂಬುದನ್ನು ಸುಮಾರು 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ತಿಳಿಯಿರಿ.
ಉಚಿತ · ಸೈನ್-ಅಪ್ ಬೇಕಿಲ್ಲ · 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಫಲಿತಾಂಶ
PerplexityBot ಗಾಗಿ robots.txt
PerplexityBot ಗೆ ಅನ್ವಯಿಸುವ ಗುಂಪನ್ನು RFC 9309 ನಿಯಮಗಳಂತೆ ಓದಲಾಗುತ್ತದೆ, ಮತ್ತು ನಿರ್ಧರಿಸುವ ಸಾಲನ್ನು ತೋರಿಸಲಾಗುತ್ತದೆ.
ಫೈರ್ವಾಲ್ ಮತ್ತು CDN ತಡೆಗಳು
ಕ್ರಾಲರ್ಗಳಿಗೆ ಮಾತ್ರ ಸಿಗುವ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟವನ್ನು ಗುರುತಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಉತ್ತರಿಸಿದ ಫೈರ್ವಾಲ್ನ ಹೆಸರನ್ನು ತಿಳಿಸಲಾಗುತ್ತದೆ.
ಪುಟ ಏನನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ
ಕ್ರಾಲರ್ಗೆ ಸಿಗುವ ಸ್ಥಿತಿ, ಗಾತ್ರ ಮತ್ತು ರೀಡೈರೆಕ್ಟ್ಗಳನ್ನು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ನದ್ದರೊಂದಿಗೆ ಹೋಲಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ಗಳಿಗೆ ಸಿಗುವ ಕಡಿಮೆ ಉತ್ತರ ಎದ್ದು ಕಾಣುತ್ತದೆ.
ಪ್ರತಿ ಕಂಡುಹಿಡಿತಕ್ಕೂ ಪರಿಹಾರ
ಪ್ರತಿ ಕಂಡುಹಿಡಿತದ ಜೊತೆಗೆ ಮಾಡಬೇಕಾದ ಬದಲಾವಣೆ ಇರುತ್ತದೆ. ಉಚಿತ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ಕೋರ್ ಮತ್ತು ಮೊದಲ ಕಂಡುಹಿಡಿತವನ್ನು ತೋರಿಸುತ್ತದೆ; ಪೂರ್ಣ ವರದಿ $29, ಒಮ್ಮೆ ಮಾತ್ರ.
PerplexityBot ಗೆ ಕ್ರಾಲ್ ಮಾಡಲು ಅನುಮತಿ ಇರುವ ಮತ್ತು ಅದಕ್ಕೆ ನಿಜವಾಗಿ ಸಿಗುವ ಪುಟಗಳನ್ನು ಮಾತ್ರ Perplexity ತೋರಿಸಬಹುದು ಮತ್ತು ಲಿಂಕ್ ಮಾಡಬಹುದು. ಸಾಮಾನ್ಯ ಕಾರಣಗಳು: PerplexityBot ಅನ್ನು ನಿಷೇಧಿಸುವ robots.txt ನಿಯಮ, ಅದಕ್ಕೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡುವ ಫೈರ್ವಾಲ್ ಅಥವಾ CDN, ಮತ್ತು JavaScript ಚಲಿಸಿದ ನಂತರವೇ ಕಾಣಿಸುವ ಪಠ್ಯ. ಈ ಮೂರನ್ನೂ ಪರಿಶೀಲಿಸಿ, ನಂತರ Perplexity ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳನ್ನು ಅನುಮತಿಸಿ. Perplexity ನಿಮ್ಮನ್ನಲ್ಲ, ಪ್ರತಿಸ್ಪರ್ಧಿಯನ್ನು ಉಲ್ಲೇಖಿಸಿದರೆ, ಮೊದಲು ಈ ತಡೆಗಳನ್ನು ತಳ್ಳಿಹಾಕಿ, ನಂತರ ಅದೇ ಪ್ರಶ್ನೆಗೆ ಅದು ಉಲ್ಲೇಖಿಸುವ ಪುಟದೊಂದಿಗೆ ನಿಮ್ಮ ಪುಟವನ್ನು ಹೋಲಿಸಿ.
3 ಹಂತಗಳಲ್ಲಿ ತಡೆಯನ್ನು ಹುಡುಕಿ
- robots.txt ಪರಿಶೀಲಿಸಿ
PerplexityBotಹೆಸರಿರುವ ಗುಂಪನ್ನು ಹುಡುಕಿ. ಇಲ್ಲದಿದ್ದರೆUser-agent: *ಗುಂಪು ಅನ್ವಯಿಸುತ್ತದೆ, ಮತ್ತು ಹೆಸರಿಸಿದ ಗುಂಪು*ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ. - ಬ್ರೌಸರ್ ಮತ್ತು ಕ್ರಾಲರ್ ಹೋಲಿಸಿ
ಪುಟವನ್ನು ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು ಪ್ರತಿ Perplexity ಏಜೆಂಟ್ ಆಗಿ ವಿನಂತಿಸಿ. ಏಜೆಂಟ್ಗಳಿಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503,
Just a moment...ಪುಟ, ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕ 200 ಬಂದರೆ ಅದು ಫೈರ್ವಾಲ್ನತ್ತ ಬೆರಳು ಮಾಡುತ್ತದೆ. - ಪುಟದ ಮೂಲವನ್ನು ನೋಡಿ
curlಮೂಲಕ ಪುಟವನ್ನು ಪಡೆದು ನಿಮ್ಮ ಮುಖ್ಯ ವಿಷಯದ ಒಂದು ವಾಕ್ಯವನ್ನು ಹುಡುಕಿ. ಅದು ಇಲ್ಲದಿದ್ದರೆ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಪಠ್ಯವನ್ನು ಸೇರಿಸುತ್ತಿವೆ: ಅದನ್ನು ಸರ್ವರ್ನಲ್ಲಿ ರೆಂಡರ್ ಮಾಡಿ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
Perplexity ನನ್ನನ್ನಲ್ಲ, ನನ್ನ ಪ್ರತಿಸ್ಪರ್ಧಿಯನ್ನು ಏಕೆ ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ?
Perplexity ಮೂಲಗಳನ್ನು ಹೇಗೆ ಆರಿಸುತ್ತದೆ ಎಂದು ಪ್ರಕಟಿಸುವುದಿಲ್ಲ, ಆದರೆ ಅದರ ಏಜೆಂಟ್ಗಳು ಓದಬಲ್ಲ ಪುಟಗಳನ್ನು ಮಾತ್ರ ಅದು ಉಲ್ಲೇಖಿಸಬಲ್ಲದು. ಮೊದಲು PerplexityBot ಮತ್ತು Perplexity-User ಗೆ ನಿಮ್ಮ ಪುಟ ಸಿಗುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ. ಸಿಕ್ಕರೆ, ಅದೇ ಪ್ರಶ್ನೆಗೆ Perplexity ಉಲ್ಲೇಖಿಸುವ ಪುಟ ತೆರೆದು ಹೋಲಿಸಿ: ನಿಮ್ಮ ಪುಟ ಆ ನಿಖರ ಪ್ರಶ್ನೆಗೆ ಮೇಲ್ಭಾಗದಲ್ಲೇ, ಪಠ್ಯದಲ್ಲಿ ಹೇಳಿದ ಸಂಗತಿಗಳೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆಯೇ? AISeeWhy ನ AI ಗೋಚರತೆ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಖರೀದಿದಾರರ ಪ್ರಶ್ನೆಗಳನ್ನು Perplexity ಮತ್ತು ಇತರ ಮೂರು ಸಹಾಯಕರಲ್ಲಿ ಕೇಳಿ, ನಿಮ್ಮ ಜೊತೆ ಯಾವ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳು ಹೆಸರಿಸಲ್ಪಟ್ಟಿದ್ದಾರೆ ಎಂದು ತೋರಿಸುತ್ತದೆ.
Perplexity ನನ್ನ ವಿಷಯದ ಮೇಲೆ ತನ್ನ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತದೆಯೇ?
AI ಮೂಲ ಮಾದರಿಗಳಿಗಾಗಿ ವಿಷಯ ಕ್ರಾಲ್ ಮಾಡಲು PerplexityBot ಅನ್ನು ಬಳಸುವುದಿಲ್ಲ ಮತ್ತು Perplexity-User ತರಬೇತಿಗಾಗಿ ವಿಷಯ ಸಂಗ್ರಹಿಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. ಆದ್ದರಿಂದ PerplexityBot ಅನ್ನು ನಿಷೇಧಿಸುವುದು ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯುವ ಮಾರ್ಗವಲ್ಲ; ಅದು Perplexity ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ನಿಮ್ಮ ಗೋಚರತೆಯನ್ನು ಮಾತ್ರ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
robots.txt ಸರಿಪಡಿಸಿದ ಎಷ್ಟು ಸಮಯದ ನಂತರ Perplexity ಗಮನಿಸುತ್ತದೆ?
robots.txt ಬದಲಾವಣೆಗಳು ತನ್ನ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಪ್ರತಿಫಲಿಸಲು 24 ಗಂಟೆಗಳವರೆಗೆ ಬೇಕಾಗಬಹುದು ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. ಫೈರ್ವಾಲ್ ಬದಲಾವಣೆಗಳು ನಿಮ್ಮ ಪೂರೈಕೆದಾರರು ಅವುಗಳನ್ನು ಅನ್ವಯಿಸಿದಾಗ ಜಾರಿಗೆ ಬರುತ್ತವೆ, ಆದರೆ ಫಲಿತಾಂಶವನ್ನು ನಿರ್ಣಯಿಸುವ ಮೊದಲು ಕ್ರಾಲರ್ ಮರಳಲು ಸಮಯ ನೀಡಿ.
robots.txt ಮೂಲಕ Perplexity-User ಅನ್ನು ತಡೆಯಬಹುದೇ?
ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಅಲ್ಲ. ಬಳಕೆದಾರರು ವಿನಂತಿಸಿದ್ದರಿಂದ ಈ ಏಜೆಂಟ್ ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. ಅದನ್ನು ನಿಲ್ಲಿಸಬೇಕಿದ್ದರೆ, ಅದರ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಗೆ ಹೊಂದಿಸಿದ ಫೈರ್ವಾಲ್ ನಿಯಮವೇ ಭರವಸೆಯ ನಿಯಂತ್ರಣ.
Perplexity ಟ್ರಾಫಿಕ್ ಗುರುತಿಸಲು user agent ಪರಿಶೀಲನೆ ಸಾಕೇ?
ಇಲ್ಲ. user agent ಗಳನ್ನು ನಕಲು ಮಾಡುವುದು ಸುಲಭ. ಮೂಲ IP ಯನ್ನು Perplexity perplexitybot.json ಮತ್ತು perplexity-user.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುವ ಶ್ರೇಣಿಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ, ಮತ್ತು ಫೈರ್ವಾಲ್ ನಿಯಮಗಳಲ್ಲಿ user agent ಮತ್ತು IP ಎರಡನ್ನೂ ಹೊಂದಿಸಿ.
ಪೂರ್ಣ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ
ನೀವು Perplexity ಗೆ ನಿಮ್ಮ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ಕೇಳುತ್ತೀರಿ, ಅದು ಸ್ಪರ್ಧಿಯನ್ನು, ವಿಮರ್ಶಾ ಸೈಟ್ ಅನ್ನು ಅಥವಾ ಫೋರಂ ಥ್ರೆಡ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ, ಆದರೆ ನಿಮ್ಮ ಸ್ವಂತ ಪುಟಗಳನ್ನು ಎಂದಿಗೂ ಅಲ್ಲ. ಕೆಲವೊಮ್ಮೆ ಇದು ಪ್ರಸ್ತುತತೆಯ ಪ್ರಶ್ನೆ. ಹಲವು ಬಾರಿ ಇದು ಕೆಲವೇ ನಿಮಿಷಗಳಲ್ಲಿ ಪತ್ತೆಹಚ್ಚಬಹುದಾದ ತಾಂತ್ರಿಕ ತಡೆ. Perplexity ತಾನು ಬಳಸುವ ಏಜೆಂಟ್ಗಳು, ಪ್ರತಿಯೊಂದೂ ಏನು ಮಾಡುತ್ತದೆ ಮತ್ತು ಅದರ ಟ್ರಾಫಿಕ್ ಎಲ್ಲಿಂದ ಬರುತ್ತದೆ ಎಂಬುದನ್ನು ದಾಖಲಿಸಿದೆ, ಆದ್ದರಿಂದ ಸರಪಳಿಯ ಪ್ರತಿ ಕೊಂಡಿಯನ್ನೂ ಪರಿಶೀಲಿಸಬಹುದು: robots.txt, ನಿಮ್ಮ ಸರ್ವರ್ ಕಳುಹಿಸುವ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಆ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ ಏನಿದೆ.
Perplexity ಪುಟಗಳನ್ನು ಹೇಗೆ ಹುಡುಕುತ್ತದೆ ಮತ್ತು ಓದುತ್ತದೆ?
Perplexity ಎರಡು ಏಜೆಂಟ್ಗಳನ್ನು ದಾಖಲಿಸಿದೆ. ಅವುಗಳ ಕೆಲಸ ಬೇರೆ ಬೇರೆ, ಮತ್ತು ಯಾವುದರಲ್ಲಾದರೂ ಸಮಸ್ಯೆ ಇದ್ದರೆ ನಿಮ್ಮ ಪುಟ ಉತ್ತರದಿಂದ ಹೊರಗುಳಿಯಬಹುದು.
PerplexityBotಅನ್ನು Perplexity ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ವೆಬ್ಸೈಟ್ಗಳನ್ನು ತೋರಿಸಲು ಮತ್ತು ಲಿಂಕ್ ಮಾಡಲು ರೂಪಿಸಲಾಗಿದೆ. ಅಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬೇಕಿದ್ದರೆ robots.txt ನಲ್ಲಿ ಅದನ್ನು ಅನುಮತಿಸಲು Perplexity ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ, ಮತ್ತು AI ಮೂಲ ಮಾದರಿಗಳಿಗಾಗಿ ವಿಷಯವನ್ನು ಕ್ರಾಲ್ ಮಾಡಲು ಅದನ್ನು ಬಳಸುವುದಿಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ.Perplexity-Userಬಳಕೆದಾರರ ಕ್ರಿಯೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಯಾರಾದರೂ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ, ಉತ್ತರಿಸಲು ಸಹಾಯವಾಗಲು ಅದು ಒಂದು ಪುಟಕ್ಕೆ ಭೇಟಿ ನೀಡಿ ಆ ಪುಟಕ್ಕೆ ಲಿಂಕ್ ನೀಡಬಹುದು. ಇದನ್ನು ವೆಬ್ ಕ್ರಾಲಿಂಗ್ಗೆ ಅಥವಾ ತರಬೇತಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಯಾರಾದರೂ ಕೇಳುವ ಮೊದಲೇ Perplexity ಗೆ ನಿಮ್ಮ ಪುಟಗಳ ಬಗ್ಗೆ ತಿಳಿದಿದೆಯೇ ಎಂಬುದನ್ನು PerplexityBot ನಿರ್ಧರಿಸುತ್ತದೆ, ಮತ್ತು ಪ್ರಶ್ನೆಗೆ ಬೇಕಾದಾಗ ಪುಟವನ್ನು ನೇರವಾಗಿ ತೆರೆಯಲು ಸಾಧ್ಯವೇ ಎಂಬುದನ್ನು Perplexity-User ನಿರ್ಧರಿಸುತ್ತದೆ. ನೀವು ಉಲ್ಲೇಖಗೊಳ್ಳಬೇಕಿದ್ದರೆ, ಬ್ರೌಸರ್ಗೆ ಸಿಗುವ ಅದೇ ಪುಟ ಇವೆರಡಕ್ಕೂ ಸಿಗಬೇಕು.
ನಿಮ್ಮ robots.txt PerplexityBot ಅನ್ನು ತಡೆಯುತ್ತಿದೆಯೇ?
https://yourdomain.com/robots.txt ತೆರೆಯಿರಿ ಮತ್ತು PerplexityBot ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಹುಡುಕಿ. ಅಂಥದ್ದು ಇಲ್ಲದಿದ್ದರೆ, ಕ್ರಾಲರ್ User-agent: * ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತದೆ. RFC 9309 ಪ್ರಕಾರ ಹೊಂದಾಣಿಕೆಯು ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರಗಳನ್ನು ಪರಿಗಣಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಹೆಸರಿಸಿದ ಗುಂಪು * ಗುಂಪಿಗೆ ಸೇರುವುದಿಲ್ಲ, ಅದನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಿಸುತ್ತದೆ.
ಈ ತಡೆ ಸಾಮಾನ್ಯ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ robots.txt ಫೈಲ್ಗಳ ನಮ್ಮ ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ನೀಡಿದ 518 ಸೈಟ್ಗಳಲ್ಲಿ 86 (16.6%) PerplexityBot ಗೆ ಮುಖಪುಟವನ್ನು ನಿಷೇಧಿಸಿದ್ದವು. ನಾವು ಪರೀಕ್ಷಿಸಿದ ಯಾವುದೇ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಿಂತ ಇದು ಹೆಚ್ಚಿನ ಪಾಲು; OAI-SearchBot ಅನ್ನು 58 ಸೈಟ್ಗಳಲ್ಲಿ (11.2%) ತಡೆಯಲಾಗಿತ್ತು. ಇವುಗಳಲ್ಲಿ ಕೆಲವು ಸೈಟ್ಗಳು AI ತರಬೇತಿಯನ್ನು ನಿಲ್ಲಿಸಲು ಉದ್ದೇಶಿಸಿರಬಹುದು, ಆದರೆ PerplexityBot ತರಬೇತಿ ಕ್ರಾಲರ್ ಅಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದನ್ನು ತಡೆಯುವುದರಿಂದ ಆ ಗುರಿ ಈಡೇರದೆ ಹುಡುಕಾಟದ ಗೋಚರತೆ ಮಾತ್ರ ಕಳೆದುಹೋಗುತ್ತದೆ.
Perplexity ಅನ್ನು ಒಳಗೆ ಬಿಟ್ಟು ಖಾಸಗಿ ಭಾಗವನ್ನು ಮುಚ್ಚಿಡುವ ಸೆಟಪ್ ಹೀಗಿರುತ್ತದೆ:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ಫೈಲ್ ಸ್ವತಃ ಸರಿಯಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆಯೇ ಎಂದೂ ಪರಿಶೀಲಿಸಿ. robots.txt ಸರ್ವರ್ ದೋಷ ನೀಡಿದರೆ, ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಕ್ರಾಲರ್ ಭಾವಿಸಬೇಕು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ. 200 ಸ್ಥಿತಿಯೊಂದಿಗೆ HTML ಪುಟ ನೀಡುವ robots.txt ವಿಳಾಸದಲ್ಲಿ ಯಾವುದೇ ಮಾನ್ಯ ನಿಯಮಗಳಿರುವುದಿಲ್ಲ. ಬದಲಾವಣೆಗಳು ಪ್ರತಿಫಲಿಸಲು 24 ಗಂಟೆಗಳವರೆಗೆ ಬೇಕಾಗಬಹುದು ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಅಥವಾ CDN Perplexity ಅನ್ನು ತಡೆಯುತ್ತಿದೆಯೇ?
robots.txt ಒಂದು ವಿನಂತಿ ಮಾತ್ರ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ. ನಿಜವಾಗಿ ಏನು ಹಿಂದಿರುಗಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿಮ್ಮ ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ ನಿರ್ಧರಿಸುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಬ್ರೌಸರ್ ಭೇಟಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಕಾಣುತ್ತಿರುವಾಗಲೇ ಅದು Perplexity ಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡಬಹುದು. ವೆಬ್ ಅಪ್ಲಿಕೇಶನ್ ಫೈರ್ವಾಲ್ ಹಿಂದಿರುವ ಸೈಟ್ಗಳು ಅದರ ಬಾಟ್ಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಅನುಮತಿಸಬೇಕಾಗಬಹುದು ಎಂದು Perplexity ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ.
ಅದೇ URL ಅನ್ನು ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು ಪ್ರತಿ Perplexity ಏಜೆಂಟ್ ಆಗಿ ವಿನಂತಿಸಿ, ನಂತರ ಸ್ಥಿತಿ ಮತ್ತು ಗಾತ್ರವನ್ನು ಹೋಲಿಸಿ ಪರೀಕ್ಷಿಸಿ:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Perplexity ಏಜೆಂಟ್ಗಳಿಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503, Just a moment... ಶೀರ್ಷಿಕೆಯ ಪುಟ, ಅಥವಾ ಬ್ರೌಸರ್ಗೆ ಸಿಕ್ಕಿದ್ದಕ್ಕಿಂತ ತುಂಬಾ ಚಿಕ್ಕದಾದ 200 ಪ್ರತಿಕ್ರಿಯೆ, ಇವೆಲ್ಲವೂ ಫೈರ್ವಾಲ್ ಕಡೆಗೆ ಬೆರಳು ಮಾಡುತ್ತವೆ. ಈ ಪರೀಕ್ಷೆ Perplexity ಯ IP ಯಿಂದಲ್ಲ, ನಿಮ್ಮ IP ವಿಳಾಸದಿಂದ ನಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿಯಮಗಳು user agent ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು ಅದು ತೋರಿಸುತ್ತದೆ; IP ಆಧಾರಿತ ನಿಯಮಗಳು ನಿಜವಾದ ಕ್ರಾಲರ್ಗೆ ಬೇರೆಯಾಗಿರಬಹುದು.
ನೀವು Cloudflare ಬಳಸುತ್ತಿದ್ದರೆ, ಎರಡು ವಿಷಯಗಳನ್ನು ಗಮನಿಸಿ. Bot Fight Mode ಅನ್ನು WAF custom rules ಮೂಲಕ ಬಿಟ್ಟುಬಿಡಲು (skip) ಸಾಧ್ಯವಿಲ್ಲ ಎಂಬ Cloudflare ನ ಸ್ವಂತ ಹೇಳಿಕೆಯನ್ನು Perplexity ದಾಖಲೆಗಳು ಪುನರುಚ್ಚರಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಆ ವೈಶಿಷ್ಟ್ಯ Perplexity ಗೆ ಚಾಲೆಂಜ್ ನೀಡಿದರೆ, allow ನಿಯಮ ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ. ಅಲ್ಲದೆ, ಘೋಷಿಸದ ಕ್ರಾಲಿಂಗ್ ಎಂದು ತಾನು ವಿವರಿಸಿದ್ದನ್ನು ಗಮನಿಸಿದ ನಂತರ Perplexity ಯನ್ನು ತನ್ನ verified bots ಪಟ್ಟಿಯಿಂದ ತೆಗೆದುಹಾಕಿರುವುದಾಗಿ ಆಗಸ್ಟ್ 2025 ರಲ್ಲಿ Cloudflare ಹೇಳಿತು; Perplexity ಆ ವಿವರಣೆಯನ್ನು ಅಲ್ಲಗಳೆಯಿತು. ಆದ್ದರಿಂದ verified bots ಅನ್ನು ಮಾತ್ರ ಒಳಗೆ ಬಿಡುವ ನಿಯಮಗಳು Perplexity ಯನ್ನು ಒಳಗೊಳ್ಳದಿರಬಹುದು. ಊಹಿಸುವ ಬದಲು ನಿಮ್ಮ ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ.
Perplexity ಯನ್ನು ಅದರ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳ ಮೂಲಕ ಹೇಗೆ ಅನುಮತಿಸುವುದು?
ಯಾರು ಬೇಕಾದರೂ ತಾನು PerplexityBot ಎಂದು ಹೇಳಿಕೊಳ್ಳುವ ವಿನಂತಿ ಕಳುಹಿಸಬಹುದು, ಆದ್ದರಿಂದ user agent ಅನ್ನು ಮಾತ್ರ ಹೊಂದಿಸುವ allow ನಿಯಮ ನಕಲಿಗಳನ್ನೂ ಒಳಗೆ ಬಿಡುತ್ತದೆ. Perplexity ಎರಡೂ ಏಜೆಂಟ್ಗಳ ವಿಳಾಸ ಶ್ರೇಣಿಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತದೆ ಮತ್ತು user agent ಹಾಗೂ IP ವಿಳಾಸ ಎರಡನ್ನೂ ಒಟ್ಟಿಗೆ ಹೊಂದಿಸಲು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' ಈ ಪಟ್ಟಿಗಳನ್ನು ನಿಯಮಿತವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ WAF ನಿಯಮಗಳ ನವೀಕರಣವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಲು ಸೂಚಿಸುತ್ತದೆ. ವಿನಂತಿಗಳನ್ನು ತಡೆಯುವ ಅಥವಾ ಚಾಲೆಂಜ್ ಮಾಡುವ ಯಾವುದೇ ನಿಯಮಕ್ಕಿಂತ ಮೇಲೆ allow ನಿಯಮವನ್ನು ಇರಿಸಿ: Cloudflare ನ custom rules ನಲ್ಲಿ ಮೊದಲನೆಯದಾಗಿ, ಅಥವಾ AWS WAF ನಲ್ಲಿ ಕಡಿಮೆ priority ಸಂಖ್ಯೆಯೊಂದಿಗೆ. ನಂತರ ನಿಮ್ಮ ಲಾಗ್ಗಳನ್ನು ಗಮನಿಸಿ, ಏಕೆಂದರೆ ಫೈರ್ವಾಲ್ ಬದಲಾವಣೆಗಳು ಜಾರಿಗೆ ಬರಲು ಸಮಯ ಹಿಡಿಯಬಹುದು.
JavaScript ರೆಂಡರಿಂಗ್ Perplexity ಪುಟ ಓದುವುದನ್ನು ತಡೆಯಬಹುದೇ?
ಹೌದು, ತಡೆಯಬಹುದು. ತನ್ನ ಏಜೆಂಟ್ಗಳು JavaScript ಚಲಾಯಿಸುತ್ತವೆಯೇ ಎಂದು Perplexity ಕ್ರಾಲರ್ ದಾಖಲೆಗಳು ಹೇಳುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ಗೆ ಬೇಕಾದ ಪಠ್ಯ ಸರ್ವರ್ ಕಳುಹಿಸುವ HTML ನಲ್ಲೇ ಇರಬೇಕು ಎಂದು ಭಾವಿಸುವುದು ಸುರಕ್ಷಿತ. ಸರ್ವರ್ ರೆಂಡರಿಂಗ್ ಇಲ್ಲದ single-page ಆ್ಯಪ್ಗಳಂತಹ, ಸಂಪೂರ್ಣವಾಗಿ ಬ್ರೌಸರ್ನಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗುವ ಪುಟಗಳು ಲೋಡಿಂಗ್ ಸ್ಪಿನ್ನರ್ ಇರುವ ಖಾಲಿ ಚಿಪ್ಪಿನಂತೆ ತಲುಪಬಹುದು.
ತ್ವರಿತ ಪರೀಕ್ಷೆ: ಪುಟವನ್ನು curl ಮೂಲಕ ಪಡೆದು, ಔಟ್ಪುಟ್ನಲ್ಲಿ ನಿಮ್ಮ ಮುಖ್ಯ ವಿಷಯದ ಒಂದು ವಾಕ್ಯವನ್ನು ಹುಡುಕಿ. ಅದು ಇಲ್ಲದಿದ್ದರೆ, ಪಠ್ಯವನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ಗಳು ಸೇರಿಸುತ್ತವೆ. ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್, ಸ್ಟ್ಯಾಟಿಕ್ ಜನರೇಶನ್ ಅಥವಾ ಕ್ರಾಲರ್ಗಳಿಗಾಗಿ ಪ್ರೀರೆಂಡರಿಂಗ್ ಇದನ್ನು Perplexity ಗೆ ಮಾತ್ರವಲ್ಲ, ಎಲ್ಲಾ AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಒಮ್ಮೆಲೇ ಸರಿಪಡಿಸುತ್ತದೆ.
ಎಲ್ಲವೂ ತೆರೆದಿದ್ದರೂ ನನ್ನ ಸೈಟ್ ಕಾಣಿಸದಿದ್ದರೆ ಏನು?
ಓದಲು ಸಾಧ್ಯವಾಗುವುದು ಪೂರ್ವಷರತ್ತು, ಖಾತರಿಯಲ್ಲ. ಯಾವ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸಬೇಕು ಎಂದು ತಾನು ಹೇಗೆ ಆರಿಸುತ್ತದೆ ಎಂಬುದನ್ನು Perplexity ಪ್ರಕಟಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಎಲ್ಲಾ ಏಜೆಂಟ್ಗಳು ಓದಬಲ್ಲ ಪುಟವೂ ಪ್ರಶ್ನೆಗೆ ಹೆಚ್ಚು ನೇರವಾಗಿ ಉತ್ತರಿಸುವ ಪುಟಗಳಿಗೆ ಸೋಲಬಹುದು. ನಿಮ್ಮ ನಿಯಂತ್ರಣದಲ್ಲಿರುವುದು ತಾಂತ್ರಿಕವಾಗಿ ಏನೂ ಅಡ್ಡಿಯಾಗದಂತೆ ನೋಡಿಕೊಳ್ಳುವುದು: ಸ್ಪಷ್ಟ ಪುಟ ಶೀರ್ಷಿಕೆ, ಪಠ್ಯದ ಆರಂಭದಲ್ಲೇ ಹೇಳಿದ ಉತ್ತರ, ಮತ್ತು ನೀವು ಬೇರೆಡೆ ಹೇಳುವುದಕ್ಕೆ ಹೊಂದುವ ನಿಖರ ಸಂಗತಿಗಳು.
robots.txt ಏನನ್ನು ಒಳಗೊಳ್ಳುವುದಿಲ್ಲ ಎಂಬುದನ್ನೂ ನೆನಪಿಡಿ. ಬಳಕೆದಾರರು ವಿನಂತಿಸಿದ್ದರಿಂದ Perplexity-User ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. ಆದ್ದರಿಂದ Perplexity-User ಗಾಗಿ ನಿಯಮ ನೇರ ಭೇಟಿಗಳನ್ನು ತಡೆಯಲು ವಿಶ್ವಾಸಾರ್ಹ ಮಾರ್ಗವಲ್ಲ, ಮತ್ತು ಅದನ್ನು ಅನುಮತಿಸುವ robots.txt ಅದು ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ದಾಟುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ಪುರಾವೆಯಲ್ಲ.
AISeeWhy ನಿಮ್ಮ ಪುಟವನ್ನು ಬ್ರೌಸರ್ ಜೊತೆಗೆ PerplexityBot, Perplexity-User ಮತ್ತು ಇತರ 12 ಕ್ರಾಲರ್ಗಳಾಗಿ ವಿನಂತಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದಕ್ಕೂ ನಿಮ್ಮ robots.txt ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ, ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ ಮತ್ತು JavaScript ಇಲ್ಲದೆ ಎಷ್ಟು ಪಠ್ಯ ತಲುಪುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ, ಹೀಗಾಗಿ ಸರಪಳಿಯ ಯಾವ ಕೊಂಡಿ ವಿಫಲವಾಗುತ್ತದೆ ಎಂದು ನೀವು ನೋಡಬಹುದು.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಮೂಲಗಳು
- Perplexity: Perplexity ಕ್ರಾಲರ್ಗಳು
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: ವೆಬ್ಸೈಟ್ಗಳ no-crawl ನಿರ್ದೇಶನಗಳನ್ನು ತಪ್ಪಿಸಲು Perplexity ಗುಪ್ತ, ಘೋಷಿಸದ ಕ್ರಾಲರ್ಗಳನ್ನು ಬಳಸುತ್ತಿದೆ
- Perplexity: ಏಜೆಂಟ್ಗಳೋ ಬಾಟ್ಗಳೋ? ಮುಕ್ತ ವೆಬ್ನಲ್ಲಿ AI ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು
- AISeeWhy: AI ಕ್ರಾಲರ್ ಪ್ರವೇಶ ವರದಿ, 2026-11