robots.txt dosyasını doğrula ve analiz et. User-agent kuralları, disallow/allow direktifleri ve sitemap bilgilerini kontrol edin.