Hangi bot ne yapıyor?
Tablodaki her bilgi üreticinin kendi belgesinden alındı. “Engellersen” sütunu, üreticinin o botu engellemenin sonucu olarak yazdığı şeydir.
| Bot (robots.txt adı) | Şirket | Ne için kullanılıyor? | Engellersen ne olur? | robots.txt’ye uyuyor mu? |
|---|---|---|---|---|
| GPTBot | OpenAI | Üretken AI temel modellerinin eğitiminde kullanılabilecek içeriği toplamak | İçeriğin model eğitiminde kullanılmaması gerektiğini bildirirsin. Diğer OpenAI ayarları bundan bağımsızdır. | robots.txt ile yönetilir |
| OAI-SearchBot | OpenAI | Siteleri ChatGPT arama özelliklerinde göstermek | ChatGPT arama cevaplarında gösterilmezsin; gezinme bağlantısı olarak yine görünebilirsin | robots.txt ile yönetilir; değişikliğin yansıması yaklaşık 24 saat |
| ChatGPT-User | OpenAI | ChatGPT ve Custom GPT’lerde kullanıcının başlattığı işlemler | Arama görünürlüğünü belirlemek için kullanılmaz | OpenAI: kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir |
| ClaudeBot | Anthropic | Model eğitimine katkı sağlayabilecek web içeriği toplamak | Sitenin gelecekteki içeriği eğitim verisinden çıkarılır | Evet; Crawl-delay de destekleniyor |
| Claude-User | Anthropic | Kullanıcı Claude’a soru sorduğunda sayfaya erişmek | Kullanıcı isteğiyle yapılan aramalarda görünürlüğün azalabilir | Evet |
| Claude-SearchBot | Anthropic | Arama sonuçlarının kalitesi için içeriği dizinlemek | Arama cevaplarında görünürlüğün ve doğruluğun azalabilir | Evet |
| PerplexityBot | Perplexity | Siteleri Perplexity arama sonuçlarında gösterip bağlamak; temel model eğitimi için değil | Perplexity cevaplarında kaynak gösterilmeyebilirsin | Perplexity izin verilmesini öneriyor; değişiklik 24 saate kadar yansır |
| Perplexity-User | Perplexity | Kullanıcının sorusunu cevaplamak için sayfa açmak | Etkisi sınırlı olabilir | Perplexity: genellikle robots.txt kurallarını yok sayar |
| Google-Extended | Gemini modellerinin eğitimi ve Gemini uygulamaları ile Vertex AI’daki grounding için içerik kullanımı | Google Arama’ya dahil olmayı etkilemez, sıralama sinyali değildir | Ayrı tarayıcı değil; yalnız robots.txt belirteci | |
| Applebot-Extended | Apple | Applebot’un topladığı verinin Apple’ın üretken AI temel modellerinin eğitiminde kullanılması | Sayfaların Spotlight, Siri ve Safari aramasında kalır; Apple’a göre bu kural arama sıralamasında dikkate alınmaz | Sayfa taramaz; yalnız kullanım iznini belirler |
| CCBot | Common Crawl | Açık web tarama arşivi oluşturmak | Common Crawl arşivine girmezsin | Common Crawl, engellemek isteyenler için robots.txt kuralını veriyor |
Kaynak: OpenAI (erişim 24.10.2026); Anthropic (erişim 24.10.2026); Perplexity (erişim 24.10.2026); Google Crawling Infrastructure (erişim 24.10.2026); Apple (erişim 24.10.2026); Common Crawl (erişim 24.10.2026)
Apple tarafında bir ayrıntı daha var: Siri ve Spotlight’taki genel bilgi cevaplarında içeriğinin ek bağlam olarak kullanılmasını istemiyorsan Apple, sayfayı nosnippet ile işaretlemeni öneriyor; Apple nosnippet işaretli veriyi bu cevaplarda kullanmıyor.
Kaynak: Apple (erişim 24.10.2026)
Hangi stratejiyi seçmeliyim?
| Strateji | Kime uygun? | Sonucu |
|---|---|---|
| 1. Hepsine izin ver | İçeriği zaten herkese açık olan ve görünürlüğü en çok önemseyen siteler | Hem eğitimde hem asistan aramasında yer alabilirsin |
| 2. Eğitimi kapat, aramaya izin ver | İçeriğinin model eğitiminde kullanılmasını istemeyen ama cevaplarda kaynak olmak isteyenler | Arama tabanlı cevaplarda kaynak olabilirsin; eğitim botları dışarıda kalır |
| 3. Hepsini kapat | Ücretli, lisanslı ya da hassas içerik sahipleri | Asistan cevaplarında kaynak gösterilme ihtimali düşer; kullanıcı ajanları yine gelebilir |
Robots Exclusion Protocol standardı (RFC 9309), bir kural grubunun birden çok User-agent satırıyla başlamasına izin verir ve bot adları büyük-küçük harfe duyarlı eşleşmez. Aşağıdaki örnekler bu yüzden aynı kuralları birkaç bota tek grupta uygular.
Kaynak: IETF (erişim 24.10.2026)
# Disallow yazılmayan her yol zaten izinlidir.
# Bu grup, izni açıkça belgelemek içindir.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Sitemap: https://www.ornek.com/sitemap.xml# Eğitim ve eğitim izni belirteçleri
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
# Arama ve kullanıcı adına erişim
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Sitemap: https://www.ornek.com/sitemap.xmlUser-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Google-Extended’i engellemek Gemini eğitimini ve Gemini uygulamalarındaki grounding kullanımını kapatır; Google Arama’yı etkilemez. Google Arama’daki AI Bakışı için Google, nosnippet, data-nosnippet, max-snippet ya da noindex gibi arama kontrollerini öneriyor (AI Bakışı rehberi).
Kaynak: Google Crawling Infrastructure (erişim 24.10.2026); Google Search Central (erişim 24.10.2026)
Engellemenin işe yarayıp yaramadığını nasıl kontrol ederim?
robots.txt bir rica dosyasıdır; uyup uymamak botun kararıdır. Bu yüzden değişiklikten sonra gerçekte ne olduğunu loglardan kontrol et.
grep -ioE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot" access.log | sort | uniq -c | sort -rn- User-agent taklit edilebilir. OpenAI ve Perplexity botlarının IP listelerini yayımlıyor; Anthropic de botlarının kaynak IP listesini veriyor. Şüpheli bir isteğin IP’sini bu listelerle karşılaştır.
- Anthropic, yalnız IP engellemenin kalıcı bir çıkış garantisi vermeyebileceğini, robots.txt kullanılmasını öneriyor.
- Cloudflare kullanıyorsan AI Crawl Control, hangi yapay zekâ servislerinin içeriğine eriştiğini gösterir; bot bazında izin ya da engel kuralı koymanı ve robots.txt’ye kimin uyduğunu izlemeni sağlar. Cloudflare’e göre tüm planlarda var.
Kaynak: OpenAI (erişim 24.10.2026); Perplexity (erişim 24.10.2026); Anthropic (erişim 24.10.2026); Cloudflare Docs (erişim 24.10.2026)
RanksUp’ın Agent Readiness (AXO) taraması robots.txt’deki yapay zekâ bot duruşunu denetler; eksik bot gruplarını mevcut kurallarını koruyarak, önizleyip onayladığında ekler (Profesyonel ve üstü). Ajans planındaki Canlı Tarayıcı, yapay zekâ botlarının canlı akışını gösterir. Kendi botumuzun ne okuduğunu RanksUpBot sayfasında anlattık. Planlar fiyatlandırma sayfasında.
robots.txt ile llms.txt aynı şey mi?
Hayır. robots.txt hangi botun hangi yola erişebileceğini söyler. llms.txt ise erişim kuralı içermez; sitenin önemli sayfalarını yapay zekâ ajanları için özetleyen isteğe bağlı bir dosyadır. Etkisi hakkında bilinenleri llms.txt rehberinde topladık.
Sık sorulan sorular
GPTBot’u engellersem ChatGPT aramasında görünmez miyim?
Görünmeye devam edebilirsin. OpenAI’ye göre her ayar birbirinden bağımsızdır: GPTBot, içeriğin model eğitiminde kullanılmasıyla ilgilidir. ChatGPT aramasında görünmek için OAI-SearchBot’a izin vermen gerekir; robots.txt değişikliğinin yansıması yaklaşık 24 saat sürebilir.
Google-Extended’i engellersem Google sıralamam düşer mi?
Hayır. Google, Google-Extended’in sitenin Google Arama’ya dahil olmasını etkilemediğini ve sıralama sinyali olarak kullanılmadığını söylüyor.
ChatGPT-User robots.txt’ye uyar mı?
Her zaman değil. OpenAI, bu işlemler kullanıcı tarafından başlatıldığı için robots.txt kurallarının uygulanmayabileceğini yazıyor. Perplexity de Perplexity-User’ın genellikle robots.txt kurallarını yok saydığını söylüyor.
Anthropic botları robots.txt’ye uyuyor mu?
Anthropic, ClaudeBot, Claude-User ve Claude-SearchBot’un robots.txt yönergelerine uyduğunu ve standart dışı Crawl-delay uzantısını desteklediğini söylüyor.
robots.txt değişikliği ne zaman etkili olur?
Botun dosyayı yeniden okumasına bağlıdır. OpenAI, OAI-SearchBot için değişikliğin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini, Perplexity de 24 saate kadar sürebileceğini belirtiyor.
Bytespider’ı neden tabloda göremiyorum?
ByteDance’in Bytespider için yayımladığı resmi bir belgeye ulaşamadık. Doğrulayamadığımız bir amacı yazmak yerine tabloya almadık. Engellemek istersen uyup uymadığını sunucu loglarından kontrol et.
Kaynaklar
- OpenAI: Overview of OpenAI Crawlers · erişim 24.10.2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? · erişim 24.10.2026
- Perplexity: Perplexity Crawlers · erişim 24.10.2026
- Google Crawling Infrastructure: Google's common crawlers (Google-Extended) · erişim 24.10.2026
- Google Search Central: AI features and your website (son güncelleme 10.12.2025) · erişim 24.10.2026
- Apple: About Applebot (Applebot-Extended) · erişim 24.10.2026
- Common Crawl: CCBot · erişim 24.10.2026
- IETF: RFC 9309: Robots Exclusion Protocol (Eylül 2022) · erişim 24.10.2026
- Cloudflare Docs: AI Crawl Control · erişim 24.10.2026