RanksUp’ın tarayıcısı

RanksUpBot isteklerinde User-Agent başlığı tam olarak şudur:

Mozilla/5.0 (compatible; RanksUpBot/1.0; +https://ranksup.ai/bot)

Kurallarınızda “RanksUpBot” ifadesini arayın. Bu ad yalnızca bir beyandır: herkes kendi isteğine aynı adı yazabilir. Bu yüzden izin kurallarını dar tutmanızı öneririz (aşağıda).

• RanksUp’a eklenen siteler. Sitesini RanksUp’a ekleyen kullanıcının başlattığı işlerle ve planına bağlı zamanlanmış görevlerle:
  • site taraması ve denetimi: sayfalar, robots.txt, sitemap ve llms.txt;
  • GEO analizi: ana sayfa, llms.txt ve site haritasındaki içerik sayfalarından küçük bir örneklem;
  • sayfa SEO (snippet) taraması, şema doğrulaması, statik HTML düzeltmesi ve takılmış sayfa kurtarma için ilgili sayfalar;
  • görsel alt metni: öneri için görsel dosyaları; alt metin yazıldıktan sonra yayında olduğunu doğrulamak için sayfanın kendisi;
  • site eklenirken sektör ve altyapı (CMS) tespiti için ana sayfa ve birkaç bilinen uç (ör. WordPress REST); JavaScript ile çizilen sitelerde ana sayfa aynı kimlikle başsız bir tarayıcıda açılır;
  • yerel ölçüm için ana sayfadaki işletme adı, adres ve telefon bilgisi;
  • AI tarayıcı trafiği panelinde oran hesaplamak için site haritasındaki sayfa sayısı;
  • kök dosya düzeltmesinden önce ve sonra robots.txt, sitemap.xml ya da llms.txt’nin canlı hali.
• Ajan hazırlığı dosyaları. Aynı sitelerde ana sayfa, robots.txt, llms.txt, llms-full.txt, sitemap.xml ve sitemap_index.xml, robots.txt’te bildirilen site haritaları, openapi.json ve auth.md; /.well-known altında auth.md, api-catalog, ai-catalog.json (ve bu katalogda listelenen MCP sunucu / A2A ajan kartları), agent-card.json, eski agent.json, eski MCP keşif dosyaları mcp.json ve mcp/server-card.json; uygulaması bağlı sitelerde apple-app-site-association. E-ticaret izi olan sitelerde ayrıca ürün site haritası, en fazla 3 ürün sayfası, ana sayfada ya da site haritasında bildirilen ürün akışları (en fazla 2), Shopify izi varsa products.json?limit=1, WooCommerce izi varsa wp-json/wc/store/v1/products?per_page=1 okunur (ilk ürün yeterlidir). Sitenin var olmayan adreslere de aynı sayfayı dönüp dönmediğini (soft-404) anlamak için rastgele adlı, var olmayan tek bir yol istenir. robots.txt’te bildirilen site haritaları ve katalogdaki kart adresleri başka bir alan adındaysa oradan okunur.
• Makalelerdeki dış bağlantılar. RanksUp’ta üretilen makalelerdeki bağlantıların çalışıp çalışmadığını denetlemek için bağlantı verilen adreslere kısa bir HEAD ya da GET isteği gönderir.
• Rakip blogları. Konu önerisi için kullanıcının marka profilindeki rakip sitelerin RSS akışlarını ve blog sayfasını okur.
• Ücretsiz AI görünürlük kontrolü. Bir ziyaretçi RanksUp’ta bir alan adı için kontrol istediğinde o alan adının yalnızca ana sayfasını okur; marka adını ve sayfa başlığını çıkarmak için. Sonucu e-postayla takip etmeyi seçenler için bu okuma dönemsel olarak tekrarlanır.
• Sektör takibi. SEO, GEO ve ASO sektöründeki gelişmeleri izlemek için herkese açık RSS/Atom akışlarını ve bu akışlarda ya da izlenen X gönderilerinde bağlantısı verilen makaleleri okur.
• Pazar araştırması. RanksUp ekibinin elle başlattığı araçlar herkese açık kurum ve sektör listelerini ve şirket sitelerinin herkese açık iletişim sayfalarını, istekler arasında bekleyerek okur.
• Webhook bildirimleri. Kullanıcının RanksUp’ta tanımladığı webhook adresine olay bildirimlerini (POST) aynı kimlikle gönderir.

RanksUp’a eklenen sitelerin taramasında robots.txt’te açıkça User-agent: RanksUpBot için yazılmış gruba uyar. Genel User-agent: * grubunu bu taramada uygulamaz: taramayı sitenin sahibi istedi ve genel kurallar çoğu zaman arama motorları dışındaki botları kapatmak için yazılır.

RanksUpBot’un sitenizi taramasını tamamen durdurmak için:

User-agent: RanksUpBot
Disallow: /

Yalnızca bir bölümü kapatmak için:

User-agent: RanksUpBot
Disallow: /yonetim/

Bu gruba site taraması (sayfa keşfi ve adres envanteri) ile yerel işletme bilgisi okuması uyar. GEO analizi, ajan hazırlığı dosyaları, ücretsiz kontrol ve pazar araştırması gibi diğer okumalar bu gruba bakmaz; tüm RanksUpBot isteklerini kesin olarak durdurmak için güvenlik duvarınızda bu kullanıcı ajanını engelleyin.

1. Cloudflare panelinde Security rules sayfasını açın ve Create rule → Custom rules seçin.
2. İfadeyi girin (eşleşme büyük-küçük harfe duyarlıdır):

   (http.user_agent contains "RanksUpBot")

3. Choose action menüsünden Skip seçin ve yalnızca RanksUpBot’u engelleyen korumaları işaretleyin; örneğin “All Super Bot Fight Mode rules”, “All managed rules” ya da “Browser Integrity Check”. Hız sınırlamayı atlamanız gerekmez.
4. Deploy ile kaydedin.

Ücretsiz plandaki Bot Fight Mode bu kuralla atlanamaz. İstisna tanımlamak için Cloudflare, Skip kurallarını destekleyen Super Bot Fight Mode’u öneriyor; diğer seçenek Bot Fight Mode’u kapatmak. Kaynaklar: Skip kuralı, atlama seçenekleri, Bot Fight Mode.

Kullanıcı ajanı taklit edilebildiği için kuralı dar tutun. RanksUpBot için sabit bir IP listesi yayımlamıyoruz. Başka bir güvenlik duvarı kullanıyorsanız kullanıcı ajanında “RanksUpBot” geçen isteklere izin veren bir kural ekleyin.

robots.txt yeterliyse yukarıdaki Disallow: / grubunu ekleyin. Tüm istekleri durdurmak için Cloudflare’de aynı ifadeyle bir kural oluşturup Block eylemini seçin.

Sektör takibi okumaları daha önce “RanksUpIntel” adıyla yapılıyordu; artık RanksUpBot kimliğini kullanır. “RanksUpIntel” adı yalnızca herkese açık X gönderilerini okumak için kullandığımız üçüncü taraf bir servise (api.fxtwitter.com) giden isteklerde geçer; sitelere bu adla istek gönderilmez.

RanksUpBot ile ilgili her konuda bize yazın: [email protected]. RanksUp’ı kendi yapay zekâ istemcinize bağlamak istiyorsanız ajan kurulum rehberine bakın.