مولّد robots.txt لزاحفات الذكاء الاصطناعي

قرّر، زاحفًا بزاحف، أي وكلاء AI يمكنهم قراءة موقعك. بدّل GPTBot وClaudeBot وPerplexityBot والبقية، وأضف خريطة موقعك، وانسخ والصق robots.txt صالحًا - بلا حاجة إلى تسجيل، ويُولَّد مباشرة في متصفحك.

  • بلا حاجة إلى تسجيل
  • 8 user-agents لـ AI
  • لا شيء يُخزَّن
السياسة لكل زاحف
  • GPTBotOpenAIمسموح

    تزحف لتدريب وتغذية إجابات ChatGPT

  • OAI-SearchBotOpenAIمسموح

    تزحف لنتائج البحث على الويب في ChatGPT

  • ChatGPT-UserOpenAIمسموح

    تصفح مباشر عندما يطرح مستخدم سؤالًا على ChatGPT

  • ClaudeBotAnthropicمسموح

    تزحف لتدريب وتغذية Claude

  • Claude-WebAnthropicمسموح

    تصفح مباشر يبدأه مستخدم Claude

  • PerplexityBotPerplexityمسموح

    تبني الفهرس الذي تستند إليه إجابات Perplexity

  • Google-ExtendedGoogleمسموح

    استخدام التدريب في Gemini / AI Overviews

  • Applebot-ExtendedAppleمسموح

    تغذّي Apple Intelligence

يُطبَّق على مجموعة User-agent: * - يواصل Googlebot وBingbot احترامها.
robots.txt · معاينة مباشرة
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://yourdomain.com/sitemap.xml

هذا يستبدل ملف robots.txt بالكامل - ادمجه مع قواعدك الحالية إن كانت لديك توجيهات خاصة، ثم تحقق عبر فحص زاحفات AI.

أن تُزحَف هو الخطوة الأولى.بعد الزحف تأتي الاستشهادات - تتابع Sonarvue ما تقوله المحركات عنك بمرور الوقت.
ابدأ التدقيق المجاني

لماذا تحتاج زاحفات AI إلى قرارات robots.txt خاصة بها

تعتمد محركات إجابات AI على زاحفاتها الخاصة، وكل محرك يسمّي user-agent مميزًا في robots.txt. OpenAI وحدها تشغّل ثلاثة: GPTBot للتدريب والإجابات، وOAI-SearchBot لفهرس البحث الويب في ChatGPT، وChatGPT-User للتصفح المباشر الذي يحدث حين يطرح شخص سؤالًا. وتفصل Anthropic بين ClaudeBot وClaude-Web، وتشغّل Perplexity روبوت PerplexityBot لبناء الفهرس الذي تستمد منه إجاباتها، ويتحكم Google-Extended وApplebot-Extended بشكل منفصل في كيفية استخدام منتجات AI لدى Google وApple لمحتواك. سطر «Disallow: /» واحد على الطريقة القديمة تحت User-agent: * يرفضها كلها بهدوء - وهو سبب شائع لاختفاء علامة تجارية من Perplexity أو ChatGPT دون أن يلاحظ أحد تغييرًا.

يمنحك المولّد أعلاه مفاتيح السماح/الحظر لكل روبوت، وثلاثة إعدادات مسبقة معقولة، ومعاينة مباشرة لتوجيهات صالحة. إن لم تكن متأكدًا من أين تبدأ، فإن «السماح بالإجابات وحظر التدريب» هو الطريق الوسط الصادق: يظل OAI-SearchBot وChatGPT-User وPerplexityBot قادرين على قراءتك والاقتباس منك، بينما تتراجع الزاحفات الموجهة للتدريب. أو اسمح للجميع وكن متاحًا إلى أقصى حد لكل محرك - لمعظم الشركات التي تريد الظهور في إجابات AI، الملف المفتوح هو الافتراضي الصحيح.

كيف تُجمّع التوجيهات (الجزء الذي يخطئ فيه الناس)

يُقرأ robots.txt في مجموعات. تبدأ المجموعة بسطر User-agent: وتستمر حتى سطر الوكيل التالي؛ أسطر الوكيل المتتالية تتشارك مجموعة قواعد واحدة، ولهذا يستطيع المولّد دمج مفاتيحك لكل روبوت في كتل مرتبة. داخل المجموعة، تفوز قاعدة المسار المطابقة الأطول - «Disallow: /blog» يتفوق على «Allow: /»، و«Allow: /» صريح في مجموعة قوية يُبقي موقعك كله مقروءًا بينما تنشئ إدخالات Disallow الأضيق استثناءات. وروبوت مذكور في مجموعة يتجاهل مجموعة * تمامًا: «User-agent: GPTBot» مع سطر Disallow واحد يعني أن أذونات Googlebot لا تنطبق أبدًا على OpenAI. يُبقي الملف المولّد كل روبوت مذكور في مجموعته الخاصة كي لا يحدث توريث عرضي، ويضع URL خرائط موقعك في النهاية، ويحفظ استثناءات الإدارة/السلة/الدفع تحت * كي يواصل Googlebot وBingbot احترامها.

انشره، ثم أثبت أنه نجح

نزّل الملف وضعه في جذر نطاقك بحيث تعرض زيارة https://yourdomain.com/robots.txt ما نويت نشره بالضبط. ثم أغلق الحلقة بفحص زاحف AI - يقرأ ملفك المباشر ويعرض، روبوتًا بروبوت، من المسموح له بالدخول فعليًا. القاعدة التي نويتها في اتجاه وكتبتها في آخر هي الخطأ الكلاسيكي؛ والفحص موجود لأن «لقد نشرته» ليس دليلًا.

الملف يتقادم - راجعه كأي سطح زحف

تظهر وكلاء AI جدد كل شهر، ويأتي كل منها بسطر user-agent خاص به: bytespider من ByteDance وأحدث الداخلين يمنعون القائمة أعلاه من أن تكون شاملة. كل ربع سنة تقريبًا، شغّل فحص زاحف AI على نطاقك المباشر واقرأ أثر قرارات robots.txt الخاصة بك؛ إن كانت قاعدة بالكاد تتذكر نشرها لمحرك تهم الآن، فصحّحها في هذا المولّد وانشر الملف المولّد من جديد. عادة الصيانة هي المقصودة - robots.txt من قليل عناصر SEO حيث يمكن لسطر واحد من نص دقيق أن يُدخل منتجًا في قناة توزيع أو يُخرجه بين ليلة وضحاها.

حد صادق واحد: robots.txt طلب، وليس جدارًا. المحركات حسنة السلوك تطيعه، لكنه لا يوثّق، ولا يمنع جلب صفحات زُحفت بالفعل، ولا يمنع مستخدمًا نهائيًا من زيارة موقعك عبر وكيل. تعامل معه كمجموعة تعليمات تجددها عمدًا، وإذا أساء زاحف السلوك دون احترامه، فإن إدارة الروبوتات على مستوى الحافة هي طبقة التنفيذ - لا هذا الملف النصي. وفي كل ما عدا ذلك، يتتبع تدقيق الموقع ما إذا كانت المحركات تراك وتقتبس منك الآن.

الأسئلة الشائعة

أي زاحفات AI يجب أن يذكرها robots.txt؟

على الأقل GPTBot وClaudeBot وPerplexityBot، لأنها تغذّي الإجابات التي يراها معظم المشترين. وتضيف الممارسة الجيدة OAI-SearchBot وChatGPT-User (وكلاء البحث والتصفح المنفصلان لدى OpenAI)، وClaude-Web، وGoogle-Extended، وApplebot-Extended، وكل منها user-agent منفصل بمجموعة قواعد خاصة به.

هل يجب أن أحظر زاحفات AI أم أسمح لها؟

إذا أردت أن يُستشهد بك فاسمح لها: الزاحف المحظور لا يستطيع قراءتك أو الاستشهاد بك أبدًا. وإذا كنت لا تريد أبدًا أن تستخدم أنظمة AI محتواك، فإن إعداد «حظر كل زاحفات AI» في المولّد ينتج الملف الأكثر صرامة. والحل الوسط - السماح للروبوتات التي تجمع الإجابات وحظر تلك الموجّهة للتدريب - على بُعد نقرة واحدة.

كيف يقرر robots.txt بين السماح والمنع؟

لكل user-agent، تغلب القاعدة المطابقة الأكثر تحديدًا (الأطول) للمسار، لذا تغلب «Disallow: /blog» على «Allow: /». ولا تُطبَّق مجموعة قواعد على روبوت (أو على البديل «*») إلا إذا ذُكر بالاسم؛ وتعود الروبوتات المجهولة إلى مجموعة «*»، والروبوت المذكور في مجموعته يتجاهل «*» كليًا.

هل يمنع الحظر في robots.txt المحركات من الاستشهاد بي؟

يمنع ذلك الزاحف من جلب صفحاتك، وهو ما يزيلك من الفهرس الذي تُبنى عليه الإجابة. ولا يمكنه إزالة محتوى زُحف بالفعل، ولا يمنع وكيلًا يطلقه مستخدم (مثل ChatGPT-User) من فتح URL نيابة عنك - فهو user-agent مختلف.

أين يذهب الملف المولّد؟

انشره في جذر نطاقك - تحديدًا https://yourdomain.com/robots.txt، وليس في مجلد فرعي. ثم تحقق بفحص زاحفات AI من أن سياستك تُقرأ كما هو مقصود، وأعد الفحص بعد أي تغيير في الموقع.