قرار السماح لـ OAI-SearchBot ليس نفس قرار السماح لـ GPTBot.

نُشر في 16 يوليو 2026 · OpenAI Crawlers / Robots.txt / AI Search

مع توسع ظهور الإجابات المدعومة بالذكاء الاصطناعي، أصبح ملف robots.txt أكثر من سطر Allow أو Disallow. OpenAI تفرق بين زاحف البحث OAI-SearchBot، وزاحف التدريب GPTBot، ووكيل الطلبات المباشرة ChatGPT-User. لذلك يجب أن يحدد فريق السيو أي استخدام يسمح به لكل نوع من المحتوى.

ما الفرق العملي؟

OAI-SearchBot مرتبط بظهور المحتوى في منتجات البحث. GPTBot مرتبط بتحسين النماذج. ChatGPT-User يظهر عندما يطلب مستخدم أو أداة الوصول إلى صفحة بعينها. خلط هذه الأدوار يجعل القرار التسويقي غير واضح.

صفحات الخدمات والمقالات العامة قد تستفيد من السماح بزواحف البحث، بينما ملفات الأسعار الخاصة أو مسارات العملاء أو مناطق الأعضاء تحتاج سياسة أكثر تحفظًا. المهم أن يكون القرار موثقًا، لا نسخة عشوائية من robots.txt.

كيف تراجع robots.txt؟

ابدأ بخريطة أنواع الصفحات: مقالات عامة، صفحات خدمة، ملفات قابلة للتحميل، نتائج بحث داخلية، صفحات حساب، ولوحات خاصة. لكل نوع اكتب سبب السماح أو المنع. بعد ذلك راجع هل القواعد الحالية تطابق هذه الخريطة.

لا تغير الملف مباشرة على موقع حي قبل معرفة أثره. افحص السجلات وSearch Console، ثم اختبر القاعدة على بيئة آمنة أو على نطاق محدود عند الحاجة.

Checklist تشغيلية

• افصل قرارات OAI-SearchBot عن GPTBot داخل السياسة الداخلية.
• اسمح فقط للمحتوى العام الذي تريد ظهوره كمصدر.
• امنع مسارات الحسابات والبحث الداخلي والملفات الخاصة.
• راجع canonical وschema حتى يفهم الزاحف الصفحة الصحيحة.
• وثق تاريخ آخر تعديل وسبب كل قاعدة.
• راجع الأثر بعد أسبوعين لا بعد ساعات.

كيف نحول المقال إلى أصل SEO؟

هذا المقال يدعم محور AI Search SEO لأنه لا يكرر فكرة robots العامة، بل يضع سياسة استخدام لكل زاحف. اربطه بمقالات جودة المحتوى وSearch Console حتى يتحول من خبر تقني إلى نظام مراجعة.

لصفحات الخدمة، اكتب إجابة مختصرة واضحة، ثم تفاصيل التنفيذ، ثم CTA. الزاحف لا يعوض صفحة غير مفهومة أو بلا خطوة تالية.

أسئلة شائعة

هل السماح لـ GPTBot مطلوب للظهور في البحث؟ لا تتعامل معه كشرط ظهور؛ هو مذكور في توثيق OpenAI كزاحف مختلف عن OAI-SearchBot.

هل يجب منع كل bots؟ لا. القرار يعتمد على نوع المحتوى والهدف التجاري والمخاطر.

هل robots.txt يحمي الأسرار؟ لا تعتمد عليه كحماية. الملفات الخاصة يجب ألا تكون عامة أصلًا.

المصادر

• OpenAI Platform: OpenAI bots.
• Google Search Central: robots.txt introduction.
• Google Search Central: AI optimization guide.