ملف robots.txt لم يعد قرارًا واحدًا لكل بوتات الذكاء الاصطناعي.

نُشر في 3 أغسطس 2026 · OpenAI Crawlers / Robots.txt / Landing Page Governance

توضح وثائق OpenAI الرسمية أن لديها أكثر من زاحف، وكل واحد له غرض مختلف. GPTBot يرتبط بمحتوى قد يستخدم في تحسين النماذج، وOAI-SearchBot لإدارة الظهور في Search، وChatGPT-User لطلبات يبدأها المستخدم. اللافت أيضًا وجود OAI-AdsBot للتحقق من صفحات الهبوط المقدمة كإعلانات على ChatGPT. هذا يجعل قرار السماح أو المنع في robots.txt أكثر دقة من قاعدة واحدة لكل شيء.

لماذا يهم هذا للمسوقين؟

صفحات الخدمات لم تعد تظهر فقط في Google Search أو الحملات التقليدية. إذا بدأت تجارب إعلانية أو ظهور داخل بيئات إجابة، فصفحة الهبوط نفسها تصبح جزءًا من تقييم الأمان والملاءمة والجودة.

قرار منع كل البوتات قد يبدو سهلًا، لكنه قد يقطع إشارات مفيدة. وقرار السماح الكامل قد لا يناسب مواقع فيها محتوى خاص أو صفحات لا تريد استخدامها خارج سياقها. المطلوب سياسة مكتوبة حسب نوع الصفحة.

كيف تقسم السياسة؟

ابدأ بثلاث طبقات: صفحات عامة تريد ظهورها وفهمها، صفحات تجارية تحتاج تحققًا وقياسًا، وصفحات لا يجب أن تدخل أي زحف عام. بعد ذلك اكتب قواعد robots بناءً على اسم الزاحف والغرض المعلن لا بناءً على الخوف العام من الذكاء الاصطناعي.

اربط القرار بسجل تغييرات. لو منعت GPTBot مثلًا، اكتب السبب وتاريخ القرار. ولو سمحت لـ OAI-SearchBot لصفحات معينة، راقب سجلات الخادم حتى تتأكد من أن القاعدة تعمل كما تتوقع.

Checklist سريع

• راجع أسماء الزواحف الرسمية قبل تعديل robots.txt.
• افصل صفحات الهبوط عن المقالات والأرشيفات الضعيفة.
• اكتب قرارًا مستقلًا للتدريب والبحث والتحقق الإعلاني.
• اختبر robots.txt بعد أي تعديل.
• راقب سجلات الزيارة حسب user agent.
• راجع صفحات الهبوط من ناحية الثقة والخصوصية قبل أي تجربة مدفوعة.

أين تدخل ok4host؟

ok4host يراجع ملف robots.txt وصفحات الهبوط وسجلات الزحف حتى يكون قرار AI Search واضحًا وقابلًا للقياس، بدل قواعد عشوائية قد تغلق قناة مفيدة أو تفتح صفحات غير مناسبة.

أسئلة شائعة

هل GPTBot هو نفسه OAI-SearchBot؟ لا، وثائق OpenAI تفصل بين أغراض الزواحف.

هل robots.txt يكفي وحده؟ هو خطوة أساسية، لكنه لا يغني عن جودة الصفحة وحماية المحتوى الخاص.

ما أول خطوة؟ جرد صفحات الموقع وتحديد ما يصلح للظهور العام وما يجب عزله.

المصادر

• OpenAI Developers: Overview of OpenAI Crawlers.
• Google Search Central: robots.txt introduction.
• Google Search Central: succeeding in AI Search.