ملف robots.txt أصبح قرار ظهور في AI Search، وليس مجرد منع crawler عام.

نُشر في 12 أغسطس 2026 · OpenAI Crawlers / Robots.txt / AI Search Visibility

توضح وثائق OpenAI أن OAI-SearchBot يُستخدم لعرض المواقع داخل ميزات البحث في ChatGPT، بينما GPTBot يُستخدم لجعل النماذج التوليدية أكثر فائدة وأمانًا. الأهم أن OpenAI تقول إن كل إعداد مستقل: يمكن السماح لـ OAI-SearchBot للظهور في نتائج البحث، مع منع GPTBot لو كان قرار المحتوى لا يسمح باستخدامه في تدريب النماذج.

أين يحدث الخلط؟

كثير من المواقع تضيف Disallow واسعًا لأي user-agent له علاقة بالذكاء الاصطناعي. هذا يبدو حذرًا، لكنه قد يمنع OAI-SearchBot من الوصول للمحتوى الذي تريد ظهوره في إجابات البحث داخل ChatGPT. النتيجة أن الموقع قد يبقى كرابط ملاحي فقط أو يفقد فرصة ظهور محتوى مهم.

في المقابل، ChatGPT-User مختلف؛ OpenAI توضّح أنه يُستخدم في أفعال يطلبها المستخدم داخل ChatGPT أو Custom GPTs، وليس crawler تلقائيًا للويب، وأن قواعد robots.txt قد لا تنطبق عليه بنفس الطريقة لأنه مرتبط بطلب مستخدم.

Workflow مراجعة عملي

ابدأ بنسخة من robots.txt الحالي، ثم افصل القرار حسب الهدف: بحث، تدريب، أو طلب مستخدم. راقب server logs لمدة 24 إلى 48 ساعة بعد أي تعديل لأن OpenAI تذكر أن أنظمة البحث قد تحتاج نحو 24 ساعة لتتأقلم مع تحديث robots.txt.

لا تجعل القرار قانونيًا أو تسويقيًا فقط. فريق السيو يحتاج معرفة الصفحات التي تستحق الظهور في AI Search، وفريق التقنية يحتاج السماح من IP ranges المنشورة وفحص أخطاء 403 و429 و5xx التي قد تجعل الوصول النظري غير مفيد.

Checklist

• افصل قواعد OAI-SearchBot عن GPTBot داخل robots.txt.
• راجع هل الصفحات التجارية المهمة مسموحة للبحث.
• لا تعتمد على wildcard AI bot بدون سبب واضح.
• راقب logs بعد التعديل لمدة يومين.
• افحص status codes للصفحات المهمة وليس robots.txt فقط.
• وثق القرار حتى لا يغيره تحديث أمني عشوائي.

أين تدخل ok4host؟

ok4host يراجع robots.txt وserver logs وسياسة AI crawlers بحيث لا تفقد المواقع ظهورًا مهمًا بسبب قاعدة منع واسعة أو سوء فهم بين search وtraining.

أسئلة شائعة

هل منع GPTBot يمنع الظهور في ChatGPT Search؟ ليس بالضرورة؛ OpenAI تفرق بين GPTBot وOAI-SearchBot.

هل ChatGPT-User crawler تلقائي؟ OpenAI تقول إنه مرتبط بأفعال يطلبها المستخدم وليس crawling تلقائيًا للويب.

ما أول فحص؟ robots.txt ثم logs للصفحات المهمة بعد التعديل.

المصادر

• OpenAI Developers: Overview of OpenAI Crawlers.
• OpenAI: Our approach to data and AI.
• Google Search Central: AI optimization guide.