AI Search · Crawler Policy

لو كان موقعك يريد الظهور في إجابات البحث بالذكاء الاصطناعي، راجع سياسة الزحف قبل مراجعة العناوين.

نُشر في 7 يوليو 2026 · OpenAI Crawlers / Google AI Search

توضح وثائق OpenAI أن OAI-SearchBot يُستخدم لعرض المواقع داخل ميزات البحث في ChatGPT، وأن حظره قد يمنع ظهور الموقع في إجابات البحث هناك. وفي نفس الوقت تؤكد Google أن ميزات AI Overviews وAI Mode تعتمد على صفحات قابلة للفهرسة ومحتوى واضح داخل Search. لذلك لم يعد robots.txt ملفًا تقنيًا منسيًا؛ بل جزء من قرار الظهور.

الفكرة العملية: افصل بين بوتات البحث وبوتات التدريب، ثم اختبر أن الصفحات المهمة قابلة للزحف والفهرسة.

ما الفرق المهم؟

ليس كل بوت ذكاء اصطناعي له نفس الغرض. OAI-SearchBot مرتبط بظهور الروابط داخل ChatGPT Search، بينما GPTBot له غرض مختلف ضمن منظومة OpenAI. الخلط بينهما قد يؤدي إلى حظر غير مقصود لقناة اكتشاف جديدة.

على جانب Google، لا توجد وصفة منفصلة باسم AEO أو GEO تكفي وحدها. الصفحة يجب أن تكون قابلة للفهرسة، مفيدة، واضحة، ومؤهلة للظهور بمقتطف عادي في البحث قبل التفكير في ميزات الذكاء الاصطناعي.

ماذا تراجع في موقعك؟

ابدأ بملف robots.txt: هل يمنع مجلدات المقالات أو صفحات الخدمة؟ هل توجد قواعد عامة تحظر بوتات لا تريد حظرها؟ ثم راجع noindex وcanonical وملفات sitemap.

بعد ذلك اختبر عينة من الصفحات المهمة: هل تحمل محتوى فريدًا؟ هل تشرح العرض أو الخدمة بوضوح؟ هل تحتوي بيانات محلية أو صور أو أسئلة شائعة تفيد الباحث؟

Checklist سريع

أين تخطئ الشركات؟

الخطأ الشائع هو نسخ قواعد جاهزة لحظر كل بوتات الذكاء الاصطناعي دون فهم أثرها. هذا قد يكون قرارًا صحيحًا لبعض الناشرين، لكنه ليس قرارًا آمنًا لكل شركة خدمات أو متجر يريد الظهور في البحث الحديث.

الأفضل هو سياسة واضحة: ماذا نسمح؟ ماذا نمنع؟ ولماذا؟ ثم اختبار فني دوري بدل ترك القرار لملف قديم كتبه شخص منذ سنوات.

المصادر

هل سياسة الزحف عندك تخدم الظهور؟

نراجع robots.txt والفهرسة والمحتوى الأساسي حتى لا تخسر قنوات بحث مهمة بسبب قاعدة قديمة.

اطلب مراجعة الموقع