سياسة robots وsnippet يجب أن تكون قرار ظهور، لا إعدادًا منسوخًا.

نُشر في 20 يوليو 2026 · Google AI Features / Snippet Controls / Robots

مع انتشار AI Overviews وAI Mode وChatGPT Search، بدأت فرق كثيرة تراجع robots.txt ووسوم المقتطفات بقلق. المشكلة ليست في وجود سياسة صارمة، بل في أن تمنع النصوص أو الصور أو الزحف ثم تطلب من محركات البحث وأنظمة الإجابة فهم الصفحة والاستشهاد بها بوضوح.

ما الذي تقوله المصادر الرسمية؟

Google توضح أن ميزات الذكاء الاصطناعي في البحث تعتمد على نفس أساسيات Google Search: قابلية الزحف، الفهرسة، جودة المحتوى، وتجربة الصفحة. كما تشير إلى أن أدوات التحكم في المعاينة مثل max-snippet وnosnippet تؤثر على طريقة استخدام المحتوى في النتائج.

OpenAI توضح أن OAI-SearchBot وGPTBot إعدادان مستقلان في robots.txt، لذلك يمكن إدارة الظهور في البحث بشكل منفصل عن استخدام المحتوى في تحسين النماذج.

أين يحدث الخطأ؟

الخطأ الشائع هو استخدام منع واسع لكل الزواحف أو تقليل المقتطفات لدرجة تمنع عرض إجابة مفيدة. هذا قد يناسب صفحات حساسة، لكنه لا يناسب صفحات خدمات أو مقالات تريد الظهور في رحلات بحث طويلة.

الخطأ الثاني هو ترك القرار لمطور واحد دون سجل واضح: من نسمح له، من نمنعه، ولماذا؟

Checklist سريع

• راجع الصفحات التجارية المهمة: هل هي indexable؟
• افحص meta robots وX-Robots-Tag قبل تعديل robots.txt.
• لا تستخدم nosnippet على صفحات تريد منها جذب زيارات.
• افصل OAI-SearchBot عن GPTBot حسب سياسة المحتوى.
• اختبر الصفحة في أدوات Google قبل اعتبارها جاهزة.
• وثق كل منع أو سماح في سجل بسيط للفريق.

كيف تحولها إلى عملية؟

أنشئ جدولًا صغيرًا لكل نوع صفحة: صفحة خدمة، مقال، صفحة هبوط، صفحة سياسة، أو صفحة خاصة. أمام كل نوع ضع قرار الزحف والمعاينة والسبب.

بهذا تصبح سياسة AI Search قابلة للمراجعة بدل ملف robots.txt لا يعرف أحد لماذا كُتب بهذه الطريقة.

أسئلة شائعة

هل ظهور AI Search يحتاج schema خاص؟ لا. استخدم البيانات المنظمة الصحيحة عندما تصف محتوى ظاهرًا فعلًا.

هل منع GPTBot يمنع ChatGPT Search؟ ليس بالضرورة؛ توثيق OpenAI يفصل بين الزواحف.

هل max-snippet خطر؟ ليس خطرًا بذاته، لكنه قرار يجب فهم أثره على المعاينة.

المصادر

• Google Search Central: AI features and your website.
• Google Search Central: Optimizing for generative AI features.
• Google Search Central: Robots meta tag and X-Robots-Tag.
• OpenAI: Overview of OpenAI Crawlers.