كما ذكرنا في الفصل الأول ، فإن محركات البحث هي آلات للإجابة. فهي موجودة لاكتشاف محتوى الإنترنت وفهمه وتنظيمه من أجل تقديم النتائج الأكثر صلة بالأسئلة التي يطرحها الباحثون.
من أجل الظهور في نتائج البحث ، يجب أن يكون المحتوى الخاص بك مرئيًا لمحركات البحث أولاً. يمكن القول إنها أهم جزء في أحجية تحسين محركات البحث: إذا تعذر العثور على موقعك ، فلا توجد طريقة ستظهر في صفحة نتائج محرك البحث (SERPs).
كيف تعمل محركات البحث؟
محركات البحث لها ثلاث وظائف أساسية:
الزحف: ابحث في الإنترنت عن المحتوى ، وابحث عن الكود / المحتوى لكل عنوان URL يعثرون عليه.
الفهرس: يقوم بتخزين وتنظيم المحتوى الموجود أثناء عملية الزحف. بمجرد أن تصبح الصفحة في الفهرس ، فإنها قيد التشغيل ليتم عرضها كنتيجة لطلبات البحث ذات الصلة.
الترتيب: قم بتوفير أجزاء المحتوى التي ستجيب بشكل أفضل على استعلام الباحث ، مما يعني أن النتائج مرتبة حسب الأكثر صلة بالأقل صلة.
ما هو محرك البحث الزحف؟
الزحف او مايسمي العناكب هو عملية الاكتشاف التي ترسل فيها محركات البحث فريقًا من الروبوتات (المعروفة باسم برامج الزحف أو العناكب) للعثور على محتوى جديد ومحدث. يمكن أن يختلف المحتوى - فقد يكون صفحة ويب أو صورة أو مقطع فيديو أو ملف PDF وما إلى ذلك - ولكن بغض النظر عن التنسيق ، يتم اكتشاف المحتوى عن طريق الروابط.
يبدأ Googlebot بجلب بضع صفحات ويب ، ثم يتبع الروابط الموجودة على صفحات الويب هذه للعثور على عناوين URL جديدة. من خلال التنقل على طول مسار الروابط هذا ، يكون الزاحف قادرًا على العثور على محتوى جديد وإضافته إلى فهرسهم المسمى Caffeine - قاعدة بيانات ضخمة لعناوين URL المكتشفة - ليتم استردادها لاحقًا عندما يبحث الباحث عن معلومات تفيد بأن المحتوى الموجود على عنوان URL هذا هو التطابق .
ما هو فهرس محرك البحث؟
تقوم محركات البحث بمعالجة وتخزين المعلومات التي يعثرون عليها في فهرس ، وهو عبارة عن قاعدة بيانات ضخمة لجميع المحتوى الذي اكتشفوه والذي يعتبرونه جيدًا بما يكفي لتقديمه إلى الباحثين.
ترتيب محرك البحث
عندما يقوم شخص ما بإجراء بحث ، تقوم محركات البحث بمسح فهرسها بحثًا عن محتوى وثيق الصلة ثم تطلب ذلك المحتوى على أمل حل استعلام الباحث. يُعرف ترتيب نتائج البحث حسب الصلة بالترتيب. بشكل عام ، يمكنك افتراض أنه كلما تم تصنيف موقع ويب أعلى ، كلما كان محرك البحث يعتقد أن الموقع مرتبط بالاستعلام.
من الممكن منع برامج الزحف لمحركات البحث من جزء من موقعك أو كله ، أو توجيه محركات البحث لتجنب تخزين صفحات معينة في فهرسها. على الرغم من وجود أسباب للقيام بذلك ، إذا كنت تريد أن يعثر الباحثون على المحتوى الخاص بك ، فعليك أولاً التأكد من أنه يمكن الوصول إليه من قبل برامج الزحف وقابل للفهرسة. خلاف ذلك ، فهو جيد مثل غير المرئي.
بنهاية هذا الفصل ، سيكون لديك السياق الذي تحتاجه للعمل مع محرك البحث ، وليس ضده!
في تحسين محركات البحث ، ليست كل محركات البحث متساوية
الزحف: هل يمكن لمحركات البحث العثور على صفحاتك؟
كما تعلمت للتو ، فإن التأكد من الزحف إلى موقعك وفهرسته شرط أساسي للظهور في SERPs. إذا كان لديك موقع ويب بالفعل ، فقد يكون من الجيد أن تبدأ بمعرفة عدد صفحاتك في الفهرس. سيؤدي ذلك إلى الحصول على بعض الإحصاءات الرائعة حول ما إذا كان محرك بحث Google يقوم بالزحف والعثور على جميع الصفحات التي تريدها أم لا.
إحدى طرق التحقق من صفحاتك المفهرسة هي "site: yourdomain.com" ، وهو عامل بحث متقدم. توجه إلى Google واكتب "site: yourdomain.com" في شريط البحث. سيؤدي هذا إلى عرض نتائج Google في فهرسها للموقع المحدد:
عدد النتائج التي يعرضها Google (راجع "حول نتائج XX" أعلاه) ليس دقيقًا ، ولكنه يمنحك فكرة قوية عن الصفحات التي تمت فهرستها على موقعك وكيف يتم عرضها حاليًا في نتائج البحث.
للحصول على نتائج أكثر دقة ، راقب واستخدم تقرير تغطية الفهرس في Google Search Console. يمكنك التسجيل للحصول على حساب Google Search Console مجاني إذا لم يكن لديك حساب حاليًا. باستخدام هذه الأداة ، يمكنك إرسال خرائط مواقع لموقعك ومراقبة عدد الصفحات المرسلة التي تمت إضافتها بالفعل إلى فهرس Google ، من بين أشياء أخرى.
إذا كنت لا تظهر في أي مكان في نتائج البحث ، فهناك بعض الأسباب المحتملة لذلك:
- موقعك جديد تمامًا ولم يتم الزحف إليه بعد.
- موقعك ليس مرتبطًا بأي مواقع خارجية.
- يجعل التنقل في موقعك من الصعب على الروبوت الزحف إليه بشكل فعال.
- يحتوي موقعك على بعض التعليمات البرمجية الأساسية تسمى توجيهات الزاحف التي تحظر محركات البحث.
- عاقبت Google موقعك على الويب بسبب الأساليب غير المرغوب فيها.
يفكر معظم الأشخاص في التأكد من أن Google يمكنه العثور على صفحاتهم المهمة ، ولكن من السهل أن تنسى أنه من المحتمل أن هناك صفحات لا تريد أن يعثر عليها Googlebot. قد يتضمن ذلك أشياء مثل عناوين URL القديمة التي تحتوي على محتوى رفيع وعناوين URL مكررة (مثل معلمات الفرز والتصفية للتجارة الإلكترونية) وصفحات الرموز الترويجية الخاصة وصفحات التدريج أو الاختبار وما إلى ذلك.
لتوجيه Googlebot بعيدًا عن صفحات وأقسام معينة في موقعك ، استخدم ملف robots.txt.
ملف robots.txt
توجد ملفات Robots.txt في الدليل الجذر لمواقع الويب (على سبيل المثال ، yourdomain.com/robots.txt) وتقترح أي أجزاء من محركات البحث يجب ألا تزحف إليها ، بالإضافة إلى السرعة التي تزحف بها إلى موقعك ، عبر توجيهات محددة لملف robots.txt.
كيف يتعامل Googlebot مع ملفات robots.txt
إذا لم يتمكن Googlebot من العثور على ملف robots.txt لأحد المواقع ، فسيواصل الزحف إلى الموقع.
إذا عثر Googlebot على ملف robots.txt لأحد المواقع ، فعادة ما يلتزم بالاقتراحات ويتابع الزحف إلى الموقع.
إذا واجه Googlebot خطأً أثناء محاولة الوصول إلى ملف robots.txt الخاص بالموقع ولم يتمكن من تحديد ما إذا كان موجودًا أم لا ، فلن يقوم بالزحف إلى الموقع.
ليست كل روبوتات الويب تتبع ملف robots.txt. يقوم الأشخاص ذوو النوايا السيئة (على سبيل المثال ، كاشطات عناوين البريد الإلكتروني) ببناء روبوتات لا تتبع هذا البروتوكول. في الواقع ، يستخدم بعض الأشخاص السيئين ملفات robots.txt للعثور على مكان وجود المحتوى الخاص بك. على الرغم من أنه قد يبدو من المنطقي منع برامج الزحف من الصفحات الخاصة مثل صفحات تسجيل الدخول والإدارة حتى لا تظهر في الفهرس ، فإن وضع موقع عناوين URL هذه في ملف robots.txt يمكن الوصول إليه بشكل عام يعني أيضًا أن الأشخاص ذوي النوايا الخبيثة يمكن العثور عليها بسهولة أكبر. من الأفضل NoIndex هذه الصفحات وتبويبها خلف نموذج تسجيل الدخول بدلاً من وضعها في ملف robots.txt.
تحديد معلمات URL في GSC
توفر بعض المواقع (الأكثر شيوعًا مع التجارة الإلكترونية) نفس المحتوى على عدة عناوين URL مختلفة عن طريق إلحاق معلمات معينة بعناوين URL. إذا سبق لك التسوق عبر الإنترنت ، فمن المحتمل أنك قمت بتضييق نطاق البحث عبر الفلاتر. على سبيل المثال ، يمكنك البحث عن "أحذية" على Amazon ، ثم تحسين البحث حسب الحجم واللون والنمط. في كل مرة تقوم فيها بالتحسين ، يتغير عنوان URL قليلاً:
https://www.example.com/products/women/dresses/green.htmhttps://www.example.com/products/w
كيف تعرف Google أي إصدار من عنوان URL يتم تقديمه للباحثين؟ تقوم Google بعمل جيد جدًا في اكتشاف عنوان URL التمثيلي من تلقاء نفسها ، ولكن يمكنك استخدام ميزة معلمات URL في Google Search Console لإخبار Google بالضبط بالطريقة التي تريدها أن يعاملوا بها صفحاتك. إذا كنت تستخدم هذه الميزة لإخبار Googlebot "بعدم الزحف إلى عناوين URL باستخدام معلمة ____" ، فأنت تطلب بشكل أساسي إخفاء هذا المحتوى من Googlebot ، مما قد يؤدي إلى إزالة هذه الصفحات من نتائج البحث. هذا ما تريده إذا أنشأت هذه المعلمات صفحات مكررة ، ولكنها ليست مثالية إذا كنت تريد فهرسة هذه الصفحات.
هل تستطيع برامج الزحف العثور على كل المحتوى المهم الخاص بك؟
الآن بعد أن تعرفت على بعض الأساليب لضمان ابتعاد برامج الزحف بمحركات البحث عن المحتوى غير المهم ، فلنتعرف على التحسينات التي يمكن أن تساعد Googlebot في العثور على صفحاتك المهمة.
في بعض الأحيان ، سيتمكن محرك البحث من العثور على أجزاء من موقعك عن طريق الزحف ، ولكن قد يتم إخفاء الصفحات أو الأقسام الأخرى لسبب أو لآخر. من المهم التأكد من أن محركات البحث قادرة على اكتشاف كل المحتوى الذي تريد فهرسته ، وليس صفحتك الرئيسية فقط.
اسأل نفسك هذا السؤال: هل يستطيع الروبوت الزحف عبر موقع الويب الخاص بك ، وليس فقط إليه؟
هل المحتوى الخاص بك مخفي وراء نماذج تسجيل الدخول؟
إذا طلبت من المستخدمين تسجيل الدخول أو ملء النماذج أو الإجابة على الاستطلاعات قبل الوصول إلى محتوى معين ، فلن ترى محركات البحث تلك الصفحات المحمية. بالتأكيد لن يقوم الزاحف بتسجيل الدخول.
هل تعتمد على نماذج البحث؟
لا يمكن للروبوتات استخدام نماذج البحث. يعتقد بعض الأفراد أنه إذا وضعوا مربع بحث على موقعهم ، فستتمكن محركات البحث من العثور على كل ما يبحث عنه زوارهم.
هل النص مخفي داخل محتوى غير نصي؟
لا يجب استخدام نماذج الوسائط غير النصية (الصور ، الفيديو ، ملفات GIF ، إلخ) لعرض النص الذي ترغب في فهرسته. بينما تتحسن محركات البحث في التعرف على الصور ، ليس هناك ما يضمن أنها ستكون قادرة على قراءتها وفهمها حتى الآن. من الأفضل دائمًا إضافة نص داخل ترميز <HTML> لصفحة الويب الخاصة بك.
هل يمكن لمحركات البحث متابعة التنقل في موقعك؟
مثلما يحتاج الزاحف إلى اكتشاف موقعك عبر روابط من مواقع أخرى ، فإنه يحتاج إلى مسار من الروابط على موقعك لإرشادك من صفحة إلى أخرى. إذا كانت لديك صفحة تريد أن تجدها محركات البحث ولكن لم يتم ربطها من أي صفحات أخرى ، فهي جيدة مثل غير مرئية. ترتكب العديد من المواقع خطأً فادحًا في هيكلة التنقل بطرق يتعذر الوصول إليها لمحركات البحث ، مما يعيق قدرتها على الإدراج في نتائج البحث.
أخطاء التنقل الشائعة التي يمكن أن تمنع برامج الزحف من رؤية موقعك بالكامل:
- امتلاك التنقل عبر الجوال الذي يعرض نتائج مختلفة عن التنقل على سطح المكتب
- أي نوع من التنقل حيث لا تكون عناصر القائمة في HTML ، مثل التنقلات التي تدعم JavaScript. لقد تحسنت قدرة Google كثيرًا في الزحف إلى جافا سكريبت وفهمها ، لكنها لا تزال غير عملية كاملة. الطريقة الأكثر ضمانًا لضمان العثور على شيء ما وفهمه وفهرسته بواسطة Google هي وضعه في HTML.
قد يبدو التخصيص ، أو عرض التنقل الفريد لنوع معين من الزائرين مقابل الآخرين ، وكأنه إخفاء الهوية لزاحف محرك البحث
- نسيان الارتباط بصفحة أساسية على موقع الويب الخاص بك من خلال التنقل - تذكر ، الروابط هي المسارات التي تتبعها برامج الزحف إلى الصفحات الجديدة!
هذا هو السبب في أنه من الضروري أن يحتوي موقع الويب الخاص بك على بنية تنقل واضحة ومفيدة لمجلد URL.
هل لديك بنية معلومات نظيفة؟
هندسة المعلومات هي ممارسة تنظيم المحتوى ووضع علامات عليه على موقع الويب لتحسين الكفاءة وإمكانية العثور على المستخدمين. تعتبر أفضل بنية للمعلومات بديهية ، مما يعني أنه لا ينبغي على المستخدمين التفكير بشدة في التدفق عبر موقع الويب الخاص بك أو العثور على شيء ما.
إذا لم يكن موقعك يحتوي على أي مواقع أخرى مرتبطة به ، فلا يزال بإمكانك فهرسته عن طريق إرسال خريطة موقع XML في Google Search Console. ليس هناك ما يضمن أنها ستدرج عنوان URL تم إرساله في فهرسها ، ولكن الأمر يستحق المحاولة!
هل تستخدم خرائط المواقع؟
ملف Sitemap هو ما يبدو عليه تمامًا: قائمة بعناوين URL على موقعك والتي يمكن لبرامج الزحف استخدامها لاكتشاف المحتوى الخاص بك وفهرسته. تتمثل إحدى أسهل الطرق لضمان عثور Google على صفحاتك ذات الأولوية القصوى في إنشاء ملف يتوافق مع معايير Google وإرساله عبر Google Search Console. على الرغم من أن إرسال ملف Sitemap لا يحل محل الحاجة إلى التنقل الجيد في الموقع ، فإنه يمكن بالتأكيد أن يساعد برامج الزحف في تتبع مسار إلى جميع صفحاتك المهمة.
هل تحصل برامج الزحف على أخطاء عند محاولتها الوصول إلى عناوين URL الخاصة بك؟
في عملية الزحف إلى عناوين URL على موقعك ، قد يواجه الزاحف أخطاء. يمكنك الانتقال إلى تقرير "أخطاء الزحف" في Google Search Console لاكتشاف عناوين URL التي قد يحدث هذا فيها - سيعرض لك هذا التقرير أخطاء الخادم ولم يتم العثور على أخطاء. يمكن أن تعرض لك ملفات سجل الخادم هذا أيضًا ، بالإضافة إلى كنز من المعلومات الأخرى مثل تكرار الزحف ، ولكن نظرًا لأن الوصول إلى ملفات سجل الخادم وتشريحها يعد أسلوبًا أكثر تقدمًا ، فلن نناقشه مطولًا في دليل المبتدئين ، على الرغم من أنه يمكنك معرفة المزيد عنها هنا.
قبل أن تتمكن من إجراء أي شيء ذي معنى باستخدام تقرير أخطاء الزحف ، من المهم فهم أخطاء الخادم وأخطاء "لم يتم العثور عليها".
4xx Codes:
عندما لا تتمكن برامج زحف محركات البحث من الوصول إلى المحتوى الخاص بك بسبب خطأ العميل
أخطاء 4xx
هي أخطاء العميل ، مما يعني أن عنوان URL المطلوب يحتوي على بنية خاطئة أو لا يمكن تلبيتها. أحد أكثر أخطاء 4xx شيوعًا هو الخطأ "404 - غير موجود". قد يحدث ذلك بسبب خطأ إملائي في عنوان URL أو صفحة محذوفة أو إعادة توجيه معطلة ، على سبيل المثال لا الحصر. عندما تصل محركات البحث إلى 404 ، لا يمكنها الوصول إلى عنوان URL. عندما يصل المستخدمون إلى 404 ، يمكنهم الشعور بالإحباط والمغادرة.
5xx Codes:
عندما لا تتمكن برامج زحف محركات البحث من الوصول إلى المحتوى الخاص بك بسبب خطأ في الخادم
أخطاء 5xx هي أخطاء في الخادم ، مما يعني أن الخادم الذي توجد عليه صفحة الويب فشل في تلبية طلب الباحث أو محرك البحث للوصول إلى الصفحة. في تقرير "خطأ الزحف" في Google Search Console ، توجد علامة تبويب مخصصة لهذه الأخطاء. يحدث هذا عادةً بسبب انتهاء مهلة طلب عنوان URL ، لذلك تخلى Googlebot عن الطلب. اعرض وثائق Google لمعرفة المزيد حول إصلاح مشكلات الاتصال بالخادم.
لحسن الحظ ، هناك طريقة لإخبار كل من الباحثين ومحركات البحث أن صفحتك قد تم نقلها - إعادة التوجيه 301 (الدائمة).
الفهرسة: كيف تفسر محركات البحث صفحاتك وتخزنها؟
بمجرد أن تتأكد من الزحف إلى موقعك ، فإن الترتيب التالي للعمل هو التأكد من إمكانية فهرسته. هذا صحيح - فقط لأنه يمكن اكتشاف موقعك والزحف إليه بواسطة محرك بحث لا يعني بالضرورة أنه سيتم تخزينه في فهرسهم. في القسم السابق حول الزحف ، ناقشنا كيفية اكتشاف محركات البحث لصفحات الويب الخاصة بك. الفهرس هو المكان الذي يتم فيه تخزين صفحاتك المكتشفة. بعد أن يعثر الزاحف على صفحة ، يعرضها محرك البحث تمامًا كما يفعل المتصفح. في عملية القيام بذلك ، يقوم محرك البحث بتحليل محتويات تلك الصفحة. يتم تخزين كل هذه المعلومات في فهرسها.
تابع القراءة للتعرف على كيفية عمل الفهرسة وكيف يمكنك التأكد من أن موقعك يدخل في قاعدة البيانات المهمة هذه.
هل يمكنني رؤية كيف يرى زاحف Googlebot صفحاتي؟
نعم ، ستعكس النسخة المخبأة لصفحتك لقطة من آخر مرة زحف فيها Googlebot إليها.
يزحف محرك بحث Google إلى صفحات الويب ويخزنها مؤقتًا بترددات مختلفة. سيتم الزحف إلى المواقع الأكثر رسوخًا والشهرة التي تنشر بشكل متكرر
هل يمكن إزالة الصفحات من الفهرس؟
نعم ، يمكن إزالة الصفحات من الفهرس! تتضمن بعض الأسباب الرئيسية وراء إمكانية إزالة عنوان URL ما يلي:
يعرض عنوان URL خطأ "لم يتم العثور عليه" (4XX) أو خطأ في الخادم (5XX) - قد يكون هذا عرضيًا (تم نقل الصفحة ولم يتم إعداد إعادة التوجيه 301) أو متعمدًا (تم حذف الصفحة و 404 من أجل إزالته من الفهرس)
تمت إضافة علامة تعريف noindex إلى عنوان URL - يمكن إضافة هذه العلامة بواسطة مالكي الموقع لإرشاد محرك البحث إلى حذف الصفحة من فهرسها.
تمت معاقبة عنوان URL يدويًا لانتهاكه إرشادات مشرفي المواقع الخاصة بمحرك البحث ، ونتيجة لذلك ، تمت إزالته من الفهرس.
تم حظر عنوان URL من الزحف مع إضافة كلمة مرور مطلوبة قبل أن يتمكن الزوار من الوصول إلى الصفحة.
إذا كنت تعتقد أن صفحة على موقع الويب الخاص بك كانت موجودة مسبقًا في فهرس Google لم تعد تظهر ، فيمكنك استخدام أداة فحص عنوان URL لمعرفة حالة الصفحة ، أو استخدام "الجلب مثل Google" الذي يحتوي على ميزة "طلب الفهرسة" إرسال عناوين URL الفردية إلى الفهرس. (المكافأة: تحتوي أداة "الجلب" من GSC أيضًا على خيار "العرض" الذي يسمح لك بمعرفة ما إذا كانت هناك أية مشكلات تتعلق بكيفية تفسير Google لصفحتك).
أخبر محركات البحث بكيفية فهرسة موقعك
التوجيهات الوصفية للروبوتات
التوجيهات الوصفية (أو "العلامات الوصفية") هي إرشادات يمكنك تقديمها لمحركات البحث فيما يتعلق بالطريقة التي تريد أن تُعامل بها صفحة الويب الخاصة بك.
يمكنك إخبار برامج الزحف لمحركات البحث بأشياء مثل "عدم فهرسة هذه الصفحة في نتائج البحث" أو "عدم تمرير أي ملكية ارتباط إلى أي روابط على الصفحة". يتم تنفيذ هذه التعليمات عبر Robots Meta Tags في <head> لصفحات HTML الخاصة بك (الأكثر استخدامًا) أو عبر X-Robots-Tag في رأس HTTP.
العلامة الوصفية meta tag لبرامج الروبوت
يمكن استخدام العلامة الوصفية لبرامج الروبوت داخل <head> من HTML لصفحة الويب الخاصة بك. يمكن أن يستبعد كل أو محركات البحث المحددة. فيما يلي توجيهات التعريف الأكثر شيوعًا ، جنبًا إلى جنب مع المواقف التي قد تطبقها فيها.
يخبر index / noindex المحركات ما إذا كان يجب الزحف إلى الصفحة والاحتفاظ بها في فهرس محركات البحث لاسترجاعها. إذا اخترت استخدام "noindex" ، فأنت بذلك تخبر برامج الزحف بأنك تريد استبعاد الصفحة من نتائج البحث. بشكل افتراضي ، تفترض محركات البحث أنها تستطيع فهرسة جميع الصفحات ، لذا فإن استخدام قيمة "index" ليس ضروريًا.
متى يمكنك استخدامها:
يمكنك اختيار وضع علامة "noindex" على إحدى الصفحات إذا كنت تحاول اقتطاع الصفحات الرفيعة من فهرس Google لموقعك (على سبيل المثال: صفحات الملف الشخصي التي ينشئها المستخدم) ولكنك لا تزال تريد وصول الزوار إليها.
يخبر Follow / nofollow محركات البحث بما إذا كان يجب اتباع الروابط الموجودة على الصفحة أو عدم متابعتها. ينتج عن "متابعة" روبوتات تتبع الروابط الموجودة على صفحتك وتمرير ملكية الرابط من خلال عناوين URL هذه. أو ، إذا اخترت استخدام "nofollow" ، فلن تتبع محركات البحث أو تمرر أي ملكية ارتباط إلى الروابط الموجودة على الصفحة. بشكل افتراضي ، من المفترض أن تحتوي جميع الصفحات على السمة "متابعة".
متى يمكنك استخدام:
غالبًا ما يتم استخدام nofollow مع noindex عندما تحاول منع فهرسة صفحة وكذلك منع الزاحف من تتبع الروابط الموجودة على الصفحة.
يتم استخدام noarchive لتقييد محركات البحث من حفظ نسخة مخبأة من الصفحة. بشكل افتراضي ، ستحتفظ المحركات بنسخ مرئية لجميع الصفحات التي تمت فهرستها ، بحيث يمكن للباحثين الوصول إليها من خلال الرابط المخبأ في نتائج البحث.
متى يمكنك استخدام:
إذا كنت تدير موقعًا للتجارة الإلكترونية وتغيرت أسعارك بانتظام ، فقد تفكر في علامة noarchive لمنع الباحثين من رؤية أسعار قديمة.
في ما يلي مثال على علامة noindex meta robots، nofollow tag:
<! DOCTYPE html> <html> <head> <meta name = "robots" content = "noindex، nofollow" /> </head> <body> ... </body> </html>
يستثني هذا المثال جميع محركات البحث من فهرسة الصفحة ومن متابعة أي روابط في الصفحة. إذا كنت ترغب في استبعاد برامج زحف متعددة ، مثل googlebot و bing على سبيل المثال ، فلا بأس في استخدام علامات استثناء متعددة لبرامج الروبوت.
تؤثر التوجيهات الوصفية في الفهرسة وليس الزحف
يحتاج Googlebot إلى الزحف إلى صفحتك لرؤية التوجيهات الوصفية الخاصة بها ، لذلك إذا كنت تحاول منع برامج الزحف من الوصول إلى صفحات معينة ، فإن التوجيهات الوصفية ليست هي الطريقة للقيام بذلك. يجب الزحف إلى علامات برامج الروبوت حتى يتم احترامها.
X-Robots-Tag
يتم استخدام علامة x-robots داخل رأس HTTP لعنوان URL الخاص بك ، مما يوفر مرونة ووظائف أكثر من العلامات الوصفية إذا كنت تريد حظر محركات البحث على نطاق واسع لأنه يمكنك استخدام التعبيرات العادية وحظر ملفات غير HTML وتطبيق علامات noindex على مستوى الموقع .
على سبيل المثال ، يمكنك بسهولة استبعاد مجلدات أو أنواع ملفات كاملة (مثل moz.com/no-bake/old-recipes-to-noindex):
<Files ~ “\ /؟ no \ -bake \ /.*”> مجموعة الرأس X-Robots-Tag “noindex، nofollow” </Files>
يمكن أيضًا استخدام المشتقات المستخدمة في العلامة الوصفية لبرامج الروبوت في X-Robots-Tag.
أو أنواع ملفات معينة (مثل ملفات PDF):
<Files ~ “\ .pdf $”> مجموعة الرأس X-Robots-Tag “noindex ، nofollow” </Files>
لمزيد من المعلومات حول علامات Meta Robot ، استكشف مواصفات العلامات الوصفية لبرامج الروبوت من Google.