لديّ صفحتي الرئيسية الشخصية وأريد أن تظهر الصفحة الرئيسية نفسها في نتائج البحث. لكنني لا أريد أن يظهر دليل معين ودلائله الفرعية في نتائج بحث google. كيف أقوم بهذا العمل؟
هناك العديد من الآليات التي يمكنك استخدامها للقيام بذلك.
الأول هو ملف robots.txt . هذا بروتوكول يتبعه Google طوعًا محركات بحث "جيدة" ، ويسمح لك بسرد أقسام من موقعك لن تتبعها.
وكيل المستخدم: *
عدم السماح:/myfolder /
القادم هو العلامات الفوقية. يمكن تمييز الصفحات الفردية ببيانات تعريفية تخبر الروبوتات بعدم فهرستها أو عرضها. جوجل لديها لطيفة الكتابة على كيفية تنفيذ هذه .
<meta name="robots" content="noindex,nofollow">
الآلية الأخيرة ، إذا تمت فهرسة الصفحات بالفعل ، هي استخدام آلية إزالة محرك البحث في حالة وجودها. لقد ربطت الوثائق الخاصة بآليات إزالة Google و Bing و Yahoo هنا:
عدم السماح لبوتات البحث بإدخال هذه المواقع:
http://www.robotstxt.org/robotstxt.html
تصف google الإجراء جيد جدًا ، مثال معين:
User-agent: *
Disallow: /folder1/
هذا لا يسمح لجميع برامج الروبوت بفهرسة محتوى "/ folder1 /"
استخدم ملف robots.txt في المجلد الرئيسي واضبطه على:
User-agent: *
Allow: /
في المجلد الذي لا تريد أن يصل إليه أي شخص ، ضع ملف robots.txt بهذا النص الأساسي:
User-agent: *
Disallow: /
Check --- http://www.robotstxt.org/ لمزيد من المعلومات حول ملفات robot.txt.