it-swarm.asia

إذا كنت لا أرغب في تعيين أي سلوك خاص ، فهل من موافق إذا لم أكن مهتمًا بأن يكون لدي ملف robots.txt؟

إذا كنت لا أرغب في تعيين أي سلوك خاص ، فهل من موافق إذا لم أكن مهتمًا بأن يكون لدي ملف robots.txt؟

أو يمكن أن يكون عدم وجود واحد ضار؟

29
Dan Dumitru

لن يكون ملف robots.txt ضارًا. من موقع robotstxt.org :

للسماح لجميع الروبوتات بالوصول الكامل

وكيل المستخدم: *
عدم السماح:

(أو فقط قم بإنشاء ملف "/robots.txt" فارغ ، أو لا تستخدم ملفًا على الإطلاق)

ومع ذلك ، حتى إذا كنت لا تحدد أي شيء في ملف robots.txt الخاص بك ، فهذه طريقة جيدة لإبلاغ محركات البحث بموقع XML Sitemap الخاص بك . يمكنك القيام بذلك عن طريق إضافة سطر في الجزء العلوي من ملف robots.txt الذي يشبه ما يلي:

ملف Sitemap: http://www.example.com/sitemap-Host1.xml

يجب أن تدرك أيضًا أن عدم وجودها سيؤدي إلى إنشاء الكثير من 404 إدخالات في سجلات الويب الخاصة بك.

30
JasonBirch

إذا لم يكن لديك "ملف robots.txt" ، فسيحصل سجل الأخطاء الخاص بك على 404 ملفات في الملف ، مما قد يكون نوعًا من الإزعاج ، على غرار ما إذا لم يكن لديك فافيكون.

21
delete

أعتقد أنه سيكون have أن تكون موافقًا ، وإلا فإن مساحات الويب الضخمة ستكون غير قابلة للفهرسة بواسطة العناكب على الويب.

لا robots.txt هو نفس "السماح بفهرسة الجميع" robots.txt تقريبًا بحكم التعريف.

6
Jeff Atwood

إن عدم وجود ملف robots.txt يترك الأمر للزاحف لتقرير ما يمكنه وما لا يمكنه فعله. نظرًا لأن الأمر لا يستغرق سوى ثوانٍ فقط لتجنب أي نوع من الغموض ، فلماذا لا نجعل فقط يسمح لجميع الوكلاء بالوصول إلى كل شيء؟

2
Tim Post

حسنًا ، نظرًا لأن robots.txt تحتوي على عنوان خريطة الموقع ، فعدم امتلاك واحدة قد يكون ضارًا.

0
Thomas Bonini

بناءً على المحتوى الخاص بك ، يجب ألا تكون هناك مشكلات في عدم وجود ملف الروبوتات طالما كنت سعيدًا بفهرسة كل صفحة على موقعك بواسطة محركات البحث.

0
seanl