it-swarm.asia

هل ستفهرس googlebot index.php الخاص بي حتى مع إعادة توجيه htaccess؟

باستخدام عبارة إعادة التوجيه في ملف htaccess الخاص بي ، فإن الأشخاص الذين يكتبون ما يلي في شريط العناوين ...

http://example.com/index.php

... تتم إعادة توجيه إلى ...

http://example.com/

لدي أيضًا علامة meta noindex nofollow على جميع صفحات موقع الويب الخاص بي.

سؤالي هو ، بالنظر إلى أن سلوك إعادة التوجيه وبيانات التعريف ، سيقوم googlebot بفهرسة صفحتي الرئيسية (على سبيل المثال index.php) إذا كان ملف robots.txt الخاص بي كما يلي ...

User-agent: Googlebot
Allow: /index.php
Disallow: /

User-agent: *
Disallow: /

إذا لم يكن الأمر كذلك ، كيف يمكنني تغيير ملف robots.txt الخاص بي حتى تتم فهرسة صفحتي الرئيسية فقط في google وليس أكثر؟

شكرا لك مقدما!

3
Wislow

إذا قمت بإعادة التوجيه إلى "/" لكن سمحت فقط بفهرسة "/index.php" ، فلن تتم فهرسة أي شيء. لك "/" و "/index.php" هي نفس الصفحة. لكن بالنسبة لمحركات البحث ، هناك عنوانان منفصلان. من خلال حظر "/" ، وهي الصفحة الوحيدة التي يراها المستخدمون على ما يبدو ، فإنك تحظر موقع الويب بالكامل.

إذا كنت ترغب في الحصول على تحكم أكثر دقة فيما يتم فهرسته ، فاستخدم علامات التعريف المذكورة أعلاه و/أو استخدم رأس HTTP الخاص بـ x-robots-tag للتحكم في الفهرسة. على وجه التحديد استخدم X-Robots-Tag: noindex على كل صفحاتك باستثناء للفهرس. ثم ليست هناك حاجة لاستخدام ملف robots.txt. قرأت في مكان ما رأس HHTP أكثر فاعلية والطريقة المفضلة لمنع فهرسة الصفحات ولكني غير قادر على العثور على هذه المقالة في الوقت الحالي.

1
John Conde

John Conde أوضح بالفعل أن الحل الحالي لن يعمل (+1) ، لأن Googlebot سيُقيِّم القواعد فقط بعد إعادة التوجيه بالفعل ويطيع Disallow: / وفقًا لحظر جميع عناوين URL بما في ذلك الجذر/الصفحة الرئيسية بعد ذلك.

ومع ذلك ، بالنسبة لبرنامج Googlebot على وجه التحديد ، يمكنك تسهيل امتداداته إلى بروتوكول robots.txt الرسمي (انظر القسم مطابقة الأنماط داخل حظر الصفحات أو إزالتها باستخدام ملف robots.txt ) ، مثل ذلك:

User-agent: Googlebot
Allow: /$
Disallow: /

يطابق $character نهاية عنوان URL ، وبالتالي فإن التوجيه Allow: /$ سيسمح بأي عنوان URL يبدأ باسم نطاقك ، متبوعًا بأي شيء ، أي السماح لجذرك/الصفحة الرئيسية بعد إعادة توجيهك من index.php بالفعل.

سيحظر التوجيه Disallow: / جميع عناوين URL الأخرى كالمعتاد بعد ذلك.

لقد اختبرت هذا بنجاح من خلال أداة اختبار robots.txt في أدوات مشرفي المواقع من Google (متوفرة هناك عبر وصول الزاحف ضمن تهيئة الموقع ) ، لذلك يمكنك تأكيد هذا بنفسك على الفور بالمثل - النظر في هذا الاختيار الذي لا يقدر بثمن من الأدوات/المعلومات المتعلقة بمحركات البحث (SEO) بشكل عام ويوصى بشدة Google على أي حال!

1
Steffen Opel

انها محفوفة بالمخاطر. للتأكد من قيام Google بفهرسة صفحتك الرئيسية ، قم بما يلي:

User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9

لذلك لن يطابق الجذر "/" قواعد عدم السماح.

أيضا إذا كان لديك AdSense لا تنس أن تضيف

User-agent: Mediapartners-Google
Allow: /
0
how