Како да ги спречите пребарувачите да ја индексираат само главната страница на страницата

За да спречите пребарувачите да ја индексираат само главната страница, додека дозволувате индексирање на сите други страници, можете да користите неколку пристапи, во зависност од карактеристиките на одредена локација.

1. Користење на датотеката robots.txt

Ако главната страница има своја адреса (обично тоа е index.php, index.html, index.htm, главна. html и така натаму), и додека се обидувате да отворите врска како w-e-b.site/, веб-локацијата се пренасочува на главната страница, на пример, на w-e-b.site/index. htm, тогаш можете да ја користите датотеката robots.txt со нешто како следнава содржина:

User-agent: *
Disallow: /index.php
Disallow: /index.html
Disallow: /index.htm
Disallow: /main.html

Всушност, користењето експлицитно име за главната страница е исклучок наместо правило. Значи, да ги разгледаме другите опции.

Можете да го користите следниов пристап:

1. Одбијте го пристапот на целата локација со директивата „Дозволи“.
2. Потоа дозволете индексирање на целата локација користејќи ја директивата „Дозволи“, освен за главната страница.

Примерок од датотеката robots.txt:

User-agent: *
Allow: ?p=
Disallow: /

Директивата „Дозволи“ мора секогаш да доаѓа пред „Дозволи“. Директивата „Дозволи“ ги дозволува сите страници со URL како „?p=“, а директивата „Дозволи“ ги оневозможува сите страници. Како резултат на тоа, се добива следниот резултат: забрането е индексирање на целата страница (вклучувајќи ја и главната страница), освен за страници со адреса како „?p=“.

Ајде да го погледнеме резултатот од проверката на две URL-адреса:

• https://suay.ru/ (главна страница) - индексирањето е забрането
• https://suay.ru/?p=790#6 (страница на статијата) – дозволено е индексирање

На сликата од екранот, бројот 1 ја означува содржината на датотеката robots.txt, бројот 2 е URL-то што се проверува, а бројот 3 е резултат од проверката.

2. Користење на мета-ознаката роботи

Ако вашата страница е одвоени датотеки, тогаш додадете ја мета-ознаката за роботи во HTML-кодот на датотеката на главната страница:

<meta name="robots" content="noindex,nofollow>

3. Со .htaccess и mod_rewrite

Користејќи .htaccess и mod_rewrite, можете да го блокирате пристапот до одредена датотека на следниов начин:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yandex [NC]
RewriteRule (index.php)|(index.htm)|(index.html) - [F]

Имајте предвид дека кога се обидувате да отворите врска како https://w-e-b.site/ (односно, без да го наведете името на главната страница), сè уште се бара одредена датотека на веб-серверот страна, на пример, index.php, index.htm или index. html. Затоа, овој метод на блокирање пристап (и, соодветно, индексирање) работи дури и ако главната страница на вашата страница се отвора без да наведете одредено име на датотека (index.php, index.html, index.htm, main.html и така натаму), како што е обично случај.