Файл robots, что туда стоит вносить, а что нет?! ✓ ЕСТЬ ОТВЕТ

Здесь обсуждается форумный движок phpBB различных версий. В дальнейшем, если понадобится, форум будет вынесен в отдельный подраздел и разбит на категории.
Ответить
Аватара пользователя

Автор темы
KISS_ARMY
Постоянный пользователь
Сообщения: 67
Зарегистрирован: 15 окт 2015, 06:03
Есть ответ: 4
Репутация: 2
Контактная информация:
Статус: Не в сети

Файл robots, что туда стоит вносить, а что нет?!

Сообщение KISS_ARMY » 17 ноя 2015, 10:26


Добрый, подскажите какой у вас файл robots что там есть, а что нет мой такой как считаете что нужно добавить, а что убрать?

Код: Выделить всё

User-agent: *
Host: https://мой сайт
Disallow: */index.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Disallow: /viewforum.php?f=*&start=0$
Disallow: /community/reputation.php

ЛУЧШИЙ ОТВЕТ DesignerMix » 17 ноя 2015, 10:36
В чем проблема посмотреть? http://dmyt.ru/robots.txt

Строки вроде Disallow: /forum/viewtopic.php?f=*&t=*&view=next позволяют убрать из поисковиков дубликаты ссылок на одну и ту-же тему, это довольно важно. При составлении своего robots.txt я пользовался рекомендациями яндекса и описанием google по структуре robots.txt, а таже опытом пользователей с сайта phpbbguru. Меня полностью устраивает поисковая выдача для форума.
ПЕРЕЙТИ К ПОЛНОМУ СООБЩЕНИЮ ➙

Аватара пользователя

DesignerMix
Администратор
Администратор
Сообщения: 4482
Зарегистрирован: 25 апр 2014, 10:51
Есть ответ: 172
Репутация: 549
Откуда: Белгород
Контактная информация:
Статус: Не в сети

Файл robots, что туда стоит вносить, а что нет?!

Сообщение DesignerMix » 17 ноя 2015, 10:36


В чем проблема посмотреть? http://dmyt.ru/robots.txt

Строки вроде Disallow: /forum/viewtopic.php?f=*&t=*&view=next позволяют убрать из поисковиков дубликаты ссылок на одну и ту-же тему, это довольно важно. При составлении своего robots.txt я пользовался рекомендациями яндекса и описанием google по структуре robots.txt, а таже опытом пользователей с сайта phpbbguru. Меня полностью устраивает поисковая выдача для форума.