Файл robots, что туда стоит вносить, а что нет?!

[KISS_ARMY]

Добрый, подскажите какой у вас файл robots что там есть, а что нет мой такой как считаете что нужно добавить, а что убрать?

Код: Выделить всё

User-agent: *
Host: https://мой сайт
Disallow: */index.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Disallow: /viewforum.php?f=*&start=0$
Disallow: /community/reputation.php

[DesignerMix]

В чем проблема посмотреть? http://dmyt.ru/robots.txt

Строки вроде Disallow: /forum/viewtopic.php?f=*&t=*&view=next позволяют убрать из поисковиков дубликаты ссылок на одну и ту-же тему, это довольно важно. При составлении своего robots.txt я пользовался рекомендациями яндекса и описанием google по структуре robots.txt, а таже опытом пользователей с сайта phpbbguru. Меня полностью устраивает поисковая выдача для форума.