phpbb 3.3. Создание файлов robot и sitemap для чайников

[Timur_N]

Добрый день!
Скажите, пожалуйста, как правильно создать файлы robot и sitemap дя моего форума?
Не силен в этом. Буду Вам благодарен, если напишите полный текст файла robot и подскажите как правильно сгенерировать sitemap.
Насколько понимаю их нужно выложить в корневую директорию форума на хостинге?

[DesignerMix]

Буду Вам благодарен, если напишите полный текст файла robot

Меня например устраивает мой файл robotx.txt, можете у меня скопировать, или же посмотреть на аналогичных форумах.

как правильно сгенерировать sitemap.

Я когда-то пользовался расширением sitemap generator, но оно сейчас не поддерживает новую версию движка вроде как, так что пока что без карт сайта обхожусь.

Насколько понимаю их нужно выложить в корневую директорию форума на хостинге?

Robots.txt да, sitemap тоже вроде как да, но то расширение использовало переадресацию и физически карта сайта лежала не в корне.

[Timur_N]

Добрый день!

Скажите, пожалуйста, как скопировать Ваш файл robot.txt ? Не силен в этом. Спасибо заранее!
Можете приложить как вложение?

[DesignerMix]

https://dmyt.ru/robots.txt

Открываете ссылку, копируете текст, создаете текстовый документ с именем robots.txt и вставляете текст в него.

[Tag095]

Можно и без карты сайта (или сделать ее статичной, в простом блокноте ), подключаете метрику (тут в закрепе есть) и делаете через яндекс-вебмастер обход по счетчикам. Так страницы будут быстрее залетать в поиск)

[Green]

https://dmyt.ru/robots.txt

Открываете ссылку, копируете текст, создаете текстовый документ с именем robots.txt и вставляете текст в него.

Здравствуйте! Извиняюсь за вопрос,а ваш robots.txt подходит для всех форумов?
Что в нем конкретно нужно редактировать?

Дело в том,что у меня есть sitemap, а robots.txt нет.И в последнее время я наблюдаю дубли страниц в яндексе и плохое индексирование.
Я совершенно недавно начала осваивать работу с форумами,и надеюсь на вашу помощь.Заранее спасибо.

[DesignerMix]

Нет, для всех не подходит. У яндекса есть отличный гайд по robots.txt, начните с него

[DesignerMix]

Green, в общем буквально после вашего вопроса получил в "яндекс вебмастере" уведомление о дублях страниц на сайте, например у страниц:
https://dmyt.ru/forum/viewtopic.php?f=51&p=23278
https://dmyt.ru/forum/viewtopic.php?p=23278
одинаковый контент (ведут в одно и то же место), в связи с этим пришлось заняться этим вопросом и вот что сделал:

Код: Выделить всё

User-agent: Yandex
Disallow:
Clean-param: style&ver /forum/
Clean-param: view forum/app.php/dlext/details
Clean-param: f forum/viewtopic.php
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: dmyt.ru

Sitemap: https://dmyt.ru/forum/sitemap.xml

Директива clean-param убирает для робота яндекса параметры адресной строки указанные за двоеточием. То, что я сформировал будет и для вас работать, но например у вас наверное нет расширения файлового архива, поэтому эту строку можете убрать.

Да, остальные директивы я закомментировал так как вроде как они уже не актуальны. Что касается дублей страниц в google - там можно зайти в google webmaster -> прежние инструменты и отчеты -> Параметры URL и задать там аналогичные параметры. Надеюсь это вам было полезно.