Записать robots.txt

Здесь обсуждается форумный движок phpBB различных версий. В дальнейшем, если понадобится, форум будет вынесен в отдельный подраздел и разбит на категории.
Ответить
Аватара пользователя

Автор темы
andreygsm
Интересующийся
Сообщения: 50
Зарегистрирован: 21 ноя 2016, 12:42
Репутация: 1
Статус: Не в сети

Записать robots.txt

Сообщение andreygsm » 30 ноя 2016, 17:19


Добрый день

Прошло 10 дней с момента запуска сайта. Сегодня заметил, что Яндекс прекратил индексацию.
Проверьте правильность robots.txt:

User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
Disallow: /download/
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?style=*&t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /delete_session_anonimous.php

Host: nplmsk.ru

Sitemap: https://nplmsk.ru/sitemap.xml

Clean-param: sid /index.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewforum.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewtopic.php - гугл ругается (яндекс-нет)

User-agent: Googlebot-Mobile
Disallow: /app.php/dl_ext/*

User-agent: YandexImageResizer
Disallow: /app.php/dl_ext/*

User-agent: Mediapartners-Google
Disallow:

User-agent: Adsbot-Google
Disallow:

User-agent: YandexMetrika
Disallow:

User-agent: YandexDirect
Disallow:

User-agent: YandexBot - добавил сегодня
Disallow: /*id=

User-agent: Yandex - добавил сегодня
Disallow: /*sid=

Аватара пользователя

DesignerMix
Администратор
Администратор
Сообщения: 4479
Зарегистрирован: 25 апр 2014, 10:51
Есть ответ: 172
Репутация: 548
Откуда: Белгород
Контактная информация:
Статус: Не в сети

Записать robots.txt

Сообщение DesignerMix » 30 ноя 2016, 17:56


andreygsm писал(а):Источник цитаты Прошло 10 дней с момента запуска сайта. Сегодня заметил, что Яндекс прекратил индексацию.

С чего вы это взяли???


А сайтмап-то у вас есть? И доступен-ли он по HTTPS?

andreygsm писал(а):Источник цитаты Clean-param: sid /index.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewforum.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewtopic.php - гугл ругается (яндекс-нет)

Это нормально, просто google не знает этих параметров, а яндекс знает.

PS: Вы взяли мой robots.txt и думаю что вам не нужны некоторые пункты т.к. возможно у вас не установлены расширения которые есть у меня а также нет ряда файлов. Но по большому счету это не столь важно и не должно отражаться на индексации.

Аватара пользователя

Автор темы
andreygsm
Интересующийся
Сообщения: 50
Зарегистрирован: 21 ноя 2016, 12:42
Репутация: 1
Статус: Не в сети

Записать robots.txt

Сообщение andreygsm » 30 ноя 2016, 18:14


Разбираюсь с robots.txt поэтому и добавляю в папку и читаю в инете как и что для заполнения папки и увеличения индексации.
А сайтмап-то у вас есть? И доступен-ли он по HTTPS? - это кто и где (поясните пожалуйста)

Отправлено спустя 13 минут 28 секунд:
Есть, предложение поставить свеху
Host: nplmsk.ru
User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
......
......
Так лучше - говорят
Ваше мнение?

Аватара пользователя

DesignerMix
Администратор
Администратор
Сообщения: 4479
Зарегистрирован: 25 апр 2014, 10:51
Есть ответ: 172
Репутация: 548
Откуда: Белгород
Контактная информация:
Статус: Не в сети

Записать robots.txt

Сообщение DesignerMix » 30 ноя 2016, 18:23


andreygsm писал(а):Источник цитатыА сайтмап-то у вас есть? И доступен-ли он по HTTPS? - это кто и где (поясните пожалуйста)

Это страница на которой появляются ссылки на разделы и конкретные страницы сайта, а также там помечается "вес" этих страниц (важность иными словами). Вы взяли мой robots.txt и у меня сайтмап есть - https://dmyt.ru/forum/sitemap.xml а у вас он есть?

andreygsm писал(а):Источник цитаты Есть, предложение поставить свеху
Host: nplmsk.ru
User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
......
......
Так лучше - говорят
Ваше мнение?

Бес понятия, на сколько я знаю поисковику безразличен порядок директив, но если вы найдете другую информацию то поделитесь.

Аватара пользователя

Автор темы
andreygsm
Интересующийся
Сообщения: 50
Зарегистрирован: 21 ноя 2016, 12:42
Репутация: 1
Статус: Не в сети

Записать robots.txt

Сообщение andreygsm » 30 ноя 2016, 18:36


сайтмап у меня есть (сразу не понял ваш вопрос) - Number of URLs in this sitemap: 37

вычитал, что лучше поставить с верху host:

Отправлено спустя 4 минуты 43 секунды:
такое ощущение, что надо дополнить после
User-agent: Yandex
Disallow: /*sid=
что то ещё, а что добавить - не понимаю. можете подсказать или поделится мыслями?

Отправлено спустя 2 минуты 50 секунд:
чуть не забыл, куда и как вписать ключевые слова (в phpbb версия 3.1.10)?

Аватара пользователя

DesignerMix
Администратор
Администратор
Сообщения: 4479
Зарегистрирован: 25 апр 2014, 10:51
Есть ответ: 172
Репутация: 548
Откуда: Белгород
Контактная информация:
Статус: Не в сети

Записать robots.txt

Сообщение DesignerMix » 30 ноя 2016, 18:57


andreygsm писал(а):Источник цитаты вычитал, что лучше поставить с верху host:

где вы это вычитали? Поделитесь ссылкой

andreygsm писал(а):Источник цитаты сайтмап у меня есть

Исправьте только ссылку на него, ведь у вас он не по HTTPS а по HTTP доступен. Google не любит если есть ссылка на HTTPS без сертификата.

andreygsm писал(а):Источник цитаты чуть не забыл, куда и как вписать ключевые слова (в phpbb версия 3.1.10)?

Нет большой необходимости, но при желании можно. Поищите структуру HTML страниц и сами поймете куда что вписывать.

Аватара пользователя

Автор темы
andreygsm
Интересующийся
Сообщения: 50
Зарегистрирован: 21 ноя 2016, 12:42
Репутация: 1
Статус: Не в сети

Записать robots.txt

Сообщение andreygsm » 30 ноя 2016, 19:45


где вы это вычитали? Поделитесь ссылкой - закрыл вкладку (очень много) поищу (в истории) и отправлю
Поищите структуру HTML страниц и сами поймете куда что вписывать - смотрю (лазею и ....) 10 дней, так и не нашел, одни php и т.п.

Отправлено спустя 23 минуты 8 секунд:
заметил, у меня стоит Версия расширения: 1.1.1. где можно скачать 2.1.0.? (для улучшения ботов)

Отправлено спустя 1 час 2 минуты 48 секунд:
вопрос - есть смысл Установить мод Ultimate SEO URL