Записать robots.txt

Сообщение **andreygsm** » 30 ноя 2016, 17:19

Добрый день

Прошло 10 дней с момента запуска сайта. Сегодня заметил, что Яндекс прекратил индексацию.
Проверьте правильность robots.txt:

User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
Disallow: /download/
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?style=*&t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /delete_session_anonimous.php

Host: nplmsk.ru

Sitemap: https://nplmsk.ru/sitemap.xml

Clean-param: sid /index.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewforum.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewtopic.php - гугл ругается (яндекс-нет)

User-agent: Googlebot-Mobile
Disallow: /app.php/dl_ext/*

User-agent: YandexImageResizer
Disallow: /app.php/dl_ext/*

User-agent: Mediapartners-Google
Disallow:

User-agent: Adsbot-Google
Disallow:

User-agent: YandexMetrika
Disallow:

User-agent: YandexDirect
Disallow:

User-agent: YandexBot - добавил сегодня
Disallow: /*id=

User-agent: Yandex - добавил сегодня
Disallow: /*sid=

YouTube · Сообщение **DesignerMix** » 30 ноя 2016, 17:56

andreygsm писал(а): Прошло 10 дней с момента запуска сайта. Сегодня заметил, что Яндекс прекратил индексацию.

С чего вы это взяли???

andreygsm писал(а): Sitemap: https://nplmsk.ru/sitemap.xml

А сайтмап-то у вас есть? И доступен-ли он по HTTPS?

andreygsm писал(а): Clean-param: sid /index.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewforum.php - гугл ругается (яндекс-нет)
Clean-param: sid /viewtopic.php - гугл ругается (яндекс-нет)

Это нормально, просто google не знает этих параметров, а яндекс знает.

PS: Вы взяли мой robots.txt и думаю что вам не нужны некоторые пункты т.к. возможно у вас не установлены расширения которые есть у меня а также нет ряда файлов. Но по большому счету это не столь важно и не должно отражаться на индексации.

Сообщение **andreygsm** » 30 ноя 2016, 18:14

Разбираюсь с robots.txt поэтому и добавляю в папку и читаю в инете как и что для заполнения папки и увеличения индексации.
А сайтмап-то у вас есть? И доступен-ли он по HTTPS? - это кто и где (поясните пожалуйста)

Отправлено спустя 13 минут 28 секунд:
Есть, предложение поставить свеху
Host: nplmsk.ru
User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
......
......
Так лучше - говорят
Ваше мнение?

YouTube · Сообщение **DesignerMix** » 30 ноя 2016, 18:23

andreygsm писал(а):А сайтмап-то у вас есть? И доступен-ли он по HTTPS? - это кто и где (поясните пожалуйста)

Это страница на которой появляются ссылки на разделы и конкретные страницы сайта, а также там помечается "вес" этих страниц (важность иными словами). Вы взяли мой robots.txt и у меня сайтмап есть - sitemap.xml а у вас он есть?

andreygsm писал(а): Есть, предложение поставить свеху
Host: nplmsk.ru
User-agent: *
Disallow: /*?hash=*
Disallow: /*?style=*
Disallow: /adm/
......
......
Так лучше - говорят
Ваше мнение?

Бес понятия, на сколько я знаю поисковику безразличен порядок директив, но если вы найдете другую информацию то поделитесь.

Сообщение **andreygsm** » 30 ноя 2016, 18:36

сайтмап у меня есть (сразу не понял ваш вопрос) - Number of URLs in this sitemap: 37

вычитал, что лучше поставить с верху host:

Отправлено спустя 4 минуты 43 секунды:
такое ощущение, что надо дополнить после
User-agent: Yandex
Disallow: /*sid=
что то ещё, а что добавить - не понимаю. можете подсказать или поделится мыслями?

Отправлено спустя 2 минуты 50 секунд:
чуть не забыл, куда и как вписать ключевые слова (в phpbb версия 3.1.10)?

YouTube · Сообщение **DesignerMix** » 30 ноя 2016, 18:57

andreygsm писал(а): вычитал, что лучше поставить с верху host:

где вы это вычитали? Поделитесь ссылкой

andreygsm писал(а): сайтмап у меня есть

Исправьте только ссылку на него, ведь у вас он не по HTTPS а по HTTP доступен. Google не любит если есть ссылка на HTTPS без сертификата.

andreygsm писал(а): чуть не забыл, куда и как вписать ключевые слова (в phpbb версия 3.1.10)?

Нет большой необходимости, но при желании можно. Поищите структуру HTML страниц и сами поймете куда что вписывать.

Сообщение **andreygsm** » 30 ноя 2016, 19:45

где вы это вычитали? Поделитесь ссылкой - закрыл вкладку (очень много) поищу (в истории) и отправлю
Поищите структуру HTML страниц и сами поймете куда что вписывать - смотрю (лазею и ....) 10 дней, так и не нашел, одни php и т.п.

Отправлено спустя 23 минуты 8 секунд:
заметил, у меня стоит Версия расширения: 1.1.1. где можно скачать 2.1.0.? (для улучшения ботов)

Отправлено спустя 1 час 2 минуты 48 секунд:
вопрос - есть смысл Установить мод Ultimate SEO URL