Авторизация

Topic-icon google не видит и не индексирует сайт

Больше
04 июнь 2020 07:36 #5823 от myen
myen создал эту тему: google не видит и не индексирует сайт
настроил публикацию домена 2 уровня...
сайт работает, все хорошо, но гугл не индексирует и начал исключать страницы из поиска по причине их недоступности...
как быть?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Больше
04 июнь 2020 11:07 #5824 от admin
admin ответил в теме google не видит и не индексирует сайт
Да, все верно. Но это решаемо.
Сейчас на запросы гугла или яндекса отдается пустой файл robots.txt вместо реального пользовательского, это сделано специально так как очень немногие наши пользователи хотят индексации поисковыми системами. Для домашних ресурсов это скорее вред, чем польза.
Если вам нужна индексация, то я смогу убрать заглушку и пустить роботов к вам, на ваш реальный robots.txt.
Вечером смогу посмотреть

если все заработало - нажмите на баннеры!
Спасибо сказали: myen

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Больше
04 июнь 2020 11:35 #5826 от myen
myen ответил в теме google не видит и не индексирует сайт
а в чем вред?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Больше
04 июнь 2020 22:04 #5827 от admin
admin ответил в теме google не видит и не индексирует сайт
Я снял заглушку. Ваш robots.txt доступен - попробуйте

Насчет вреда.
Наша система создана для пользователей всяких домашних средств автоматизации. В этом сегменте много разного софта, который, мягко скажем, имеет проблемы с безопасностью. Наши многие пользователи особенно не задумываются о последствиях "выставления наружу" такого ПО. Поэтому регулярно на всяких хакерских ресурсах публикуются скриншоты взломанных систем, которые были доступны через наш домен или наш адрес. Узнают хакеры о интересующих их системах, в том числе, и из поисковой выдачи по определенным запросам. Эти данные для поисковика собирает робот, который заходит и к опубликованным у нас ресурсам. Чтобы этого не происходило мы закрыли доступ к файла robots.txt.
А те, кто хочет, чтобы их сайт был доступен в поисковой выдаче (как вы) несомненно столкнутся с этим вопросом и обратятся к нам. Что собственно и происходит. Но вот писать отдельную автоматизацию для этого из личного кабинета мы не стали, так как такие случаи не часты и проще отработать вручную.
Похожая ситуация и с сертификатом для https доступа к домену пользователя. Разместить его мы можем вручную, но делать интерфейс для его загрузки, удаления, редактирования не имеет особенного смысла.

если все заработало - нажмите на баннеры!
Спасибо сказали: myen

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.