[Общая тема]robots и sitemap для phpbb3
Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas
Правила форума
----
----
-
- Заглянул на огонек
- Сообщения: 24
- Стаж: 10 лет 5 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
О спасибо , только теперь я поняла
100&view=...
&&start=0=0 это какое то продолжение страницы ( хотя смысл еще не совсем уловила - , когда ставиться &start=0 и прочее ) , но понимаю что это дубляж .
Значит вопрос по роботсу решила - ничего делать не надо.
Теперь как мне узнать Файлы Sitemap у меня есть или нет ? Я молодой админ и только учусь
ситуация такая в вебмастере в яндексе
Not available: http://сайт/sitemap.xml Файл Sitemap недоступен.
а в админке на форуме вот так
мне нужно что делать? или как и с роботсом все уже настроено нормально?
Спасибо.
О и в догонку вопрос , как теги темы подставились автоматически ? , потому что я их не вставляла .
Я этот мод поставила себе месяца 2 назад и вручную сама добавляю , что занимает время.
А тут на форуме автоматизировано все , и я хочу так .
100&view=...
&&start=0=0 это какое то продолжение страницы ( хотя смысл еще не совсем уловила - , когда ставиться &start=0 и прочее ) , но понимаю что это дубляж .
Значит вопрос по роботсу решила - ничего делать не надо.
Теперь как мне узнать Файлы Sitemap у меня есть или нет ? Я молодой админ и только учусь
ситуация такая в вебмастере в яндексе
Not available: http://сайт/sitemap.xml Файл Sitemap недоступен.
а в админке на форуме вот так
мне нужно что делать? или как и с роботсом все уже настроено нормально?
Спасибо.
О и в догонку вопрос , как теги темы подставились автоматически ? , потому что я их не вставляла .
Я этот мод поставила себе месяца 2 назад и вручную сама добавляю , что занимает время.
А тут на форуме автоматизировано все , и я хочу так .
- БОРИСЫЧ
- Зашел немного посидеть
- Сообщения: 89
- Стаж: 10 лет 2 месяца
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Виктория99, Вот он ваш файл - http://shops-zona.ck.ua/sitemaps/sitemap_index.xml
В админке в настройках ничего не трогайте, а только лишь нажмите одну кнопку RUN NOW чтобы обновить карту сайта. Также ссылка на карту сайта должна быть в файле robots.txt - вставьте эту строку
в двух местах перед строкой "Crawl-delay".
Вебмастер не нашел ссылку (Not available: http://сайт/sitemap.xml Файл Sitemap недоступен) именно потому что в роботсе не указано местонахождение карты сайта.
Вообще этот мод карты сайта не самый лучший, его бы надо поменять, но этим мы с вами займемся в другой раз ))
По вопросу "как теги темы подставились автоматически" - я вообще ничего не понял об чем речь?))
В админке в настройках ничего не трогайте, а только лишь нажмите одну кнопку RUN NOW чтобы обновить карту сайта. Также ссылка на карту сайта должна быть в файле robots.txt - вставьте эту строку
Код: Выделить всё
Sitemap: http://shops-zona.ck.ua/sitemaps/sitemap_index.xml
Вебмастер не нашел ссылку (Not available: http://сайт/sitemap.xml Файл Sitemap недоступен) именно потому что в роботсе не указано местонахождение карты сайта.
Вообще этот мод карты сайта не самый лучший, его бы надо поменять, но этим мы с вами займемся в другой раз ))
По вопросу "как теги темы подставились автоматически" - я вообще ничего не понял об чем речь?))
-
- Заглянул на огонек
- Сообщения: 24
- Стаж: 10 лет 5 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
БОРИСЫЧ, по поводу теги темы , я сама разобралась - мое сообщение 1-е на странице - вот и теги подставились. Это Сео мод .
Строку вставлю , спасибо большое
а по поводу
Информация
You Have SEOMOD turned on, But SEO MOD is not installed..
You need to either install SEO MOD, or turn SEOMOD to off in the settings
Это как ? из за сео мода я не могу обновить сайт мар ?
Строку вставлю , спасибо большое
а по поводу
пишет мне следующее да еще на ярко красном квадратеБОРИСЫЧ писал(а):RUN NOW чтобы обновить карту сайта
Информация
You Have SEOMOD turned on, But SEO MOD is not installed..
You need to either install SEO MOD, or turn SEOMOD to off in the settings
Это как ? из за сео мода я не могу обновить сайт мар ?
- БОРИСЫЧ
- Зашел немного посидеть
- Сообщения: 89
- Стаж: 10 лет 2 месяца
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Значит все настройки карты сайта ставим на НЕТ, значения botuser и mapdir не меняем, нажимаем отправить, а потом нажимаем RUN NOW - думаю, что все получица.
-
- Заглянул на огонек
- Сообщения: 24
- Стаж: 10 лет 5 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
БОРИСЫЧ,сделала , получилось
Информация
SiteMap Creation Complete.
Сегодня в роботс добавлю ссылку на сайтмап.
Так а теперь чтоб я понимала
и надо ли возвращать как было
все настройки карты сайта ставим на НЕТ менять на ДА? Я просто хоть и не понимаю этого момента , хочу знать и поставить " галочку" этот вопрос решен и забудь
Да а за сайтмап читала за мод нужно будет ставить ., но чуть позже.
Информация
SiteMap Creation Complete.
Сегодня в роботс добавлю ссылку на сайтмап.
Так а теперь чтоб я понимала
это разовая процедура?нажимаем RUN NOW
и надо ли возвращать как было
все настройки карты сайта ставим на НЕТ менять на ДА? Я просто хоть и не понимаю этого момента , хочу знать и поставить " галочку" этот вопрос решен и забудь
Да а за сайтмап читала за мод нужно будет ставить ., но чуть позже.
- БОРИСЫЧ
- Зашел немного посидеть
- Сообщения: 89
- Стаж: 10 лет 2 месяца
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Похоже, что НЕ разовая. То есть периодически по мере появления новых страниц надо обновлять карту сайта. Например раз в неделю. Если же поставить другой мод, более удобный - SITEMAP FX - так там карта автоматически новая создается при посещении роботом.Виктория99 писал(а):это разовая процедура?
Лучше ничего не меняйте, эти настройки нужны если у вас установлен SEO MOD, а у вас как я понял с ним какие то проблемы.Виктория99 писал(а):и надо ли возвращать как было все настройки карты сайта
-
- Заглянул на огонек
- Сообщения: 24
- Стаж: 10 лет 5 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
БОРИСЫЧ,спасибо, освобожусь и поставлю SITEMAP FX
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Добрый день!
На одном из сайтов по phpbb нашел такой robots
В нем есть отличия от вариантов приведенных здесь.
Проверку он проходит корректно, вроди ничего лишнего не закрывает.
Просьба прокомментировать: что оставить, а что убрать и почему.
Заранее благодарен.
На одном из сайтов по phpbb нашел такой robots
User-agent: *
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
User-agent: Yandex
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
# Google Image
User-agent: Googlebot-Image
Disallow:
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
Host: мой сайт
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
User-agent: Yandex
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
# Google Image
User-agent: Googlebot-Image
Disallow:
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
Host: мой сайт
Проверку он проходит корректно, вроди ничего лишнего не закрывает.
Просьба прокомментировать: что оставить, а что убрать и почему.
Заранее благодарен.
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Ну как минимум, зачем в нем записи для модов, которых у вас нет?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Моды все установлены (репутацию правда удалил).
Больше интересуют эти строки:
Disallow: /index.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
По версии автора этого robots - Disallow: /index.php прописан для того, чтобы параллельно не индексировать форум по прямому адресу и по индексной странице, правильно ли это, ни у кого больше не встречал такое. Почему-то яндекс в отличае от гугл не индексирует главную страницу, а индексирует все подряд в каких-то подфорумах. Все что идет после Disallow: /index.php тоже не понятно что закрывает, чем например отличается это Disallow: /viewtopic.php?p=* от этого Disallow: /viewtopic.php*p=* Тоесть проверяю robots, почти все открыто, что закрывают строки в спойлере и зачем их нагородили не понятно.
Больше интересуют эти строки:
Disallow: /index.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
- БОРИСЫЧ
- Зашел немного посидеть
- Сообщения: 89
- Стаж: 10 лет 2 месяца
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Я просто в htaccess сделал редирект страницы /index.php на страницу /pmebear писал(а):По версии автора этого robots - Disallow: /index.php прописан для того, чтобы параллельно не индексировать форум по прямому адресу и по индексной странице, правильно ли это, ни у кого больше не встречал такое.
А также в шаблонах подправил ссылки на главную страницу, также заменив /index.php на /
И тогда запрет индексации /index.php не потребуется.
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
.htaccess в корне форума или в корне сайта? Если не сложно дайте ссылочку на инструкцию...
- БОРИСЫЧ
- Зашел немного посидеть
- Сообщения: 89
- Стаж: 10 лет 2 месяца
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
pmebear, берем htaccess находящийся в корне сервера и дописываем туда:
Тем самым сделали редирект со страницы /index.php на страницу /, синтаксис записи может быть иной в зависимости от того что там у вас в этом файле уже содержится.
Далее делаем так, чтобы во всех шаблонах ссылки типа /index.php заменились на ссылки типа /
Для энтого открываем: includes/functions.php, находим:
Заменяем на:
Вот и сказочке конец.
Код: Выделить всё
Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://domen.ru/ [R=301,L]
Далее делаем так, чтобы во всех шаблонах ссылки типа /index.php заменились на ссылки типа /
Для энтого открываем: includes/functions.php, находим:
Код: Выделить всё
'U_INDEX' => append_sid("{$phpbb_root_path}index.$phpEx"),
Код: Выделить всё
'U_INDEX' => append_sid("{$phpbb_root_path}"),
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Для карты сайта использую мод Sitemap FX (просто и удобно) ссылка на него - мой сайт/sitemap.php Некоторые валидаторы не видят карту сайта, так как им требуется карта в формате sitemap.xml Откопал старый мод GYM Sitemaps & RSS module 2.0.4], который помимо карты сайта отправляет в индекс новости и RSS форума. Этот мод установлен на нескольких старых и уважаемых мною форумах. Правда мод давно не поддерживается и как-то не приветствуется на гуру. Кто-нибудь использовал этот мод? Вас устраивают результаты?
- Gipsomaster
- Заглянул на огонек
- Сообщения: 5
- Стаж: 10 лет 8 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Вот как раз занялся этой темой, так как обнаружил, что в ЯВ в индекс попали страницы для печати, которые по ходу вытеснили полновесные версии страниц. Ввел запрос что-то типа как убрать дубли на форуме и наткнулся на ответ на вашем же форуме, только с такой же бедой.pmebear писал(а):Тоесть проверяю robots, почти все открыто, что закрывают строки в спойлере и зачем их нагородили не понятно.
У вас в поиске также страницы для печати (без картинок, рекламы и т. п.) Вот пример: hello-vitebsk.ru/viewtopic.php?f=142&t=884&start=300&view=print
Получается, что одна из строчек в приведенном выше коде:
Код: Выделить всё
Disallow: /*&view=*
Хотя у себя я эту строчку прописал более конкретно (на всякий случай, чтобы не запретить чего лишнего):
Код: Выделить всё
Disallow: /forum/viewtopic.php?f*&view=print*
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
На странице для печати почти нет мусора и лишних слов, они быстрее открываются и индексируются
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Как сделать так, чтобы вместо обычного стиля индексировались страницы для печати, и при этом не было дублей. Или вы для ботов сделали отдельный, облегченный стиль без кнопок и css?
- Gipsomaster
- Заглянул на огонек
- Сообщения: 5
- Стаж: 10 лет 8 месяцев
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
То есть этим Вы хотите сказать, что у Вас специально в индексе только версия для печати? И нет других версий? Или все же каша из дублей?DeaDRoMeO писал(а):На странице для печати почти нет мусора и лишних слов, они быстрее открываются и индексируются
Страницы то быстрее открываются, но подозреваю, что поведенческий не айс. Ведь мало кто может на первый взгляд отличить ГС от печатной версии? Особенно не продвинутые пользователи коих большинство (Хотя к Вашей тематике это не относится). Плюс нет картинок, а на многих форумах это основной контент.
Еще какие мнения?
А при чем тут для ботов? С поиска ведь не боты переходят, а живые люди.pmebear писал(а):Как сделать так, чтобы вместо обычного стиля индексировались страницы для печати, и при этом не было дублей. Или вы для ботов сделали отдельный, облегченный стиль без кнопок и css?
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Нет, ничего такого я не делал, даже не заморачивался по этому поводу)) Это просто мысли вслух))
Да возьмите самый легкий стиль, вырежите из него мусор и назначьте для ботов его))
Да возьмите самый легкий стиль, вырежите из него мусор и назначьте для ботов его))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- pmebear
- Зашел немного посидеть
- Сообщения: 67
- Стаж: 10 лет 11 месяцев
- Откуда: Москва
- Контактная информация:
[Общая тема]robots и sitemap для phpbb3
Приходят то люди, но чтобы в индексе не было мусорных ключевых слов типа вперед, назад, ответить, форум... ботам нужно давать для индексации облегченный стиль без мусора.Gipsomaster писал(а):А при чем тут для ботов? С поиска ведь не боты переходят, а живые люди.