[Общая тема]robots и sitemap для phpbb3
Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas
Правила форума
----
----
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Ставьте и не парьтесь
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
robots и sitemap для phpbb3
Отличный пост. Жду результатов обработки поисковиками.
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Ну где то через 24 часа после установки мода у вас на сервере в нужной папке начнут появляться мини-карты вашего форума, сразу же после установки мода сайтмап нужно скормить поисковикам, чтобы они знали о его существовании, а потом уже в панели вебмастера кадой из поисковых машин можно будет следить за количеством проиндесированных тем
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- St_roy
- Завсегдатай Форума
- Сообщения: 873
- Стаж: 12 лет 3 месяца
- Откуда: Москва
- Контактная информация:
robots и sitemap для phpbb3
А как закрыть от индексации вообще весь сайт? Можно через robots?
Просто у меня появилась идейка одна и для экспериментов я сделал копию форума на поддомен.. Или пусть индексируется?
Просто у меня появилась идейка одна и для экспериментов я сделал копию форума на поддомен.. Или пусть индексируется?
Зри в корень
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Ды лучше уж пусть индексируется, плохого ничего не будет, да и подумать надо хорошенько, как скрыть нужную инфу от ботов, впринципе условия есть для этого))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- St_roy
- Завсегдатай Форума
- Сообщения: 873
- Стаж: 12 лет 3 месяца
- Откуда: Москва
- Контактная информация:
robots и sitemap для phpbb3
Блин, наверное в админке можно закрыть для них доступ ко всем форумам
Или так)DeaDRoMeO писал(а):Ды лучше уж пусть индексируется, плохого ничего не будет
Зри в корень
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Ну так остальная инфа будет доступна)St_roy писал(а):Блин, наверное в админке можно закрыть для них доступ ко всем форумам
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- St_roy
- Завсегдатай Форума
- Сообщения: 873
- Стаж: 12 лет 3 месяца
- Откуда: Москва
- Контактная информация:
robots и sitemap для phpbb3
Галерея? Что ещё видят боты из незакрытого в robots-е?
Хотя я, наверное, не буду парится с роботами)
Хотя я, наверное, не буду парится с роботами)
Зри в корень
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Видят всю любую инфу))
Можно закрыть всю инфу путем добавления в роботс основных страниц, например
Можно закрыть всю инфу путем добавления в роботс основных страниц, например
Код: Выделить всё
Disallow: /index.php
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- Lorem Ipsum
- Прописался тут надолго
- Сообщения: 1974
- Стаж: 11 лет 8 месяцев
- Контактная информация:
robots и sitemap для phpbb3
Нашла три образца файла robots.txt .
у ДелитантаUser-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /cgi-bin
Disallow: /docs
Disallow: /download
Disallow: /knowledge
Disallow: /statistics
Disallow: /temp
Disallow: /login.php
Disallow: /mcp.php
Disallow: /report.php
Disallow: /stats.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /download.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php
User-agent: yandex
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Host: ВАШ САЙТ
Sitemap: http://ВАШ САЙТ/sitemap.php
User-agent: googlebot
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php
И у FladeX-а http://fladex.ru/article/a-6.html
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forumadmins.ru/sitemap.php
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: forumadmins.ru
Sitemap: http://forumadmins.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Все они немного разнятся. Какой же самый правильный?..
у Делитанта
Disallow: /adm
Disallow: /cache
Disallow: /cgi-bin
Disallow: /docs
Disallow: /download
Disallow: /knowledge
Disallow: /statistics
Disallow: /temp
Disallow: /login.php
Disallow: /mcp.php
Disallow: /report.php
Disallow: /stats.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /download.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php
User-agent: yandex
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Host: ВАШ САЙТ
Sitemap: http://ВАШ САЙТ/sitemap.php
User-agent: googlebot
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php
У Строя (в этой теме)
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forumadmins.ru/sitemap.php
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: forumadmins.ru
Sitemap: http://forumadmins.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Вроде у фладекса более верный)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- Lorem Ipsum
- Прописался тут надолго
- Сообщения: 1974
- Стаж: 11 лет 8 месяцев
- Контактная информация:
robots и sitemap для phpbb3
А почему у Делитанта есть User-agent: googlebot, а у FladeX-a нету? Он не нужен?DeaDRoMeO писал(а):Вроде у фладекса более верный)
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
- DeaDRoMeO
- Старожил Форума
- Сообщения: 16763
- Стаж: 13 лет 2 месяца
- Откуда: Витебск
- Контактная информация:
robots и sitemap для phpbb3
Гуглу он вроде не нужен, вот яшка-дурак, ему надо)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
- Lorem Ipsum
- Прописался тут надолго
- Сообщения: 1974
- Стаж: 11 лет 8 месяцев
- Контактная информация:
robots и sitemap для phpbb3
Интересно тогда, почему Делитант к себе добавил. Не просто же так
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
-
- Активно общаюсь
- Сообщения: 318
- Стаж: 12 лет 3 месяца
- Откуда: Украина
- Контактная информация:
robots и sitemap для phpbb3
Lorem Ipsum У меня сейчас вот так, т.е. DeaDRoMeO прав.
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
User-agent: *
Crawl-delay: 10
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Host: forum.dlja-pohudenija.ru
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
User-agent: *
Crawl-delay: 10
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Host: forum.dlja-pohudenija.ru
- Lorem Ipsum
- Прописался тут надолго
- Сообщения: 1974
- Стаж: 11 лет 8 месяцев
- Контактная информация:
robots и sitemap для phpbb3
Вобщем сделала так. Прально?
delitant,
а вот это что такое?
User-agent: *
Crawl-delay: 10
Код: Выделить всё
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://stas-karpov.eu/sitemap.php
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: stas-karpov.eu
Sitemap: http://stas-karpov.eu/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
а вот это что такое?
Crawl-delay: 10
Я ещё тут спросила, не пропусти... blog.php?u=895&b=49&r=287#r287
Последний раз редактировалось Lorem Ipsum 26 ноя 2012, 23:59, всего редактировалось 1 раз.
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
- Alexander
- Свой на все 100
- Сообщения: 484
- Стаж: 11 лет 6 месяцев
- Откуда: Россия
- Контактная информация:
robots и sitemap для phpbb3
Данная директива задает тайм-аут между закачками страниц (в секундах). Применяется для снижения нагрузки на сервер.Lorem Ipsum писал(а):User-agent: *
Crawl-delay: 10
-
- Заглянул на огонек
- Сообщения: 10
- Стаж: 11 лет 5 месяцев
- Контактная информация:
robots и sitemap для phpbb3
А у меня стоит seo мод и ссылки имеют такой вид:
http://www.мойфорум.ru/post19500.html
http://www.мойфорум.ru/member2.html (страницы пользователей)
Может кто-то посоветует как закрыть страницы с пользователями от поисковиков? и что еще лучше от них спрятать?
http://www.мойфорум.ru/post19500.html
http://www.мойфорум.ru/member2.html (страницы пользователей)
Может кто-то посоветует как закрыть страницы с пользователями от поисковиков? и что еще лучше от них спрятать?
- Alexander
- Свой на все 100
- Сообщения: 484
- Стаж: 11 лет 6 месяцев
- Откуда: Россия
- Контактная информация:
robots и sitemap для phpbb3
Может так:
Но не уверен...
Код: Выделить всё
Disallow: /member*.html
-
- Заглянул на огонек
- Сообщения: 10
- Стаж: 11 лет 5 месяцев
- Контактная информация:
robots и sitemap для phpbb3
Именно так, спасибо!Alexander писал(а):Но не уверен...