Отслеживание содержания web-страниц без RSS-фида

Как известно, интернет-партизаны технически вооружены. Они всегда в курсе благодаря таким, например, сервисам, как Google Alerts, за что Google получает большое партизанское спасибо. Google Alerts позволяет оперативно узнавать об упоминании интересующего вас названия, имени и любых других словосочетаний на любых сайтах, индексируемых Google. Одновременно он может служить индикатором, индексируются ли определенные сайты и насколько быстро.

Google анонсирует новый сервис, который позволяет оперативно отслеживать изменения на веб-странице, даже если та не имеет RSS-фида. Сервис этот добавлен к сервису чтения RSS-каналов Google Reader.

These custom feeds are most useful if you want to be alerted whenever a specific page has been updated. For example, if you wanted to follow Google.org’s latest products, just type «http://www.google.org/products.html» into Reader’s «Add a subscription» field. Click «create a feed», and Reader will periodically visit the page and publish any significant changes it finds as items in a custom feed created just for that page.

Если вы не хотите, чтобы содержание вашего сайта собиралось таким образом, у вас есть время запретить это: пока функция работает только для англоязычных HTML-страниц. Запретить можно следующим образом:
 
  • Add a <meta name=»googlebot» content=»noarchive»> tag to any page you don’t want available in Reader. Google compares the cached and current versions of your page to determine if that page has been updated. Adding the NOARCHIVE meta tag will prevent Google from caching your page.
  • Use robots.txt to block Googlebot from crawling your site. (You can block your entire site, or a file or directory.) However, if you decide to block Googlebot, your content will not be available to appear in search results. Doing this will not remove the previously generated feed from Reader, but Reader will stop generating feeds after this measure has been taken.
     
 
Реклама
Tagged with: ,
Опубликовано в WWWow!
3 comments on “Отслеживание содержания web-страниц без RSS-фида
  1. А зачем запрещать? В каких случаях это может понадобиться?

  2. В тех, когда вы не хотите, чтобы люди узнавали об изменениях на странице. От этого индексирование страницы и ее видимость в поиске не страдают, это только запрет для Google Reader.
    Когда вы создаете RSS-канал, вы выражаете желание оперативно сообщать об изменениях. А когда его нет, возможно, вы этого не хотите — вот Google и дает возможность это выразить.
    Наверняка такие ситуации бывают, хотя про все случаи так сразу не сообразить. Например, вы редактируете страницу и на это время не хотите, чтобы все варианты правки попадали в Reader. Или сайт госзакупок: если слышали эту историю, на нем в конкурсных позициях русские буквы частично латиницей заменялись,чтобы через поисковики конкурсы найти не могли — чтобы конкурс только между своими проводить.

  3. ll:

    В тех, когда вы не хотите, чтобы люди узнавали об изменениях на странице. От этого индексирование страницы и ее видимость в поиске не страдают, это только запрет для Google Reader.

    Когда вы создаете RSS-канал, вы выражаете желание оперативно сообщать об изменениях. А когда его нет, возможно, вы этого не хотите — вот Google и дает возможность это выразить.

    Наверняка такие ситуации бывают, хотя про все случаи так сразу не сообразить. Например, вы редактируете страницу и на это время не хотите, чтобы все варианты правки попадали в Reader. Или сайт госзакупок: если слышали эту историю, на нем в конкурсных позициях русские буквы частично латиницей заменялись,чтобы через поисковики конкурсы найти не могли — чтобы конкурс только между своими проводить.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s

%d такие блоггеры, как: