Обзор программ для создания Sitemap

Решила протестировать 3 программы для создания sitemap (карты сайта) - A1 Sitemap Generator, WanderWebWare Sitemap Generator и GSite Crawler. Критерия было два - скорость и возможность обработать сайт, который имеет более 100К страниц.




Подопытный сайт http://www.career.ua/

Сначала я безуспешно пробовала создать sitemap при помощи GSite Crawler. Программа сначала собирает все страницы, потом их краулит. У вышеуказанного сайта насчиталось более 96 000 страниц. Программа успешно прошлась по ним, но вместо sitemap выдала мне пустые файлы, а потом вовсе зависла.

Плюсы:
  • возможность приостановить сканирование и возобновить в любой момент
  • одновременная работа с несколькими проектами
Минусы:
  • может прогнать до 90К страниц, если более - начинаются глюки
  • частые сбои у крякнутой версии
  • очень медленно работает (сайт около 10-15К страниц может краулить до суток)
После того как GSite Crawler не справился с пациентом (до этого делала sitemap для других 3х сайтов, все ок), решила поискать альтернативные программы.

WanderWebWare Sitemap Generator - чуть более шустрая программа, но все же с заданием не справилась, по той причине, что серваки на работе перезагружались ночью, а программа не имеет функции памяти и 2е суток работы пошли на смарку, не вина программы, но все же.


Плюсы
  • простой интерфейс, разобраться не трудно
  • возможность свернуть в трей 
  • много дополнительных настроек
Минусы
  • нет функции паузы
  • работает только с одним проектом
  • скорость работы - за 227 минут программа успела обойти всего 1936 страниц (средняя скорость работы 6-15 страниц/минута)

И последняя программа, которой я попыталась создать карту сайта A1 Sitemap Generator. Сначала мне показалось, что программа значительно шутрее двух предыдущих, но к сожалению моего терпения не хватило - программа проработала беспрерывно более 7 суток, насчитала более 250 тысяч линков, но так и не порадовала меня результатом.



Итог:
Каждая программа по своему хороша, но как оказалось, все они годятся только для небольших сайтов, с большим порталом им не справиться.

Share this:

CONVERSATION

0 коммент.:

Отправить комментарий