Проблеми використання роботів в Інтернеті

Вступ3

Використання роботів3

Статистичний аналіз4

Підтримка4

Дзеркала5

Пошук ресурсів6

Комбіноване використання7

Ціна використання та застереження7

Ресурси мережі та завантаження серверів7

Оновлення8

Погані реалізації10

Ведення каталогу11

Забагато матеріалу, що є забагато динамічним.11

Визначення що індексувати, а що ні.11

Статистичний аналіз13

Етика13

Альтернативи для пошуку ресурсів15

Висновок16

Література18

Вступ

Всесвітня павутина стала дуже популярною за останні декілька років, і є зараз основним засобом розміщення інформації в інтернет. Коли розмір WWW збільшився від декількох десятків сайтів, стало зрозуміло, що людина не в змозі самостійно переглянути таку кількість сайтів, тим паче знайти нові.

Тому почалися розробки програм, що автоматично переглядають WWW. Така програма-робот передивляється Інтернет сторінка за сторінкою, йдучи за посиланнями на інші сторінки. Роботів також називають павуками (spiders) або черв‘яками (worms), але ці назви дають хибне враження, що роботи пересуваються самі, або, що вони копіюють себе, як відомі інтернет-черви. Насправді, робот – це одна програмна система, що отримує інформацію з Інтернет сайтів використовуючи стандартні протоколи WWW.

Використання роботів