Trình thu thập dữ liệu Web bắt đầu với một danh sách các URL cần truy cập, được gọi là các hạt giống. Khi trình thu thập thông tin truy cập các URL này, nó sẽ xác định tất cả các siêu liên kết (hyperlinks) trong trang và thêm chúng vào danh sách các URL cần truy cập, được gọi là biên giới thu thập thông tin (crawl frontier).
Các URL từ biên giới được truy cập đệ quy theo một bộ chính sách. Nếu trình thu thập thông tin đang thực hiện lưu trữ các trang web, nó sẽ sao chép và lưu thông tin khi nó hoạt động. Các tài liệu thường được lưu trữ theo cách mà chúng có thể được xem, đọc và điều hướng như khi chúng ở trên trang web trực tiếp, nhưng được lưu giữ dưới dạng snapshots.
Kho lưu trữ được gọi là chỗ chứa, được thiết kế để lưu trữ và quản lý bộ sưu tập các trang web. Kho chỉ lưu trữ các trang HTML và các trang này được lưu trữ dưới dạng các tệp riêng biệt.
Một kho lưu trữ tương tự như bất kỳ hệ thống lưu trữ dữ liệu nào khác, như cơ sở dữ liệu hiện đại. Sự khác biệt duy nhất là một kho lưu trữ không cần tất cả các chức năng được cung cấp bởi một hệ thống cơ sở dữ liệu. Kho lưu trữ phiên bản mới nhất của trang web được trình thu thập thông tin truy xuất.
Khối lượng lớn ngụ ý trình thu thập thông tin chỉ có thể tải xuống một số lượng hạn chế các trang Web trong một thời gian nhất định, do đó, nó cần ưu tiên tải xuống. Tỷ lệ thay đổi cao có thể ám chỉ các trang có thể đã được cập nhật hoặc thậm chí bị xóa.
Số lượng URL, có thể được thu thập thông tin, được tạo bởi phần mềm phía máy chủ cũng khiến trình thu thập dữ liệu web gặp khó khăn trong việc tránh truy xuất nội dung trùng lặp.
Mặc dù có sự kết hợp vô tận của các tham số HTTP GET (URL-based) tồn tại nhưng trong đó chỉ một lựa chọn nhỏ sẽ thực sự trả về nội dung duy nhất.
InboundLand tổng hợp từ Colinkri
