自動程式或腳本
搜尋引擎蜘蛛（也稱為網路蜘蛛、爬蟲或機器人）是一種自動程式或腳本，用於抓取和收集網際網路上的網頁、圖片、視頻等內容。
搜尋引擎蜘蛛從一組初始URL（統一資源定位器）開始，這些URL被稱為「種子」。然後，這些程式系統地訪問這些URL並抓取頁面上的所有超連結，將這些新連結添加到待訪問的URL列表中，這個過程不斷重複，使得搜尋引擎蜘蛛能夠覆蓋網際網路上的更多頁面。這些抓取到的內容隨後被建立索引資料庫，以便用戶可以在搜尋引擎中搜尋這些信息。搜尋引擎蜘蛛在抓取網頁時遵循特定的規則和策略，例如，它們會檢查網站根目錄下的robots.txt檔案，該檔案用於指示哪些內容應該被索引，哪些應該被排除。