基于WEB的網絡爬蟲的設計

該網絡爬蟲的設計，主要是針對網絡的爬蟲相關信息進行研究，利用python技術進行網站的信息爬取，并且采用了django框架，進行系統(tǒng)的設計，數據庫采用了mysql數據庫進行數據的存儲。爬蟲的設計，主要是爬取了旅游的相關數據，并對旅游信息進行查看。網站的功能如下：

旅游數據爬取：網站的實現(xiàn)主要是先進行數據的爬取，得到旅游相關的數據，并且進行數據的爬取，獲取數據后，進行數據的存儲等，方便網站進行搜搜。
網頁搜索：和普通的搜索引擎一樣，可以在網頁中，搜索出相關的信息，并且會將來源進行展示，網站的網址信息，點擊會進行跳轉。
圖片搜索：可以實現(xiàn)圖片信息ID搜索，獲得圖片的相關信息展示，并且對圖片的來源進行列表顯示。
用戶管理：能夠對網站的相關的用戶信息進行展示管理，用戶只有登錄網站系統(tǒng)后，才能夠使用相關的搜索功能，用戶的管理，是網站的重要功能，通過對網站用戶的管理，就可以管理員用戶。