伊人久久国产精品,色综合久久久久,精品国产香蕉伊思人在线又爽又黄,国产激情对白一区二区三区四

網絡爬蟲就是一組能自動從網站的相關網頁中搜索與提取數據的程序，這些數據是進一步實現數據分析的關鍵與前提。Python語言程序簡單高效，編寫網絡爬蟲有特別的優勢，尤其業界有專門為Python編寫的各種各樣的爬蟲程序框架，使得Python編寫爬蟲程序更加簡單高效。

本書主要分成4個項目，項目1以爬取學生信息的項目為依托，講解Python的Web訪問技術，它是爬蟲程序的基礎。項目2以爬取城市天氣預報項目為依托，講解BeautifulSoup網頁數據的爬取方法。項目3以爬取網絡圖像項目為依托，講解網頁的深度優先與廣度優先順序爬取路徑的構造方法與多線程分布式網頁爬取技術。項目4以爬取網站的圖書信息項目為依托，講解目前功能強大的分布式爬取框架Scrapy的程序設計技術。每個部分都遵循由淺入深的學習規律，理論與實踐相結合，提高學生的實踐能力。

本書為新形態一體化教材，配有豐富的教學資源，包括微課、教學大綱、課程標準、教學課件、案例源碼、課后習題及習題答案等。本書同時配套建設了在線開放課程，學習者可登錄智慧職教MOOC學院平臺，在“Python程序設計”頁面進行學習。本書可作為計算機軟件技術專業、大數據技術應用專業及其他專業的專業教材，也可作為數據采集技術學習者的自學參考書^[1] 。

前輔文

項目1爬取學生信息

1.1爬蟲程序開發環境

1.1.1爬蟲程序簡介

1.1.2Python開發環境搭建

1.2FlaskWeb網站

1.2.1Flask簡介

1.2.2Urllib程序包訪問Web網站

1.3GET方法訪問網站

1.3.1客戶端GET方式發送數據

1.3.2服務器獲取GET發送的數據

1.4POST方法向網站發送數據

1.4.1客戶端POST發送數據

1.4.2服務器獲取POST的數據

1.4.3GET與POST的混合使用

1.5Web下載文件

1.5.1服務器程序

1.5.2客戶端程序

1.6Web上傳文件

1.6.1上傳二進制數據

1.6.2服務器程序

1.6.3客戶端程序

1.7Web學生管理程序

1.7.1定義通訊協議

1.7.2服務器程序

1.7.3客戶端程序

1.8正則表達式

1.8.1正則表達式規則

1.8.2查找匹配字符串

1.9實踐項目—爬取學生信息

1.9.1項目簡介

1.9.2服務器程序

1.9.3客戶端程序

練習一

項目2爬取天氣預報數據

2.1HTML文檔結構與文檔樹

2.1.1HTML文檔結構

2.1.2HTML文檔樹

2.2BeautifulSoup裝載HTML文檔

2.2.1BeautifulSoup的安裝

2.2.2BeautifulSoup裝載HTML文檔

2.3BeautifulSoup查找文檔元素

2.3.1查找HTML元素

2.3.2獲取元素的屬性值

2.3.3獲取元素包含的文本值

2.3.4高級查找

2.4BeautifulSoup遍歷文檔元素

2.4.1獲取元素結點的父結點

2.4.2獲取元素結點的直接子元素結點

2.4.3獲取元素結點的所有子孫元素結點

2.4.4獲取元素結點的兄弟結點

2.5BeautifulSoup使用CSS語法查找元素

2.5.1使用CSS語法

2.5.2屬性的語法規則

2.5.3Select查找子孫結點

2.5.4Select查找直接子結點

2.5.5Select查找兄弟結點

2.6實踐項目—爬取天氣預報數據

2.6.1項目簡介

2.6.2HTML代碼分析

2.6.3爬取天氣預報數據

2.6.4爬取與存儲天氣預報數據

練習二

項目3爬取網站圖像文件

3.1網站樹的爬取路徑

3.1.1Web服務器網站

3.1.2遞歸程序爬取數據

3.1.3深度優先爬取數據

3.1.4廣度優先爬取數據

3.2網站圖的爬取路徑

3.2.1復雜的Web網站

3.2.2改進深度優先客戶端程序

3.2.3改進廣度優先客戶端程序

3.3Python實現多線程

3.3.1Python的前后臺線程

3.3.2線程的等待

3.3.3多線程與資源

3.4爬取網站復雜數據

3.4.1Web服務器網站

3.4.2爬取網站的復雜數據

3.4.3爬取程序的改進

3.5實踐項目——爬取網站的圖像文件

3.5.1項目簡介

3.5.2單線程爬取圖像的程序

3.5.3多線程爬取圖像的程序

練習三

項目4爬取網站圖書數據

4.1Scrapy框架爬蟲簡介

4.1.1安裝Scrapy框架

4.1.2建立Scrapy項目

4.1.3入口函數與入口地址

4.1.4Python的yield語句

4.2Scrapy中查找HTML元素

4.2.1Scrapy的Xpath簡介

4.2.2Xpath查找HTML元素

4.3Scrapy爬取與存儲數據

4.3.1建立Web網站

4.3.2編寫數據項目類

4.3.3編寫爬蟲程序MySpider

4.3.4編寫數據管道處理類

4.3.5設置Scrapy的配置文件

4.4Scrapy爬取網站數據

4.4.1建立Web網站

4.4.2編寫Scrapy爬蟲程序

4.5實踐項目—爬取當當網站圖書數據

4.5.1網站圖書數據分析

4.5.2網站圖書數據提取

4.5.3網站圖書數據爬取

練習四

結語

參考文獻^[1]