白帽子講Web掃描內容提要
Web 掃描器是一種可以對Web 應用程序進行自動化安全測試的工具,它可以幫助我們快速發現目標存在的安全風險,并能夠對其進行持續性安全監控。
《白帽子講Web掃描》詳細講述了Web 掃描器的概念、原理、實踐及反制等知識,筆者憑借多年的安全工作經驗,站在安全和開發的雙重角度,力求為讀者呈現出一個完整的Web 掃描知識體系。通過對《白帽子講Web掃描》的學習和實踐,可以讓你快速建立自己的Web 掃描體系,提高安全基礎能力。[1]
白帽子講Web掃描目錄
第1 章 掃描器基礎1
1.1 什么是Web 掃描器1
1.2 掃描器的重要性2
1.3 掃描器的類型3
1.4 常見的掃描器(掃描器的示例).4
1.5 掃描器評測8
1.6 漏洞測試平臺9
1.7 掃描環境部署9
1.7.1 測試環境9
1.7.2 開發環境12
第2 章 Web 爬蟲基礎.19
2.1 什么是Web 爬蟲19
2.2 瀏覽器手工爬取過程.19
2.3 URL 21
2.4 超級鏈接.22
2.5 HTTP 協議(Request/Response)23
2.5.1 HTTP 請求23
2.5.2 HTTP 響應24
2.6 HTTP 認證.25
2.6.1 Basic 認證(基本式) 26
2.6.2 Digest 認證(摘要式) 27
2.7 HEAD 方法29
2.8 Cookie 機制29
2.9 DNS 本地緩存.31
2.9.1 瀏覽器緩存31
2.9.2 系統緩存32
2.10 頁面解析33
2.11 爬蟲策略34
2.11.1 廣度優先策略34
2.11.2 深度優先策略34
2.11.3 優先策略(聚焦爬蟲策略)35
2.12 頁面跳轉35
2.12.1 客戶端跳轉36
2.12.2 服務端跳轉37
2.13 識別404 錯誤頁面38
2.14 URL 重復/URL 相似/URL 包含39
2.14.1 URL 重復39
2.14.2 URL 相似39
2.14.3 URL 包含39
2.15 區分URL 的意義40
2.16 URL 去重.40
2.16.1 布隆過濾器(Bloom Filter) 41
2.16.2 哈希表去重41
2.17 頁面相似算法42
2.17.1 距離(Levenshtein Distance) 42
2.17.2 Simhash 43
2.18 斷連重試43
2.19 動態鏈接與靜態鏈接43
第3 章 Web 爬蟲進階.44
3.1 Web 爬蟲的工作原理.44
3.2 實現URL 封裝45
3.3 實現HTTP 請求和響應47
3.4 實現頁面解析.58
3.4.1 HTML 解析庫.58
3.4.2 URL 提取59
3.4.3 自動填表66
3.5 URL 去重去似.67
3.5.1 URL 去重67
3.5.2 URL 去似去含73
3.6 實現404 頁面識別75
3.7 實現斷連重試.77
3.8 實現Web 爬蟲78
3.9 實現Web 2.0 爬蟲83
第4 章 應用指紋識別94
4.1 應用指紋種類及識別.94
4.2 應用指紋識別的價值.95
4.3 應用指紋識別技術96
第5 章 安全漏洞審計102
5.1 安全漏洞審計三部曲102
5.2 通用型漏洞審計.103
5.2.1 SQL 注入漏洞103
5.2.2 XSS 跨站漏洞111
5.2.3 命令執行注入120
5.2.4 文件包含漏洞129
5.2.5 敏感文件泄露136
5.3 Nday/0day 漏洞審計.146
5.3.1 Discuz!7.2 faq.php SQL 注入漏洞147
5.3.2 Dedecms get webshell 漏洞150
5.3.3 Heartbleed 漏洞(CVE-2014-0160).153
5.3.4 PHP multipart/form-data 遠程DDoS(CVE-2015-4024) 157
第6 章 掃描器進階160
6.1 掃描流程160
6.2 軟件設計163
6.3 功能模塊164
6.4 軟件架構165
6.5 數據結構166
6.6 功能實現167
6.6.1 IP/端口掃描和檢測(端口模塊) 167
6.6.2 端口破解模塊170
6.6.3 子域名信息枚舉172
6.6.4 文件、目錄暴力枚舉探測(不可視URL 爬?。?175
6.6.5 掃描引擎.176
6.7 掃描報告180
6.8 掃描測試182
第7 章 云掃描.185
7.1 什么是云掃描185
7.2 云掃描架構.185
7.3 云掃描實踐.187
7.3.1 Celery 框架188
7.3.2 掃描器Worker 部署189
7.3.3 云端調度.193
7.4 云掃描服務.199
第8 章 企業安全掃描實踐.202
8.1 企業為什么需要掃描202
8.2 企業掃描的應用場景202
8.2.1 基于網絡流量的掃描202
8.2.2 基于訪問日志的掃描208
8.2.3 掃描的應用場景比較217
第9 章 關于防御218
9.1 爬蟲反制218
9.1.1 基于IP 的反爬蟲218
9.1.2 基于爬行的反爬蟲.221
9.2 審計反制223
9.2.1 云WAF223
9.2.2 云WAF 的價值223
9.3 防御策略225
附錄A227
附錄B229[1]