自己动手写网络爬虫

作者:罗刚、王振东

出版:清华大学出版社

年代:2010

图书简介

本书介绍了网络爬虫开发中的关键问题与Java实现。主要包括从互联网获取信息与提取信息和对Web信息挖掘等内容。本书在介绍基本原理的同时注重辅以具体代码实现来帮助读者加深理解,书中部分代码甚至可以直接使用。本书适用于有Java程序设计基础的开发人员。同时也可以作为计算机相关专业本科生或研究生的参考教材。

(展开)

编辑推荐

国内一本专门讲解网络爬虫开发的书籍介绍如何应用云计算架构开发分布式爬虫

(展开)

目录

第1篇 自己动手抓取数据
第1章 全面剖析网络爬虫
1.1 抓取网页
1.1.1 深入理解URL
1.1.2 通过指定的URL抓取网页内容
1.1.3 Java网页抓取示例
1.1.4 处理HTTP状态码
1.2 宽度优先爬虫和带偏好的爬虫
1.2.1 图的宽度优先遍历
1.2.2 宽度优先遍历互联网
1.2.3 Java宽度优先爬虫示例
1.2.4 带偏好的爬虫
1.2.5 Java带偏好的爬虫示例
1.3 设计爬虫队列
1.3.1 爬虫队列
1.3.2 使用Berkeley DB构建爬虫队列
1.3.3 使用Berkeley DB构建爬虫队列示例
1.3.4 使用布隆过滤器构建Visited表
1.3.5 详解Heritrix爬虫队列
1.4 设计爬虫架构
1.4.1 爬虫架构
1.4.2 设计并行爬虫架构
1.4.3 详解Heritrix爬虫架构
1.5 使用多线程技术提升爬虫性能
1.5.1 详解Java多线程
1.5.2 爬虫中的多线程
1.5.3 一个简单的多线程爬虫实现
1.5.4 详解Heritrix多线程结构
1.6 本章小结

第2章 分布式爬虫
2.1 设计分布式爬虫
2.1.1 分布式与云计算
2.1.2 分布式与云计算技术在爬虫中的应用——浅析Google的云计算架构
2.2 分布式存储
2.2.1 从Ralation_DB到key/value存储
2.2.2 Consistent Hash算法
2.2.3 Consistent Hash代码实现
2.3 Google的成功之道——GFS
2.3.1 GFS详解
2.3.2 开源GFS——HDFS
2.4 Google网页存储秘诀——BigTable
2.4.1 详解BigTable
2.4.2 开源BigTable——HBase
2.5 Google的成功之道——MapReduce算法
2.5.1 详解MapReduce算法
2.5.2 MapReduce容错处理
2.5.3 MapReduce实现架构
2.5.4 Hadoop中的MapReduce简介
2.5.5 wordCount例子的实现
2.6 Nutch中的分布式
2.6.1 Nutch爬虫详解
2.6.2 Nutch中的分布式
2.7 本章小结

第3章 爬虫的“方方面面”
3.1 爬虫中的“黑洞”
3.2 限定爬虫和主题爬虫
3.2.1 理解主题爬虫
3.2.2 Java主题爬虫
3.2.3 理解限定爬虫
3.2.4 Java限定爬虫示例
3.3 有“道德”的爬虫
3.4 本章小结

第2篇 自己动手抽取Web内容
第4章 处理HTML页面
4.1 征服正则表达式
4.1.1 学习正则表达式
4.1.2 Java正则表达式
4.2 抽取HTML正文
4.2.1 了解HtmlParser
4.2.2 使用正则表达式抽取示例
4.3 抽取正文
4.4 从JavaScript中抽取信息
4.4.1 JavaScript抽取方法
4.4.2 JavaScript抽取示例
4.5 本章小结

第5章 非HTML正文抽取
5.1 抽取PDF文件
5.1.1 学习PDFBox
5.1.2 使用PDFBox抽取示例
5.1.3 提取PDF文件标题
5.1.4 处理PDF格式的公文
5.2 抽取Office文档
5.2.1 学习POI
5.2.2 使用POI抽取Word示例
5.2.3 使用POI抽取PPT
5.2.4 使用POI抽取Excel示例
5.3 抽取RTF
5.3.1 开源RTF文件解析器
5.3.2 实现一个RTF文件解析器
5.3.3 解析RTF示例
5.4 本章小结

第6章 多媒体抽取
6.1 抽取视频
6.1.1 抽取视频关键帧
6.1.2 Java视频处理框架
6.1.3 Java视频抽取示例
6.2 音频抽取
6.2.1 抽取音频
6.2.2 学习Java音频抽取技术
6.3 本章小结

第7章 去掉网页中的“噪声”
7.1 噪声对网页的影响
7.2 利用“统计学”消除“噪声”
7.2.1 网站风格树
7.2.2 统计学去噪Java实现
7.3 利用“视觉”消除“噪声”
7.3.1 视觉与"噪声"
7.3.2 视觉去噪Java实现
7.4 本章小结

第3篇 自己动手挖掘Web数据
第8章 分析Web图
8.1 存储Web“图”
8.2 利用Web“图”分析链接
8.3 Google的秘密——PageRank
8.3.1 深入理解PageRank算法
8.3.2 PageRank算法的Java实现
8.3.3 应用PageRank进行链接分析
8.4 PageRank 的兄弟HITS
8.4.1 深入理解HITS算法
8.4.2 HITS算法的Java实现
8.4.3 应用HITS进行链接分析
8.5 PageRank与HITS的比较
8.6 本章小结

第9章 去掉重复的“文档”
9.1 何为“重复”的文档
9.2 去除“重复”文档——排重
9.3 利用“语义指纹”排重
9.3.1 理解“语义指纹”
9.3.2 语义指纹排重的Java实现
9.4 SimHash排重
9.4.1 理解SimHash
9.4.2 SimHash排重的Java实现
9.5 分布式文档排重
9.6 本章小结

第10章 分类与聚类的应用
10.1 网页分类
10.1.1 收集语料库
10.1.2 选取网页的“特征”
10.1.3 使用支持向量机进行网页分类
10.1.4 利用URL地址进行网页分类
10.1.5 使用AdaBoost进行网页分类
10.2 网页聚类
10.2.1 深入理解DBScan算法
10.2.2 使用DBScan算法聚类实例
10.3 本章小结


试读
(展开)

书页展示

更多图书信息

作者:罗刚、王振东
出版:清华大学出版社

ISBN:9787302236474

出版日期:2010-10-01

相关文章

资源下载

随书资源(共 1 个)
需购买电子纸书才可查看!

清华大学出版社

清华大学出版社

清华大学出版社成立于1980年6月,是由教育部主管、清华大学主办的综合出版单位。植根于“清华”这座久负盛名的高等学府,秉承清华人“自强不息,厚德载物”的人文精神,清华大学出版社在短短二十多年的时间里,迅速成长起来。作为来自一流大学的出版单位,清华大学出版社始终坚持弘扬科技文化产业、服务科教兴国战略的出版方向,把出版高等学校教学用书和科技图书作为主要任务,并为促进学术交流、繁荣出版事业设立了多项出版基金,逐渐形成了以出版高水平的教材和学术专著为主的鲜明特色,在教育出版领域树立了强势品牌。目前,清华版教材已在全国一百多所院校得到广泛使用。高品质、多层次的计算机图书是清华大学出版社的一大品牌支柱。20世纪80年代末,在席卷全球的信息化浪潮中,清华大学出版社快速切入计算机图书市场,逐渐成为并一直保持这一市场的领先地位,为发展中国计算机教育做出了巨大贡献。

(展开)

作者信息

罗刚、王振东

罗刚,计算机软件硕士,毕业于吉林工业大学。2005年创立北京盈智星科技发展有限公司,2008年联合创立上海数聚软件公司。猎兔搜索创始人,当前猎兔搜索在北京和上海以及石家庄均设有研发部。带领猎兔搜索技术开发团队先后开发出猎兔中文分词系统、猎兔文本挖掘系统,智能垂直搜索系统以及网络信息监测系统等,实现互联网信息的采集、过滤、搜索和实时监测,其开发的搜索软件日用户访问量上万次以上。

(展开)

使用移动设备
扫描二维码下载客户端

相关书卡
书卡里除了这本书,还有更多经典等你读!

Copyright ©2019  BookAsk 书问  |  京ICP证160134号   |  

京公网安备 11010802026432号

  |  出版物经营许可证新出发京零字第海150168号   |  营业执照:91110108318038279C   |  网站地图   |  关于我们   |  合作伙伴   |  商务合作   |  友情链接