用JAVA写一个知乎爬虫

1、这里，耗费了不少的业余时间，专门为爬虫入门或初中级写了一个知乎爬虫。为什么选择知乎呢？应为这里例子可以尽量多的将爬虫涉及的技术点包含进去，同时又不至于那么复杂，学习和提升兼顾。下面说明知乎爬虫的源码和涉及主要技术点：（1）程序package组织

3、（3）网页下载（爬虫主要技术点2） 模拟登录后，便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。

4、（4）自动获取网页编码（爬虫主要技术点3） 自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。

6、（6）正则匹配与提取（爬虫主要技术点5） 虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。

8、（8）设计模式等Java高级编程实践 除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。

9、一些抓取结果展示