总是觉得自己平时总是在写逻辑代码，于是学习设计模式，但是又觉得无处可施展，对于如何提高自己的编码能力总是困惑，也曾看了一些源码，但总因为难度太大而不了了之。因为大多数的开源框架源码随着版本的更迭，难度越发上升源码愈发晦涩难懂，但源码还是不能不读，所以觉得从最简单的源码开始读起吧，因为工作中，用到了 WebMagic 框架，于是决定从它开始，为了降低阅读难度，我选择了第一个 tag 版本的源码开始阅读，从易入难，由浅入深，希望自己 2019 年代码能力能有所提升!

下载源码

首先在 IDEA 上把 WebMagic 的源码 clone 到本地

然后 checkout 第一个版本的 tag

在对话框中，使用智能提示快捷键展示出所有的 tag，默认快捷键是 ctrl(command) + 空格，因为可能会和输入法冲突，我修改成了 command + ;

我选择了 version-0.1.0 版本，然后基于这个 tag，创建了自己的本地分支，便于在上面进行添加注释等操作。

阅读 Spider 源码

参见官网架构图，Spider 这个组件是 WebMagic 框架的核心所在，同时也是爬虫的入口类，Spider 将各大组件串联起来，共同工作。

Spider 实现了 Task 和 Runnable 接口，Task 提供了两个接口方法，一个是 getSite()，另外一个是 getUUID()，爬虫运行时，将爬虫自身引用传递到各个组件进行处理。

一般使用 WebMagic 时，通过 Spider.create() 方法创建爬虫，创建时可以指定 Downloader、Scheduler、PageProcessor、Pipeline 这几个组件，作者将这四个组件抽象成了接口，方便扩展，其中 PageProcessor 是必须指定的组件，其他的组件 WebMagic 提供了对应的默认值。

Spider 类主要核心是 run 方法

@Override
public void run() {
    // 通过 AtomicInteger 的 CAS 乐观锁保证多线程下，爬虫只会启动一次
    // 如果爬虫状态当前状态是 STAT_INIT，则更新成 STAT_RUNNING，否则抛出异常
    if (!stat.compareAndSet(STAT_INIT, STAT_RUNNING)) {
        throw new IllegalStateException("Spider is already running!");
    }

    // 添加启动 URL
    if (startUrls != null) {
        for (String startUrl : startUrls) {
            scheduler.push(new Request(startUrl), this);
        }
    }
    // 从队列中取出一个请求
    Request request = scheduler.poll(this);

    // 添加管道处理，如果为空添加，输出到控制台
    if (pipelines.isEmpty()) {
        pipelines.add(new ConsolePipeline());
    }
    //single thread
    if (executorService==null){
        // 默认单线程
        // 循环调度所有的 Request
        while (request != null) {
            processRequest(request);
            request = scheduler.poll(this);
        }
    } else {
        // 如果已经调用 Spider.thread(n) 方法则走这个分支
        //multi thread
        // 初始化活跃线程数量为 0，当爬虫线程启动后，如果活跃线程变成 0 时，跳出死循环
        final AtomicInteger threadAlive = new AtomicInteger(0);
        while (true) {
            if (request == null) {
                //when no request found but some thread is alive, sleep a while.
                try {
                    Thread.sleep(100);
                } catch (InterruptedException e) {
                }
            } else {
                final Request requestFinal = request;
                // 执行线程之前对活跃线程数进行原子性自增操作
                threadAlive.incrementAndGet();
                executorService.execute(new Runnable() {
                    @Override
                    public void run() {
                        processRequest(requestFinal);
                        // 处理完请求之后对活跃线程数进行原子性自减操作
                        threadAlive.decrementAndGet();
                    }
                });
            }
            // 循环从队列中取新的待抓取 URL
            request = scheduler.poll(this);

            // 当活跃线程数为 0，说明队列已经为空了
            if (threadAlive.get() == 0) {
                // 为了保险起见，再重试获取一下请求
                request = scheduler.poll(this);
                // 如果依然为 null，则跳出 while 循环
                if (request == null) {
                    break;
                }
            }
        }
        // 关闭线程池
        executorService.shutdown();
    }
    // 当所有请求抓取完毕，即活跃线程数量变成 0 时，修改爬虫状态为已停止
    stat.compareAndSet(STAT_RUNNING, STAT_STOPPED);
}

总结

从源码中看到，对于多线程共享资源活跃线程数的处理，使用到了 Integer 的原子类 AtomicInteger，保证活跃线程数量在多线程情况下统计结果的正确性。

作者将四大组件抽象成了接口，面向接口编程，方便扩展，很值得学习。

因为是初始版本，不可避免的会有一些明显的 Bug 存在，比如在 page 类的 addTargetRequests 方法中应该用 continue，但是错用了 break的情况，所以初始版本源码阅读完成后，需要读读新一些版本的源码。

联系

独行的路总是孤独的，希望能找到一些小伙伴共同进步哈哈~

QQ 群号:967808880