一：线程池 + 消息队列 （实现了工作线程和IO线程的解耦）
队列最常用于生产者-消费者模型。IO线程就是上游的生产者。它监听上游发过来的请求，并写入任务队列。除此之外，IO线程还会收发包。
实际工程中会有多个任务队列，这是临界资源。
工作线程会执行任务队列中的任务。（消费者）
工作线程是同步阻塞执行任务的。
二：异步线程模模型
无阻塞，以callback方式回调。
三：工作线程的工作模式
- 从任务队列拿到任务，本地初始化计算，进行参数的解析和计算。
- 读取缓存
- 利用上个步骤取得的数据，本地计算
- 通过RPC调用下游service，读取其数据，或者让其做一些事情。
- RPC调用结束以后，再本次计算
- 访问数据库
- 收尾工作
分析线程工作时间可发现，1，3，5, 7等粉色时间轴需要在本地计算，这会占用CPU。2,4，6等橙色时间轴表示调用下游的等待时间（线程会处于等待状态），不会占用CPU。
这部分等待时间包括三部分时间：
上游发送请求时间
下游计算时间
下游响应返回时间
一个工作线程往往不是完全忙碌的，它也会等待。一个线程处理任务的时间包括计算时间和本地时间。
四：线程池中线程的数量
假如工作线程的计算时间是x，等待时间是y，CPU是N核，那么线程池中工作线程数量设置为N * (x+y)/x ，那么会使CPU利用率最大化。
CPU密集型任务，比如加密解密，压缩解压缩，搜索排序，会占用很多本地CPU。
非CPU密集型任务，本地时间很少，瓶颈常在后端数据库，可设置较多的工作线程。
2019-07-12
为什么线程池中的线程数量可能会大于服务器的核数？
假设生产者和消费者之间的队列有足够多的任务，但一个CPU在执行任务的过程中，不太可能一直在忙碌，这是因为CPU很可能既要计算，又要IO，比如远程调用某服务，这时候是不会占用CPU的，而OS这时候会切换线程。一个线程的等待时间是y，而y / x 就是当他等待的时候，完成能完成计算的线程数量。
