本系列文章只做个人读书笔记
1、上下文切换
减少上下文切换的方法有
无锁并发编程、
CAS算法、
使用最少线程
使用协程。
无锁并发编程
多线程竞争锁时,会引起上下文切换,所以多线程处理数据时,可以用一些办法来避免使用锁,如将数据的ID按照Hash算法取模分段,不同的线程处理不同段的数据。
CAS算法
Java的Atomic包使用CAS算法来更新数据,而不需要加锁。
使用最少线程
避免创建不需要的线程,比如任务很少,但是创建了很多线程来处理,这样会造成大量线程都处于等待状态。
协程
在单线程里实现多任务的调度,并在单线程里维持多个任务间的切换。
奇淫技巧:
$ grep java.lang.Thread.State dump17 | awk '{print $2$3$4$5}' | sort | uniq -c
2、死锁
避免死锁的几个常见方法。
避免一个线程同时获取多个锁。
避免一个线程在锁内同时占用多个资源,尽量保证每个锁只占用一个资源。
尝试使用定时锁,使用lock.tryLock(timeout)来替代使用内部锁机制。
对于数据库锁,加锁和解锁必须在一个数据库连接里,否则会出现解锁失败的情况。
3、资源限制
硬件资源限制
带宽的上传/下载速度、
硬盘读写速度和CPU的处理速度
软件资源限制
数据库的连接数
socket连接数等
如何解决资源限制的问题
对于硬件资源限制
可以考虑使用集群并行执行程序(既然单机的资源有限制,那么就让程序在多机上运行。比如使用ODPS、Hadoop或者自己搭建服务器集群,不同的机器处理不同的数据。可以通过“数据ID%机器数”,计算得到一个机器编号,然后由对应编号的机器处理这笔数据)
对于软件资源限制
可以考虑使用资源池将资源复用(比如使用连接池将数据库和Socket连接复用,或者在调用对方webservice接口获取数据时,只建立一个连接)