Java并发的处理方式

jopen 6年前

1 什么是并发问题。

转自http://blog.csdn.net/dengshengjin2234/article/details/10051589

多个进程或线程同时(或着说在同一段时间内)访问同一资源会产生并发问题。

银行两操作员同时操作同一账户就是典型的例子。比如A、B操作员同时读取一余额为1000元的账户,A操作员为该账户增加100元,B操作员同时为该账户减去 50元,A先提交,B后提交。 最后实际账户余额为1000-50=950元,但本该为 1000+100-50=1050。这就是典型的并发问题。如何解决?可以用锁。


  • 用法1
    public class Test{      public synchronized void print(){          ....;      }   }

    某线程执行print()方法,则该对象将加锁。其它线程将无法执行该对象的所有synchronized块。

  • 用法2
    public class Test{      public void print(){          synchronized(this){//锁住本对象              ...;          }      }  }

    同用法1, 但更能体现synchronized用法的本质。

  • 用法3
    public class Test{      private String a = "test";      public void print(){          synchronized(a){//锁住a对象              ...;          }      }      public synchronized void t(){          ...; //这个同步代码块不会因为print()而锁定.      }  }

    执行print(),会给对象a加锁,注意不是给Test的对象加锁,也就是说 Test对象的其它synchronized方法不会因为print()而被锁。同步代码块执行完,则释放对a的锁。

    为了锁住一个对象的代码块而不影响该对象其它 synchronized块的高性能写法:

    public class Test{      private byte[] lock = new byte[0];      public void print(){          synchronized(lock){              ...;          }      }      public synchronized void t(){          ...;       }  }
  • 静态方法的锁
    public class Test{      public synchronized static void execute(){          ...;      }  }

    效果同

    public class Test{      public static void execute(){          synchronized(TestThread.class){              ...;          }      }  }
  • 3 Java中的锁与排队上厕所。

    锁就是阻止其它进程或线程进行资源访问的一种方式,即锁住的资源不能被其它请求访问。在JAVA中,sychronized关键字用来对一个对象加锁。比如:

    public class MyStack {      int idx = 0;      char [] data = new char[6];        public synchronized void push(char c) {          data[idx] = c;          idx++;      }        public synchronized char pop() {          idx--;          return data[idx];      }        public static void main(String args[]){          MyStack m = new MyStack();          /**             下面对象m被加锁。严格的说是对象m的所有synchronized块被加锁。             如果存在另一个试图访问m的线程T,那么T无法执行m对象的push和             pop方法。          */          m.pop();//对象m被加锁。      }  }

    Java的加锁解锁跟多个人排队等一个公共厕位完全一样。第一个人进去后顺手把门从里面锁住,其它人只好排队等。第一个人结束后出来时,门才会打开(解锁)。轮到第二个人进去,同样他又会把门从里面锁住,其它人继续排队等待。

    用厕所理论可以很容易明白: 一个人进了一个厕位,这个厕位就会锁住,但不会导致另一个厕位也被锁住,因为一个人不能同时蹲在两个厕位里。对于Java 就是说:Java中的锁是针对同一个对象的,不是针对class的。看下例:

    MyStatck m1 = new MyStack();  MyStatck m2 = new Mystatck();  m1.pop();  m2.pop();  

    m1对象的锁是不会影响m2的锁的,因为它们不是同一个厕位。就是说,假设有 3线程t1,t2,t3操作m1,那么这3个线程只可能在m1上排队等,假设另2个线程 t8,t9在操作m2,那么t8,t9只会在m2上等待。而t2和t8则没有关系,即使m2上的锁释放了,t1,t2,t3可能仍要在m1上排队。原因无它,不是同一个厕位耳。

    Java不能同时对一个代码块加两个锁,这和数据库锁机制不同,数据库可以对一条记录同时加好几种不同的锁,请参见:

    http://hi.baidu.com/dapplehou/blog/item/b341a97744fe6616b151b9a3.html



    4 何时释放锁?

    一般是执行完毕同步代码块(锁住的代码块)后就释放锁,也可以用wait()方式半路上释放锁。wait()方式就好比蹲厕所到一半,突然发现下水道堵住了,不得已必须出来站在一边,好让修下水道师傅(准备执行notify的一个线程)进去疏通马桶,疏通完毕,师傅大喊一声: "已经修好了"(notify),刚才出来的同志听到后就重新排队。注意啊,必须等师傅出来啊,师傅不出来,谁也进不去。也就是说notify后,不是其它线程马上可以进入封锁区域活动了,而是必须还要等notify代码所在的封锁区域执行完毕从而释放锁以后,其它线程才可进入。

    这里是wait与notify代码示例:

    public synchronized char pop() {      char c;      while (buffer.size() == 0) {          try {              this.wait(); //从厕位里出来          } catch (InterruptedException e) {              // ignore it...          }      }      c = ((Character)buffer.remove(buffer.size()-1)).          charValue();      return c;  }    public synchronized void push(char c) {      this.notify(); //通知那些wait()的线程重新排队。注意:仅仅是通知它们重新排队。      Character charObj = new Character(c);      buffer.addElement(charObj);  }//执行完毕,释放锁。那些排队的线程就可以进来了。

    再深入一些。

    由于wait()操作而半路出来的同志没收到notify信号前是不会再排队的,他会在旁边看着这些排队的人(其中修水管师傅也在其中)。注意,修水管的师傅不能插队,也得跟那些上厕所的人一样排队,不是说一个人蹲了一半出来后,修水管师傅就可以突然冒出来然后立刻进去抢修了,他要和原来排队的那帮人公平竞争,因为他也是个普通线程。如果修水管师傅排在后面,则前面的人进去后,发现堵了,就wait,然后出来站到一边,再进去一个,再wait,出来,站到一边,只到师傅进去执行notify. 这样,一会儿功夫,排队的旁边就站了一堆人,等着notify.

    终于,师傅进去,然后notify了,接下来呢?

    1. 有一个wait的人(线程)被通知到。  2. 为什么被通知到的是他而不是另外一个wait的人?取决于JVM.我们无法预先     判断出哪一个会被通知到。也就是说,优先级高的不一定被优先唤醒,等待     时间长的也不一定被优先唤醒,一切不可预知!(当然,如果你了解该JVM的     实现,则可以预知)。  3. 他(被通知到的线程)要重新排队。  4. 他会排在队伍的第一个位置吗?回答是:不一定。他会排最后吗?也不一定。     但如果该线程优先级设的比较高,那么他排在前面的概率就比较大。  5. 轮到他重新进入厕位时,他会从上次wait()的地方接着执行,不会重新执行。     恶心点说就是,他会接着拉巴巴,不会重新拉。  6. 如果师傅notifyAll(). 则那一堆半途而废出来的人全部重新排队。顺序不可知。

    Java DOC 上说,The awakened threads will not be able to proceed until the current thread relinquishes the lock on this object(当前线程释放锁前,唤醒的线程不能去执行)。

    这用厕位理论解释就是显而易见的事。

    </div>

    5 Lock的使用

    用synchronized关键字可以对资源加锁。用Lock关键字也可以。它是JDK1.5中新增内容。用法如下:

    class BoundedBuffer {      final Lock lock = new ReentrantLock();      final Condition notFull  = lock.newCondition();       final Condition notEmpty = lock.newCondition();         final Object[] items = new Object[100];      int putptr, takeptr, count;        public void put(Object x) throws InterruptedException {          lock.lock();          try {              while (count == items.length)                   notFull.await();              items[putptr] = x;               if (++putptr == items.length) putptr = 0;              ++count;              notEmpty.signal();          } finally {              lock.unlock();          }      }        public Object take() throws InterruptedException {          lock.lock();          try {              while (count == 0)                   notEmpty.await();              Object x = items[takeptr];               if (++takeptr == items.length) takeptr = 0;              --count;              notFull.signal();              return x;          } finally {              lock.unlock();          }      }   }

    (注:这是JavaDoc里的例子,是一个阻塞队列的实现例子。所谓阻塞队列,就是一个队列如果满了或者空了,都会导致线程阻塞等待。Java里的 ArrayBlockingQueue提供了现成的阻塞队列,不需要自己专门再写一个了。)

    一个对象的lock.lock()和lock.unlock()之间的代码将会被锁住。这种方式比起synchronize好在什么地方?简而言之,就是对wait的线程进行了分类。用厕位理论来描述,则是那些蹲了一半而从厕位里出来等待的人原因可能不一样,有的是因为马桶堵了,有的是因为马桶没水了。通知(notify)的时候,就可以喊:因为马桶堵了而等待的过来重新排队(比如马桶堵塞问题被解决了),或者喊,因为马桶没水而等待的过来重新排队(比如马桶没水问题被解决了)。这样可以控制得更精细一些。不像synchronize里的wait和notify,不管是马桶堵塞还是马桶没水都只能喊:刚才等待的过来排队!假如排队的人进来一看,发现原来只是马桶堵塞问题解决了,而自己渴望解决的问题(马桶没水)还没解决,只好再回去等待(wait),白进来转一圈,浪费时间与资源。

    Lock方式与synchronized对应关系:

    Lock await signal signalAll
    synchronized wait notify notifyAll

    注意:不要在Lock方式锁住的块里调用wait、notify、notifyAll

    </div>

    6 利用管道进行线程间通信

    原理简单。两个线程,一个操作PipedInputStream,一个操作 PipedOutputStream。PipedOutputStream写入的数据先缓存在Buffer中,如果 Buffer满,此线程wait。PipedInputStream读出Buffer中的数据,如果Buffer 没数据,此线程wait。

    jdk1.5中的阻塞队列可实现同样功能。

    1. 例1 这个例子实际上只是单线程,还谈不上线程间通信,但不妨一看。

      http://hi.baidu.com/ecspell/blog/item/7b02d3133ab555005aaf53f5.html

      package io;  import java.io.*;  public class PipedStreamTest {      public static void main(String[] args) {          PipedOutputStream ops=new PipedOutputStream();          PipedInputStream pis=new PipedInputStream();          try{              ops.connect(pis);//实现管道连接              new Producer(ops).run();              new Consumer(pis).run();          }catch(Exception e){              e.printStackTrace();          }        }  }    //生产者  class Producer implements Runnable{      private PipedOutputStream ops;      public Producer(PipedOutputStream ops)      {          this.ops=ops;      }        public void run()      {          try{              ops.write("hell,spell".getBytes());              ops.close();          }catch(Exception e)              {e.printStackTrace();}      }  }    //消费者  class Consumer implements Runnable{      private PipedInputStream pis;      public Consumer(PipedInputStream pis)      {          this.pis=pis;      }        public void run()      {          try{              byte[] bu=new byte[100];              int len=pis.read(bu);              System.out.println(new String(bu,0,len));              pis.close();          }catch(Exception e)              {e.printStackTrace();}      }  } 
    2. 例2 对上面的程序做少许改动就成了两个线程。
      package io;  import java.io.*;  public class PipedStreamTest {      public static void main(String[] args) {          PipedOutputStream ops=new PipedOutputStream();          PipedInputStream pis=new PipedInputStream();          try{              ops.connect(pis);//实现管道连接              Producer p = new Producer(ops);              new Thread(p).start();              Consumer c = new Consumer(pis);              new Thread(c).start();          }catch(Exception e){              e.printStackTrace();          }        }  }    //生产者  class Producer implements Runnable{      private PipedOutputStream ops;      public Producer(PipedOutputStream ops)      {          this.ops=ops;      }        public void run()      {          try{              for(;;){                  ops.write("hell,spell".getBytes());                  ops.close();              }          }catch(Exception e)              {e.printStackTrace();}      }  }    //消费者  class Consumer implements Runnable{      private PipedInputStream pis;      public Consumer(PipedInputStream pis)      {          this.pis=pis;      }        public void run()      {          try{              for(;;){                  byte[] bu=new byte[100];                  int len=pis.read(bu);                  System.out.println(new String(bu,0,len));              }              pis.close();          }catch(Exception e)              {e.printStackTrace();}      }  }
    3. 例3. 这个例子更加贴进应用
      import java.io.*;           public class PipedIO { //程序运行后将sendFile文件的内容拷贝到receiverFile文件中      public static void main(String args[]){                 try{//构造读写的管道流对象                     PipedInputStream pis=new PipedInputStream();                     PipedOutputStream pos=new PipedOutputStream();                     //实现关联                     pos.connect(pis);                     //构造两个线程,并且启动。                         new Sender(pos,"c:\\text2.txt").start();                         new Receiver(pis,"c:\\text3.txt").start();                   }catch(IOException e){                     System.out.println("Pipe Error"+ e);                 }             }         }         //线程发送         class Sender extends Thread{                 PipedOutputStream pos;             File file;             //构造方法             Sender(PipedOutputStream pos, String fileName){                 this.pos=pos;                 file=new File(fileName);             }                //线程运行方法             public void run(){                    try{                     //读文件内容                     FileInputStream fs=new FileInputStream(file);                     int data;                     while((data=fs.read())!=-1){                         //写入管道始端                         pos.write(data);                     }                     pos.close();                                  }                 catch(IOException e) {                     System.out.println("Sender Error" +e);                 }             }         }           //线程读         class Receiver extends Thread{             PipedInputStream pis;             File file;             //构造方法             Receiver(PipedInputStream pis, String fileName){                   this.pis=pis;                 file=new File(fileName);             }                //线程运行             public void run(){                    try {                     //写文件流对象                     FileOutputStream fs=new FileOutputStream(file);                     int data;                     //从管道末端读                     while((data=pis.read())!=-1){                           //写入本地文件                         fs.write(data);                     }                     pis.close();                      }                 catch(IOException e){                     System.out.println("Receiver Error" +e);                 }             }         }
    </div>

    7 阻塞队列

    阻塞队列可以代替管道流方式来实现进水管/排水管模式(生产者/消费者).JDK1.5提供了几个现成的阻塞队列. 现在来看ArrayBlockingQueue的代码如下:

    这里是一个阻塞队列

    BlockingQueue<Object> blockingQ = new ArrayBlockingQueue<Object> 10;

    一个线程从队列里取

    for(;;){      Object o = blockingQ.take();//队列为空,则等待(阻塞)  }

    另一个线程往队列存

    for(;;){      blockingQ.put(new Object());//队列满,则等待(阻塞)  }

    可见,阻塞队列使用起来比管道简单。

    </div>

    8 使用Executors、Executor、ExecutorService、ThreadPoolExecutor

    可以使用线程管理任务。还可以使用jdk1.5提供的一组类来更方便的管理任务。从这些类里我们可以体会一种面向任务的思维方式。这些类是:

    1. Executor接口。使用方法:
      Executor executor = anExecutor;//生成一个Executor实例。  executor.execute(new RunnableTask1());

      用意:使用者只关注任务执行,不用操心去关注任务的创建、以及执行细节等这些第三方实现者关心的问题。也就是说,把任务的调用执行和任务的实现解耦。

      实际上,JDK1.5中已经有该接口出色的实现。够用了。

    2. Executors是一个如同Collections一样的工厂类或工具类,用来产生各种不同接口的实例。
    3. ExecutorService接口它继承自Executor. Executor只管把任务扔进 executor()里去执行,剩余的事就不管了。而ExecutorService则不同,它会多做点控制工作。比如:
      class NetworkService {      private final ServerSocket serverSocket;      private final ExecutorService pool;        public NetworkService(int port, int poolSize) throws IOException {          serverSocket = new ServerSocket(port);          pool = Executors.newFixedThreadPool(poolSize);      }         public void serve() {          try {              for (;;) {                  pool.execute(new Handler(serverSocket.accept()));              }          } catch (IOException ex) {              pool.shutdown(); //不再执行新任务          }      }  }    class Handler implements Runnable {      private final Socket socket;      Handler(Socket socket) { this.socket = socket; }      public void run() {          // read and service request      }  }

      ExecutorService(也就是代码里的pool对象)执行shutdown后,它就不能再执行新任务了,但老任务会继续执行完毕,那些等待执行的任务也不再等待了。

    4. 任务提交者与执行者通讯
      public static void main(String args[])throws Exception {      ExecutorService executor = Executors.newSingleThreadExecutor();      Callable<String> task = new Callable<String>(){          public String call()throws Exception{              return "test";          }      };      Future<String> f = executor.submit(task);       String result = f.get();//等待(阻塞)返回结果      System.out.println(result);      executor.shutdown();                  }

      Executors.newSingleThreadExecutor()取得的Executor实例有以下特性:

      1. 任务顺序执行. 比如:
        executor.submit(task1);  executor.submit(task2);

        必须等task1执行完,task2才能执行。

      2. task1和task2会被放入一个队列里,由一个工作线程来处理。即:一共有2个线程(主线程、处理任务的工作线程)。
    5. 其它的类请参考Java Doc
    </div>

    9 并发流程控制

    本节例子来自温少的Java并发教程,可能会有改动。向温少致敬。

    1. CountDownLatch 门插销计数器
      1. 启动线程,然后等待线程结束。即常用的主线程等所有子线程结束后再执行的问题。
        public static void main(String[] args)throws Exception {      // TODO Auto-generated method stub      final int count=10;      final CountDownLatch completeLatch = new CountDownLatch(count);//定义了门插销的数目是10                        for(int i=0;i<count;i++){          Thread thread = new Thread("worker thread"+i){                  public void run(){                      //do xxxx                                                         completeLatch.countDown();//减少一根门插销                  }              };          thread.start();      }                 completeLatch.await();//如果门插销还没减完则等待。  } 

        JDK1.4时,常用办法是给子线程设置状态,主线程循环检测。易用性和效率都不好。

      2. 启动很多线程,等待通知才能开始
        public static void main(String[] args) throws Exception {      // TODO Auto-generated method stub      final CountDownLatch startLatch = new CountDownLatch(1);//定义了一根门插销        for (int i = 0; i < 10; i++) {          Thread thread = new Thread("worker thread" + i) {                  public void run() {                      try {                          startLatch.await();//如果门插销还没减完则等待                      } catch (InterruptedException e) {                        }                      // do xxxx                  }              };          thread.start();      }      startLatch.countDown();//减少一根门插销  }
    2. CycliBarrier. 等所有线程都达到一个起跑线后才能开始继续运行。
      public class CycliBarrierTest implements Runnable {      private CyclicBarrier barrier;        public CycliBarrierTest(CyclicBarrier barrier) {          this.barrier = barrier;      }        public void run() {          //do xxxx;          try {              this.barrier.await();//线程运行至此会检查是否其它线程都到齐了,没到齐就继续等待。到齐了就执行barrier的run函数体里的内容          } catch (Exception e) {            }      }        /**       * @param args       */      public static void main(String[] args) {          //参数2代表两个线程都达到起跑线才开始一起继续往下执行          CyclicBarrier barrier = new CyclicBarrier(2, new Runnable() {                  public void run() {                      //do xxxx;                  }              });          Thread t1 = new Thread(new CycliBarrierTest(barrier));                   Thread t2 = new Thread(new CycliBarrierTest(barrier));          t1.start();          t2.start();      }    }

      这简化了传统的用计数器+wait/notifyAll来实现该功能的方式。

    </div>

    10 并发3定律

    1. Amdahl定律. 给定问题规模,可并行化部分占12%,那么即使把并行运用到极致,系统的性能最多也只能提高1/(1-0.12)=1.136倍。即:并行对提高系统性能有上限。
    2. Gustafson定律. Gustafson定律说Amdahl定律没有考虑随着cpu的增多而有更多的计算能力可被使用。其本质在于更改问题规模从而可以把Amdahl定律中那剩下的88%的串行处理并行化,从而可以突破性能门槛。本质上是一种空间换时间。
    3. Sun-Ni定律. 是前两个定律的进一步推广。其主要思想是计算的速度受限于存储而不是CPU的速度. 所以要充分利用存储空间等计算资源,尽量增大问题规模以产生更好/更精确的解.
    </div>

    11 由并发到并行

    计算机识别物体需要飞速的计算,以至于芯片发热发烫,而人在识别物体时却一目了然,却并不会导致某个脑细胞被烧热烧焦(夸张)而感到不适,是由于大脑是一个分布式并行运行系统,就像google用一些廉价的linux服务器可以进行庞大复杂的计算一样,大脑内部无数的神经元的独自计算,互相分享成果,从而瞬间完成需要单个cpu万亿次运算才能有的效果。试想,如果在并行处理领域有所创建,将对计算机的发展和未来产生不可估量的影响。当然,其中的挑战也可想而知:许多的问题是并不容易轻易就“分割”的了的。

    </div>