php命令行脚本多进程并发执行

php不支持多线程，但是我们可以把问题转换成“多进程”来解决。由于php中的pcntl_fork只有unix平台才可以使用，所以本文尝试使用popen来替代。

 
下面是一个例子：
 
被并行调用的子程序代码：
<?php

 

if($argc==1){

echo("argv\n");
}

 

$arg = $argv[1];
 
for($i=0; $i<10; $i++)

{

 

echo($i.".1.".time()." exec $arg \n");
if($arg=='php2')

{

sleep(1);
echo($i.".2.".time()." exec $arg \n");
sleep(1);
}

else

sleep(1);
}

 

 

?>

 

----------------------------

 

主调用者程序，由他调用子进程，同时并发的收集子程序的输出

 

<?php

error_reporting(E_ALL);
 
 
$handle1 = popen('php sub.php php1', 'r');
$handle2 = popen('php sub.php php2', 'r');
$handle3 = popen('php sub.php php3', 'r');
 
 
echo "'$handle1'; " . gettype($handle1) . "\n";
echo "'$handle2'; " . gettype($handle2) . "\n";
echo "'$handle3'; " . gettype($handle3) . "\n";
 
//sleep(20);

 

while(!feof($handle1) || !feof($handle2) || !feof($handle3) )

{

 

$read = fgets($handle1);
echo $read;
 
$read = fgets($handle2);
echo $read;
 
$read = fgets($handle3);
echo $read;
}

 

pclose($handle1);
pclose($handle2);
pclose($handle3);
?>

 

-------------------

下面是我机器上的输出：

<?

C:\my_proxy_hunter>php exec.php
'Resource id #4'; resource
'Resource id #5'; resource
'Resource id #6'; resource
0.1.1147935331 exec php1
0.1.1147935331 exec php2
0.1.1147935331 exec php3
1.1.1147935332 exec php1
0.2.1147935332 exec php2
1.1.1147935332 exec php3
2.1.1147935333 exec php1
1.1.1147935333 exec php2
2.1.1147935333 exec php3
3.1.1147935334 exec php1
1.2.1147935334 exec php2
3.1.1147935334 exec php3
4.1.1147935335 exec php1
2.1.1147935335 exec php2
4.1.1147935335 exec php3
5.1.1147935336 exec php1
2.2.1147935336 exec php2
5.1.1147935336 exec php3
6.1.1147935337 exec php1
3.1.1147935337 exec php2
6.1.1147935337 exec php3
7.1.1147935338 exec php1
3.2.1147935338 exec php2
7.1.1147935338 exec php3
8.1.1147935339 exec php1
4.1.1147935339 exec php2
8.1.1147935339 exec php3
9.1.1147935340 exec php1
4.2.1147935340 exec php2
9.1.1147935340 exec php3
5.1.1147935341 exec php2
5.2.1147935342 exec php2
6.1.1147935343 exec php2
6.2.1147935344 exec php2
7.1.1147935345 exec php2
7.2.1147935346 exec php2
8.1.1147935347 exec php2
8.2.1147935348 exec php2
9.1.1147935349 exec php2
9.2.1147935350 exec php2
?>

 

 

**总结：**

 

**主程序循环等待子进程， 通过fgets或fread 把子进程的输出获取出来 ， 从时间戳上看，的确实现了并发执行。**
 
-----------------------------------------------
改进：
 
*  popen打开的句柄是单向的，如果需要向子进程交互，可以使用proc_open

*  使用数组和子函数代替while(!feof($handle1) || !feof($handle2) || !feof($handle3) )这种龌龊的写法
*  用fread一次把子进程已经产生的输出取完，而不是每次一行。

这是另一个改进：
一个并发执行shell任务的调度者,本程序读取一个任务文件,把里面的每行命令并发执行, 可以设置同时存在的子进程数目:

CODE:

<?
/*
     主任务管理器
     并发的执行子任务列表
*/

include("../common/conf.php");
include("../common/function.php");

//开启的进程数
$exec_number = 40 ;



/***** main ********/
if($argc==1){
      echo("argv\n");
}
$taskfile = $argv[1];

//tasklist
$tasklist = file($taskfile);

$tasklist_len = count($tasklist);
$tasklist_pos = 0;

$handle_list = array();



while(1)
{

      //子进程列表有空闲,则填充补齐子进程列表
      if($exec_number > count($handle_list) &&
                    $tasklist_pos < $tasklist_len)
      {

              for($i=$tasklist_pos; $i<$tasklist_len; )
              {
                    $command = $tasklist[$i] ;
                    $handle_list[] = popen($command , "r" );
                    tolog("begin task \t ".$tasklist[$i]);
                    $i++;
                    if($exec_number == count($handle_list)) break;
              }
              $tasklist_pos = $i;
      }

      //如果子进程列表空，退出
      if(0 == count($handle_list))
      {
              break;
      }

      //检查子进程列表的输出，把停掉的子进程关闭并记录下来
      $end_handle_keys = array();
      foreach($handle_list as $key => $handle)
      {
              //$str = fgets($handle, 65536);
              $str = fread($handle, 65536);
              echo($str);

              if(feof($handle))
              {
                    $end_handle_keys[] = $key;
                    pclose($handle);
              }
      }

      //踢出停掉的子进程
      foreach($end_handle_keys as $key)
      {
              unset($handle_list[$key]);
              //var_dump($handle_list);
              //exit;
      }


}

tolog("\n\n****