golang多进程库pagent

Python019

golang多进程库pagent,第1张

地址: https://github.com/adwpc/pagent

pagent是一个多进程模型的golang库,具有以下特点:

简单: 父子进程只通过stdin和stdout来交互

安全: 多进程很安全,子进程挂掉一个不影响其他子进程

解耦:子进程交互和业务分离

例子:

package main

import (

    "fmt"

    "time"

    "github.com/adwpc/pagent"

)

type MyBiz struct {

    pagent.Master

}

func NewBiz() *MyBiz {

    return &MyBiz{}

}

func (a *MyBiz) BizRunning(id, str string) error {

    fmt.Println("[MyBiz BizRunning] str=" + str)

    return nil

}

func (a *MyBiz) BizFinish(id string, err error) error {

    fmt.Println("[MyBiz BizFinish] id=" + id)

    return err

}

func main() {

    a := NewBiz()

    fmt.Println("worker1-------------------------")

    a.GetWorker("worker1").Start("bash", a.BizRunning, a.BizFinish)

    a.GetWorker("worker1").Input("ls")

    time.Sleep(1 * time.Second)

    a.DelWorker("worker1")

    fmt.Println("worker2-------------------------")

    a.GetWorker("worker2").Start("ifconfig", nil, a.BizFinish)

    time.Sleep(1 * time.Second)

    a.DelWorker("worker2")

    fmt.Printf("end!----------------------------")

}

部署简单。Go编译生成的是一个静态可执行文件,除了glibc外没有其他外部依赖。这让部署变得异常方便:目标机器上只需要一个基础的系统和必要的管理、监控工具,完全不需要操心应用所需的各种包、库的依赖关系,大大减轻了维护的负担。这和Python有着巨大的区别。由于历史的原因,Python的部署工具生态相当混乱【比如setuptools,distutils,pip,

buildout的不同适用场合以及兼容性问题】。官方PyPI源又经常出问题,需要搭建私有镜像,而维护这个镜像又要花费不少时间和精力。

并发性好。Goroutine和channel使得编写高并发的服务端软件变得相当容易,很多情况下完全不需要考虑锁机制以及由此带来的各种问题。单个Go应用也能有效的利用多个CPU核,并行执行的性能好。这和Python也是天壤之比。多线程和多进程的服务端程序编写起来并不简单,而且由于全局锁GIL的原因,多线程的Python程序并不能有效利用多核,只能用多进程的方式部署如果用标准库里的multiprocessing包又会对监控和管理造成不少的挑战【我们用的supervisor管理进程,对fork支持不好】。部署Python应用的时候通常是每个CPU核部署一个应用,这会造成不少资源的浪费,比如假设某个Python应用启动后需要占用100MB内存,而服务器有32个CPU核,那么留一个核给系统、运行31个应用副本就要浪费3GB的内存资源。

良好的语言设计。从学术的角度讲Go语言其实非常平庸,不支持许多高级的语言特性但从工程的角度讲,Go的设计是非常优秀的:规范足够简单灵活,有其他语言基础的程序员都能迅速上手。更重要的是Go自带完善的工具链,大大提高了团队协作的一致性。比如gofmt自动排版Go代码,很大程度上杜绝了不同人写的代码排版风格不一致的问题。把编辑器配置成在编辑存档的时候自动运行gofmt,这样在编写代码的时候可以随意摆放位置,存档的时候自动变成正确排版的代码。此外还有gofix,

govet等非常有用的工具。

执行性能好。虽然不如C和Java,但通常比原生Python应用还是高一个数量级的,适合编写一些瓶颈业务。内存占用也非常省。