一文带你了解Go语言实现的并发神库conc.docx

第

一文带你了解Go语言实现的并发神库conc

目录前言worker池StreamForEach和mapForEachmap总结

前言

哈喽，大家好，我是asong；前几天逛github发现了一个有趣的并发库-conc，其目标是：

更难出现goroutine泄漏处理panic更友好并发代码可读性高

从简介上看主要封装功能如下：

对waitGroup进行封装，避免了产生大量重复代码，并且也封装recover，安全性更高提供panics.Catcher封装recover逻辑，统一捕获panic，打印调用栈一些信息提供一个并发执行任务的worker池，可以控制并发度、goroutine可以进行复用，支持函数签名，同时提供了stream方法来保证结果有序提供ForEach、map方法优雅的处理切片

接下来就区分模块来介绍一下这个库；

仓库地址：/sourcegraph/conc

Go语言标准库有提供sync.waitGroup控制等待goroutine，我们一般会写出如下代码：

funcmain(){

varwgsync.WaitGroup

fori:=0;ii++{

wg.Add(1)

gofunc(){

deferwg.Done()

deferfunc(){

//recoverpanic

err:=recover()

iferr!=nil{

fmt.Println(err)

//dosomething

handle()

wg.Wait()

}

上述代码我们需要些一堆重复代码，并且需要单独在每一个func中处理recover逻辑，所以conc库对其进行了封装，代码简化如下：

funcmain(){

wg:=conc.NewWaitGroup()

fori:=0;ii++{

wg.Go(doSomething)

wg.Wait()

funcdoSomething(){

fmt.Println(test)

}

conc库封装也比较简单，结构如下：

typeWaitGroupstruct{

wgsync.WaitGroup

pcpanics.Catcher

}

其自己实现了Catcher类型对recover逻辑进行了封装，封装思路如下：

typeCatcherstruct{

recoveredatomic.Pointer[RecoveredPanic]

}

recovered是原子指针类型，RecoveredPanic是捕获的recover封装，封装了堆栈等信息：

typeRecoveredPanicstruct{

//Theoriginalvalueofthepanic.

Valueany

//Thecallerlistasreturnedbyruntime.Callerswhenthepanicwas

//recovered.Canbeusedtoproduceamoredetailedstackinformationwith

//runtime.CallersFrames.

Callers[]uintptr

//Theformattedstacktracefromthegoroutinewherethepanicwasrecovered.

//EasiertousethanCallers.

Stack[]byte

}

提供了Try方法执行方法，只会记录第一个panic的goroutine信息：

func(p*Catcher)Try(ffunc()){

deferp.tryRecover()

func(p*Catcher)tryRecover(){

ifval:=recover();val!=nil{

rp:=NewRecoveredPanic(1,val)

//只会记录第一个panic的goroutine信息

p.recovered.CompareAndSwap(nil,rp)

}

提供了Repanic()方法用来重放捕获的panic：

func(p*Catcher)Repanic(){

ifval:=p.Recovered();val!=nil{

panic(val)