在软件开发领域,对更快、更高效地处理数据的需求与日俱增。并行计算技术(如 fork/join 模式)为利用多个 CPU 内核并发执行任务提供了方案,从而大大缩短了大规模计算的执行时间。本文通过分解一个使用并发 goroutines 对数组求和的示例,探讨了 fork/join 模式在 Go 中的实现。
Fork/Join 并发模型介绍
Fork/Join 模式是一种并行技术,包括将任务分成较小的任务块,并行处理这些任务块(分叉),然后将这些任务的结果合并为最终结果(join)。这种模式尤其适用于任务相互独立,可以并发执行而互不影响的情况。
简单的示例:并发对数组求和
1. 初始化:程序初始化一个整数数组。程序还设置了数组应划分的部分数,每个部分由一个独立的程序处理。
2.并发设置:
2.1 Fork: 将数组划分为指定的部分,并为每个部分启动一个 goroutine 来计算该部分的总和。
2.2 Channel 通信:每个 "程序 "都会通过通道将计算出的总和发送回主进程,以确保同步通信。
2.3 Join: 当所有 Goroutine 完成计算后,主进程收集并汇总这些部分结果,得出总和。2.4 Logging: 日志记录在整个过程中,程序会打印信息,显示数组的划分、每个工作者计算的总和以及收到的部分总和。
代码示例
import (
"fmt"
"sync"
)
var (
parts = 4
)
func main() {
numbers := []int{3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5} // Example array
totalSum := concurrentSum(numbers, parts) // Divide the array into 4 parts for summing
fmt.Println("Total Sum:", totalSum)
}
// sumPart sums a part of the array and sends the result to a channel.
func sumPart(workerId int, nums []int, result chan<- int, wg *sync.WaitGroup) {
defer wg.Done() // Ensure the WaitGroup counter decrements on function completion.
sum := 0
for _, num := range nums {
sum += num
}
fmt.Printf("Worker %d calculated sum: %d\n", workerId, sum)
result <- sum // Send the partial sum to the result channel.
}
// concurrentSum takes an array and the number of parts to divide it into,
// then sums the array elements using concurrent goroutines.
func concurrentSum(numbers []int, parts int) int {
n := len(numbers)
partSize := n / parts // Determine the size of each subarray
fmt.Printf("Dividing the array of size %d into %d parts of size %d\n", n,
parts, partSize)
results := make(chan int, parts) // Channel to collect results with a buffer size
var wg sync.WaitGroup
// Fork step: Launch a goroutine for each part of the array
for i := 0; i < parts; i++ {
start := i * partSize
end := start + partSize
if i == parts-1 { // Ensure the last goroutine covers the remainder of the array
end = n
}
wg.Add(1)
go sumPart(i, numbers[start:end], results, &wg)
}
// Close the results channel once all goroutines are done
go func() {
wg.Wait()
close(results)
}()
// Join step: Combine results
totalSum := 0
for sum := range results {
fmt.Printf("Received partial sum: %d\n", sum)
totalSum += sum
}
return totalSum
}
结论
上面的示例展示了使用 Go 进行并发编程时 fork/join 模式的效率。通过将数组求和的任务分给多个 Worker,程序在多核处理器上的运行速度明显加快,使用 Go 进行并发编程任务具有的强大功能和简便性。这种模式同样可应用于其他各种计算问题。