Golang 并发的 fork/join 模式

文摘   2024-08-06 20:03   中国台湾  

在软件开发领域,对更快、更高效地处理数据的需求与日俱增。并行计算技术(如 fork/join 模式)为利用多个 CPU 内核并发执行任务提供了方案,从而大大缩短了大规模计算的执行时间。本文通过分解一个使用并发 goroutines 对数组求和的示例,探讨了 fork/join 模式在 Go 中的实现。

Fork/Join 并发模型介绍

Fork/Join 模式是一种并行技术,包括将任务分成较小的任务块,并行处理这些任务块(分叉),然后将这些任务的结果合并为最终结果(join)。这种模式尤其适用于任务相互独立,可以并发执行而互不影响的情况。

简单的示例:并发对数组求和

1. 初始化:程序初始化一个整数数组。程序还设置了数组应划分的部分数,每个部分由一个独立的程序处理。

2.并发设置:

2.1 Fork: 将数组划分为指定的部分,并为每个部分启动一个 goroutine 来计算该部分的总和。

2.2 Channel 通信:每个 "程序 "都会通过通道将计算出的总和发送回主进程,以确保同步通信。

2.3 Join: 当所有 Goroutine 完成计算后,主进程收集并汇总这些部分结果,得出总和。2.4 Logging: 日志记录在整个过程中,程序会打印信息,显示数组的划分、每个工作者计算的总和以及收到的部分总和。

代码示例

import (
 "fmt"
 "sync"
)

var (
 parts = 4
)

func main() {
 numbers := []int{3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5} // Example array
 totalSum := concurrentSum(numbers, parts)         // Divide the array into 4 parts for summing
 fmt.Println("Total Sum:", totalSum)
}

// sumPart sums a part of the array and sends the result to a channel.
func sumPart(workerId int, nums []int, result chan<- int, wg *sync.WaitGroup) {
 defer wg.Done() // Ensure the WaitGroup counter decrements on function completion.
 sum := 0
 for _, num := range nums {
  sum += num
 }
 fmt.Printf("Worker %d calculated sum: %d\n", workerId, sum)
 result <- sum // Send the partial sum to the result channel.
}

// concurrentSum takes an array and the number of parts to divide it into,
// then sums the array elements using concurrent goroutines.
func concurrentSum(numbers []int, parts int) int {
 n := len(numbers)
 partSize := n / parts // Determine the size of each subarray
 fmt.Printf("Dividing the array of size %d into %d parts of size %d\n", n, 
  parts, partSize)
 results := make(chan int, parts) // Channel to collect results with a buffer size
 
var wg sync.WaitGroup
 // Fork step: Launch a goroutine for each part of the array
 for i := 0; i < parts; i++ {
  start := i * partSize
  end := start + partSize
  if i == parts-1 { // Ensure the last goroutine covers the remainder of the array
   end = n
  }
  wg.Add(1)
  go sumPart(i, numbers[start:end], results, &wg)
 }

 // Close the results channel once all goroutines are done
 go func() {
  wg.Wait()
  close(results)
 }()

 // Join step: Combine results
 totalSum := 0
 for sum := range results {
  fmt.Printf("Received partial sum: %d\n", sum)
  totalSum += sum
 }

 return totalSum
}

结论

上面的示例展示了使用 Go 进行并发编程时 fork/join 模式的效率。通过将数组求和的任务分给多个 Worker,程序在多核处理器上的运行速度明显加快,使用 Go 进行并发编程任务具有的强大功能和简便性。这种模式同样可应用于其他各种计算问题。


Go Official Blog
Golang官方博客的资讯翻译及独家解读
 最新文章