Flynn’s Taxonomy

• 软件的并行性和硬件的并行性往往是独立的，并行软件也可以运行在串行硬件上。
• Flynn’s Taxonomy是对硬件的分类

1. SISD（Single Instruction stream Single Data stream）

• 特点：单一指令流和单一数据流。
• 描述：传统的串行计算机架构，CPU 逐条执行指令，每次处理一个数据项。
• 例子：经典的个人计算机和许多早期的微处理器。

2. SIMD（Single Instruction stream Multiple Data streams）

• 特点：单一指令流和多个数据流。
• 描述：同一条指令同时对多个数据元素执行操作，适用于并行处理相同类型的数据。
• 应用：图形处理、科学计算和信号处理等领域。
• 例子：现代的图形处理单元（GPU）和某些向量处理器。

3. MISD（Multiple Instruction streams Single Data stream）

• 特点：多个指令流和单一数据流。
• 描述：多个处理单元同时执行不同的指令，但操作于同一数据。
• 应用：相对少见，主要用于特定的容错系统或并行处理任务。
• 例子：一些冗余系统和特定的高可靠性计算环境。

4. MIMD（Multiple Instruction streams Multiple Data streams）

• 特点：多个指令流和多个数据流。
• 描述：多个处理器同时独立执行不同的指令，并处理独立的数据集，能够有效地进行复杂的并行计算。
• 应用：广泛用于多核处理器、超级计算机和分布式计算系统。
• 例子：现代多核 CPU 和大多数服务器架构。

• 通常是由多个SIMD组成的

SIMD Architecture

• 通常通过将数据放在更宽的寄存器中实现

Thread-Level Parallelism

• 线程级并行是一种软件并行
  
• 多核的CPU意味着每个核都拥有自己的完整数据通路和指令流，可以看作是两个计算机
  

Thread

• 线程是一个指令流
• 在单核CPU中，运行多个线程的方式是时间共享
• 硬件线程是指由计算机硬件（尤其是处理器）支持的线程，通常与处理器的核心直接相关。硬件线程可以在同一处理器核心中独立地并行执行。
• 软件线程是由程序代码创建和管理的线程，通常在操作系统中实现。软件线程依赖于操作系统的调度机制来管理其生命周期。

Multithreading

• Hyper-Thread：每个支持超线程的物理核心可以被视为两个逻辑核心。这意味着一个物理核心可以同时执行两个线程。

OpenMP

• OpenMP（Open Multi-Processing）是一种用于多平台共享内存多处理编程的应用程序接口（API），主要用于并行编程。它提供了一种简单而灵活的方式来实现并行计算。
• 通过#pragma omp parallel for指令，例如：

1
2
3
4
5
6
7
8
9
10
11
12

#include <omp.h>
#include <stdio.h>

int main() {
	omp_set_num_threads(4);
	int i;
	#pragma omp parallel for
	for (i = 0; i < 10; i++) {
	   printf("Thread %d is processing iteration %d\n", omp_get_thread_num(), i);
	}
    return 0;
}

• 创建的子线程是乱序执行的
• 执行方式：
  
• 竞争条件：在#pragma omp parallel部分中，如果多个线程同时访问一个共享资源并进行读写操作，可能会读到旧值然后写入基于旧值更新的错误新值，导致程序出错

Hardware Synchronization

• 在软件层级使用锁或者信号量防止共享资源被多个线程访问
• 在硬件层级通过原子操作实现，在一条指令内进行读写操作
• 可能出现死锁的情况：
  • 两个或多个进程在执行过程中，由于争夺资源而造成的一种相互等待的状态，使得它们都无法继续执行。

Shared Memory and caches

• 每个处理器都有自己的缓存，所有处理器共享内存，可能会导致缓存一致性问题
  

Cache Coherency

• 在多处理器系统中，多个处理器各自拥有的缓存之间保持数据一致性的机制
• Snoopy协议：
  广播机制：
  - Snoopy 协议利用总线广播机制，当一个处理器对其缓存中的数据进行操作时，它会在系统总线上广播相关的操作信息。这使得其他处理器能够实时获知数据的变化。
  监听（Snooping）：
  - 各个处理器的缓存控制器会“监听”总线上的消息。当一个处理器发出读取或写入请求时，其他处理器可以根据这些信息来更新自己的缓存状态。
  状态：
  
  
  
• Coherence Misses：是指由于缓存一致性协议导致的缓存未命中。
  
• 这个块会在两个缓存之间来回传递，会增加延迟
• 可以通过减小块大小缓解