MapReduce & Spark

Amdahl’s Law

• 如果一个程序的某一部分必须串行执行（例如某些依赖关系或者输入输出操作），那么即使其余部分可以完全并行化，加速比也会受到限制。
  

Request-Level

• 数据级并行性（Data-Level Parallelism, DLP）是一种并行计算的形式，主要关注在数据处理过程中同时执行相同或不同操作的多个数据元素。

• Request-Level Parallelism (RLP) 是一种并行计算模型，主要用于处理多个独立请求或任务的场景,其中多个请求可以同时被处理，而不需要相互依赖。
  

MapReduce

• Map 阶段：在这一阶段，输入数据被分割成多个小块，每个小块由不同的处理单元（通常是不同的机器或线程）并行处理。每个处理单元执行一个用户定义的 Map 函数，将输入数据转换为一组键值对。
• Reduce 阶段：在这一阶段，所有来自 Map 阶段的键值对根据键进行分组，并由一个或多个 Reduce 函数进行处理，以生成最终的输出结果。
• 例如，统计一个文本文件中单词出现的次数
  “I do I learn” -> (“I”,1), (“do”,1), (“I”,1), (“learn”,1)
  

Spark

• Apache Spark 是一个开源的大数据处理框架，旨在快速和通用地处理大规模数据集。它提供了一个高度可扩展的计算模型，并且能在内存中处理数据，使其比传统的基于磁盘的处理系统（如 Hadoop MapReduce）更快。
  

Dependability

• 如何通过使用冗余组件减轻硬件故障
• 备份磁盘本质上是空间冗余
• 时间冗余：发生暂时故障时重复尝试，有可能成功
• 软错误：硬件没有问题，由于环境干扰之类的外因导致读取错误
• 硬错误：硬件有问题

GPU Guest Lecture

• GPU架构
  
• GPU工作模式
  
  
• GPU 并不擅长处理小块的工作，造成这种情况的原因是在设置和启动 GPU 方面存在大量的开销