期末复习知识大纲

📌使用说明

本页按12 次课组织，每次课列出必须掌握的知识点。复习建议：先通览考点→对⭐重点跳转讲义深入→用底部题库自测。

1云计算概论 ⭐ → 讲义

• 大数据：定义；4V+1C 特征（Volume 数据量大 / Velocity 快速 / Variety 多样 / Value 价值密度低 / Complexity 复杂度高）⭐。
• 云计算定义与本质：NIST 定义 ⭐；五大本质特征（按需自服务、弹性扩展、资源池化、网络访问、按量计费）⭐；数据中心选址（电力与制冷成本）。
• 服务模式：IaaS / PaaS / SaaS（房屋类比、控制等级、典型产品）⭐；三种交付模型对比；新兴 FaaS / CaaS。
• 部署模式：公有云、社区云、私有云、混合云（优缺点与适用场景）⭐。
• 核心技术栈：计算（虚拟化/容器）、存储（分布式/对象）、网络（SDN/负载均衡）。

2虚拟化技术与Docker ⭐ → 讲义

• 虚拟化基础：定义与优势。虚拟化=把物理资源抽象成多个逻辑资源，优势是资源隔离、提高利用率、便于迁移和快照。
• 虚拟化原理：软件虚拟化 vs 硬件虚拟化（VMM 截获翻译 vs VT-x/AMD-v）⭐；Hypervisor/VMM 职责；寄居架构 vs 裸机架构；CPU 虚拟化（指令分级、VT-x 根/非根模式）；内存虚拟化（影子页表 SPT、扩展页表 EPT）⭐。
• 容器化动机：虚拟化的局限性 → 容器化。VM 启动慢、资源开销大（每个VM带完整OS），容器共享宿主内核、秒级启动、占用小，解决轻量级隔离需求。
• 容器 vs 虚拟机 ⭐：OS 依赖、启动速度、空间、性能、隔离级别（VM 强隔离重，容器共享内核轻）。
• Docker 架构：Client / Daemon / Registry。
• Linux 内核基石 ⭐：Namespace（进程隔离）+ Cgroup（资源限制）。
• 镜像与容器：分层结构、联合文件系统（UnionFS）。

3云原生基础与微服务 ⭐ → 讲义

• 云原生概念：CNCF 定义与四大核心要素 ⭐（容器化、微服务、声明式 API、不可变基础设施）；云原生 vs 传统开发；不可变基础设施。
• 微服务核心特征 ⭐：单一职责、独立部署、技术异构、去中心化数据。
• 服务拆分策略：DDD 限界上下文、数据边界、变更频率。
• 通信方式：同步（REST、gRPC）与异步（消息队列）。
• 服务发现与注册：客户端发现 vs 服务端发现；etcd / Consul / ZooKeeper / Nacos。
• 负载均衡：策略与 L4/L7 层次。L4(传输层，按IP/端口转发，如Nginx TCP)、L7(应用层，按HTTP内容路由，如Ingress)。策略：轮询/最少连接/IP哈希。
• 容错设计 ⭐：熔断器三态（Closed / Open / Half-Open）、限流、降级。
• API 网关。微服务统一入口，负责请求路由、认证鉴权、限流熔断、协议转换、日志监控，屏蔽内部服务复杂性。
• Docker Compose：services/networks/volumes/configs/secrets；服务发现。

4Kubernetes基础 ⭐ → 讲义

• K8s 架构 ⭐：Master-Worker 模型。Master（kube-apiserver、etcd、controller-manager、scheduler）；Worker（kubelet、kube-proxy、Container Runtime）。
• 声明式 API：YAML 四大字段（apiVersion、kind、metadata、spec）⭐；Namespace 逻辑隔离。
• Pod ⭐：最小调度单元；共享机制（网络、存储）；资源配额（requests/limits）；生命周期与 Init Containers；探针（Liveness、Readiness、Startup）；QoS 等级（Guaranteed/Burstable/BestEffort）。
• Service ⭐：Labels & Selectors；三种类型（ClusterIP、NodePort、LoadBalancer）；DNS（CoreDNS）；Ingress 七层路由。
• Deployment ⭐：维持副本数、滚动更新（maxSurge/maxUnavailable）、版本回滚；Deployment→ReplicaSet→Pod 三层；HPA 水平自动扩缩容。
• kubectl 常用命令。kubectl get/describe/apply/delete/logs/exec/scale/rollout，是K8s管理入口。

5K8s深入与服务网格 ⭐ → 讲义

• 调度 ⭐：Requests & Limits；调度器（预选 Filtering / 优选 Scoring）；节点亲和性、Pod 亲和性/反亲和性；污点与容忍（Taints & Tolerations，三种 Effect）；ResourceQuota 与 LimitRange。
• StatefulSet ⭐：vs Deployment（稳定标识、独立存储、有序启停）；Headless Service；VolumeClaimTemplates。
• ConfigMap 与 Secret：ConfigMap 非敏感配置（环境变量/卷挂载/热更新）；Secret 敏感信息（Base64、tmpfs、类型）。
• 持久化存储 ⭐：三层架构（PV / PVC / StorageClass）；访问模式（RWO/ROX/RWX）与回收策略（Retain/Delete）；静态 vs 动态供给。
• Service Mesh 与 Istio ⭐：通信逻辑下沉、语言无关；Istio 架构（控制面 istiod / 数据面 Envoy）；Sidecar 代理（Envoy 自动注入）；流量管理（VirtualService、DestinationRule）；安全 mTLS；金丝雀发布（Canary Release）。

6消息队列与事件驱动 ⭐ → 讲义

• 消息队列作用 ⭐：异步解耦、流量削峰、最终一致性。
• 消息模型：点对点（Queue）与发布/订阅（Topic）⭐。
• 投递语义 ⭐：At Most Once、At Least Once、Exactly Once 与幂等性。
• 消息顺序性：单分区/单队列有序，顺序性与并行性权衡。
• Kafka ⭐：架构（Broker、Topic、Partition、Consumer Group）；Partition 与追加写、Offset；流处理 vs 批处理。
• RabbitMQ ⭐：AMQP 协议；核心概念（Exchange、Queue、Binding、Routing Key）；三种 Exchange（Direct、Fanout、Topic）；ACK 与持久化；死信队列（DLQ）与延迟消息。

7分布式存储系统 ⭐ → 讲义

• CAP 定理 ⭐⭐：一致性(C)、可用性(A)、分区容忍性(P)三者权衡，分布式系统只能满足其二（通常保 CP 或 AP）。
• BASE 理论 ⭐：基本可用、软状态、最终一致性（CAP 的 AP 实践）。
• 数据分片 ⭐：哈希分片（一致性哈希、虚拟节点）；范围分片。
• 数据复制：向量时钟。分布式系统中追踪事件先后顺序，解决数据冲突(并发写冲突可用向量时钟判断因果关系)。
• 列族存储：三种代表性系统与适用场景。HBase(大表宽表)/Cassandra(高可用写)/Bigtable(Google原始)。适用高吞吐写入、稀疏数据。
• NewSQL：定义；代表产品（Spanner、TiDB）。

8分布式文件系统 ⭐ → 讲义

• 三种存储类型：块/文件/对象。块存储(SAN/DAS，裸块读写，低延迟)、文件存储(NFS/CIFS，目录层级，兼容POSIX)、对象存储(S3/MinIO，Key-Value-Metadata，可扩展高)。
• GFS ⭐：四大核心假设与背景；架构（Master+ChunkServer）；追加写入流程；一致性妥协。
• HDFS ⭐：计算向数据移动；架构（双心结构 NameNode+DataNode）。
• 对象存储：Key、Value、Metadata。Key唯一标识资源，Value存数据本体，Metadata存描述信息(大小/类型/创建时间)，HTTP API访问(RESTful)。
• Ceph ⭐：统一存储架构；三大接口（RBD 块、CephFS 文件、RGW 对象）。
• 选型：分布式文件系统如何选型。按场景：块存储(数据库/高频交易)、文件存储(媒体共享/HPC)、对象存储(静态文件/备份/云原生)；按需求：一致性要求vs可用性、吞吐vs延迟、数据量级。

9并行编程模型 ⭐ → 讲义

• 并行 vs 串行；并行计算三大流派。串行=顺序执行每次一步；并行=同时并行处理多任务。三大流派：任务并行(不同任务不同核)、数据并行(不同数据分块同时处理)、流水线并行(各阶段重叠执行)。
• 阿姆达尔定律 ⭐：串行部分对加速比的限制。加速比 = 1/((1−p)+p/n)，p 为可并行比例。
• MapReduce ⭐：核心思想；执行流程（Split→Map→Shuffle→Reduce→Output）；Combiner；容错与推测执行；经典示例（WordCount、排序、TopN）。

10Spark大数据处理 ⭐ → 讲义

• Spark 动机 ⭐：内存计算 vs MapReduce 磁盘计算；DAG 执行引擎；适用场景。
• 运行架构：整体架构；Executor 工作模式（长期驻留）。
• RDD ⭐⭐：五大特性（分区、依赖、计算函数、分区器、首选位置）；宽依赖与窄依赖 ⭐；血缘追踪（Lineage）与容错。
• Transformation vs Action ⭐：Transformation（map/filter/flatMap/reduceByKey，惰性）与 Action（collect/count/saveAsTextFile，触发计算）分离。
• 缓存策略：Cache 与 Persist 的区别。
• DataFrame 与 Spark SQL：结构化数据优势；Catalyst 查询优化器与 Tungsten 代码生成。

11大规模图计算

• 图计算应用：社交网络、推荐系统、知识图谱、金融风控。
• 图数据结构：顶点 Vertex、边 Edge、属性 Property；存储模型。
• NetworkX：纯 Python 轻量级，适合教学原型；Graph/DiGraph 创建；PageRank 实现。
• PageRank ⭐：随机游走模型；迭代计算与收敛；阻尼因子作用；应用场景。
• Neo4j：属性图模型；Cypher 查询（MATCH/WHERE/RETURN/CREATE）；NetworkX vs Neo4j（内存计算 vs 持久化）。

12云原生平台

• Helm：K8s 包管理器；应用打包/版本管理/一键部署；Chart 结构（Chart.yaml、values.yaml、templates/）；模板语法；多环境部署。
• Operator 模式：自定义资源 CRD；控制器模式（Reconcile Loop）；常见实例（Prometheus/MySQL/Spark Operator）。
• Spark on Kubernetes：Driver Pod + Executor Pod；Spark Operator 流程；vs Spark on YARN。
• GitOps：Git 作为唯一真实来源；ArgoCD 架构与工作流；Flux 简介。

🎯自测（点击展开）

📝综合题库

选择题点选即时判分；填空题输入后"检查"或"显示答案"。