调优

Flink 调优的核心矛盾是内存三分（JVM 堆、托管内存、堆外）与状态后端（RocksDB 还是堆内）的选择，其次是并行度与检查点的节奏。调优目标是：作业吞吐稳定、故障秒级恢复、不丢数据。部署安装见《大数据与中间件组件部署总览》。

HDFS 的调优思路只有一条主线：NameNode 是瓶颈，DataNode 是 IO。NameNode 吃内存（元数据全在堆里），DataNode 吃磁盘与网络。所以调优时先算两笔账：集群的块数决定 NameNode…

Hive 调优的抓手分三层：执行引擎（MR/Tez/Spark 的选择）、单作业参数（并行度、MapJoin、Reducer 数）、数仓建设（分区、文件格式、小文件）。前两层是调参数，第三层是调习惯——数仓层的收益远大于参数层。部署安装见《大数据与中间件组件部署总览》。

Kafka 调优的本质是吞吐与可靠的权衡：Producer 侧（batch、压缩、acks）、Broker 侧（IO 线程、分段、保留策略）、Consumer 侧（拉取、提交、分区并行）。Kafka 最大的性能秘密在页缓存——它不靠 JVM…

MySQL 调优的优先级永远是：慢查询 → 索引 → 参数。参数调优是最后一步——一个被慢查询拖垮的库，innodb_buffer_pool_size 调得再大也救不了。本文先给参数理解与规格表，再强调集群规模的读写分离与容灾。部署安装见《大数据与中间件组件部署总览》。

Nacos 的调优重点是容量与稳定性：能承载多少服务实例、多少配置变更、客户端长连接（gRPC）与推送如何并发。单机 Derby 模式只配测试；生产调优的第一动作就是外接 MySQL 并组成 3 节点集群。部署安装见《大数据与中间件组件部署总览》。

Redis 是单线程模型（6.x 起 IO 线程可选），调优思路与其他组件相反：不是加资源，而是控制单个操作的成本——大 Key、慢命令、全量复制是三大杀手。内存管理（淘汰策略、编码优化）与持久化取舍是日常重点。部署安装见《大数据与中间件组件部署总览》。

RocketMQ 的调优主线是刷盘与复制的两对选择：异步刷盘还是同步刷盘、异步复制还是同步复制——组合出四种可靠性与性能档位；其次是 Broker 的 JVM 与磁盘 IO。生产默认"异步刷盘 + 异步复制"性能最好，核心链路升到"同步复制"。部署安装见《大数据与中间件组件部署总览》。

Spark 调优围绕四个变量转：Executor 的数量 × 单 Executor 的内存 × 单 Executor…

YARN 调优的核心是算好每台机器能拿出多少资源给容器，以及资源怎么分给不同业务。前者是内存与核数预算（要留给操作系统和系统进程），后者是队列规划（Capacity Scheduler）。调不好最常见的症状：作业一直 ACCEPTED 不跑、容器…