Kerberos 部署与调优指南 - 大布丁的博客

Kerberos 是 Hadoop 生态（HDFS/YARN/Hive/Kafka 等）的标准认证协议：客户端先向 KDC 拿票据，再用票据访问服务，全程不传密码。部署的核心是 KDC 服务 + 每个组件的 principal/keytab；调优的核心是票据生命周期与时钟同步。本文覆盖原理、部署、参数优化与常见问题。

底层原理#

认证流程（两次票据交换）#

1
① AS-REQ    客户端 → KDC（AS 服务）：用密码加密请求
2
② AS-REP    客户端 ← KDC：TGT（票据授权票据，密码解密）
3
③ TGS-REQ   客户端 → KDC（TGS 服务）：TGT + 目标服务名
4
④ TGS-REP   客户端 ← KDC：服务票据 ST（目标服务密钥加密）
5
⑤ AP-REQ    客户端 → 服务端：ST + 认证信息

Principal：身份标识，格式 user/instance@REALM，如 hdfs/node1@BLOG.COM
Keytab：principal 的密钥文件（等价密码），服务进程用它免交互认证
TGT：登录凭证，默认有效期 24 小时（ticket_lifetime）
时钟同步：Kerberos 票据校验时间戳，客户端与 KDC 时钟偏差超过默认 300 秒直接失败

NOTE
一句话理解：Kerberos 把”密码验证”变成”票据验证”。第一次登录向 KDC 要 TGT（验证密码），之后所有服务访问都用 TGT 换 ST，服务端只认 KDC 签发的票据，不再接触密码。

部署（KDC + Hadoop 集成）#

1. 安装 KDC（独立节点）#

1
# CentOS/RHEL
2
yum install -y krb5-server krb5-workstation
3
# 配置 /etc/krb5.conf（所有客户端同样配置）
4
cat >> /etc/krb5.conf <<'EOF'
5
[libdefaults]
6
  default_realm = BLOG.COM
7
  dns_lookup_realm = false
8
  dns_lookup_kdc = false
9
  ticket_lifetime = 24h
10
  renew_lifetime = 7d
11
  forwardable = true
12
[realms]
13
  BLOG.COM = {
14
    kdc = kdc-server
15
    admin_server = kdc-server
16
  }
17
[domain_realm]
18
  .blog.com = BLOG.COM
19
  blog.com = BLOG.COM
20
EOF
21

22
# 初始化数据库并启动
23
kdb5_util create -s -r BLOG.COM        # 输入 KDC 主密码
24
systemctl start krb5kdc && systemctl start kadmin

2. 创建 principal 与 keytab#

1
kadmin.local
2
# 服务 principal（每组件每节点）
3
addprinc -randkey hdfs/node1@BLOG.COM
4
addprinc -randkey hdfs/node2@BLOG.COM
5
# 导出 keytab 到节点（分发到对应机器）
6
xst -k /etc/security/keytabs/hdfs.keytab hdfs/node1@BLOG.COM

3. Hadoop 开启认证#

1
<property>
2
  <name>hadoop.security.authentication</name>
3
  <value>kerberos</value>
4
</property>
5
<property>
6
  <name>hadoop.security.authorization</name>
7
  <value>true</value>
8
</property>
9
<!-- hdfs-site.xml：DataNode 通信认证 -->
10
<property>
11
  <name>dfs.namenode.keytab.file</name>
12
  <value>/etc/security/keytabs/hdfs.keytab</value>
13
</property>

1
# 客户端认证方式一：kinit（交互/定时续票）
2
kinit -kt /etc/security/keytabs/hdfs.keytab hdfs/node1@BLOG.COM
3

4
# 方式二：作业提交通道
5
# 普通用户 kinit 后提交作业，或使用 Hadoop 代理用户（proxyuser）

参数优化（三档规格）#

参数	中小集群（<50 节点）	中大型（50~200）	超大型（200+）
`ticket_lifetime`	24h	24h（服务端）+ 客户端续票	24h + 自动续期脚本
`renew_lifetime`	7d	14d	30d（配合自动 kinit 定时任务）
`maxrenewlife`	7d	14d	30d
`clockskew`	300s	300s	300s（配合 NTP 保准）
KDC 规格	8C16G	16C32G	32C64G 或双 KDC 主备
`kdc_max_dgram_reply_size`	2048	4096	8192（大票据/UDP 限制）

WARNING
长作业 vs 票据过期：Spark/Flink 长任务运行时票据过期（Ticket expired）是经典故障。方案：客户端 renew_lifetime 覆盖作业时长 + 定时 kinit -R 续票；或开启 Hadoop 的令牌（delegation token）自动刷新机制。

优化理解：

ticket_lifetime 与安全是反比：24h 兼顾可用与风险；安全要求高的场景缩到 8~12h，但必须配套自动续票，否则运维事故频发
clockskew 放宽会弱化重放攻击防护，优先保 NTP 而不是放宽 clockskew——NTP 偏差控制在 1 分钟内是硬性运维指标
KDC 是同步瓶颈：集群认证风暴（全部节点同时重启）时 KDC 单点 CPU/网络飙高，双 KDC（主备）或独立 VIP 是超大规模标配

集群规模优化#

时钟同步是地基：所有节点 NTP/chrony 统一时钟，偏差 >300s 一切认证失败；KDC 自身也加入时间源
keytab 管理：keytab 按主机分发、权限 400、root 属主；定期轮换（xst -norandkey 不换密钥，-randkey 换密钥需重发）
代理用户（proxyuser）：提交作业统一走调度平台账号 + 代理用户，避免人人在节点上 kinit
令牌（delegation token）：HDFS/YARN 长作业用 DT 免 keytab，配置 hadoop.security.token.service.use_ip 与刷新周期
Kafka/Ranger 联动：Kafka 开 SASL/GSSAPI 复用同一 KDC；Ranger 与 Kerberos 双认证共存时注意票据传递链
排障工具链：klist（看票据）、kadmin（查 principal）、KDC 日志（/var/log/krb5kdc.log）定位认证失败

常见问题#

Clock skew too great (X > 300 seconds)：时钟偏差——先 NTPdate 校准所有节点，别急着放宽 clockskew
Ticket expired：票据过期——kinit 续票或刷新 delegation token；长作业必须规划续期
Server not found in Kerberos database：principal 拼写/格式错误，或实例名与节点 hostname 不一致
Decrypt integrity check failed：keytab 与 KDC 密钥不一致（换过密码/keytab 损坏）——重新 addprinc -randkey + 导出
kinit: Client not found：principal 不存在；确认 realm 大小写（REALM 惯例全大写）
开启 Kerberos 后 HDFS 报权限失败：认证通过但授权失败——检查用户映射（hadoop.security.auth_to_local 规则）

部署检查清单#

全节点时钟同步（NTP）——Kerberos 的地基
KDC 双机（超大规模），keytab 权限 400
ticket_lifetime/renew_lifetime 覆盖作业时长，续票自动化
delegation token 用于长作业，proxyuser 收敛账号
klist/kadmin/KDC 日志排障工具齐备
故障演练：KDC 主备切换、票据过期恢复