大布丁的博客

对于已经掌握的知识，必须要及时进行复盘与总结，并且进行文字化的输出！ 2026 年学习方向已重新定位：过去以 Go、Java、数据库、中间件为代表的传统技术栈，大多已是成熟甚至被替代的知识。未来的重心是——理解 AI 行业、理解大模型算法、理解商业与各行各业，用 AI 赋能行业应用，本质是从”技术执行者”转向”技术价值的

本文是对 Flink 核心知识的系统性总结，覆盖架构、流处理模型、窗口与 Watermark、状态编程、Checkpoint 容错、常用参数以及日常问题排查要点，作为个人技术笔记使用。 整体架构：JobManager 与 TaskManagerFlink 是真正的流式计算框架（Streaming First），采用主从架构： JobManager（JobMaster）：集群的大脑，负责作业调

大数据入门的第一块基石就是 HDFS。作为 Hadoop 的分布式文件系统，它藏了很多”为什么”：为什么块是 128M？为什么写数据要走 pipeline？NameNode 挂了数据会不会丢？这篇文章把 HDFS 的架构、原理、参数和排障经验梳理一遍。 核心架构HDFS 是主从（Master/Slave）架构，核心角色有三个：NameNode、DataNode，以及辅助的 Secon

Hive 是大数据圈”SQL 化”的起点：把 HDFS 上的数据抽象成表，把 SQL 翻译成 MapReduce/Tez/Spark 作业。它不存数据、不跑计算，只做翻译和元数据管理。搞懂 Hive 的架构和优化手段，是数据开发的基本功。 核心架构Hive 由三个关键部分组成：MetaStore（元数据）、HiveServer2（服务入口）、Driver（SQL 解析与执行

学大数据绕不开 MapReduce，它是 Hadoop 分布式计算的基石。这篇文章是我对 MapReduce 底层原理的总结，从计算模型讲到执行流程，再到参数调优和常见问题排查，希望能帮你把这块知识串起来。 计算模型：Map / Reduce 思想MapReduce 的核心思想就四个字：分而治之。把一个大规模计算任务拆成无数个小任务，分发给集群中的多台机器并行处理，最后再汇总结果。

本文是对 Spark 核心知识的系统性总结，覆盖架构、RDD 与 DAG 调度、Shuffle、缓存与 Checkpoint、运行模式、常用参数以及日常问题排查要点，作为个人技术笔记使用。 整体架构：一次任务是怎么跑起来的Spark 是内存计算框架，采用 Master-Slave 架构，核心组件如下： Driver：任务的”大脑”，运行用户程序 main 函数，负责解析代码、构建 DAG、调

Yarn 是 Hadoop 的资源调度层，负责把集群的 CPU 和内存”分蛋糕”。搞懂 Yarn，才能明白为什么任务一直卡在 ACCEPTED、为什么容器总被杀、为什么队列里任务挤成一堆。这篇文章从架构到排障完整梳理一遍。 核心架构Yarn 采用主从 + 两级调度的架构：ResourceManager 管全局资源，NodeManager 管单节点资源，ApplicationMaster 管单个

Tez 是 Apache 旗下的 DAG 计算引擎，脱胎于 MapReduce，用于替代 MR 执行多阶段复杂作业。它把”多轮 MR 写盘”改成”一个 DAG 内存流转”，性能提升肉眼可见，也是 Hive 默认执行引擎之一。 一、Tez 的定位与背景MapReduce 的缺陷很明确：一次作业只能表达 Map → Reduce 两个阶段，复杂的分析（比如 Hive SQL）会被翻译成一串串 MR

转载声明：本文转载自微信公众号「猫视青年」（经世致用，知行合一！），版权归原作者所有，已注明作者与原文链接。原文链接：https://mp.weixin.qq.com/s/Pw_KqD-TTQ-6IbSbWUzS1w 穷人完不成资本积累，是因为穷人不懂投资，还是社会结构陷阱，阻挡自下而上通道。 （一）穷人思维这是穷人完不成资本积累表象，最典型

本文是我学习 Kafka 时整理的笔记，涵盖核心架构、底层存储原理、副本与一致性机制、生产消费流程，以及日常排障的经验总结，适合面试复习和实际排查问题参考。 核心架构角色划分Kafka 集群主要由以下几类角色组成： Producer（生产者）：向 Topic 发送消息的客户端，负责选择分区、批量发送、处理发送结果。 Broker（服务端）：Kafka 集群中的一台服务器就是一个 Broker

本文是对 MySQL 核心知识的系统性总结，覆盖架构、InnoDB 索引、事务与 MVCC、锁、日志、缓冲池以及日常问题排查要点，作为个人技术笔记使用。 整体架构：一条 SQL 是如何执行的MySQL 的架构可以自上而下分为四层： 连接层：负责客户端连接管理、认证授权、线程复用（thread pool） 服务层：SQL 接口、解析器、优化器、执行器、缓存 存储引擎层：可插拔式，常用 Inno

本文梳理 Nacos 的架构、服务发现（AP/Distro）、配置中心（长轮询）、集群一致性（Raft + Derby/MySQL）、与主流注册中心的对比，以及常见问题的排查思路。 概述Nacos（Dynamic Naming and Configuration Service）是阿里巴巴开源的，同时提供服务发现与配置管理两大能力的中间件，是 Spring Cloud Al

本文总结 Redis 的核心底层原理：数据结构实现、单线程模型、持久化机制、过期与淘汰策略、缓存三大问题、高可用方案以及常见问题排查要点，作为个人技术笔记。 五种基础数据结构与底层实现string：SDSstring 底层是 SDS（Simple Dynamic String），而非 C 字符串： 带长度字段，获取长度 O(1) 预分配空间 + 惰性释放，减少内存重分配次数 二进制安全，可存

本文是我学习 RocketMQ 时整理的笔记，围绕四大组件、存储与高可用架构、消息模型，以及线上常见的堆积、丢失、顺序与事务问题展开，适合面试复习和日常排查参考。 核心架构RocketMQ 集群由四大组件构成： NameServer：轻量级路由中心，维护 Topic 与 Broker 的路由信息，Broker 启动时注册、断开时剔除，不存储消息数据，无状态，可多台部署互为冗余。 Broker

本文从 Zookeeper 的数据模型、ZAB 协议、Leader 选举、会话机制出发，梳理分布式协调服务的底层原理，最后给出常见问题的排查思路。 概述Zookeeper 是 Apache 开源的分布式协调服务，用于解决分布式系统中的一致性、数据发布订阅、命名服务、分布式锁、集群管理等问题。 Zookeeper 的核心定位是”小数据的协调”，它存储的数据量很小（一般建

AI 的底层能力今日又刷到了博主推荐的：AI 的底层能力是英文能力。包括整个软件的架构体系，基本上都是由英文单词构成。小到数据结构，大到操作系统，基本上都是由西方所构成。 当然，中国也有易语言这样完全由底层逻辑由汉字构成、采用汉字直接编译为二进制代码的语言。但是毕竟中国开发者接受的教育大多还是跟西方保持一致的。 而且技术的发展也离不开商务文化——毕竟有商务的注资才能推动技术的深入发展。技术与业务相

感思距离 2025 年 3 月 1 日又过去了一年。上一次回忆还是在回忆自己的工作生涯。又过一年，在 2025 年这一年中，自己的日子跟 2022 比，虽然稍微轻松一点了，但是还是没有那么轻松。 2025 年 3 月出差北京研发数据标注平台 在 2025 年 3 月 1 日写下博客后，就出差去北京了。这辈子没有坐过飞机，也是在公司的业务发展下坐上

本文将详细介绍如何在 Linux 环境下配置 Clash，以实现全局网络代理。同时使用 proxy-group 与 rule-providers，来实现机场订阅链接和规则的自动订阅。 下载 Clash从以下备份库下载 Clash Premium。由于 Clash Premium 的主库已被删除，我们将使用备份库来获取：Clash-premium-

历年总结 2022 年，自己完成了身份上的转变，正式开始后端的职业生涯。 在公司的安排下，进入教育行业，做教育行业的需求。由于体系的问题，一方面是做 TOC 的业务应用，满足客户经理、学校客户的需求；另一方面也是做 TOB 与 TOG 的需求，满足领导、教育局对平台的期望。公司的步子迈得挺大，研发的基础设施并未能跟上公司的节奏，但是好在也坚持下来了

Grafana + Prometheus + Exporter 监控体系的搭建 Prometheus 的监控体系系统层监控（需要监控的数据） 1、CPU、Load、Memory、swap、disk i/o、process 等2、网络监控：网络设备、工作负载、网络延迟、丢包率等 中间件及基础设施类监控 1、消息中间件：kafka、redis、RocketMQ 等消息代理/中