课程介绍：
Kafka是流式处理系统如Spark streaming，Strom及Flink事实上的标准数据入口。本课程将分析Kafka的架构，Topic与Partition的关系，Kafka如何使用Consumer group实现group内的消息单播和group间的消息广播，Kafka如何利用Partition实现水平扩展以及Kafka如何实现高吞吐率。并结合源码分析Kafka实现数据复制，Leader election及Consumer rebalance的原理。同时介绍实用的Kafka监控工具kafka manager。并结合实例介绍Kafka如何与其它流行的开源系统（如Flume，Storm，Spark streaming）集成。
适用人群：
对kafka感兴趣的大数据工程师，需要熟悉Linux，需要有Java/Scala编程基础。
课程目录：
第一课. Kafka简介
1.1 为什么需要消息系统
1.2 Kafka设计目标
1.3 如何安装和使用Kafka集群
第二课. Kafka架构
2.1 Kafka整体架构
2.2 Topic & Partition
2.3 Partitioner
2.4 Sync Producer vs. Async Producer
2.5 Producer重试机制
第三课. Kafka HA
3.1 Kafka一致性重要机制之ISR
3.2 Kafka数据复制机制
3.3 Fail over
第四课. Zookeeper与Kafka
4.1 Zookeeper典型用法
4.2 Zookeeper使用注意事项
4.3 Kafka如何使用Zookeeper
第五课. Kafka领导选举
5.1 领导选举算法
5.2 Kafka“各自为政”领导选举算法
5.3 Kafka基于Controller的领导选举
第六课. Consumer
6.1 Pull vs Push
6.2 Low level API vs. High level API
6.3 单播 vs. 多播
6.4 Consumer rebalance
第七课. Consumer offset管理
7.1 基于Zookeeper的offset管理
7.2 基于broker的offset管理
第八课. Consumer的stream接口
8.1 Blocking接口
8.2 Stream接口
第九课. Kafka高性能之道
9.1 顺序写磁盘
9.2 零拷贝
9.3 批处理
9.4 基于ISR的动态平衡一致性算法
第十课. kafka监控工具
9.1 Zookeeper viewer
9.2 Kafka manager
第十一课. Kafka运维
第十二课. Kafka性能测试
〖课程目录〗:
- | └──33.Kafka原理剖析及实战演练
- | | ├──第10课
- | | | ├──第十课 上 Security.mp4 613.51M
- | | | ├──第十课 上 Security.pdf 204.10kb
- | | | ├──第十课 下 Monitoring.mp4 378.35M
- | | | └──第十课 下 Monitoring.pdf 167.31kb
- | | ├──第11课
- | | | ├──docker-compose.yaml 7.93kb
- | | | ├──kafka-manager.Dockerfile 1.11kb
- | | | ├──kafka.0.10.1.0.Dockerfile 1.48kb
- | | | ├──start_kafka.sh 3.85kb
- | | | ├──zookeeper.Dockerfile 2.12kb
- | | | ├──第十一课 Kafka运维.mp4 1.01G
- | | | └──第十一课 Kafka运维.pdf 250.16kb
- | | ├──第12课
- | | | ├──第十二课 上 Kafka高性能之道.mkv 419.66M
- | | | ├──第十二课 上 Kafka高性能之道.pdf 364.41kb
- | | | ├──第十二课 下 Kafka性能测试.mkv 259.69M
- | | | └──第十二课 下 Kafka性能测试.pdf 356.87kb
- | | ├──第1课
- | | | ├──kafka.Dockerfile 1.48kb
- | | | ├──zookeeper.Dockerfile 1.37kb
- | | | ├──第1课 Kafka简介 1.mp4 130.28M
- | | | ├──第1课 Kafka简介 2.mp4 310.63M
- | | | └──第一课 Kafka简介.pdf 1.70M
- | | ├──第2课
- | | | ├──DemoConsumer.java 2.19kb
- | | | ├──HashPartitioner.java 0.48kb
- | | | ├──pom.xml 2.63kb
- | | | ├──ProducerDemo.java 2.52kb
- | | | ├──RoundRobinPartitioner.java 0.52kb
- | | | ├──第二课 Kafka架构 上.mp4 186.78M
- | | | ├──第二课 kafka架构 下.mp4 243.57M
- | | | └──第二课 Kafka架构.pdf 870.58kb
- | | ├──第3课
- | | | ├──docker-compose.yml 3.02kb
- | | | ├──kafka.Dockerfile 2.91kb
- | | | ├──zookeeper.Dockerfile 1.94kb
- | | | ├──第三课 Kafka HA.pdf 1.08M
- | | | ├──第三课 数据复制与Failover 高清.mp4 785.51M
- | | | └──第三课 数据复制与Failover.mp4 453.53M
- | | ├──第4课
- | | | ├──centos.6.6.tar.bz2 58.41M
- | | | ├──docker-compose.yml 3.19kb
- | | | ├──kafka.Dockerfile 3.12kb
- | | | ├──README 0.33kb
- | | | ├──zookeeper.Dockerfile 2.14kb
- | | | ├──第四课 Kafka Zookeeper 上.mp4 1007.72M
- | | | ├──第四课 Kafka Zookeeper 下.mp4 380.63M
- | | | └──第四课 Kafka如何使用Zookeeper.pdf 510.08kb
- | | ├──第5课
- | | | ├──第五课 Kafka Leader Election 480P.mp4 557.22M
- | | | ├──第五课 Kafka Leader Election.mp4 1.60G
- | | | └──第五课 Kafka Leader Election.pdf 269.56kb
- | | ├──第6课
- | | | ├──centos.6.6.tar.bz2 58.41M
- | | | ├──DemoKafka.tar.gz 8.76kb
- | | | ├──docker-compose.yml 3.21kb
- | | | ├──kafka.0.8.2.2.tar.bz2 472.92M
- | | | ├──kafka.Dockerfile 3.11kb
- | | | ├──README 0.51kb
- | | | ├──zookeeper.3.4.6.tar.bz2 475.61M
- | | | ├──zookeeper.Dockerfile 2.14kb
- | | | ├──第六课 Kafka Consumer.mp4 657.15M
- | | | └──第六课 Kafka Consumer.pdf 724.36kb
- | | ├──第7课
- | | | ├──第七课 Kafka Consumer Offset Management.mp4 1.24G
- | | | └──第七课 Kafka Consumer Offset Management.pdf 265.50kb
- | | ├──第8课
- | | | ├──kafka.0.10.1.0
- | | | ├──第八课 Kafka新API.mp4 1.18G
- | | | └──第八课 Kafka新API.pdf 217.49kb
- | | └──第9课
- | | | ├──第九课 Kafka Stream.mkv 916.71M
- | | | └──第九课 Kafka Stream.pdf 237.30kb
