Kafka源码分析-配置文件

96
扫帚的影子
0.1 2016.12.21 16:51* 字数 384
  • 几乎没有服务不需要配置:命令行参数 or 配置文件;
  • 配置项多了, 设置起来太麻烦;配置项少, 不够灵活;

Kafka的配置

  • Kafka的配置相当丰富,写成本手册一点问题都没有, 官网配置说明;
  • 与Kafka Server相关的配置分类:
    Zookeeper
    General
    Authorizer
    Socket Server
    Log
    Replication
    Controlled shutdown
    Offset management
    Quota
    Kafka Metrics
    SSL
    Sasl

Kafka配置设置实现

  • 所在文件: core/src/main/scala/kafka/server/KafkaConfig.scala;
  • object Defaults: 定义了所有的配置项默认值;
  • object KafkaConfig: 定义了所有的配置项名称:
PrincipalBuilderClassProp = SslConfigs.PRINCIPAL_BUILDER_CLASS_CONFIG
...

说明文档:

/* Documentation */
  /** ********* Zookeeper Configuration ***********/
  val ZkConnectDoc = "Zookeeper host string"
...

创建了configDef, 是一个ConfigDef类对象:

private val configDef = {
    import ConfigDef.Importance._
    import ConfigDef.Range._
    import ConfigDef.Type._
    import ConfigDef.ValidString._

    new ConfigDef().define(...).define(...)...

作为Class KafkaConfig的伴生类,定义了创建KafkaConfig对象的工厂方法:

def apply(props: java.util.Map[_, _]): KafkaConfig = new KafkaConfig(props, true)

通用Config类:AbstractConfig

  • 所在文件: clients/src/main/java/org/apache/kafka/common/config/AbstractConfig.java
  • 源码中注释:

A convenient base class for configurations to extend.
This class holds both the original configuration that was provided as well as the parsed

  • 构造函数:
public AbstractConfig(ConfigDef definition, Map<?, ?> originals, Boolean doLog)

originals表示所有被用户设置了的参数;
definition表示所有的配置项,包默认值;
通过调用definition.parse(this.originals)得到使用用户设置参数更新后的所有配置项和值;

  • 提供一系列的get方法,返回相应配置的值:
    getInt
    getShort
    getLong
    getDouble
    getList
    getBoolean
    getString
    getPassword
    getClass

通用config构建类:ConfigDef

  • 所在文件: clients/src/main/java/org/apache/kafka/common/config/ConfigDef.java
  • define: 加入某一配置项,包括其name, type, defaultValue, importance, documentation等;
  • parse(Map<?, ?> props): 使用props来更新一组配置项;

Kafka启动流程分析

Kafka源码分析-汇总
Kafka
Web note ad 1