基于Spring Cloud Config和Kubernetes ConfigMap进行微服务集群的配置管理

众所周知,配置管理是微服务中非常重要的一环。通过集中化的配置中心,可以使维护人员统一管理devteststageprod等各类环境的配置,大大提高了维护效率,并使得配置变更可以实时下发给各节点,并被追踪和审计,本文探讨云原生环境下基于Spring Cloud Config+kubernetes ConfigMap的配置管理实践,大家如果有更好的实现方式,也欢迎一起探讨。

方案选择

目前的配置获取方式,基本上有以下几种

  • 环境变量注入:这种方式把配置参数直接注入系统环境变量,应用直接从环境变量中获取配置信息,配置项较少的情况还是可以用用的,多了麻烦不说,配置的变更审计也是问题,configmap即是这种方式,好处是系统级,外部依赖较少

  • 通过maven工具:执行类似mvn cleanpackage-Penv这样的命令,在编译打包阶段将环境信息注入

  • spring boot:Spring Boot中也提供了多环境配置功能,可以设置application-{env}.properties区分环境信息,启动时增加
    spring.profiles.active=dev这样的参数,在启动时将配置信息注入

  • 配置中心:这是微服务架构中比较主流的解决方案,有代表性的有携程的apollo、百度disconf以及spring自己的 spring cloud config

综合几种方式的优缺点,我选择了Spring Cloud Config+kubernetes ConfigMap的解决方案。选择Spring Cloud Config的原因是比较轻量级,配合eureka可以快速搭建一个分布式的配置中心,再结合一些开源的配置管理UI框架(比如SCCA,后面会提到),基本可以满足目前的需要。结合Spring Cloud Bus组件可以实现实时的配置下发,另外由于是原生的,和Spring其他组件的集成也比较方便,不像apollo都是自己一套(自带eureka),个人感觉有点重了。为便于叙述,下文假设有dev、test、prod三个配置中心,分别对应三个不同的环境。

环境变量配置

使用环境变量的原因,是开发和测试的环境不一致,开发一般在自己电脑上进行开发,所以需要设置自己终端的环境变量,而测试及生产环境都是在K8S集群内,所以需要通过ConfigMap来进行环境变量配置,从而实现了配置中心地址与环境的解耦。

开发终端配置

比较简单,直接在环境变量中设置如下参数,注意这里设置的是dev环境的配置中心


env.jpg

注意设置完之后eclipse需要重启一下,否则读不到变更的环境变量(IDEA我没有测过,不知道是不是一样)。可以通过下面这段代码看看环境变量是否正确获取

@RestController
public class WebController {

   @Autowired
   private Environment env;

   @RequestMapping(value = "getEnvParam", method = RequestMethod.GET)
   public String getEnvParam() {
        return "config server : " + env.getProperty("CONFIG_SERVER_ADDRESS");
   }

}

在浏览器输入URL后应该可以显示对应的环境变量值

ConfigMap配置

使用kubectl创建configmap资源有几种方式,这里我们直接使用命令行参数的方式创建配置信息对象,注意这里配置的是test环境的配置中心

[root@localhost ~]# kubectl create configmap config-server --from-literal=config.address=http://10.10.0.2:10002 --from-literal=config.profile=test
configmap "config-server" created

执行如下命令确认configmap资源被成功创建

[root@localhost ~]# kubectl get configmap config-server -o yaml
apiVersion: v1
data:
  config.address: http://10.10.0.2:10002
  config.profile: test
kind: ConfigMap
metadata:
   creationTimestamp: 2018-11-07T11:14:27Z
   name: config-server
   namespace: default
   resourceVersion: "18390952"
   selfLink: /api/v1/namespaces/default/configmaps/config-server
   uid: 4a4b3713-e27e-11e8-8088-005056bd4c7c

将configmap对象注入我们创建的应用deployment对象中,可以直接edit资源,也可以使用patch方式,注意spec.containers.env部分,即是我们注入的configmap信息

spec:
  replicas: 1
  selector:
    matchLabels:
      run: service-base
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        run: service-base
    spec:
      containers:
      - command:
        - java
        - -Djava.security.egd=file:/dev/./urandom
        - -jar
        - /home/app.jar
        env:
        - name: CONFIG_SERVER_ADDRESS
          valueFrom:
            configMapKeyRef:
              key: config.uri
              name: config-server
        - name: CONFIG_SERVER_PROFILE
          valueFrom:
            configMapKeyRef:
              key: config.profile
              name: config-server
        image: 10.0.0.62:5000/alpine/jre:8
        imagePullPolicy: IfNotPresent
        name: service-base
        ports:
        - containerPort: 33300
          protocol: TCP
        resources: {}
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        volumeMounts:
        - mountPath: /home
          name: app-volume
      dnsPolicy: ClusterFirst

Spring Cloud Config配置

这其实就是一个标准的Spring Cloud Config配置中心配置,这里不展开了,需要的同学可以直接看这篇教程。考虑到开发生产环境的隔离、管理和可靠性的需要,我这边使用的是db存储模式(需要edgware以上版本),配置文件如下

spring:
    application:
        name: config-server
    datasource:  
        driver-class-name: oracle.jdbc.driver.OracleDriver
        url: jdbc:oracle:thin:@10.0.0.56:1521/orac
        username: test
        password: test
    jpa:
        properties:
            hibernate:
                dialect: org.hibernate.dialect.Oracle10gDialect
    profiles:
        active: jdbc
    cloud:
         config:
             server:
                 jdbc: 
                     sql: SELECT P_KEY, P_VALUE from PROPERTY where APPLICATION=? and PROFILE=? and LABEL=?
server:
    port: 10002
encrypt:
    key: test

之后配合一个程序猿DD同学开源的配置管理项目SCCA(github地址),能以可视化方式管理各环境配置,基本满足目前要求。如果想和内部已有的服务管理平台集成,也非常方便,只要实现对property这张配置表的CRUD就行了,spring cloud config会自动监听property里的变化并刷新参数,这也是我比较推荐db模式的原因。SCCA配置界面如下:

admin1.jpg

admin2.jpg

应用配置

至此所有准备工作完成,在应用里直接配置上配置中心的环境变量,就可以在各环境中无缝切换了,应用配置如下

spring:
    application:
         name: service-base
    cloud:
         config:
             uri: ${CONFIG_SERVER_ADDRESS}
             profile: ${CONFIG_SERVER_PROFILE}
             label: master
server:
    port: 33000
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容