微服务治理-APM-skywalking环境搭建(开发及测试)

部署方案

根据houyi平台规划,日志归集相关的技术组件都是基于k8s进行部署。
相关部署文件列表如图所示:


image.png

对应各个技术组件的部署以最简单的单点方式部署,暂时不考虑高可用性及性能弹性伸缩等非功能需求。

skywalking-oap部署

skywalking-oap主要用于从应用收集服务性能监控信息,并提供接口对UI或第三方提供查询服务。

skywalking-oap-deployment

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: skywalking-oap-deployment
  namespace: t-paas
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: skywalking-oap
  template:
    metadata:
      labels:
        tier: skywalking-oap
    spec:
      containers:
      - name: skywalking-oap-container
        image: apache/skywalking-oap-server:6.0.0-GA
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 11800
        - containerPort: 12800
        env:
        - name: SW_STORAGE
          value: "elasticsearch"
        - name: SW_STORAGE_ES_CLUSTER_NODES
          value: "elasticsearch-service.t-paas:9200"

由于skywalking 数据需要存储在elasticsearch中,所以需要先部署es。可以参考微服务治理-日志归集-技术选型中ES的部署。

skywalking-oap-service

以CluserIp方式部署service,对外提供11800、12800两个端口:

  • 11800端口用于skywalking将应用的服务监控信息收集端口。
  • 12800端口用于skywalking对UI提供查询接口。
apiVersion: v1
kind: Service
metadata:
  name: sw-service
  namespace: t-paas
spec:
  ports:
  - name: p11800
    port: 11800 
    targetPort: 11800
  - name: p12800
    port: 12800 
    targetPort: 12800
  selector:
    tier: skywalking-oap

skywalking-ui部署

skywalking-ui-deployment

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: skywalking-ui-deployment
  namespace: t-paas
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: skywalking-ui
  template:
    metadata:
      labels:
        tier: skywalking-ui
    spec:
      containers:
      - name: skywalking-ui-container
        image: apache/skywalking-ui:6.0.0-GA
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
        env:
        - name: collector.ribbon.listOfServers
          value: "sw-service.t-paas:12800"   
        - name: collector.ribbon.ReadTimeout
          value: "20000"             
        - name: TZ
          value: "Asia/Shanghai"

通过访问skywalking-oap的service名称及12800端口,查询应用性能监控信息,并通过UI展示性能监控界面。

skywalking-ui-service

由于skywalking-ui是web界面,所以在容器外通过端口访问。
所以使用NodePort类型service部署。

apiVersion: v1
kind: Service
metadata:
  name: skywalking-ui-service
  namespace: t-paas
spec:
  type: NodePort
  ports:
  - port: 8080 
    targetPort: 8080
    name: sw-ui-port
    nodePort: 30081    
  selector:
    tier: skywalking-ui

skywalking-agent部署

上面已经将skywalking的服务端搭建好了,下面主需要在应用中添加skywalking的插件,将应用的性能数据发送给skywalking-oap服务。
通过skywalking的官方文档可以了解,skywalking对应用的影响是松耦合的。不需要对应用做任何修改。
以spring-boot为例,只需要在应用启动时,在参数中添加-javaagent参数就可以了。

java -javaagent:/path/to/skywalking-agent/skywalking-agent.jar -jar ${spirng-boot-app}.jar

通过该参数,可以了解到应用镜像中需要包括skywalking-agent相关的jar包及配置文件。
所以本人考虑为skywalking-agent单独生成一个镜像,在应用的deployment中,通过initContainers的方式将skywalking-agent的插件挂载到应用容器中。具体可以查看应用部署的deployment文件。

skywalking-agent镜像生成

以下是生成skywalking-agent镜像的目录:


image.png

其中/skywalking-agent目录中的相关信息获取如下:

agent目录说明

agent在server的目录下,插件和配置都包含在包中,请不要改变目录结构


image
  • 配置文件在/config目录中
  • 插件全部放置在/plugins目录中.新的插件,也只需要在启动阶段,放在目录中,就自动生效,删除则失效.
  • ptional-plugins是可以插件.

修改配置

agent的配置可通过修改配置文件或者添加启动参数配置
vim config/agent.config

  • agent.service_name:应用名
  • collector.backend_service:server端地址
image

添加trace-ignore插件

复制optional-plugins里面的apm-trace-ignore-plugin-x.jar到plugins里面

cp optional-plugins/apm-trace-ignore-plugin-6.0.0-GA.jar plugins/

可以通过配置skywalking.trace.ignore_path环境变量去设置忽略的url,多个以,隔开

-Dskywalking.trace.ignore_path=/your/path/1/**,/your/path/2/**

生成skywalking-镜像

在docker环境下执行docker-build.sh脚本

docker build -t skywalking-agent:6.0.0 .

Dockerfile文件如下:

FROM busybox:latest
ADD /agent //agent

应用引入skywalking-agent

app-deployment

  • 在应用启动加将skywalking-agent镜像中的/agent目录复制到sky-agent-volume中,
  • 再将sky-agent-volume挂载到应用容器的/skywalking路径下。
  • 应用容器配置三个环境变量,分别设置:
    • 1.ENV_PROFILE -> 应用环境
    • 2.SW_AGENT_NAMESPACE -> skywalking代理应用的命名空间。
    • 3.SW_AGENT_COLLECTOR_BACKEND_SERVICES -> skywalking-aop的服务主机及端口。
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: sc-admin
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      tier: sc-admin-server
  template:
    metadata:
      labels:
        tier: sc-admin-server
    spec:
      initContainers:
      - name: skywalking-agent-gateway
        image: skywalking-agent:6.0.0 
        command: ["cp", "-rf", "/agent", "/tmp"]
        volumeMounts:
        - mountPath: /tmp
          name: sky-agent-volume    
      containers:
      - name: sc-admin-containers
        image: houyi-platform/sc-admin:latest
        imagePullPolicy: IfNotPresent
        ports:
          - containerPort: 6500
        env: 
        - name: ENV_PROFILE
          value: dev          
        - name: SW_AGENT_NAMESPACE
          value: houyi-paltform
        - name: SW_AGENT_NAME
          value: dev_sc-admin
        - name: SW_AGENT_COLLECTOR_BACKEND_SERVICES
          value: sw-service.t-paas:11800
        volumeMounts:
        - mountPath: /logs
          name: tmp
        - mountPath: /skywalking
          name: sky-agent-volume
      volumes:
      - name: tmp
        hostPath:
          path: /D/home/k8s/containers/houyi-platform
      - name: sky-agent-volume
        emptyDir: {}                     

其中应用镜像生成的Dockerfile为:

FROM java:8-jre
ENV JAVA_OPTS -javaagent:/skywalking/agent/skywalking-agent.jar -Xms128m -Xmx128m
ADD /zuul-gateway.jar //
ENTRYPOINT ["sh","-c","java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /zuul-gateway.jar --spring.profiles.active=$ENV_PROFILE"]
VOLUME /tmp

从镜像生成的脚本中可以看到应用在启动的时候是如何与skywalking-agent集成在一起的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容