安装traefik
可以直接使用helm安装,参考:K8S-Traefik Ingress实战
打开traefik日志功能
默认在helm安装的value文件添加如下内容
accessLogs:
enabled: true
format: common
fields:
defaultMode: keep
headers:
defaultMode: keep
如果已经安装好traefik服务,需要修改config配置,在traefik.toml中添加,日志主要通过field来控制,可以是keep、drop、redact三种,如下
accessLog:
filePath: "/path/to/access.log"
format: json
fields:
defaultMode: keep
names:
ClientUsername: drop
headers:
defaultMode: keep
names:
User-Agent: redact
Authorization: drop
Content-Type: keep
可以看到日志已经输出到stdout之中
日志显示客户端源IP
在使用LoadBalancer部署的traefik的时候,traefik的accessLog如果需要显示源IP地址,要在service的配置中将spec.externalTrafficPolicy的参数设置为Local。
spec:
ports:
- name: http
protocol: TCP
port: 80
targetPort: http
nodePort: 30593
- name: https
protocol: TCP
port: 443
targetPort: 443
nodePort: 31720
- name: metrics
protocol: TCP
port: 8080
targetPort: dash
nodePort: 31838
selector:
app: traefik
release: traefik-internal
clusterIP: 172.21.11.254
type: LoadBalancer
externalTrafficPolicy: Local
healthCheckNodePort: 30228
可以发现remote_IP_address已经是真实访问地址了
日志收集到阿里云
阿里云日志针对Kubernetes容器服务使用CRD方式进行采集配置管理,该方式与Kubernetes部署、发布流程的集成更加完善。
- 安装alibaba-log-controller,如果是阿里云容器集群,默认是安装的。
wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/kubernetes/alicloud-log-k8s-custom-install.sh;
chmod 744 ./alicloud-log-k8s-custom-install.sh;
#### vim alicloud-log-k8s-custom-install.sh
sh ./alicloud-log-k8s-custom-install.sh {your-project-suffix} {region-id} {aliuid} {access-key-id} {access-key-secret}
可以修改脚本,设置project、namespace、affinity等信息,你也可以直接使用默认的配置直接安装;
sudo sh alicloud-log-k8s-custom-install.sh k8s-traefik cn-hangzhou 1531908224215118 LTAI4FwpdpXYcJixr2hndpAW ELxe6tOGzHJfRFt7UiP2yJFgNPJWDq
- 创建aliyunlogconfigs CRD,yaml如下
apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
name: traefik-internal-log
spec:
project: k8s-traefik
logstore: traefik-internal
logtailConfig:
inputType: plugin
configName: traefik-internal-log
inputDetail:
plugin:
inputs:
-
type: service_docker_stdout
detail:
# 只采集stdout,不采集stderr
Stdout: true
Stderr: false
# 只采集容器环境变量中配置key为"GF_INSTALL_PLUGINS"的stdout
IncludeLabel:
io.kubernetes.container.name: traefik-internal
processors:
-
# 使用正则表达式处理
type: processor_regex
detail:
# docker 采集的数据默认key为"content"
SourceKey: content
# 正则表达式提取
Regex: '((?:(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))).){3}(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))))'
# 提取出的key
Keys: ['remote_IP_address']
# 保留原始字段
KeepSource: true
NoKeyError: true
NoMatchError: true
以上配置是从匹配到的容器stdout收集的日志,也可以使用正则对内容进行处理,如上面的remote_IP_address。
效果如下:
本文是收集的traefik日志,其他容器和应用的日志通过此方法一样可以收集到阿里云服务,比自己维护EFK更加的方便和稳定。