(34)过期窗口清理与过载超时(V0.5)(LoadBalanceAgent部分)-【Lars-基于C++负载均衡远程服务器调度系统教程】

【Lars教程目录】

Lars源代码
https://github.com/aceld/Lars


【Lars系统概述】
第1章-概述
第2章-项目目录构建


【Lars系统之Reactor模型服务器框架模块】
第1章-项目结构与V0.1雏形
第2章-内存管理与Buffer封装
第3章-事件触发EventLoop
第4章-链接与消息封装
第5章-Client客户端模型
第6章-连接管理及限制
第7章-消息业务路由分发机制
第8章-链接创建/销毁Hook机制
第9章-消息任务队列与线程池
第10章-配置文件读写功能
第11章-udp服务与客户端
第12章-数据传输协议protocol buffer
第13章-QPS性能测试
第14章-异步消息任务机制
第15章-链接属性设置功能


【Lars系统之DNSService模块】
第1章-Lars-dns简介
第2章-数据库创建
第3章-项目目录结构及环境构建
第4章-Route结构的定义
第5章-获取Route信息
第6章-Route订阅模式
第7章-Backend Thread实时监控


【Lars系统之Report Service模块】
第1章-项目概述-数据表及proto3协议定义
第2章-获取report上报数据
第3章-存储线程池及消息队列


【Lars系统之LoadBalance Agent模块】
第1章-项目概述及构建
第2章-主模块业务结构搭建
第3章-Report与Dns Client设计与实现
第4章-负载均衡模块基础设计
第5章-负载均衡获取Host主机信息API
第6章-负载均衡上报Host主机信息API
第7章-过期窗口清理与过载超时(V0.5)
第8章-定期拉取最新路由信息(V0.6)
第9章-负载均衡获取Route信息API(0.7)
第10章-API初始化接口(V0.8)
第11章-Lars Agent性能测试工具
第12章- Lars启动工具脚本


8) 过期窗口清理与过载超时(V0.5)

​ 本节为idle过期窗口清理与overload过载超时机制。

​ 假设节点h长期处于idle,已经累计vsucc = 100000, err = 0;此时突然h过载,API调用产生了大量的错误,假设汇报了500个失败,于是verr = 500,此时节点的失败率0.5%,尚未被判定为过载;且因为之前长期运行的成功个数太多,使得需要更多的错误汇报才会让LB感知到h过载

将idle节点每隔一定时间(默认15s)重置为idle初始状态(vsucc = 270, verr = 0
于是将节点的运行情况按照15s分隔,我们永远只关注当前15s内此节点的状态,于是过载的节点将会被更快感知.

​ 首先,我们在配置文件中加入一些参数。

lars_loadbalance_agent/conf/lars_lb_agent.conf

;整个窗口的真实失败率阈值
window_err_rate=0.7

;对于某个modid/cmdid下的某个idle状态的host,需要清理一次负载信息的周期
idle_timeout=15

;对于某个modid/cmdid/下的某个overload状态的host,在过载队列等待的最大时间
overload_timeout=15

​ 我们在配置文件加载的时候,将这几个参数一并加载。

lars_loadbalance_agent/include/main_server.h

#pragma once
#include "lars_reactor.h"
#include "lars.pb.h"
#include "route_lb.h"

struct load_balance_config
{
    //经过若干次获取请求host节点后,试探选择一次overload过载节点
    int probe_num; 

    //初始化host_info主机信息访问成功的个数,防止刚启动时少量失败就认为过载
    int init_succ_cnt;

    //当idle节点切换至over_load时的初始化失败次数,主要为了累计一定成功次数才能切换会idle
    int init_err_cnt;

    //当idle节点失败率高于此值,节点变overload状态
    float err_rate;

    //当overload节点成功率高于此值,节点变成idle状态
    float succ_rate;

    //当idle节点连续失败次数超过此值,节点变成overload状态
    int contin_err_limit;

    //当overload节点连续成功次数超过此值, 节点变成idle状态
    int contin_succ_limit;

    //当前agent本地ip地址(用于上报 填充caller字段)
    uint32_t local_ip;

// *************************************
    //整个窗口的真实失败率阈值
    float window_err_rate;

    //对于某个modid/cmdid下的某个idle状态的host,需要清理一次负载信息的周期
    int idle_timeout;

    //对于某个modid/cmdid/下的某个overload状态的host,在过载队列等待的最大时间
    int overload_timeout;
};
// *************************************

lars_loadbalance_agent/src/main_server.cpp

static void init_lb_agent()
{
    //1. 加载配置文件
    config_file::setPath("./conf/lars_lb_agent.conf");
    lb_config.probe_num = config_file::instance()->GetNumber("loadbalance", "probe_num", 10);
    lb_config.init_succ_cnt = config_file::instance()->GetNumber("loadbalance", "init_succ_cnt", 180);
    lb_config.init_err_cnt = config_file::instance()->GetNumber("loadbalance", "init_err_cnt", 5);
    lb_config.err_rate = config_file::instance()->GetFloat("loadbalance", "err_rate", 0.1);
    lb_config.succ_rate = config_file::instance()->GetFloat("loadbalance", "succ_rate", 0.92);
    lb_config.contin_succ_limit = config_file::instance()->GetNumber("loadbalance", "contin_succ_limit", 10);
    lb_config.contin_err_limit = config_file::instance()->GetNumber("loadbalance", "contin_err_limit", 10);
  //*******************************************
    lb_config.window_err_rate = config_file::instance()->GetFloat("loadbalance", "window_err_rate", 0.7);
    lb_config.idle_timeout = config_file::instance()->GetNumber("loadbalance", "idle_timeout", 15);
    lb_config.overload_timeout = config_file::instance()->GetNumber("loadbalance", "overload_timeout", 15);
  //*******************************************
    //2. 初始化3个route_lb模块
    create_route_lb();

    //3. 加载本地ip
    char my_host_name[1024];
    if (gethostname(my_host_name, 1024) == 0) {
        struct hostent *hd = gethostbyname(my_host_name);

        if (hd)
        {
            struct sockaddr_in myaddr;
            myaddr.sin_addr = *(struct in_addr*)hd->h_addr;
            lb_config.local_ip = ntohl(myaddr.sin_addr.s_addr);
        }
    }

    if (!lb_config.local_ip)  {
        struct in_addr inaddr;
        inet_aton("127.0.0.1", &inaddr);
        lb_config.local_ip = ntohl(inaddr.s_addr);
    }
}

​ 接下来我们要在load_balance进行report()的时候,之后可以触发判定

lars_loadbalance_agent/src/load_balance.cpp

//上报当前host主机调用情况给远端repoter service
void load_balance::report(int ip, int port, int retcode)
{
    //定义当前时间
    long current_time = time(NULL);
  
        //...
    //...
  
    // 窗口检查和超时机制 
    if (hi->overload == false) {
        //节点是idle状态
        if (current_time - hi->idle_ts >= lb_config.idle_timeout) {
            //时间窗口到达,需要对idle节点清理负载均衡数据
            if (hi->check_window() == true)   {
                //将此节点 设置为过载
                struct in_addr saddr;
                saddr.s_addr = htonl(hi->ip);

                printf("[%d, %d] host %s:%d change to overload cause windows err rate too high, read succ %u, real err %u\n",
                        _modid, _cmdid, inet_ntoa(saddr), hi->port, hi->rsucc, hi->rerr);

                //设置为overload状态
                hi->set_overload();
                //移出_idle_list,放入_overload_list
                _idle_list.remove(hi);
                _overload_list.push_back(hi);
            }
            else {
                //重置窗口,回复负载默认信息
                hi->set_idle();
            }
        }
    }
    else {
        //节点为overload状态
        //那么处于overload的状态时间是否已经超时
        if (current_time - hi->overload_ts >= lb_config.overload_timeout) {
            struct in_addr saddr;
            saddr.s_addr = htonl(hi->ip);
            printf("[%d, %d] host %s:%d reset to idle, vsucc %u,  verr %u\n",
                    _modid, _cmdid, inet_ntoa(saddr), hi->port, hi->vsucc, hi->verr);

            hi->set_idle();
            //移出overload_list, 放入_idle_list
            _overload_list.remove(hi);
            _idle_list.push_back(hi);
        }
    }
}

​ 每次report之前都会记录一个当前时间,那么如果当前时间超过一定时间,idleoverload节点都会进行一次判定。

idle

  1. 如果当前时间超过idle的判定时间周期,需要坚持是否触发窗口条件check_windows()

    lars_loadbalance_agent/src/host_info.cpp

    #include "host_info.h"
    #include "main_server.h"
    
    void host_info::set_idle()
    {
        vsucc = lb_config.init_succ_cnt;
        verr = 0;
        rsucc = 0;
        rerr = 0;
        contin_succ = 0;
        contin_err = 0;
        overload = false;
      //*********************
        idle_ts = time(NULL);//设置判定为idle状态的时刻,也是重置窗口时间
      //*********************
    }
    
    void host_info::set_overload()
    {
        vsucc = 0;
        verr = lb_config.init_err_cnt;//overload的初试虚拟err错误次数
        rsucc = 0;
        rerr = 0;
        contin_err = 0;
        contin_succ = 0;
        overload = true;
      //*********************
        overload_ts = time(NULL);//设置判定为overload的时刻
      //*********************
    }
    //*********************
    //计算整个窗口内的真实失败率,如果达到连续失败窗口值则返回true,代表需要调整状态
    bool host_info::check_window() {
        if (rsucc + rerr == 0) {
            return false; //分母不能为0
        }
    
        if (rerr * 1.0 / (rsucc + rerr) >= lb_config.window_err_rate) {
            return true;
        }
    
        return false;
    }
    //*********************
    
  1. 如果idle节点超过窗口的错误率判断,那么需要更改idle状态为overload

  2. 将idle从idle_list摘掉,放在overload_list中。

overload

如果overload节点超过指定时间,那么需要将overload节点切换为idle,重新放回idle_list中。


关于作者:

作者:Aceld(刘丹冰)

mail: danbing.at@gmail.com
github: https://github.com/aceld
原创书籍gitbook: http://legacy.gitbook.com/@aceld

原创声明:未经作者允许请勿转载, 如果转载请注明出处