C++分布式实时应用框架——微服务架构的演进

 技术交换合作QQ群:436466587 欢迎钻探交换

上一篇:(四):C++分布式实时应用框架——状态为主模块

 

版权声明:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等表现保留法律追究的权利!

 

  OCS(online charging
system,在线计费系统)在展开云化改造的长河中,从实用主义角度出发,微服务架构并不是我们的目标。即便我们也对系统举行了容器化改造(Docker),并依据工作过程的职能将系统分为了一点类的容器,但这一体多是由于对系统中的某些处理节点开展动态扩缩容的需要,跟微服务半点关系没有。随着系统改造
的念念不忘,系统的通讯关系复杂程度起先超过我们事先的估价。假如说数量众多的功效节点还有人能够勉强精晓,这么些节点间错综复杂的报道关系连线已抢先程序员能够精通的框框。在研商咋样简化程序员实现所有系统各项节点的简报关系的安排过程中,节点微服务化的眼光日益进入我们的脑海之中……

  下边先给大家介绍下我们所面临的困境,上面的图是我们系统部分节点的报导关系总图(注意,只是其中有的):

图片 1

 

  还记得第二篇《基于ZeroMQ的实时报道平台》中很是大家引以为傲的报导配置文件呢,就是程序中存有的报道连接关系不再是写死在代码中,而是经过AppInit.json配置文件实行部署,程序启动的时候再由CDRAF举办实时加载。当初酷炫的职能,现在却成我们的噩梦。此时AppInit.json那多少个文件已抵达1700多行,你没看错,一个配备文件1700多行,并且还不是整整,还会持续变大。

 

"OLC" : {
      "AUTO_START" : "YES",
      "ENDPOINTS" : [
         {  // 用于与SmartMonitor建立心跳
            "name" : "MonitorSUB",   
            "zmq_socket_action" : "CONNECT",  // ZMQ的连接模式
            "zmq_socket_type" : "ZMQ_SUB"     // ZMQ的通讯模式
         },
         { // 下发消息给OCDis,这边存在转发功能,支持业务实现按条件转发
            "downstream" : [ "OCDis2OLC"],
            "name" : "NE2OLC",                // 根据这个名字在业务代码中实现转发
            "zmq_socket_action" : "BIND",
            "zmq_socket_type" : "ZMQ_STREAM" 
         },
         { // OLC到OCDis的链路
            "name" : "OCDis2OLC",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
         { // OCDis回OLC的链路,之所以来去分开,主要用于实现优雅启停功能(启停节点保证不丢消息)
            "name" : "OCDis2OLC_Backway",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER",
            "backway_pair" : "OCDis2OLC"
         },
         {  // 用于与SmartMonitor的命令消息链路
            "name" : "OLC2Monitor",
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
      ],
      "ENDPOINT_TO_MONITOR" : "OLC2Monitor",
      "INSTANCE_GROUP" : [
         {
            "instance_endpoints_address" : [
               {
                  "endpoint_name" : "NE2OLC",
                  "zmq_socket_address" : "tcp://*:6701"
               },
               {
                  "endpoint_name" : "OCDis2OLC",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7201"   // 跨机的IP地址与端口,配合状态中心可实现自动管理,无需人工参与配置
                  ]
               },
               {
                  "endpoint_name" : "OCDis2OLC_Backway",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7202"
                  ]
               },
               {
                  "endpoint_name" : "OLC2Monitor",
                  "zmq_socket_address" : "ipc://Monitor2Business_IPC"
               },
               {
                  "endpoint_name" : "MonitorSUB",
                  "zmq_socket_address" : "ipc://MonitorPUB"
               }
            ],
            "instance_group_name" : "1"
         }
      ]
   },

 

  一个事务程序员假若要调动系统中某个程序的通讯连接,一定得盯着地点那副图钻探半天,并且要搞精晓“CONNECT”、“BIND”、”ZMQ_ROUTER”、“ZMQ_DEALER”等等这一个zeromq专业词汇的含义,才可能展开精确配置,我们隐隐感到这已是一个mission
impossible。咋样简化这么些布局文件,怎样对系统的复杂度举行分层,让不同层级的人口只是只需关注我层级意况,再经过我们的CDRAF最后将这么些散落的配备、代码组成一个做到可运行的体系才是我们现在急需解决的题材。相信这也是每个系统架构师所面临的问题,当一个系统的复杂度抢先单个人可承受能力范围,就要对这几个体系开展适当分层,分模块。让各类人去管理一小部分复杂点,并且我们只需兑现好自己的模块,无需去关心另外模块的落实细节。通过事先规划好的接口,各类模块可以相互协作,整系列统是足以依此完美地运转的。这里CDARF正是起这样一个见仁见智模块的大桥(接口)的效应。

  一、节点间通讯情势的碰面

  原来节点内的应用程序都是通讯全能应用程序,所谓全能是指应用程序既可以跟节点内的长河展开报道也足以跟节点外的即兴进程展开报道。这样乍看起来没啥问题,但一旦节点数和经过数变多后,通讯关系将是一个指数级增长的长河。如下图,如若再充实一个CDR节点,或者OCS节点,连接数都将大增分外多。

  图片 2

  大家的解决办法是统一节点的报道格局,每个节点内都有一个Dis进程,统一对外承担跟任何节点举办报道。在收受外部发给节点的音讯后,依照效能和负载转发给内部事务处理过程。业务经过即便有消息需要发往此外节点,就径直发放Dis进程,由它举办转账。统一通讯格局带来的好处除了在节点和过程增多后,通讯关系不会变得太复杂以外。由于情势统一,
CDARF可以替业务程序员完成很多办事,直接的补益就是工作程序员不再需要配备很多与工作无关的配备。最大化的将通讯模块的复杂度留给CDRAF去处理,业务程序员将更为小心于自己的作业逻辑。下边的图中实际系统初始已经有微服务的金科玉律,但大家期望完成的不光是从系统架构上是微服务架构,在程序员开发顺序的时候,也应该是带着微服务思维的,我们的CDRAF应该提供这样一种能力来协助这种支付情势。

  图片 3

 

  二、配置文件的简化

  通讯形式统一后,我们对报道配置文件举行了四遍较大的简化,从原来1700行收缩到了200行左右。这中间省去了无数冗余的安排项,通讯配置文件不再是对系统通讯简单直接的呼应,而更多的是对节点通讯能力的一种表述。

  应用程序分为Dis和非Dis两类,Dis类程序主要负责节点间的报道和节点内的音讯转发,非Dis类程序就是司空眼惯的工作处理过程。从下面的公文中得以见到“OCDis”进程中分成“InterContainerEndpoints”和“InnerContainerEndpoints”两大类,分别表示节点间的通讯和节点内的通讯。对于节点间的简报,每个服务端口只要写上相应的“服务名字”就足以以了,配置中的“OCDisCDRDis”表示OCSDis与CDRDis的报道,“OLCDisOLCProxy”、“OCDis_SyDis_SNR”也是看似。当事情侧程序需要对外提供一个劳动(或者说与表面举行报道),只需要写一个服务名字,而如:端口、机器的IP地址、服务端依然客户端、通讯格局等等都统统不需要去关注,这是多大一种便利。配置中的注释部分是不需要工作程序员去填的,而是由CDRAF的状态为主,依照集群节点的实时状态自动生成,并拓展连续和掩护。

  

{
  "OCDis": {
    "MaxInstanceGroupNum": 3,
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis": 
      {
        //"Port": [6001, 6002, 6003],
        //"Cluster": ["10.45.4.10:6001", "10.45.4.10:6001"]
      },

      "OCDisOLCProxy": 
      {
        //"Port": [6101, 6102, 6103],
        "DownStreams": ["OCDis2IN", "OCDis2PS", "OCDis2SMS", "OCDis2ISMP", "OCDis2IMS"],
        "router": true
      },
      "OCDis_SyDis_SNR": 
      { 
          //"Peer": "ZSmartSyDis.OCDis_SyDis_SNR" 
      }
    },

    "InnerContainerEndpoints": 
    {
      "OCPro_OCDis_CDR": { "DownStreams": ["OCDisCDRDis"] },
      "OCPro_OCDis_SNR": { "DownStreams": ["OCDis_SyDis_SNR"] },
    }
  },

  "OCPro": {
    "Groups": ["IN", "PS", "SMS", "IMS", "ISMP"],
    "InnerContainerEndpoints": {
      "OCPro2OCDis": {
        "PeerMap": [
          "OCDis.OCDis2IN",
          "OCDis.OCDis2PS",
          "OCDis.OCDis2SMS",
          "OCDis.OCDis2ISMP",
          "OCDis.OCDis2IMS"
        ]
      },
      "OCPro_OCDis_SNR": {"Peer": "OCDis.OCPro_OCDis_SNR"},
      "OCPro_OCDis_CDR": {"Peer": "OCDis"}
    }
  },

  "CDRDis": {
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis" : 
      {
        "DownStreams": ["CDRDisCDR"],
        //"Peer": "OCDis"
      }
    }
  },

  "CDR": {
    "InnerContainerEndpoints": 
    {
      "CDRDisCDR" : {"Peer": "CDRDis"}
    }
  }
}

  想像一下,对于每一个事情节点,开发人员仅需考虑节点内的事务实现逻辑,并为本节点对外所提供的劳动起个名字,而不再需要关注那多少个服务到底是提供给什么人,更不要顾虑谁会来连自家的长河,怎么连。这是多么精细的作业!大家不仅是从架构上做到了微服务架构,程序员在开发业务程序的时候,不需要去关心除了自己模块以外的其余复杂信息,从此可以轻装上阵,而不再需要负重前行。这应当就是CDRAF对微服务架构提供的最直白、最好的辅助了,扶助工作程序员从传统的开销形式转变,进而适应微服务的合计方法。

图片 4

 

  三、节点间的通讯关系安排

  上边我们关系配置文件只定义了节点的劳务名,那么如此多的微服务节点是何等结合起来工作的?一个作业应用类别会由众多的微服务一起同步提供劳务,这一个劳务对于每个不同的现场恐怕效果是不同等的,或者说微服务会聚是不均等的。那么,对这么些微服务的三结合的进程就像一个“编排”的进程。通过“编排”,采取恰当的微服务举行铺垫组合提供劳务,而编制的历程就是我们报道建立的长河。上面我们就来看一下CDRAF是何许完成“编排”效用的。

  图片 5

图片 6

  下边的首先张表,描述了富有的微服务列表,所有节点服务要向外通讯都必须到这张表中加进对应的劳动名,这里的劳动名是与后边配置文件中的服务名相对应的。第二张表描述了这多少个微服务名以内的通讯关系,比如第二条记下表明的是OCDis程序的OCDis2CDRDis到CDRDis的OCDis2CDRDis之间会有一个通讯关系。只要透过这么些简单的布置,就可以成功五个节点间的通讯关系的创制。这样的计划会带动多少个好处。

  1、对于一个犬牙交错的系列,可能有几十类微服务节点,运行实例可能有广大个,假若有地方的表二,就足以容器的从上边的数目中画出任何集群的实时拓扑图,这个对于系统的督察是不行着重的。

  2、集群通讯关系的筹划上升了一个品级,业务程序员只需要基于模块接口设计提供相应的微服务节点,而不需要关怀与其他微服务是何许协调工作的。而这个微服务怎么样“编排”提高到了架构师的干活范围的层级。这彰着是对复杂度进行分层隔离很好的一个范例。

  3、运维或者管理人士,通过表二的部署可以很容易地操作集群里的某部微服务下线或者上线。在一个极大的集群里面,假如某类微服务出故障,而CDARF提供了如此一种手段可以去让这类故障微服务下线,将给系统的安静带来巨大的可靠保证。

  4.、原来集群拥有的报导都安排在一个文书中,在分布式系统中就提到文件的大局一致性的问题。解决的方案或者是,假使要上线一个新品类的布局文件(新增节点、删除节点、通讯关系转移等等),就要去革新具有在网节点的配置文件。但这时一经新的配备文件有bug,那么可能造成整个集群的故障,并且为了提高某个效能去提升总体集群拥有节点的布局也是极不合理的。在新的方案中,节点的布置只定义节点内的报导和对外提供的微服务名。那么只要要新增某体系型的微服务,不再需要去改进任何节点的安排,只需要将新节点上线,然后在下面的表一新增微服务名,表二充实连接关系就可以了。真正成功了增量升级!

 

  未完待续……

 

相关文章

网站地图xml地图