C++分布式实时应用框架——微服务架构的多变

 技术交换合作QQ群:436466587 欢迎啄磨互换

上一篇:(四):C++分布式实时应用框架——状态为主模块

 

版权注脚:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等行为保留法律追究的权利!

 

  OCS(online charging
system,在线计费系统)在进展云化改造的进程中,从实用主义角度出发,微服务架构并不是我们的目的。即使大家也对系统举办了容器化改造(Docker),并基于业务经过的功用将系统分为了少数类的容器,但那所有多是出于对系统中的某些处理节点举办动态扩缩容的内需,跟微服务半点关系尚未。随着系统改造
的深透,系统的简报关系复杂程度先导超过大家前边的估算。假设说数量过多的功力节点还有人可以勉强掌握,这么些节点间错综复杂的通讯关系连线已超越程序员可以明白的规模。在座谈哪边简化程序员实现全部连串各项节点的报导关系的配置过程中,节点微服务化的意见日益进入大家的脑际之中……

  上面先给我们介绍下大家所面临的泥坑,下边的图是我们系统部分节点的报导关系总图(注意,只是其中一部分):

图片 1

 

  还记得第二篇《基于ZeroMQ的实时报道平台》中非常我们引以为傲的报道配置文件呢,就是先后中负有的通讯连接关系不再是写死在代码中,而是经过AppInit.json配置文件举办安排,程序启动的时候再由CDRAF举行实时加载。当初酷炫的效能,现在却成我们的梦魇。此时AppInit.json这一个文件已到达1700多行,你没看错,一个配置文件1700多行,并且还不是漫天,还会继续变大。

 

"OLC" : {
      "AUTO_START" : "YES",
      "ENDPOINTS" : [
         {  // 用于与SmartMonitor建立心跳
            "name" : "MonitorSUB",   
            "zmq_socket_action" : "CONNECT",  // ZMQ的连接模式
            "zmq_socket_type" : "ZMQ_SUB"     // ZMQ的通讯模式
         },
         { // 下发消息给OCDis,这边存在转发功能,支持业务实现按条件转发
            "downstream" : [ "OCDis2OLC"],
            "name" : "NE2OLC",                // 根据这个名字在业务代码中实现转发
            "zmq_socket_action" : "BIND",
            "zmq_socket_type" : "ZMQ_STREAM" 
         },
         { // OLC到OCDis的链路
            "name" : "OCDis2OLC",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
         { // OCDis回OLC的链路,之所以来去分开,主要用于实现优雅启停功能(启停节点保证不丢消息)
            "name" : "OCDis2OLC_Backway",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER",
            "backway_pair" : "OCDis2OLC"
         },
         {  // 用于与SmartMonitor的命令消息链路
            "name" : "OLC2Monitor",
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
      ],
      "ENDPOINT_TO_MONITOR" : "OLC2Monitor",
      "INSTANCE_GROUP" : [
         {
            "instance_endpoints_address" : [
               {
                  "endpoint_name" : "NE2OLC",
                  "zmq_socket_address" : "tcp://*:6701"
               },
               {
                  "endpoint_name" : "OCDis2OLC",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7201"   // 跨机的IP地址与端口,配合状态中心可实现自动管理,无需人工参与配置
                  ]
               },
               {
                  "endpoint_name" : "OCDis2OLC_Backway",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7202"
                  ]
               },
               {
                  "endpoint_name" : "OLC2Monitor",
                  "zmq_socket_address" : "ipc://Monitor2Business_IPC"
               },
               {
                  "endpoint_name" : "MonitorSUB",
                  "zmq_socket_address" : "ipc://MonitorPUB"
               }
            ],
            "instance_group_name" : "1"
         }
      ]
   },

 

  一个业务程序员假诺要调动系统中某个程序的通讯连接,一定得盯着上边这副图钻探半天,并且要搞了然“CONNECT”、“BIND”、”ZMQ_ROUTER”、“ZMQ_DEALER”等等这个zeromq专业词汇的意义,才可能开展标准配置,我们隐隐觉得这已是一个mission
impossible。怎么样简化那多少个布局文件,怎么着对系统的复杂度举办分层,让不同层级的人士只有只需关注自身层级意况,再通过我们的CDRAF末了将那么些散落的配置、代码组成一个形成可运行的系统才是大家先天内需解决的问题。相信这也是各种系统架构师所面临的题目,当一个类另外复杂度抢先单个人可承受能力范围,就要对这一个系统举行适宜分层,分模块。让每个人去管理一小部分复杂点,并且大家只需兑现好温馨的模块,无需去关爱此外模块的实现细节。通过先行规划好的接口,各个模块可以相互协作,整序列统是可以依此完美地运转的。这里CDARF正是起这样一个例外模块的大桥(接口)的效果。

  一、节点间通讯形式的会见

  原来节点内的应用程序都是报道全能应用程序,所谓全能是指应用程序既可以跟节点内的经过展开报道也得以跟节点外的自由进程展开报道。这样乍看起来没啥问题,但万一节点数和过程数变多后,通讯关系将是一个指数级增长的进程。如下图,即便再扩充一个CDR节点,或者OCS节点,连接数都将追加万分多。

  图片 2

  大家的解决办法是统一节点的报道格局,每个节点内都有一个Dis进程,统一对外承担跟其他节点进行报道。在收到外部发给节点的消息后,依照效益和负载转发给内部工作处理过程。业务过程假若有信息需要发往另外节点,就一直发放Dis进程,由它举行转向。统一通讯情势带来的功利除了在节点和进程增多后,通讯关系不会变得太复杂以外。由于形式统一,
CDARF可以替业务程序员完成很多干活,直接的补益就是事情程序员不再需要配置很多与作业无关的配备。最大化的将报道模块的复杂度留给CDRAF去处理,业务程序员将尤其专注于自己的作业逻辑。下边的图中其实系统开首已经有微服务的楷模,但大家期望完成的不仅是从系统架构上是微服务架构,在程序员开发顺序的时候,也相应是带着微服务思维的,我们的CDRAF应该提供这么一种力量来支撑这种支付形式。

  图片 3

 

  二、配置文件的简化

  通讯格局统一后,我们对通讯配置文件举办了五遍较大的简化,从原先1700行裁减到了200行左右。这中档省去了广大冗余的配备项,通讯配置文件不再是对系统通讯简单直接的附和,而更多的是对节点通讯能力的一种表述。

  应用程序分为Dis和非Dis两类,Dis类程序重要担负节点间的报道和节点内的信息转发,非Dis类程序就是通常的政工处理进程。从下边的公文中得以见到“OCDis”进程中分成“InterContainerEndpoints”和“InnerContainerEndpoints”两大类,分别代表节点间的通讯和节点内的简报。对于节点间的报导,每个服务端口只要写上相应的“服务名字”就可以以了,配置中的“OCDisCDRDis”表示OCSDis与CDRDis的通讯,“OLCDisOLCProxy”、“OCDis_SyDis_SNR”也是看似。当工作侧程序需要对外提供一个劳务(或者说与表面举行报道),只需要写一个服务名字,而如:端口、机器的IP地址、服务端如故客户端、通讯情势等等都统统不需要去关心,这是多大一种有益。配置中的注释部分是不需要工作程序员去填的,而是由CDRAF的图景为主,遵照集群节点的实时情况自动生成,并举行连接和掩护。

  

{
  "OCDis": {
    "MaxInstanceGroupNum": 3,
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis": 
      {
        //"Port": [6001, 6002, 6003],
        //"Cluster": ["10.45.4.10:6001", "10.45.4.10:6001"]
      },

      "OCDisOLCProxy": 
      {
        //"Port": [6101, 6102, 6103],
        "DownStreams": ["OCDis2IN", "OCDis2PS", "OCDis2SMS", "OCDis2ISMP", "OCDis2IMS"],
        "router": true
      },
      "OCDis_SyDis_SNR": 
      { 
          //"Peer": "ZSmartSyDis.OCDis_SyDis_SNR" 
      }
    },

    "InnerContainerEndpoints": 
    {
      "OCPro_OCDis_CDR": { "DownStreams": ["OCDisCDRDis"] },
      "OCPro_OCDis_SNR": { "DownStreams": ["OCDis_SyDis_SNR"] },
    }
  },

  "OCPro": {
    "Groups": ["IN", "PS", "SMS", "IMS", "ISMP"],
    "InnerContainerEndpoints": {
      "OCPro2OCDis": {
        "PeerMap": [
          "OCDis.OCDis2IN",
          "OCDis.OCDis2PS",
          "OCDis.OCDis2SMS",
          "OCDis.OCDis2ISMP",
          "OCDis.OCDis2IMS"
        ]
      },
      "OCPro_OCDis_SNR": {"Peer": "OCDis.OCPro_OCDis_SNR"},
      "OCPro_OCDis_CDR": {"Peer": "OCDis"}
    }
  },

  "CDRDis": {
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis" : 
      {
        "DownStreams": ["CDRDisCDR"],
        //"Peer": "OCDis"
      }
    }
  },

  "CDR": {
    "InnerContainerEndpoints": 
    {
      "CDRDisCDR" : {"Peer": "CDRDis"}
    }
  }
}

  想像一下,对于每一个事务节点,开发人士仅需考虑节点内的事务实现逻辑,并为本节点对外所提供的劳务起个名字,而不再需要关怀这一个服务到底是提供给何人,更毫不操心什么人会来连自家的过程,怎么连。这是何其精细的工作!我们不然而从架构上到位了微服务架构,程序员在付出工作程序的时候,不需要去关注除了我模块以外的任何复杂音讯,从此可以轻装上阵,而不再需要负重前行。这应当就是CDRAF对微服务架构提供的最直白、最好的补助了,帮衬工作程序员从观念的开发形式转变,进而适应微服务的思想方法。

图片 4

 

  三、节点间的通讯关系安排

  下面我们提到配置文件只定义了节点的劳务名,那么如此多的微服务节点是何等构成起来工作的?一个业务应用类别会由众多的微服务一起同步提供劳务,这一个劳务对于每个不同的现场或者功效是不均等的,或者说微服务汇集是不均等的。那么,对这个微服务的构成的经过就像一个“编排”的历程。通过“编排”,采取合适的微服务举办铺垫组合提供劳动,而编辑的进程就是我们报道建立的进程。下边大家就来看一下CDRAF是如何做到“编排”效率的。

  图片 5

图片 6

  下边的率先张表,描述了具有的微服务列表,所有节点服务要向外通讯都不能够不到这张表中扩充对应的服务名,这里的劳务名是与前边配置文件中的服务名相对应的。第二张表描述了这么些微服务名以内的报导关系,比如第二条记下表明的是OCDis程序的OCDis2CDRDis到CDRDis的OCDis2CDRDis之间会有一个报道关系。只要通过那一个简单的配备,就可以形成五个节点间的报导关系的确立。这样的规划会带动几个好处。

  1、对于一个扑朔迷离的连串,可能有几十类微服务节点,运行实例可能有过多少个,假如有地点的表二,就足以容器的从下面的数额中画出总体集群的实时拓扑图,这么些对于系统的监察是非常至关首要的。

  2、集群通讯关系的统筹上升了一个等级,业务程序员只需要依照模块接口设计提供相应的微服务节点,而不需要关爱与另外微服务是如何协调工作的。而这个微服务怎么着“编排”提升到了架构师的做事范围的层级。那彰着是对复杂度进行分层隔离很好的一个范例。

  3、运维或者管理人士,通过表二的布局可以很容易地操作集群里的某个微服务下线或者上线。在一个硕大的集群里面,假设某类微服务出故障,而CDARF提供了这样一种手段可以去让那类故障微服务下线,将给系统的安居乐业带来巨大的可靠保证。

  4.、原来集群拥有的简报都安排在一个文件中,在分布式系统中就提到文件的全局一致性的题目。解决的方案可能是,假设要上线一个新类型的部署文件(新增节点、删除节点、通讯关系转移等等),就要去革新具有在网节点的布置文件。但此刻假诺新的布置文件有bug,那么可能导致整个集群的故障,并且为了提高某个效能去提高总体集群拥有节点的安排也是极不合理的。在新的方案中,节点的部署只定义节点内的通讯和对外提供的微服务名。那么只要要新增某连串型的微服务,不再需要去立异任何节点的配置,只需要将新节点上线,然后在上头的表一新增微服务名,表二日增连接关系就足以了。真正形成了增量升级!

 

  未完待续……

 

相关文章

网站地图xml地图