C++分布式实时应用框架——微服务架构的变异

 技术互换合作QQ群:436466587 欢迎研商互换

上一篇:(四):C++分布式实时应用框架——状态为主模块

 

版权注解:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等行为保留法律追究的权利!

 

  OCS(online charging
system,在线计费系统)在拓展云化改造的长河中,从实用主义角度出发,微服务架构并不是我们的目的。即使我们也对系统举行了容器化改造(Docker),并基于业务经过的机能将系统分为了好几类的器皿,但这总体多是由于对系统中的某些处理节点开展动态扩缩容的内需,跟微服务半点关系并未。随着系统改造
的入木三分,系统的报导关系复杂程度开端抢先大家事先的估量。假设说数量过多的职能节点还有人可以勉强了然,这么些节点间错综复杂的简报关系连线已领先程序员能够驾驶的层面。在谈论哪些简化程序员实现全连串统各项节点的报道关系的部署过程中,节点微服务化的见识日益进入大家的脑海之中……

  上边先给我们介绍下大家所面临的窘境,下面的图是大家系统部分节点的报道关系总图(注意,只是其中有些):

图片 1

 

  还记得第二篇《基于ZeroMQ的实时报道平台》中特别大家引以为傲的报导配置文件呢,就是程序中装有的通讯连接关系不再是写死在代码中,而是通过AppInit.json配置文件进行部署,程序启动的时候再由CDRAF举办实时加载。当初酷炫的效益,现在却成大家的噩梦。此时AppInit.json这多少个文件已抵达1700多行,你没看错,一个配备文件1700多行,并且还不是一切,还会持续变大。

 

"OLC" : {
      "AUTO_START" : "YES",
      "ENDPOINTS" : [
         {  // 用于与SmartMonitor建立心跳
            "name" : "MonitorSUB",   
            "zmq_socket_action" : "CONNECT",  // ZMQ的连接模式
            "zmq_socket_type" : "ZMQ_SUB"     // ZMQ的通讯模式
         },
         { // 下发消息给OCDis,这边存在转发功能,支持业务实现按条件转发
            "downstream" : [ "OCDis2OLC"],
            "name" : "NE2OLC",                // 根据这个名字在业务代码中实现转发
            "zmq_socket_action" : "BIND",
            "zmq_socket_type" : "ZMQ_STREAM" 
         },
         { // OLC到OCDis的链路
            "name" : "OCDis2OLC",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
         { // OCDis回OLC的链路,之所以来去分开,主要用于实现优雅启停功能(启停节点保证不丢消息)
            "name" : "OCDis2OLC_Backway",
            "statistics_on" : true,
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER",
            "backway_pair" : "OCDis2OLC"
         },
         {  // 用于与SmartMonitor的命令消息链路
            "name" : "OLC2Monitor",
            "zmq_socket_action" : "CONNECT",
            "zmq_socket_type" : "ZMQ_DEALER"
         },
      ],
      "ENDPOINT_TO_MONITOR" : "OLC2Monitor",
      "INSTANCE_GROUP" : [
         {
            "instance_endpoints_address" : [
               {
                  "endpoint_name" : "NE2OLC",
                  "zmq_socket_address" : "tcp://*:6701"
               },
               {
                  "endpoint_name" : "OCDis2OLC",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7201"   // 跨机的IP地址与端口,配合状态中心可实现自动管理,无需人工参与配置
                  ]
               },
               {
                  "endpoint_name" : "OCDis2OLC_Backway",
                  "zmq_socket_address" : [
                     "tcp://127.0.0.1:7202"
                  ]
               },
               {
                  "endpoint_name" : "OLC2Monitor",
                  "zmq_socket_address" : "ipc://Monitor2Business_IPC"
               },
               {
                  "endpoint_name" : "MonitorSUB",
                  "zmq_socket_address" : "ipc://MonitorPUB"
               }
            ],
            "instance_group_name" : "1"
         }
      ]
   },

 

  一个业务程序员如若要调整系统中某个程序的报导连接,一定得盯着下面这副图探讨半天,并且要搞精晓“CONNECT”、“BIND”、”ZMQ_ROUTER”、“ZMQ_DEALER”等等这一个zeromq专业词汇的意义,才可能开展准确配置,大家隐隐感到这已是一个mission
impossible。咋样简化这么些布局文件,怎么着对系统的复杂度举行分层,让不同层级的人手只有只需关注自己层级意况,再通过我们的CDRAF最后将这一个散落的配置、代码组成一个完成可运行的系统才是我们现在亟待解决的问题。相信这也是每个系统架构师所面临的题材,当一个系统的复杂度超过单个人可承受能力范围,就要对这多少个体系举行适宜分层,分模块。让各个人去管理一小部分复杂点,并且我们只需兑现好和谐的模块,无需去关注其它模块的兑现细节。通过事先设计好的接口,各类模块可以互相协作,整系列统是可以依此完美地运行的。这里CDARF正是起这样一个两样模块的桥梁(接口)的功能。

  一、节点间通讯情势的合并

  原来节点内的应用程序都是通讯全能应用程序,所谓全能是指应用程序既可以跟节点内的历程展开报道也可以跟节点外的任性进程展开报道。这样乍看起来没啥问题,但假如节点数和经过数变多后,通讯关系将是一个指数级增长的经过。如下图,倘诺再充实一个CDR节点,或者OCS节点,连接数都将大增非常多。

  图片 2

  我们的解决办法是联合节点的简报情势,每个节点内都有一个Dis进程,统一对外承担跟其他节点开展报道。在吸纳外部发给节点的信息后,依据效益和负载转发给内部业务处理进程。业务过程要是有音讯需要发往另外节点,就直接发给Dis进程,由它举行中转。统一通讯形式带来的便宜除了在节点和经过增多后,通讯关系不会变得太复杂以外。由于格局统一,
CDARF可以替业务程序员完成很多办事,直接的利益就是事情程序员不再需要安排很多与作业无关的配置。最大化的将报道模块的复杂度留给CDRAF去处理,业务程序员将尤为专注于我的政工逻辑。下边的图中其实系统起初已经有微服务的指南,但大家盼望完成的不仅是从系统架构上是微服务架构,在程序员开发顺序的时候,也应当是带着微服务思维的,我们的CDRAF应该提供这样一种力量来支撑这种支付形式。

  图片 3

 

  二、配置文件的简化

  通讯格局统一后,我们对报道配置文件举办了一回较大的简化,从原先1700行收缩到了200行左右。这中档省去了过多冗余的配置项,通讯配置文件不再是对系统通讯简单间接的对应,而更多的是对节点通讯能力的一种表述。

  应用程序分为Dis和非Dis两类,Dis类程序首要担负节点间的报道和节点内的音信转发,非Dis类程序就是一般的事务处理过程。从底下的文本中能够看看“OCDis”进程中分为“InterContainerEndpoints”和“InnerContainerEndpoints”两大类,分别表示节点间的报道和节点内的通讯。对于节点间的通讯,每个服务端口只要写上相应的“服务名字”就足以以了,配置中的“OCDisCDRDis”表示OCSDis与CDRDis的报道,“OLCDisOLCProxy”、“OCDis_SyDis_SNR”也是近乎。当工作侧程序需要对外提供一个劳动(或者说与外表举办报道),只需要写一个劳务名字,而如:端口、机器的IP地址、服务端如故客户端、通讯格局等等都完全不需要去关注,这是多大一种便利。配置中的注释部分是不需要工作程序员去填的,而是由CDRAF的场合为主,依照集群节点的实时状态自动生成,并展开连接和保障。

  

{
  "OCDis": {
    "MaxInstanceGroupNum": 3,
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis": 
      {
        //"Port": [6001, 6002, 6003],
        //"Cluster": ["10.45.4.10:6001", "10.45.4.10:6001"]
      },

      "OCDisOLCProxy": 
      {
        //"Port": [6101, 6102, 6103],
        "DownStreams": ["OCDis2IN", "OCDis2PS", "OCDis2SMS", "OCDis2ISMP", "OCDis2IMS"],
        "router": true
      },
      "OCDis_SyDis_SNR": 
      { 
          //"Peer": "ZSmartSyDis.OCDis_SyDis_SNR" 
      }
    },

    "InnerContainerEndpoints": 
    {
      "OCPro_OCDis_CDR": { "DownStreams": ["OCDisCDRDis"] },
      "OCPro_OCDis_SNR": { "DownStreams": ["OCDis_SyDis_SNR"] },
    }
  },

  "OCPro": {
    "Groups": ["IN", "PS", "SMS", "IMS", "ISMP"],
    "InnerContainerEndpoints": {
      "OCPro2OCDis": {
        "PeerMap": [
          "OCDis.OCDis2IN",
          "OCDis.OCDis2PS",
          "OCDis.OCDis2SMS",
          "OCDis.OCDis2ISMP",
          "OCDis.OCDis2IMS"
        ]
      },
      "OCPro_OCDis_SNR": {"Peer": "OCDis.OCPro_OCDis_SNR"},
      "OCPro_OCDis_CDR": {"Peer": "OCDis"}
    }
  },

  "CDRDis": {
    "InterContainerEndpoints": 
    {
      "OCDisCDRDis" : 
      {
        "DownStreams": ["CDRDisCDR"],
        //"Peer": "OCDis"
      }
    }
  },

  "CDR": {
    "InnerContainerEndpoints": 
    {
      "CDRDisCDR" : {"Peer": "CDRDis"}
    }
  }
}

  想像一下,对于每一个工作节点,开发人士仅需考虑节点内的事体实现逻辑,并为本节点对外所提供的劳务起个名字,而不再需要关怀那多少个服务到底是提供给什么人,更不要顾虑何人会来连我的经过,怎么连。这是多么精细的事务!大家不仅是从架构上落成了微服务架构,程序员在付出工作程序的时候,不需要去关爱除了本身模块以外的别样复杂音讯,从此能够轻装上阵,而不再需要负重前行。这应当就是CDRAF对微服务架构提供的最直白、最好的援助了,帮助工作程序员从观念的支付形式转变,进而适应微服务的沉思方法。

图片 4

 

  三、节点间的简报关系安排

  下边大家提到配置文件只定义了节点的劳务名,那么这样多的微服务节点是何等结合起来工作的?一个作业应用体系会由许多的微服务一起共同提供劳务,这多少个劳动对于每个不同的现场恐怕效果是不一样的,或者说微服务汇集是不一致的。那么,对这个微服务的三结合的经过就像一个“编排”的经过。通过“编排”,选拔恰当的微服务举行搭配组合提供劳务,而编制的长河就是我们报道建立的过程。上边我们就来看一下CDRAF是何许完成“编排”效率的。

  图片 5

图片 6

  上边的第一张表,描述了富有的微服务列表,所有节点服务要向外通讯都不可能不到这张表中追加对应的服务名,那里的劳务名是与眼前配置文件中的服务名相对应的。第二张表描述了这一个微服务名以内的报道关系,比如第二条记下表明的是OCDis程序的OCDis2CDRDis到CDRDis的OCDis2CDRDis之间会有一个简报关系。只要通过这么些简单的部署,就足以做到多少个节点间的报导关系的建立。这样的宏图会带动多少个便宜。

  1、对于一个错综复杂的连串,可能有几十类微服务节点,运行实例可能有好两个,如若有地点的表二,就足以容器的从上边的数据中画出全体集群的实时拓扑图,这么些对于系统的监控是非常关键的。

  2、集群通讯关系的计划性上升了一个阶段,业务程序员只需要依据模块接口设计提供相应的微服务节点,而不需要关注与任何微服务是咋样协调工作的。而那多少个微服务如何“编排”提高到了架构师的办事范围的层级。这眼看是对复杂度举办分层隔离很好的一个范例。

  3、运维或者管理人员,通过表二的配置可以很容易地操作集群里的某个微服务下线或者上线。在一个翻天覆地的集群里面,如果某类微服务出故障,而CDARF提供了这样一种手段可以去让这类故障微服务下线,将给系统的鸡西久安带来巨大的可靠保证。

  4.、原来集群拥有的简报都安排在一个文本中,在分布式系统中就事关文件的全局一致性的题材。解决的方案可能是,假如要上线一个新类型的布局文件(新增节点、删除节点、通讯关系转移等等),就要去立异具有在网节点的配备文件。但此时一经新的配备文件有bug,那么可能造成整个集群的故障,并且为了提升某个功用去提高总体集群拥有节点的布局也是极不合理的。在新的方案中,节点的布置只定义节点内的通讯和对外提供的微服务名。那么一旦要新增某体系型的微服务,不再需要去改进任何节点的安排,只需要将新节点上线,然后在上边的表一新增微服务名,表二充实连接关系就足以了。真正成功了增量升级!

 

  未完待续……

 

相关文章

网站地图xml地图