2021ArchSummit全球架构师峰会上，大家在聊些什么

2021ArchSummit全球架构师峰会可以算得上是业界技术发展方向的一次风向标，作为刚刚参加工作两年的IT从业者，我从这次大会上学到了些什么呢？下面一起聊一聊。

大会PPT公开下载链接：https://ppt.infoq.cn/list/assh2021

大会主要情况介绍

2021 ArchSummit全球架构师峰会是该大会正式成立的第十年，是极客邦科技旗下InfoQ中国团队推出的重点面向高端技术管理者、架构师的技术会议。

会议聚焦业界强大的技术成果，秉承“实践第一、案例为主”的原则，展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。旨在帮助技术管理者、CTO、架构师做好技术选型、技术团队组建与管理，并确立技术对于产品和业务的关键作用。

作为刚刚参加工作两年的IT从业者，我从这次大会上学到了些什么呢？下面一起聊一聊。

主题演讲

本次大会的主题演讲可以算得上是业界技术发展方向的一次风向标。来自阿里巴巴的数字供应链资深技术专家黄浩分享了题为《二十年观察：分布式架构的演进和方向性发展》主题演进，从该演讲可以感受到，“分层架构”是整个架构演进之路中的一个核心且不变的东西，不管是当下的云原生时代，还是未来的云边一体协作计算模式，这是大道至简的一个核心。

其次，来自顺丰科技的架构委员会负责人刘潭仁老师做了题为《顺丰科技架构升级之路》的主题演进，这让我意识到不管是哪个行业，技术的实践与落地离不开组织架构的支撑，组织架构也是“架构”中一个十分重要的研究课题。

最后，来自阿里巴巴的吴翰清（道哥）做了题为《我对计算的理解》主题演讲，道哥的分享没有使用PPT，但他思路清晰地从计算机发展的历史、数字化转型升级的发展以及计算的本质是对现实世界的模拟阐述了他所理解的计算，他说：“淘宝是一种计算，百度是一种计算，AI 也只是一种计算。计算要解决的核心问题是模拟和预测的问题，计算机科学是通过机器来解决模拟和预测的问题。”且在最后，他表达了对计算的未来的展望，他认为计算的未来是创造，这也将是一件颠覆性的工作。

对本次大会做一个全面性的概述吧，本次大会涵盖云原生、容器化、微服务架构；弹性架构实践；大数据和AI结合的系统架构；DDD(领域驱动设计)落地实践以及数字化转型等多个议题，通过议题可以感受到云原生、大数据、人工智能对软件领域的深刻变革和影响。以上领域是来自互联网企业的最佳实践分享，对于传统行业的技术发展同样有着巨大的借鉴意义，特别是在国产化转型的时代背景下，下主机工程、研发自主可控技术的目标驱动下，云原生、容器化、微服务等技术都亟待我们去深入学习并应用到银行的技术体系中，兼容并蓄，取长补短是我们接下来需要做的工作。

参加的课程及个人思考及收获

本次大会，我结合工作需要聆听了以下方向的议题，分别是微服务架构、云原生容器化、弹性计算架构实践、大数据和AI结合的系统架构。

微服务架构、云原生容器化

《面向生产环境的中间件容器化实践》

演讲者：张晓龙博士 网易数帆 基础架构总监
张晓龙博士带来的演进从背景、需求与平台架构、解决共性问题的最佳实际以及他们后续的工作计划几个方面进行了分享。

开源基础中间件如MySQL/Redis/Kafka等已发展成熟多年，目前已成为业界技术标准，但这些中间件诞生之初并不是面向云原生进行设计的，这就导致了一些运维方面的挑战，例如运维复杂性高、运维效率低、稳定性保障不足、弹性能力不足等，而云化正好可以提升以上方面的难题，目前在业界，中间件云服务化已逐渐成为趋势。

网易数帆第一代云基础中间件平台构建在网易云基础设施上以获得弹性，采用IaaS租户隔离策略，抽象出公共服务并实现能力复用，以上策略使得中间件运维水平、效率、弹性、SLA保障等能力得到显著提升。

同时，从该演讲可以了解到，目前业界云化的事实标准是以容器技术Docker、K8S为代表，作为基础设施在业界得到广泛落地。容器技术Docker、K8S具有以下技术优势。

《虎牙云原生容器化实践：从服务化ES，MQ到异地多活》

演讲者：张波 虎牙直播 基础保障部 中间件负责人

张波老师从一个中间件的故障实例引入，介绍了虎牙直播在中间件领域遇到的挑战和思考，以及他们在中间件容器化建设过程中踩过的那些坑。

整个分享听下来，我个人觉得虎牙直播在中间件领域遇到的最大挑战还是资源利用率偏低这个难题，整个生产集群中，低载实例在70%左右；其次是问题定位处理能力低，定位力度粗，缺乏隔离恢复手段。

通过混布与隔离、限流/熔断降级、全链路消息轨迹追踪等技术手段，虎牙直播解决了低载、问题定位处理能力低等问题。

混布与隔离：虎牙直播的中间件集群与业务在线集群是同一套，但在集群内部通过中间件Topic容量动态规划Brocker数量。当请求量大时，负载较高提供独立实例；当请求量小时，采用逻辑隔离的方式。

限流/熔断降级：通过微服务提供消息服务，根据线程数/TPS/QPS进行限流，采用削峰填谷的方式，保障服务的质量。

全链路消息轨迹追踪：对消息从生产方发出到消费方处理的全链路追踪，把整个过程中各个相关节点的时间、地点等数据汇聚成完整链路信息。

《云原生微服务治理架构深度解读和实践》

演讲者：童子龙 腾讯云 中间件高级工程师

童老师从云原生微服务架构的思考与实践，以及对腾讯云微服务治理框架的深度解读介绍了他们所做的一些工作以及后续的一些计划。

对于云原生微服务架构的理解，童老师认为应该是容器化部署的；且是面向配置的：一个镜像，多个环境配置；同时应当表现出高SLA：低开销、高性能、高可用性；且是可观测的：集群级别的日志、metric和链路追踪；最后在安全性方面：访问授信、API Gateway、端到端加速也是必要的。

在本分享中，他也提出了微服务治理的趋势：

（1） 多语言、多协议适配

（2） 核心治理能力标准化、可扩展

（3） 民主化松耦合，无厂商依赖

（4） 治理能力下沉，全面兼容开源

（5） Clound native，run anywhere

正是以上趋势，以及种种原因，使得分层设计十分重要，特别是当前微服务框架协议不统一；加之对扩展性、易用性考量；以及微服务中间件多样性、平台多样性。同时，上层治理平台能力边界各异，平台按照各自的需求，组合底层治理组件能力，达到以instrumentation的方式快速接入的效果。

弹性计算架构实践

《基于云原生的弹性架构设计与生态体系建设实践》

演讲者：赵岚玉（赵宇） 菜鸟网络 技术专家

赵老师的演讲从IDC到混合云、公有云，以及对云弹性的思考与落地实践进行了分享。

对于业务出海以及大促扩容的场景，菜鸟网络通过国内IDC以及公有云VPC的方式，高效提升了交付能力，攻克了中间件在混合云架构下的适配与安全问题。

且依靠混合云架构，在大促资源储备方面，由过去的10个月降低至40天，资源交付能力提升10倍+。通过大促的弹性实践，推动了菜鸟网络的日常弹性，主要依靠的是自适应策略来达到这种效果，通过日常弹性，使得应用日均CPU利用率提升70%。

在公有云的架构实践方面，菜鸟网络通过上云实现了以下收益：

（1） 精细化管控成本

（2） 核心云产品具备多可用区保障

（3） DevOps研发模式升级

（4） 云上组件丰富，可节省业务创新的技术成本

对比IDC和云，我们可以看到其各自的痛点。虽然IDC的模式下，交付周期较长，但其显著的收益是成本按需申请，不易发生失控。但同时我们也要看到，上云可以解决资源弹性，实现快速升降配的目的。

《阿里DChain中台的弹性架构设计与深度实践》

演讲者：冯微峰（诸葛瑾） 阿里巴巴 资深技术专家

冯老师是供应链技术领域的专家，他所做的演讲从阿里供应链中台介绍，到中台开放弹性架构设计，再到弹性架构下稳定性设计与深度实践进行了分享。

个人最大的感受是大企业在发展到一定阶段，会面临一些前所未见的量级挑战，正如阿里巴巴集团供应链领域，目前资产规模是千亿，涵盖15个大域，26个BU（事业群），如何做到行业快速接入以及资源的弹性伸缩是一个巨大的挑战。

对于实现“行业快速接入”这个课题，阿里提出了CLED(Coniguration+LowCode+Extension+Development)的设计理念。个人认为可配置化是十分重要且基础的一个理念，这个设计原则可以帮助我们实现一套代码，多平台运行，并达到易扩展的目标。

对于“弹性伸缩”这个课题，阿里提出了基础设施即代码(IaC)的概念，IaC意味着可弹性和可替换。

围绕这两个设计理念，阿里供应链实现了近百个行业快速接入，40%的行业需求配置化（Configuration）实现，40%的行业需求（LowCode+Extension）实现，20%的行业需求（Development）实现，行业需求平均交付时长从14天缩短到5.8天。

整个分享下来，其实核心还是可配置化的实现，以及借助云原生利器Kubernetes实现了整个中台的弹性伸缩。这也是我行可以对标的一个方向。

大数据和AI结合的系统架构

《大融合时代：消息、流、存储三位一体》

演讲者：郭斯杰 StreamNative联合创始人兼CEO

郭老师演讲的主题围绕Apache Pulsar展开，在Pulsar之前，消息队列中间件框架以Kafka、RocketMQ、RabbitMQ、ActiveMQ为主，但这些消息队列都部署面向云原生进行设计的。

而在云原生时代，他认为一个好的架构应该是存储和计算分离、节点对等、独立扩展、灵活扩容、快速容错的。在云原生架构下，Pulsar内部自实现了企业级流存储层BookKeeper，该存储层有以下特点：低延时、高吞吐、持久化、强一致、高可用、I/O隔离。

Pulsar的企业级特性是：适应大集群、多租户的特点，可以保证集群内中间件版本的一致性；同时，它原生支持跨地域复制的特性也十分适合企业用户跨地域容灾的需求。

前面提到的传统消息队列要么以队列模式为主，要么以流模式为主，而Pulsar是以队列+流一体融合发展的。正是因为这样的设计模式，才使得Pulsar即适合实时场景，也适合批量场景，其场景兼容性得到很大的提升。

目前Apache Pulsar在腾讯、华为云、虎牙直播、平安证券都有广泛的落地应用，后续在数据系统相关建设时可以考虑引入，提升企业自身的技术领先水平。同时也可以感受到，Pulsar有取代Kafka成为云原生时代消息队列的野心。

《携程万亿级KV存储治理演进之路》

演讲者：李剑 携程网 技术保障中心 技术专家

李老师在KV存储领域有丰富的研发经验，他的演讲分享了携程KV存储发展历程及架构实践，特别是在Redis治理演进过程中的相关实践和思考。

携程从2013年开始引入Redis和Memcached，在2017年对Redis做了容器化，2018年至2019年做了Redis二次调度与水平拆分方面的工作，从2020年初开始主要是对Redis水平扩缩容和持久化KV落地做了大量工作。

携程所遇到的问题其实总结起来也是对宿主机资源利用率的问题，促使他们做了以上方面的演进。

特别是在持久化KV方面，为了实现数据持久化、节约内存成本，携程做了持久化KV的技术选型，他们选型的标准是：

（1） 业界主流

（2） 有成熟的中间件

（3） 运维治理配套完善

（4） 性能快，能方便10X扩展

（5） 可以二次开发，独立演进

目前国内的互联网企业的KV存储产品主要有：

最终携程选择了kvrocks作为他们的持久化KV，首先该产品是一个单体应用，无私货；其次它对Redis命令语义兼容度最高；另外它的性能与Redis几乎无差异。

目前区块链领域普遍采用KV数据库进行世界状态存储，且在写性能方面遇到了较大的瓶颈，携程的持久化KV演进之路可以给区块链存储提供大方向上的指引，同时，在架构层面上可以考虑缓存层的优秀作用，进一步提高区块链在读写方面的性能。

《存算分离架构下的数据湖架构》

演讲者：程力 腾讯云 高级工程师

程老师在存储领域有深厚的积累，他个人是Apache Ozone PMC以及Apache Hadoop Commiter。本次演讲他从云原生生态下的存算分离、数据湖三层加速以及大数据和AI下的数据湖架构进行了分享。

数据存储经历了以下阶段的发展：

（1） 存算一体：孤岛

（2） 存算分离：存储、计算解耦

（3） 数据湖：存储统一

（4） 云原生：计算统一

促使整个存储架构不断升级的原因除了业务的发展外，本地盘HDFS压力大、运维成本高，业务间数据共享难，计算节点调度效率低等也是重要的原因。目前，腾讯云实现了以对象存储为底座的存算分离架构。

同时，腾讯云数据湖的三层加速也十分值得借鉴和学习。在存储端，腾讯云通过对象存储COS加速器实现数据加速；在数据端，通过元数据加速达到该层加速的目标；在计算端，通过湖仓缓存加速来达到目标，这一层命名为GooseFS。

特别值得一提的是，在元数据加速层，元数据被缓存到计算节点Metadata Cache中，并通过RocksDB进行持久化。这个设计其实可以为我们所借鉴。

在区块链的世界状态数据存储中，我们可以实现各个节点的“Metadata Cache”，再对相关Cache进行持久化存储到RocksDB。

后续工作思考

区块链领域的云原生容器化工作展望

本次会议的主旨围绕的领域是云原生与容器化，而Kubernetes、Docker作为当下整个业界的事实标准，几乎在每一场报告中都能听闻其声影，互联网行业也针对自身的业务场景，以及对降本增效的追求提出了许多有挑战性的课题与方案，他们当中不乏有对以上开源框架进行改造并适配到自身架构中的。

区块链作为一项炙手可热的技术，在云原生时代也可以顺技术潮流而持续发展。Hyperledger fabric整个技术架构还是较为符合云原生架构的，特别是在节点容器化、可配置化等方面做了大量的工作，后续可以结合本次大会的技术风向，深入探索k8s在区块链领域是否能有更为深入的应用，以提升整个区块链运维能力为目标，甚至达到业界所达到的AIOps的成效。

区块链存储效率提升方面的工作展望

本次会议有相关大数据架构领域的报告，大数据技术在当下历史发展的浪潮中也有广泛的应用，数据作为全新的生产要素，其重要程度不言而喻。

在区块链领域，对数据的存储、加密其实也是围绕数据这一生产要素展开了一系列的工作。但目前的区块链在存储效率方面还有较大的提升空间，除了寻求从区块链内核级的优化外，从本次大会中我得到了架构方面的启发。

特别是在KV持久化和Cache的架构应用工程实践中，应该能有效提升区块链存储效率。

区块链在弹性计算方面的工作展望

本次会议中，互联网企业所分享的他们在弹性计算方面的工作也十分值得借鉴，这是技术对于企业IT成本方面的贡献，弹性计算可以提升我们对资源的利用和管控，实现对IT成本精细化运营。

从另一个维度来看，弹性计算可以提升整个系统的运行稳定性，使得系统在面对流量洪峰等场景时能够快速进行扩容，这是提升系统SLA的一个重要维度。

区块链系统在未来走向大规模应用过程中，运维能力是十分重要的一项能力，而弹性计算则有望成为区块链系统在运行时的重要保障。

对该会议的评价

2021 ArchSummit全球架构师峰会总体来说质量较高，每一位分享嘉宾都是业界技术能力很强的老师，他们所分享的课题都是他们在企业实践中总结出来的宝贵经验，且也共同代表了整个业界技术发展的风向标，有较高的借鉴意义。

但同时对于每一场分享我们也要抱着怀疑的态度，取长补短，而不是全盘接受，找到适合企业自身技术发展最合适的路径才是我们参会的初衷，以上。

更多关于大数据、分布式、存储、区块链、Linux相关文章请关注微信公众号：asympTech渐进线实验室

GitHub、知乎、博客园、CSDN、简书全网唯一id：JasonCeng