在当今大数据时代，企业对实时数据处理的规模、速度和可靠性的要求日益严苛。金山云，作为国内领先的云计算服务提供商，其平台每日需要处理的数据量已达TB级别，涵盖海量的日志记录、应用指标和用户行为数据。面对如此巨大的数据洪流，传统的消息队列和流处理平台在吞吐量、延迟、可扩展性及运维复杂度等方面逐渐显现出瓶颈。为了构建一个更强大、更高效的日志服务与实时数据处理服务，金山云经过深入的技术选型与评估，最终选择了Apache Pulsar作为其核心基础设施。
一、 挑战：TB级数据洪流下的核心诉求
金山云原有的数据处理架构在处理日均TB级数据时，主要面临以下几个关键挑战：
- 海量吞吐与低延迟的平衡：日志类数据爆发性强，需要消息中间件能稳定支撑极高的写入吞吐（百万级QPS），同时保证端到端的毫秒级低延迟，以满足实时监控、报警和数据分析的需求。
- 无限的弹性扩展：业务增长不可预测，数据量可能瞬间激增。系统需要具备无中断的水平扩展能力，能够轻松应对流量峰值，而无需复杂的重新分区或数据迁移。
- 数据的持久化与可靠性：日志和事务数据是企业的核心资产，必须保证数据不丢失、不重复，并支持长期保留，以供后续审计、回溯分析和合规性检查。
- 云原生与多租户支持：作为公有云服务商，需要为成千上万的客户提供隔离、安全、可独立计费的服务实例，对资源隔离和租户管理有天然要求。
- 统一的架构简化运维：希望用一个统一的平台同时替代传统的消息队列、日志总线和实时流处理中间件，降低技术栈的复杂性和运维成本。
二、 为何选择Apache Pulsar？
在对比了Kafka、RocketMQ等主流技术后，Apache Pulsar凭借其独特的架构设计，完美契合了金山云的上述需求。
- 分层架构（计算与存储分离）：Pulsar采用计算（Broker）与存储（BookKeeper）分离的架构。Broker节点无状态，负责消息的收发和协议处理；BookKeeper节点专门负责数据的持久化存储。这种架构带来了革命性的优势：
- 无缝弹性伸缩：扩容Broker仅需分钟级别，对业务无感知；存储层亦可独立扩展，容量近乎无限。
- 高可用与强一致性：数据在BookKeeper中被多副本同步持久化，即使Broker宕机，数据安全无虞，新Broker可立即接管服务。
- 简化故障恢复：无状态Broker的故障恢复极快，无需复杂的数据再平衡。
- 极致的吞吐与低延迟：Pulsar支持分层存储（Tiered Storage），可将历史冷数据自动卸载到更廉价的存储系统（如S3、HDFS），而将热数据保留在高速存储（如SSD）中。这一特性使得金山云能够以低成本长期保留TB级历史数据，同时保证热点数据的访问性能。其高效的流水线处理和零拷贝机制，确保了在高吞吐场景下依然保持稳定的低延迟。
- 原生的多租户与隔离：Pulsar在架构层面原生支持多租户。通过
租户（Tenant）->命名空间（Namespace）->主题（Topic）的三层资源模型，金山云可以为不同客户或业务线提供逻辑上完全隔离的资源池，并实施精细化的配额管理、认证和授权策略，完美满足云服务的需求。
- 流与队列的统一模型：Pulsar独创的“发布-订阅”与“消息队列”统一模型（通过独占、故障转移、共享和键共享四种订阅模式实现），让金山云可以用同一套集群同时支撑日志流式分发（类似Kafka场景）和传统任务队列（类似RabbitMQ场景），极大地简化了技术架构。
- 强大的生态系统与云原生友好：Pulsar原生支持Pulsar Functions（轻量级流处理）、与Flink/Spark的深度集成，并提供了完善的Kafka API兼容层，方便用户迁移。其基于云的架构设计与Kubernetes等容器编排平台结合良好，便于实现自动化部署和运维。
三、 Pulsar在金山云的实践与收益
金山云将Pulsar深度集成到其日志服务（KLS）和实时数据处理管道中：
- 作为高吞吐日志摄取总线：所有服务器、容器和应用日志通过轻量级采集器发送至Pulsar集群。Pulsar以极高的吞吐量接收并持久化这些数据。
- 支撑实时流处理：下游的实时计算引擎（如Flink）直接消费Pulsar中的日志流，进行实时聚合分析、异常检测和指标计算，结果实时写入数据库或推送至仪表盘。
- 实现历史数据湖归档：通过配置分层存储，超过一定时间的日志数据自动、透明地迁移到对象存储中，形成数据湖，供离线分析、机器学习训练和数据挖掘使用，成本大幅降低。
- 服务内部微服务通信：利用Pulsar的队列订阅模式，支撑内部服务间的异步解耦通信，实现了技术栈的统一。
取得的显著收益包括：
- 性能与成本优化：在日均TB级数据压力下，系统保持稳定，峰值吞吐能力提升数倍，同时存储成本因分层存储下降显著。
- 运维效率提升：计算存储分离架构使得扩缩容操作变得简单快捷，运维复杂度降低，系统整体可用性达到99.95%以上。
- 业务敏捷性增强：统一的平台加速了新业务（如新的日志分析产品、实时风控系统）的上线速度，满足了客户多样化的实时数据处理需求。
- 未来可扩展性：Pulsar的架构为未来向更大数据规模、更复杂处理场景（如全局事件驱动架构）演进奠定了坚实基础。
###
金山云选择Apache Pulsar，不仅仅是对一项新技术的采纳，更是应对数据规模与复杂度爆炸式增长的必然战略选择。Pulsar以其云原生、分层、统一的设计哲学，成功帮助金山云构建了一个面向未来、具备极致弹性、超高可靠性和成本效益的下一代日志与数据处理服务平台。这一实践也为业界处理超大规模实时数据流提供了极具价值的参考范式，证明了Pulsar在企业级核心数据管道中担当重任的能力。
