10年+，阿里沉淀出怎样的搜索引擎
阿里搜索引擎的发展与技术积累
搜索引擎是阿里经过超过十年的沉淀，形成了高技术、高业务和高商业价值的核心能力。以1688平台为例，其主搜系统是搜索引擎应用的重要组成部分，本文将围绕1688主搜系统，介绍搜索引擎的全链路知识点，为读者提供有价值的技术参考与启发。
一、搜索引擎架构
搜索引擎的构建通常涉及数据源聚合、全量/增量/实时索引构建以及在线服务等多个环节。阿里使用Tisplus平台作为数据源聚合的入口，通过Bahamut（Maat进行工作流调度）、Blink、Hdfs/Swift、BuildService、Ha3、SP、SW等技术栈，为客户提供高可用、高性能的搜索服务。数据源聚合工作在Tisplus和Blink平台完成，而构建索引与服务则主要在Suez平台上进行。
二、Tisplus平台
Tisplus是阿里用来管理SPU、CSPU、company、buyoffer和feed等引擎的数据源平台。它主要负责构建和维护Ha3和SP的环境。在日常运营中，Tisplus会面临数据源产出失败的问题，通常是由于数据源表权限过期或Zookeeper（zk）抖动导致。性能优化方面，引入Blink Batch模型后，数据源dump的时间得到了显著缩短。
三、数据源处理流程
数据源处理流程主要包括Bahamut、Maat和数据输出三个阶段。Bahamut是一个离线数据源处理组件平台，通过jobManager将web端数据图转换为可执行SQL语句。Maat是一个分布式流程调度系统，基于Airflow进行二次开发，具备可视化编辑、通用节点类型、Drogo化部署、集群管理以及完善的监控与报警机制等功能。数据最终以XML形式输出到HDFS或Swift，为后续的全量/增量/实时索引构建提供基础。
四、索引构建与在线服务
索引构建由Build Service完成，通过五类角色（admin、processor、builder、merger）实现全量、增量和实时索引的构建，并分发至Ha3在线集群提供服务。Ha3是一套基于Suez框架的全文检索引擎，提供丰富的查询、过滤、排序和聚合功能，支持用户自定义开发排序插件。在线服务架构包括Qrs、searcher和summary等组件，它们共同完成从查询到结果的处理流程，确保用户获得精准且高效的搜索体验。
五、运维与管理平台
Drogo是一个基于Carbon的无数据服务管控平台，用于部署1688的SP服务及QP代理服务。通过Drogo平台，可以实现对搜索引擎服务的统一管理与监控。
总结而言，阿里搜索引擎通过高效的数据源聚合、精准的索引构建以及强大的在线服务，为企业提供了稳定、高效且功能丰富的搜索解决方案。这一系列的技术积累与实践，为用户提供了高质量的搜索体验，并在商业应用中展现出显著的价值。
多重随机标签