目录
一、引言
二、业务痛点与技术挑战:为什么需要线上化?
-
效率瓶颈:手工流程与高频迭代的矛盾
-
质量风险:规则复杂度与校验能力的失衡
-
系统耦合:底层变更对下游应用的多米诺效应
三、技术方案:从架构设计到核心模块拆解
-
分层架构:解耦业务与数据链路
-
核心模块技术实现
-
数据模型设计
-
数仓计算逻辑
四、项目成果与技术价值
五、总结
一
引言
在电商交易领域,管理类目作为业务责权划分、统筹、管理核心载体,随着业务复杂性的提高,其规则调整频率从最初的 1 次 / 季度到多次 / 季度,三级类目的规则复杂度也呈指数级上升。传统依赖数仓底层更新的方式暴露出三大痛点:
- 行业无法自主、快速调管理类目;
- 业务管理类目规则调整,不支持校验类目覆盖范围是否有重复/遗漏,延长交付周期;
- 规则变更成功后、下游系统响应滞后,无法及时应用最新类目规则。
本文将从技术视角解析 “管理类目配置线上化” 项目如何通过全链路技术驱动,将规则迭代周期缩短至 1-2 天。
二
业务痛点与技术挑战:
为什么需要线上化?
效率瓶颈:手工流程与
高频迭代的矛盾
问题场景:业务方需线下通过数仓提报规则变更,经数仓开发、测试、BI需要花费大量精力校验确认,一次类目变更需 3-4 周左右时间才能上线生效,上线时间无法保证。
技术瓶颈:数仓离线同步周期长(T+1),规则校验依赖人工梳理,无法应对 “商品类目量级激增”。
质量风险:规则复杂度与
校验能力的失衡
典型问题:当前的管理类目映射规则,依赖业务收集提报,但从实际操作看管理三级类目映射规则提报质量较差(主要原因为:业务无法及时校验提报规则是否准确,是否穷举完善,是否完全无交叉),存在大量重复 / 遗漏风险。
系统耦合:底层变更对
下游应用的多米诺效应
连锁影响:管理类目规则变更会需同步更新交易后台、智能运营系统、商运关系工作台等多下游系统,如无法及时同步,可能会影响下游应用如商运关系工作台的员工分工范围的准确性,影响商家找人、资质审批等场景应用。
三
技术方案:从架构设计到核心模块拆解
分层架构:解耦业务与数据链路
核心模块技术实现
规则生命周期管理: 规则操作流程
提交管理类目唯一性校验规则
新增:id为空,则为新增
删除:当前db数据不在提交保存列表中
更新:名称或是否兜底类目或规则改变则发生更新【其中如果只有名称改变则只触发审批,不需等待数据校验,业务规则校验逻辑为将所有规则包含id,按照顺序排序拼接之后结果是否相等】
多级类目查询
构建管理类目树
/** * 构建管理类目树 */public List<ManagementCategoryDTO> buildTree(List<ManagementCategoryEntity> managementCategoryEntities) { Map<Long, ManagementCategoryDTO> managementCategoryMap = new HashMap<>(); for (ManagementCategoryEntity category : managementCategoryEntities) { ManagementCategoryDTO managementCategoryDTO = ManagementCategoryMapping.convertEntity2DTO(category); managementCategoryMap.put(category.getId(), managementCategoryDTO); } // 找到根节点 List<ManagementCategoryDTO> rootNodes = new ArrayList<>(); for (ManagementCategoryDTO categoryNameDTO : managementCategoryMap.values()) { //管理一级类目 parentId是0 if (Objects.equals(categoryNameDTO.getLevel(), ManagementCategoryLevelEnum.FIRST.getId()) && Objects.equals(categoryNameDTO.getParentId(), 0L)) { rootNodes.add(categoryNameDTO); } } // 构建树结构 for (ManagementCategoryDTO node : managementCategoryMap.values()) { if (node.getLevel() > ManagementCategoryLevelEnum.FIRST.getId()) { ManagementCategoryDTO parentNode = managementCategoryMap.get(node.getParentId()); if (parentNode != null) { parentNode.getItems().add(node); } } } return rootNodes;}
填充管理类目规则
/** * 填充规则信息 */private void populateRuleData(List<ManagementCategoryDTO> managementCategoryDTOS, List<ManagementCategoryRuleEntity> managementCategoryRuleEntities) { if (CollectionUtils.isEmpty(managementCategoryDTOS) || CollectionUtils.isEmpty(managementCategoryRuleEntities)) { return; } List<ManagementCategoryRuleDTO> managementCategoryRuleDTOS =managementCategoryMapping.convertRuleEntities2DTOS(managementCategoryRuleEntities); // 将规则集合按 categoryId 分组 Map<Long, List<ManagementCategoryRuleDTO>> rulesByCategoryIdMap = managementCategoryRuleDTOS.stream() .collect(Collectors.groupingBy(ManagementCa…