技术 · 开发实战
日志留多久:成本、查询与合规的三方平衡
日志不是留得越久越好。留存周期要按用途分级,而不是统一一个数字。
按用途分级
排障用的日志只需数天到数周;审计与合规要求的留存更长;业务分析则看重聚合后的指标而非原始明细。
分级之后,很多看似必须保存的日志,其实只需留指标。
存储成本的构成
原始日志的存储成本随量线性增长,索引与副本会成倍放大。压缩与冷热分层能显著降低支出。
压缩能减少存储,但会增加查询时的解压开销,需要权衡。
查询效率的取舍
长期保留原始明细会让索引膨胀,查询变慢。多数场景只需保留聚合结果。
把常用查询的字段单独建轻量索引,比全字段索引更划算。
分级的具体做法
热数据保留完整字段,温数据去掉大字段只留关键标识,冷数据只保留聚合与抽样。
迁移到低成本介质时,要确认恢复时间是否满足排障要求。
合规的边界
涉及审计的类别不能随意缩短。留存策略变更前,应先确认相关要求。
策略调整应留下记录,方便回溯为什么这样定。半年后再看,这些记录能省下大量重复讨论。
本文由睿达孚资讯站编辑部整理撰写,观点仅供参考;转载请注明来源与链接。
读者留言
共 4 条 · 精选展示按用途分级比统一一个周期合理得多,成本能降不少。
索引和副本成倍放大成本,这点常被低估。
温数据去掉大字段这招很实用,查询也快。
审计类不能随便缩短,改策略前要先确认要求。