首页 > 极客资料 博客日记
效率跃升16倍！火山引擎ByteHouse助力销售数据平台复杂查询效率大幅提高
2024-09-02 11:30:02极客资料围观23次
这篇文章介绍了效率跃升16倍！火山引擎ByteHouse助力销售数据平台复杂查询效率大幅提高，分享给大家做个参考，收藏极客之家收获更多编程知识
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群。
销售数据，是反映市场趋势、消费者行为以及产品表现的重要指标，也是企业做出精准决策的关键依据。因此，对销售数据进行全面利用、高效分析与合规管理，在企业经营中占据着重要地位。
为了更高效、安全地使用销售数据，某公司引入了开源ClickHouse作为数据分析引擎，将分散的销售数据统一到一套可视化分析平台中，并采用鉴权ACL模式来精细化管理企业内部员工的看数、用数权限。
但实际上，该公司销售数据平台在引入鉴权ACL后，出现了性能不足、用户体验受损的状况。其一，ClikHouse的性能难以满足复杂且量级巨大的查询需求，使得集群复杂恶化；其二，ClickHouse集群的CPU使用率长期处于打满状态对用户体验造成影响。
为了解决以上问题，在复杂查询领域具备显著优势且完全兼容ClickHouse的ByteHouse成为该公司迁移首选。
据了解，ByteHouse支持优化器和MPP执行模型，能够较好地支持复杂join与聚合计算的场景。其中，ByteHouse 的优化器在RBO与CBO方向上分别进行了大量的自研优化，并且实现了动态 Filter 下推、物化视图改写、计划复用以及结果复用等高阶能力。从而能够根据表的结构、索引等信息生成最优的查询执行计划，提高查询执行效率，减少资源消耗，整体上提升了ByteHouse在复杂场景下的查询性能。
在ByteHouse的支持下，目前该公司在销售数据的非ACL查询和ACL查询两个方向上，都实现了查询效率的显著提升。以ACL查询的60M广告客户DI场景为例，查询效率已经从从优化前的16秒大幅缩短至如今的1秒，效率提升高达16倍。
抽取该公司销售平台某数据集测试结果
作为新一代云原生数仓产品，ByteHouse在离线、在线复杂分析性能、便捷弹性扩缩容、全场景分析引擎等核心能力上持续优化，并已在互联网、游戏、金融、气象等领域广泛应用。未来，ByteHouse持续以卓越的数据分析能力，为更多业务系统赋能，助力企业数智化转型升级。
点击跳转 火山引擎云原生数据仓库ByteHouse 了解更多。
版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！
标签：
相关文章
最新发布
- Nuxt.js 应用中的 prerender：routes 事件钩子详解
- 【问题解决】Tomcat由低于8版本升级到高版本使用Tomcat自带连接池报错无法找到表空间的问题
- 【FAQ】HarmonyOS SDK 闭源开放能力 —Vision Kit
- 六、Spring Boot集成Spring Security之前后分离认证流程最佳方案
- 《JVM第7课》堆区
- .NET 8 高性能跨平台图像处理库 ImageSharp
- 还在为慢速数据传输苦恼？Linux 零拷贝技术来帮你！
- 刚毕业，去做边缘业务，还有救吗？
- 如何避免 HttpClient 丢失请求头：通过 HttpRequestMessage 解决并优化
- 让性能提升56%的Vue3.5响应式重构之“版本计数”
点击排行
本站推荐
