构建大规模弹性系统
8 月 11–12, 2015 • 北京,中国
WEB性能优化之大数据可视化技术栈
王洪江(云智慧)
2015-08-11 15:50
永泰大宴会厅A

影响WEB性能的因素众多且复杂,当性能相关数据从不同节点采集回来时,如何快速有效的进行数据分析并通过一体化的视图展现出来,越来越成为产品技术人员共同关注的话题。要解决这一问题,需要从数据模型,流式数据处理,大数据存储及大数据可视化展现等众多技术方面进行统一的设计。云智慧技术研发团队经过长时间的技术实践,提出了一套完整的数据可视化技术栈。

  1. 通过spark+cep(siddhi)处理引擎对流式数据进行预处理,保证亿级数据处理的实时性。
  2. 通过建立时间序列维度指标模型,确保数据按时间及维度分片的可行性,同时将数据查询统一抽象为GroupBy/TopN/Timeseries查询并优化存储模型,保证多维数据分析的高效性。
  3. 通过应用split-apply-combine策略,确保数据分析的直观性及数据可视化展现的有效性。
  4. 通过数据可视化展现工具(d3/c3)及websocket,确保数据展现的完美性及让实时数据能够动起来。

任何技术栈都不是万能的,了解你的数据,了解数据最简单直观的 分析描述,对不同的场景应用不同的技术栈,从实践中找到最适合自己的技术栈,让我们一起玩转大数据,让大数据动起来。

王洪江
云智慧

毕业于清华大学。长期专注于大数据处理和高性能应用架构的研究和实践,曾在中国通关网担任技术副总裁,负责全面的技术和研发管理工作,在中国最早的B2B网站沱沱网任资深研发工程师。