如果有意赞助 O'Reilly Velocity China 2012 或者有其他合作想法,请通过地址 donna at mail.oreilly.com.cn 联系马女士。
For Velocity China sponsorship information for companies outside China, contact Gloria Lombardo at glombardo at oreilly.com
阿里花名离哲。阿里巴巴集团数据平台与产品部数据仓库架构师,负责实时计算系统研发,低调的华丽践行者。
曾有过多年电信行业数据分析类项目开发管理经验,专注于实时计算/实时交互/数据服务化,爱好跟分布式数据处理相关技术。
随着互联网个性化时代的来临,很多需要通过多角度多属性进行实时分析的需求应运而生,如想即时统计最近任意几天、指定省份、指定地市、指定性别、指定年龄、指定频道的用户情况;如想结合用户的省份、地市、年龄、性别、偏好、最近购买情况给用户即时推荐最热门的商品;如想统计出多个关键词组合在省份、地市、年龄、性别、偏好等条件下的分布情况;而这些多维度多属性统计会存在无法穷举和无法通过离线计算进行预算的问题,如果固化业务逻辑则无法应对互联网业务的快速变化,在高并发互联网应用中解决这类问题则面临更大的挑战。
Garuda 是一个针对海量数据进行任意维度的密集计算与检索的支持高并发低延时的在线数据应用系统。目前在淘宝主站、SNS、数据魔方、淘宝指数等产品中得到了广泛应用,给这些产品提供高并发的实时计算服务;当前集群数据量已超过300亿条,平均每个请求涉及到300万条以上记录的实时多维度计算,请求响应时间小于50ms,QPS 超过300。本次分享将就Garuda设计原理、应用场景、历史变迁进行详细介绍,也将会介绍结合Redis、HBase的一些过渡方案的快速实现原理。