今天的架构比以往任何时候都更复杂,异步化。互联网相关公司在应对中断和其他故障引起的停机方面有较丰富经验,但是“缓慢”和“停机”是不同的。本讲话中我将讨论企业如何为故障排除意外的性能缓慢问题做好准备。
谈到网站监测,往往是讨论检测和报告内存使用丶CPU和带宽情况。但以人为例,一个有着正常脉搏和血压的人,不一定代表健康。Web 监测应该进化到下一阶段:关注用户关注的内容与功能。然而, Web 测试可以做到内容的检查以及功能的测试。并且,自动化测试可帮助快速的检测 Web 组件和页面。透过重用自动化测试,便可以达到网站监测的目的,并且使 Web 监测更精确。
当今的许多应用程序都依赖于一组复杂的分布式依赖关系和移动部件,很多外部因素都可能对应用程序的性能和可用性造成影响,但是这些影响基本上都无法完全消除或解决,且难以在预生成环境中准确模拟。虽然完全没有监控资源的应用程序几乎没有,但仍然需要考虑这些难以监控的因素,比如盲点,黑盒等,而它们经常会出现在运行环境中。本次演讲主要想和大家探讨理想 APM 系统应该具有那些属性,如何帮助应用程序更好地提升性能。
AngularJS 的引入一定程度上永远改变了 Web 应用编程。本议题中我们来了解 AngularJS 带给 Web 应用开发的影响,并且会介绍如何构建 Angular 应用,你会看到有多快、多高效。议题是互动的,最好带着自己的电脑和喜欢的编辑器。
面临无线端大规模并发用户和复杂网络情况下,无线 API 网关的接入协议的演化过程,通过连接模型、线程模型的改进提高网关的吞吐量;同时 结合云和端的技术特点的设计,保证从端到云的系统高可用性。
软件开发世界中关于如何构建良好软件有丰富的可用信息。很容易找到各种建议,包括框架的选择,测试方法,各种语言的优点缺点,以及其他主题。然而,一个经常被忽略的领域是可运维性。
本议题会探讨一些实用技术,软件开发工程师和运维工程师通过这些技术来构建生产环境中可管理的系统。
议题会包括:
Gingko当前应用于百度内部100多个产品线的数据分发、配置更新、模块部署、词典传输等场景中。公司内各产品线每天使用gingko进行1600w次数据下载操作,下载的总数据量在700TB+,覆盖2w+台机器。同时,当前能够支持 在30分钟内分发一份数据(700M左右)到全公司所有服务器上(数十万台机器)。
Gingko分为单机上的客户端gko3和服务端tracker两部分。
客户端使用稍作改造的开源libtorrent库实现了基于BT协议的P2P传输。同时我们增加了支持对数据源在hdfs上进行P2P下载的方式。下载模式也支持多种用户需求,如下载完成后继续后台做种、磁盘空间动态预分配、direct IO等。
Tracker采用thrift+redis实现了一套高性能的server。单tracker实例可以达到1.8w QPS。Tracker根据协议特点而进行的分布式架构,使得其一方面可以迅速扩容,一方面可以减少跨机房/跨地域传输流量,给全公司提供统一的高性能服务。
多年来经典的 Web 架构在服务器上用脚本或者应用程序语言来呈现 HTML。但是Web 在很多方面正在发生变革:比如更快的浏览器,更快的网络连接,以及更好的缓存。这些变化带来了模式的转变,导致可以在客户端做呈现。新架构解放了服务器,使它只需递送数据,将标记缓存的在客户端或靠近客户端的地方,从而提高整体性能。
但是互联网的现实是并非所有用户都换成了性能强大的电脑,最新的浏览器,快速的网络连接。在 LinkedIn 我们的页面必须针对这样的用户作某些改进。
本议题中你将了解到我们如何在 HTTP 代理中整合 JS 引擎,在关键代理层加入动态语言执行中我们学到的运帷和工程方面的经验,如何处理 JavaScript 的终止和内存回收问题,最后看看我们如何降低了延迟。
移动端无痕埋点的自动化采集技术,降低开发成本、提高采集效率和数据质量;通过无痕埋点平台对埋点数据的集中管理,实现可配置、即埋即生 效的机制;并建立以资源位数据和透传数据自动采集为基础的引导效果体系。
互联网企业数据库数量庞大、需求复杂,在稳定性、性能和运维质量等方面都有较高要求,运维自动化应该关注哪些点,如何通过运维自动化提高运维效率、降低故障率、解放运维人员做更重要的事,以确保企业的数据库7*24小时高性能运行。本次分享首先通过分析搜狗商业数据库在发展过程中碰到的问题,引出如何在有限人力下做好运维的利器——运维自动化,通过几个详实的案例总结了如何进行数据库日常运维、数据库性能优化、数据库安全、数据库监控方面的自动化,在此基础上介绍了搜狗商业数据库自动化运维平台。最后,面对互联网需求的快速变化,展望数据库自动化运维未来的发展。
在UPYUN这家以云服务为核心业务的公司,3人的运维团队用高度自动化的方式管理着700台服务器,不仅能保证系统的可扩展性,还能实现平滑的升级和问题的快速定位。邵海杨是如何做到自动化运维,让运维不再跟“苦逼”划等号?
目前业界都认为Mobile Web性能低下,但没有一个人能给出一份系统的分析报告告诉大家Mobile Web的性能问题到底在哪?没有一份系统的比对报告告诉大家Mobile Web的性能究竟是不是比Native差?差多少?此分享的主题就是希望从这些问题出发,通过大量有针对性的实验给出一个系统的答案,并结合这些实验结果和天猫商品详情页的性能实践给出一份Mobile Web性能优化的具体方案。
当携程移动(Tablet/Phone)订单量开始逐步超越传统PC,移动端的性能优化显得更加紧迫和重要。我们如何给移动用户提供 “流量少,响应快”的服务,进行一场真正的“说走就走”的旅行呢?主要和大家讨论携程移动端性能优化的实践,包括携程移动用户数据的采集、WebApp模式的优化、多设备统一资源框架等。
延续 Velocity 2012 阿里 LVS 的内容,分享2年来阿里 LVS 性能优化和功能增强过程中的一些技术和心得;
当今互联网用户成指数型增加,系统规模也需要相应地扩大,当系统机器数达到上万台服务器的时候,单纯的依靠堆人力和手工批量管理已经无法适应大型系统的部署需求。本议题将以一个雅虎实际运行中的广告产品系统为例,全面深入地介绍如何将该坐落在全球6个数据中心共上万台服务器规模的复杂的多模块的广告系统实现部署高度自动化,并让该系统只在两名工程师管理下实现一键自动化部署。当工程师按下部署键那一刻起,散落在全球各个数据中心的上万台服务器便如收到指挥家的指令那样开始执行起来,整个机架上一排排整齐的硬盘红灯闪烁不停,上上下下闪耀着,仿若翩翩起舞,气势恢宏。整个过程在工程师慢慢品尝手上的一杯热咖啡中闭幕,实现复杂系统的打包,分发,停服,安装,重启,验证等一系列的高度自动化。
雅虎致力于提供用户一流的移动应用程序和移动网站体验,超过一半的雅虎月度用户在移动身边上使用我们的产品和服务。为了给移动用户更好的体验,给移动开发人员更方便的平台和工具,雅虎提供一系列的移动平台产品,包括:简单方便的key-value数据存储平台、个性化的通知推送平台、高性能的图片压缩平台、精准识别用户设备服务等。
介绍网络流量分析技术在阿里业务网络服务质量方面的应用。
本议题中我将讨论在扩展 Circonus 平台以达到每秒数十亿测量规模时,如何构建和改进 Circonus 架构来处理搜集、储存和分析数据。我会谈到基于开放源代码软件构建系统的总体设计,然后给大家介绍在满足增加规模和提高可运维性需求时遇到的问题以及所做的架构改进。
在传统开发模式下,前后端开发者以浏览器/服务器的物理鸿沟为界各司其职,各种前后端分离的方案也都受此制约、大同小异。跨终端时代,淘宝尝试在产品中应用基于Node.js的前后端分离方案,并由此深入Node.js腹地,进行了一场惊心动魄的技术改造运动,为前端的流程、性能等优化拓展了新的空间。清羽会分享淘宝在新开发模式下的一些经验和教训。
美团的性能小组在过去1年的时间,成功将项目详情页、首页、搜索和筛选页的加载时间从10秒左右降到3秒以内,首屏时间从3秒降到800ms以内,我们是如何做到的?有哪些经验教训?在做性能优化的过程中我们逐步构建起了美团通用性能监控平台,来收集真实用户的性能数据、挖掘性能瓶颈、评估优化效果,该平台目前正在被越来越多的产品线使用,它解决了哪些问题?是如何构建起来的?我们做WEB性能分析的框架又是怎样的?在这个议题中都会揭晓。
目前QQ已经实现2亿同时在线,在这光辉的数据背后有大量的web能力的支撑和展现。该主题通过揭秘QQ背后的web是 如何高效开发和迭代,展现web在新时代所具备的价值,和大家共同探讨web和client桥接模式的复兴之路。其主体内容包含以下几点:
F.I.S 是一系列提升产品性能与开发效率的工程化方案,让前端团队可以快速进入角色,而且不用担心底层架构、性能优化等问题。包括自动化工具、开发框架与云端服务,可以减少人工管理静态资源成本和风险,全自动优化页面性能、减少服务器开销;简化开发、提测、部署流程,促进开发流程中的协作,来达到更快、更可靠、低成本的自动化项目交付。解决方案在业内开源,并在百度、腾讯、淘宝等各大公司得到应用。
有意赞助 O'Reilly Velocity China 2014 或者有其他合作想法,请通过地址 donna at oreilly.com.cn 联系马女士。
For Velocity China sponsorship information for companies outside China, contact Gloria Lombardo at glombardo at oreilly.com
进一步联系信息请查看联系Velocity China 2014