MapReduce 类框架在大规模数据计算上有很好的伸缩性，但在实现需要迭代类算法时效率比较低。UC Berkeley 的 AMP 实验室设计并实现了 Spark 来解决迭代计算问题，是用 Scala 实现的，建立在通用的计算资源调度框架 Mesos 之上。Dpark 是 Spark 的 Python 克隆，实现了 Spark 的绝大部分特性，使得可以直接用 Python 进行 MapReduce或者迭代式计算，Spark 的优雅设计使得它非常灵活，并具有跟高的扩展能力和性能。豆瓣正在积极尝试用它来取代Hadoop和部分MPI 来实现日志分析和各种数值计算，会分享一下这方面的心得体会。