北京基因组所开发基于Spark的大数据系统发育建树工具
时间:2016-11-05 阅读:396
摘要 : 2016年10月14日,学术期刊《BioInformatics》在线发表了*北京基因组研究所生命与健康大数据中心章张研究员的一篇研究论文,研究报道了*基于Spark的大数据系统发育建树工具CloudPhylo。
2016年10月14日,学术期刊《BioInformatics》在线发表了*北京基因组研究所生命与健康大数据中心章张研究员的一篇研究论文,研究报道了*基于Spark的大数据系统发育建树工具CloudPhylo。博士研究生徐行健为论文*作者,章张研究员为论文通讯作者。
构建系统发育树是分子进化研究中分析物种间进化关系的基础步骤与重要环节。随着生物大数据时代的到来,传统的建树工具在使用大数据集构建系统发育树时需要消耗更多的计算资源且运行时间超长,使得科研工作者无法快速地进行分子进化分析。为此,生命与健康大数据中心(BIG Data Center;http://bigd.big.ac.cn)利用Spark云计算技术,于近期开发了一款适用于大数据集的系统发育树构建工具——CloudPhylo。Spark是一种新的分布式云计算框架,它实现了MapReduce分布式并行算法。基于Spark框架的程序在运算过程中可地将中间输出结果保存在内存中,大大降低了因为频繁读写文件造成的损耗。因此,与传统的Hadoop框架相比,Spark能更好地应用于需要反复迭代的大数据分析任务。
CloudPhylo是目前上针对大数据集开发的系统发育建树工具,同时也是国内*使用Spark云计算技术开发的生物信息学分析软件。在应用于模拟和真实的大数据集构建系统发育树时,CloudPhylo均表现出了比传统建树软件更高的运行效率和更大的并行加速比(图1)。
工具已经部署在BIGD云平台Qomo(https://cloud.big.ac.cn/users/bigd/tools/Clouldphylo)上,无须本地安装,用户可在线提交数据并进行分析。
<img alt="BioInformatics:北京基因组所章张研究组开发基于Spark的大数据系统发育建树工具" "="" data-cke-saved-src="http://www.bio1000。。com/uploads/allimg/161102/0956493591-0.jpg" src="http://www.bio1000。。com/uploads/allimg/161102/0956493591-0.jpg" style="vertical-align: middle; border: 0px; width: 400px; height: 214px;">
图1 CloudPhylo在不同条件下的并行加速比