面对互联网上的海量数据，单台主机已无法满足其存储和计算要求，分布式存储和分布式计算的应用成为必然的趋势。其中Hadoop是应用较多的分布式存储和计算框架之一。本文在该平台下，通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分析，给出相应Map/Reduce程序的设计思路和实例，并提出Map/Reduce分布式程序的部分设计和性能优化方法，实验结果表明，本文提出的这些方法能简化Map/Reduce程序设计、有效提高程序性能。

>>查看原文初稿链接<<

>>更多科技论文<<