大数据技术目前主要解决两个问题，大量数据情况下，单台机器无法进行计算以及存储问题，所以此时需要大数据技术进行解决。

计算机使用数据进行计算时，会把数据加载到内存中，但是由于单台机器的内存限制有限，当数据量过于巨大时，比如 1024 G数据，全部加载到内存是不现实的，因为现在的机器内存一般不会太大，虽然有这样大内存的机器，但是成本太高，一般不会选择使用一台机器来进行处理。

此时使用分布式计算技术，使用多台机器进行数据处理，每台机器本质是处理总数据的一个子集。打个比方，1024 G 的数据，有64台机器，那其实每台机器处理 16GB 的数据即可，这是可以实现的,而且都是廉价机器，总体成本不会太高。像现在的 Hadoop 的 MapReduce 技术，就是通过将数据分割，每个Map任务处理总体数据的一个子集，来解决大数据计算的问题。

大数据最终本质都会存储在计算机的磁盘上面，单台机器磁盘无论再大，其磁盘容量都是有限制的。而对于分布式存储来说，当一台机器的磁盘不够时，它支持水平扩展机器，可以从一台变成多台，那总的磁盘大小就是这些机器的和，从而解决了单台机器磁盘不足问题。

分布式存储也是通过将数据进行水平划分或者垂直划分，每台机器存储的是整体数据集的一个子集，协同进行存储。而单机就一台机器， 虽然其磁盘支持更换，但始终是有限的，当达到特别大的时候，在进行磁盘容量扩展，成本也会非常大。一般公司都会选择廉价的机器，分布式的进行存储数据，那台机器坏了，在添加新的机器即可。

我是Lake，专注大数据技术原理、人工智能、数据库技术、程序员经验分享，如果我的问答对你有帮助的话，希望你能点赞关注我，感谢。

我会持续大数据、数据库方面的内容，如果你有任何问题，也欢迎关注私信我，我会认真解答每一个问题。期待您的关注

生活工作中的点点滴滴都会产生数据，数据是资产。每个企业都会重视数据的开发和应用；从事大数据分析和应用的岗位需求将越来越大，且待遇颇高。有意从事这一领域的人员可参加相关的学习和认证。