大数据是我的主要研究方向之一,我使用Java的时间也比较久,多年前(2008年)还出版过Java的书籍,所以我来说一说Java与大数据的结合都需要学习哪些内容。
大数据平台与Java首先Java是一门编程语言,而大数据则是一个产业领域,简单的说做大数据的相关研发可以使用Java语言来实现,Java是大数据领域的一个重要工具。
大数据行业涉及到诸多岗位,这些岗位主要围绕数据展开,包括数据采集、数据整理、数据传输、数据存储、数据安全、数据分析、数据呈现以及应用等。这些不同的岗位有不同的职责,所使用的工具也不尽相同。
在数据采集端往往与物联网对接,当然也有大量的传统ERP系统,这部分岗位要对数据库知识有全面的了解。目前有不少ERP系统都是采用Java语言开发的,当然了解Java开发知识对这部分岗位也是有一定帮助的。
在数据的存储端往往涉及到云计算平台,云计算跟大数据的关系十分密切,主要涉及到数据的分布式存储和分布式计算。一般情况下,云平台是大数据的重要支撑,云计算平台为大数据提供硬件资源,做云计算研发的Java程序员主要围绕资源管理展开工作,严格的说这部分开发属于云计算研发的范畴。
Java做大数据主要的应用在数据分析和呈现上,使用Java做算法实现,做落地应用。这部分知识涉及到Java基础语法、JavaWeb开发、Java数据结构、Java分布式开发等几大方面的知识,另外需要掌握Hadoop及Spark平台的开发API。
需要掌握的Java内容Java基础语法部分围绕类、对象、属性和方法展开,包括封装、继承、多态等几个核心概念的掌握。Java Web开发则包括Servlet、JSP、JavaBean等基本的Web组件,以及SpringMVC框架等知识的掌握。Java分布式开发则要掌握RMI,以及Java分布式框架的应用。
由于Hadoop平台本身就是基于Java构建的,所以一般在Hadoop平台下使用Java也是一个常见的选择。Hadoop平台为Java语言提供了一系列API,以方便Java在Hadoop平台下的场景研发。
我在头条上写了关于Java的系列文章,包括Java基础开发、Java并发、Java分布式开发和JavaWeb开发,感兴趣的朋友可以关注我的头条号,相信一定会有所收获。
如果有Java、大数据方面的问题,也可以咨询我。
谢谢!
数据分析师需要的技能大致有这些:Excel、SQL、统计学及SPSS、Python/R等。
建议从Excel开始,因为Excel是使用最多,也是最强大的数据分析工具,入门简单,因为大部分人都接触过Excel。