大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。 数据工程师是做什么的? 于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的**应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据*、数据研究员,我们将其统称为“大数据工程师”。 由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的*给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。 除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能*定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是较有价值的,如何快速找到每个业务较核心的需求。”联合国百度大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据*;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。 因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时较重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。 1.找出过去事件的特征 大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。 2.预测未来可能发生的事情 通过引入关键因素,大数据工程师可以预测未来的消费趋势。 3.找出较优化的结果 根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。 上海西线学院官/ 高薪等你来拿,快来报名吧!