0527-80965555 | QQ空间 | 官方微博

传智播客旗下高等教育机构——传智专修学院

大数据应用开发方向介绍


1方向简介


当数据分析遇到大数据时代,于是就产生了完美的契合:大数据应用开发。你可以理解大数据应用开发是指对规模巨大的数据进行分析、数据挖掘的过程。大数据应用开发是一个广义的概念,而数据挖掘、数据分析是指具体的工作职责和工作岗位,可以理解为由数据挖掘和数据分析这些不同的岗位组成了大数据应用开发这门学科,当然数据挖掘和数据分析所使用的技术是一样的,我们的专业中都会完美的诠释。大数据被称为当今最有潜质的IT词汇,接踵而来的数据挖掘、数据安全、数据分析、数据存储等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。


数据分析系统的主要功能是从众多外部系统中,采集相关的业务数据,集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后,存储到数据仓库的基础库中;然后,通过业务需要进行一系列的数据转换到相应的数据集市,供其他上层数据应用组件进行专题分析或者展示。


根据数据的流转流程,一般会有以下几个模块:数据收集(采集)、数据存储、数据计算、数据分析、数据展示等等。当然也会有在这基础上进行相应变化的系统模型。


按照数据分析的时效性,我们一般会把大数据分析系统分为实时、离线两种类型。实时数据分析系统在时效上有强烈的保证,数据是实时流动的,相应的一些分析情况也是实时的。而离线数据分析系统更多的是对已有的数据进行分析,时效性上的要求会相对低一点。时效性的标准都是以人可以接受来划分的。


传智专修学院的大数据应用开发学科,集合了企业中最前沿的技术hadoop、storm、spark以及机器学习,并从离线和实时两个方面全面的诠释了技术的使用细节,并结合企业项目,使技术和项目完美的结合,从理论和实践两方面帮助学生更好、更快、更深入的提前适应企业的开发模式。


2培养目标


本专业培养对接全国战略性主导产业和战略性新兴产业中大数据或数据挖掘的工程重点领域的人才需求,具有良好的职业道德和职业精神,能从事大数据或数据挖掘的工程性开发与实现、在计算机与互联网企业中从事系统集成或售后服务、数据处理与分析、在政府部门或企事业单位从事大数据分析系统的建设、管理、运行、维护的技术工作,具备“一技之长+综合素质”的德、智、体、美等方面全面发展的高素质的技术应用型人才。


3专业前景


3.1 行业缺口


2016年2月,万达一份50-70万年薪的求贤贴一度引爆社交媒体,甚至连正统的财经媒体都加入阵营,一起讨论什么样的人才这样走俏。在这份求贤贴里,万达希望吸纳的人才包括:(资深)大数据架构师、(资深)大数据研发工程师、(资深)算法工程师等,年薪全都开到50-70万。著名大数据讲师徐培成告诉记者,万达招募的一系列职位,都属于大数据人才。“50—70万年薪对资深大数据人才来说并不算高。”他表示,有建模经验的大数据人才拿到100多万年薪,在他认识的人里是很常见的事。


麦肯锡预测,到2018年,在“具有深入分析能力的人才”方面,美国可能面临着14万到19万的缺口,而“可以利用大数据分析来做出有效决策的经理和分析师”缺口则会达到150万。


根据第四届中国贵州人才博览会发布《全国大数据人才需求指数报告》,2016年2月份,贵阳大数据人才月薪已逼近8000元。但这仅仅只是开始。以大数据应用较多的互联网金融为例,这一行业每年增速达到4倍,届时,仅互联网金融需要的大数据人才就是现在需求的4倍以上。


新华网北京9月13日电(记者孙云龙)大数据的价值堪比石油与黄金,大数据的发展关键还是靠人才。在大数据频频成为媒体报道的热词,引发资本与市场强烈关注的同时,人才短缺问题已经成为迫在眉睫需要解决的问题。


日前,在教育部公布的高校新增专业名单中,有32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校,加上第一批的3所,共有35所获批。站在互联网“风口”上的大数据,直接催热了大学里的大数据专业。从两次获批的”数据科学与大数据技术专业”名单中可以看出,该专业学制都为四年,授予工学学位或理学学位。第一批成功申请该专业的高校共有3所,为北京大学(分数线,专业设置)、对外经济贸易大学(分数线,专业设置)及中南大学(分数线,专业设置),于2016年2月获得教育部批准。


3.2 未来发展趋势


从20世纪90年代起,欧美国家开始大量培养数据分析师,直到现在,对数据分析师的需求仍然长盛不衰,而且还有扩展之势。


对于中国数据分析行业前景和特点,一面网络创始人何明科指出:


一是:市场巨大,许多企业(无论是互联网的新锐还是传统的企业)都在讨论这个,也有实际的需求并愿意为此付钱,但是比较零碎尚不系统化。目前对数据需求最强烈的行业依次是:金融机构(从基金到银行到保险公司到P2P公司),以广告投放及电商为代表的互联网企业等;


二是:尚没出现平台级公司的模式(这或许往往是大市场或者大机会出现之前的混沌期);


三是:企业技术外包的氛围在国内尚没完全形成,对于一些有能力的技术公司,如果数据需求强烈的话,考虑到自身能力的健全以及数据安全性,往往不会外包或者采用外部模块,而倾向于自建这块业务;


四是:未来BAT及京东、58和滴滴打车等企业,凭借其自身产生的海量数据,必然是数据领域的大玩家。但是整个行业很大而且需求旺盛,即使没有留给创业公司出现平台级巨型企业的机会,也将留出各种各样的细分市场机会让大家可以获得自己的领地。


4就业前景


4.1 就业薪资



4.2 就业方向及岗位


方向一:数据分析方向


● 网站数据分析师


● 业务数据分析师


● 数据挖掘分析师


● 推荐算法工程师


方向二:数据研发方向


● 数据仓库工程师


● ETL工程师


● 基础架构工程师


● 数据研发工程师


●实时平台开发工程师


方向三:数据应用方向


● 报表平台开发工程师


● 爬虫开发工程师


4.3 就业地域


北上广深一线城市


杭州、武汉、天津、成都、南京等二线城市


4.4 可就职企业


●  百度(纳斯达克:BIDU),全球最大的中文搜索引擎、最大的中文网站。


●  阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立,他们相信互联网能够创造公平的竞争环境,让小企业通过创新与科技扩展业务,并在参与国内或全球市场竞争时处于更有利的位置。


●  腾讯多元化的服务包括:社交和通信服务QQ及微信/WeChat、社交网络平台QQ空间、腾讯游戏旗下QQ游戏平台、门户网站腾讯网、腾讯新闻客户端和网络视频服务腾讯视频等。


●  京东(股票代码:JD),中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官[1] 。旗下设有京东商城、京东金融、拍拍网、京东智能、O2O及海外事业部等。


●  滴滴打车、美团、华云、talkingdata等各种互联网领先企业。


5学完后可做项目


5.1 项目名称:爬虫搜索系统


项目介绍:爬虫搜索系统是一个针对互联网数据爬去和搜索的系统,功能包括平台搭建、数据爬取、收据搜索。




5.2 项目名称:分布式电商系统


项目介绍:分布式电商系统是专业的网上购物商城,属于大型的互联网电子商务项目,包括商品管理、订单管理、类目管理、品牌管理、商品展示、商品搜索、购物车、订单等。




5.3 项目名称:点击流日志采集


项目介绍:点击流采集系统是大数据分析的核心系统,也是数据分析的数据来源,主要包括点击流日志服务器搭建,点击流日志采集、点击流日志存储。



5.4 项目名称:离线数据分析


项目介绍:离线数据分析是大数据分析的必备系统,主要包括分布式计算框架hadoop的搭建、离线代码开发、离线任务线上运行。



5.5 项目名称:实时数据分析


项目介绍:实时数据分析是当今互联网十分重要的数据监控、风险控制的实施平台,主要包括数据采集flume搭建、数据存储kafka搭建、数据分析storm搭建、以及数据分析代码开发和代码部署。



5.6 项目名称:spark数据分析


项目简介:spark数据分析是大数据行业最火最有前景的一门数据分析技术,它包含数据离线分析、数据实时分析、数据sql分析等全部功能。



6职业发展路径


大数据开发(研发)工程师,工作过渡时间1-2年,薪资1.5万/月-2.5万/月


大数据平台工程师,工作过渡时间1-3年,薪资2.5万/月-3万/月


大数据架构师,工作过渡时间1-3年,薪资3万/月-4万/月


大数据总监,薪资3万/月-5万/月


传智专修学院学习名额快速抢报通道,请加QQ:3159353367

http://www.vxiaotou.com