大数据工作都做什么。我对大数据感兴趣,想从事这方面的工作,但是不知道他具体是要做什么。求解~~

Python010

大数据工作都做什么。我对大数据感兴趣,想从事这方面的工作,但是不知道他具体是要做什么。求解~~,第1张

数据相关工作岗位很多,有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等。

数据分析师:

工作内容:

a.临时取数分析,比如双11大促活动分析;产品的流量转化情况、产品流程优化分析,等等;

b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;

c.业务专题分析:

精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);

风控分析(策略分析,反欺诈分析,信用状况分析);

市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);

工具和技能:

工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT

技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;

数据挖掘工程师:

工作内容:

a.用户基础研究:用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等

b.个性化推荐算法:基于协同过滤(USERBASE/ITEMBASE)的推荐,基于内容推荐,基于关联规则Apriot算法推荐,基于热门地区、季节、商品、人群的推荐等

c.风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、

电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)

金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)

d.产品知识库:产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等

e.文本挖掘、语义识别、图像识别,等等

工具和技能:

工具: R、Python、SAS、SPSS、Spark、Mlib等等

技能:需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测、神经网络等)、模型评估、模型部署、模型监控;

数据产品经理:

工作内容:

a.大数据平台建设,让获取数据、用数据变得轻而易举;构建完善的指标体系,实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;

b.数据需求分析,形成数据产品,对内提升效率、控制成本,对外增加创收,最终实现数据价值变现;

c.典型的大数据产品:大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横),等等;

工具和技能:

工具: 除了掌握数据分析工具,还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等

技能:需掌握SQL数据库、产品设计,同时,熟悉常用的数据产品框架

数据研发工程师:

工作内容:

a.大数据采集、日志爬虫、数据上报等数据获取工作

b.大数据清洗、转换、计算、存储、展现等工作

c.大数据应用开发、可视化开发、报表开发等

工具和技能:

工具:hadoop、hbase、hive、kafaka、sqoop、java、python等

技能:需掌握数据库、日志采集方法、分布式计算、实时计算等技术

你好,这主要是因为Python在处理大数据方面有着得天独厚的优势。

以后您如果再遇到类似的问题,可以按照下面的思路去解决:

1、发现问题:往往生活在世界中,时时刻刻都处在这各种各样的矛盾中,当某些矛盾放映到意识中时,个体才发现他是个问题,并要求设法去解决它。这就是发现问题的阶段。从问题的解决的阶段性看,这是第一阶段,是解决问题的前提。

2、分析问题:要解决所发现的问题,必须明确问题的性质,也就是弄清楚有哪些矛盾、哪些矛盾方面,他们之间有什么关系,以明确所要解决的问题要达到什么结果,所必须具备的条件、其间的关系和已具有哪些条件,从而找出重要的矛盾、关键矛盾之所在。

3、提出假设:在分析问题的基础上,提出解决问题的假设,即可采用的解决方案,其中包括采取什么原则和具体的途径和方法,但所有这些往往不是简单现成的,而且有多种多样的可能。但提出假设是问题解决的关键阶段,正确的假设引导问题顺利得到解决,不正确不恰当的假设则使问题的解决走弯路或导向歧途。

4、校验假设:假设只是提出n种可能解决方案,还不能保证问题必定能获得解决,所以问题解决的最后一步是对假设进行检验。不论哪种检验如果未能获得预期结果,必须重新另提出假设再进行检验,直至获得正确结果,问题才算解决。

结论就是:金融行业的大数据有很好的前景

大数据指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据有五大特点,即大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)、真实性(Veracity)。

大数据的用法倾向于预测分析、用户行为分析或某些其他高级数据分析方法的使用。

大数据技术的出现,给我们的生活带来了全新的改变,在海量信息时代,我们获取信息的方式、以及能获取的信息越来越多,但是集合很多的人力物力都没有办法有效整理的数据,大数据技术可以解决,大家都说一句话,掌握了数据,就是掌握了未来,那么学大数据自学好还是参加培训好呢?

要学习大数据你至少应该知道什么是大数据,大数据一般运用在什么领域。对大数据有一个大概的了解,你才能清楚自己对大数据究竟是否有兴趣,如果对大数据一无所知就开始学习,有可能学着学着发现自己其实不喜欢,这样浪费了时间精力,可能还浪费了金钱。所以如果想要学习大数据,需要先对大数据有一个大概的了解。

一:大数据技术,行业发展好么?

1. 国家大力支持

首先国家在2015年发布了《促进大数据发展行动纲要》,其上升为国家战略,提出到2020年,大数据产业突破1万亿,加快建设数据强国

2. 产业进入爆发阶段

根据信息网近几年的统计,大数据行业发展爆发趋势,大量企业涌入,大数据行业规模在2020年以后突破万亿。

3. 应用场景广阔

大数据应用已深入物联网、人工智能、互联网、5G、电商、金融、游戏、交通、传媒、医疗、房地产、政务等各行各业。

4. 人才缺口大

自2015年以来,随着大数据产业迅速发展,大数据企业猛增,对大数据人才的需求也不断翻倍,截止到2020年,人才缺口达230万。

5. 就业薪资高

大数据工程师岗位薪资,根据信息网统计,平均月薪高达23K,明显高于互联网其他技术岗位,其中1年工作经验的,月薪平均为12K,三年以下工作经验,月薪平均为18K,三年以上工作经验,薪资平均为25K。

二:大数据岗位,职业生涯是怎么样的?

1. 大数据开发工程师,工作1-3年,年薪18万以上。

2. 高级大数据开发工程师,工作3-5年,年薪28万以上。

3. 大数据架构师,工作5-8年,年薪40万以上。

4. 大数据技术总监,工作8-10年,年薪55万以上。

5. 大数据首席数据官(CDO),工作10年以上,年薪85万+。

三:大数据岗位,需要学习哪些技术技能,具体分为哪几个阶段?

1. 基础核心:JAVA基础,JAVA面向对象,JAVA高级特性等。

2. Hadoop:可视化,Apache Hive,linux/ELK技术栈等。

3. Spark:Scala编程,Flume数据采集,Apache kafka等。

4. Python:常用库,数据采集,Python编程等。

5. 构建数据平台:Hive ETL处理,Oozle任务调度,Kafka与Flume应用等。

6. 流处理平台:Flink基础,Flink Sql,Confluent等。

7. 机器学习:机器学习数据挖掘原理,ALS算法,逻辑回归等。

8. 大数据优化:认证,授权,数据保护等。

9. 阿里云大数据:实验环境搭建,阿里云认证等。

四:学大数据自学好,还是参加培训好呢?

(1)自学大数据优势:省钱,成本低,学习时间自由安排。

(2)自学大数据缺点:首先基础起点要求较高,如果自学的话,最少也需要有JAVA开发经验,否则是没办法学会理解大数据技术点的。其次费时,自学大数据全部需要自己摸索,因此需要大量时间进行学习。最后,因为没有项目经验,因此就业薪资会偏低,短期内无法达到理想就业期望。

(3)培训大数据的优势:首先,门槛低,即便是没有任何IT行业经验的外行人,也是可以很容易的入门,可以零基础学习。其次,学习时间较短,学习能力强的人,无基础4-6个月左右就可以完全学会,学习能力弱的人,6-8个月左右也完全能够学会。第三,大量的实训项目衔接,能够快速提升技能熟练度,加快理解。最后,因为有项目经验,并且是系统学习,就业薪资以及行业竞争力会有很大优势,就业薪资也会偏高。

(4)培训大数据的缺点:首先,价格相对来说,有些高,大约需要2W左右,对于一些收入较低的人群来说,是一笔不小的开销。其次,就是时间问题,有的人可能从事销售行业打算转行,或者是一些其他行业,作息时间比较特殊,因此会加大自身的疲惫程度,导致学习专注力降低。

最后,就是选择培训机构,担心自己的权益没有办法保证,可能会出现一系列的售后问题,麻烦缠身。

五:如果选择培训,如何选择培训机构呢?

(1)授课方式:因为是IT行业,那么伴随着课程就是有一定的难度,并且肯定会存在着有一些问题没办法当时理解,需要第一时间找老师解答,那么必然要首选面授班,但是因为肯定要复习知识,否则会有遗忘,那么也一定要有网络录播等辅助学习的模式,因此,选择培训机构,要选择线下+线上的授课模式。

(2)是否能学会:能不能学会,虽然跟学员自己有一定的关系,但是最主要的问题还是授课老师,老话说的好“没有笨的学生,只有不会教的老师“,老师的教学经验是否丰富,既然是教技术的,那么自身的技术达到了什么样的水平,毕竟“名师出高徒“。

(3)权益是否有保障:“大品牌值得信赖“不是空话,虽然说,大品牌不一定全部的人都能100%的保障,但是99%的保障是没问题的,毕竟品牌越大,对口碑,市场的评价越看中,成立越久远,规模越大的企业,一定是有它能屹立不倒的原因,可能是因为服务,可能是因为教学。

(2)学完以后能不能就业:目前大部分企业,都会与一些业内靠前的培训机构进行生源招聘,直接从机构内部进行直招,小的培训机构,学员以后都是自己去人才市场进行企业招聘,咱们选择机构的时候,可以调查一下该机构的合作企业都有哪些,然后通过一些网络渠道进行查询,是否是一些大规模的公司,也是咱们评判的一个标准。

大数据行业,不论是针对行业内在职提升,还是行业外打算转行的小伙伴来说,都是一个好的选择