本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
前言
辨识数据分析、机器学习与人工智能的区别,有助我们选定学习目标和学习定位
这几个概念/岗位的知识有不少重叠的部分,如果不清晰,则在学习时可能会点错技能点
本文通过辨识四者,帮助大家选择好自己的学习定位
预先声明,本文的个别观点可能会说得过于绝对 ,这只是为了强化它们的区别
因为数据分析、机器学习与人工智能三者本身就不是那么的泾渭分明
它们之间有很多层叠的地方,因此要给出一个绝对的描述是不可能的
此外,本文为个人观点,也并非很严谨的观点,
本文仅仅只是为了让刚接触的同学,有一个可以初步参考的内容,避免一无所知
本节介绍数据分析是从事什么工作的,以及技能要求
数据分析是干什么的
顾名思义,数据分析就是对数据进行分析
虽然岗位同样是数据分析,但实际工作会因为不同公司、不同业务,而有很大区别
工作岗位与工作内容
一般来说,数据分析的岗位与工作内容有如下三种:
1. 传统公司小数据分析
使用Excel等进行数据统计,分析
2. IT行业数据分析(常见于互联网公司)
数据用数据库存储,使用SQL搭配python等语言进行业务分析
3. 高级数据分析
需要一定的建模能力,与数据挖掘有一定的交叉
工作所需技能
对应地,数据分析所需要的技能如下:
初级技能:excel、分析思维
中级技能:SQL、python、用户画像
高级技能:线性回归、逻辑回归、SVM、决策树
目前,从事数据分析的人员一般以专科、本科为主
工作定位
一般来说,数据分析的定位是从属于业务,一切从业务需求出发
数据分析的定位下限是技术服务于业务,上限则是技术赋能于业务
它日常工作主要是服务于业务,对业务问题进行分析、产出相关报告
所以,数据分析的下限非常低,只要有学历、会Excel就可以从事了
但是,如果要往更高级的工作内容走,就要接触SQL、python、甚至一些模型算法
本节介绍机器学习相关的工作日常一般是干什么的
数据挖掘/数学建模/机器学习-是干什么的
工作岗位与工作内容
数据挖掘/数学建模/机器学习这三种岗位,在实际工作中往往是同一样东西
这大概是因为机器学习=数据挖掘+建模,所以三者实际是同一回事
它们都是使用传统的算法和模型,来对数据进行建模
通过业务数据的训练,完成业务上的一些聚类、分类(识别)、预测的任务
例如:产品推荐、用户质量预测(评估)、用户画象、数据关系挖掘等等
数据挖掘/数学建模/机器学习-所需技能
初级技能:语言:SQL、python;
模型:线性回归、逻辑回归、SVM、决策树等
高级技能:语言:hadoop,spark
模型:神经网络、深度学习
目前,数据挖掘的从事人员一般以本科、研究生为主
工作定位
机器学习岗位一般的定位是"用技术赋能于业务"
它往往作为一个独立组织,会有一定的技术空间,
主要以产出业务模型、分析报告等产品,来对业务进行赋能
数据挖掘/数学建模/机器学习一般都只要求熟悉传统机器学习模型
一般来说,很少会使用深度学习的模型,但不排除某些特殊业务/岗位会有所要求
在编程语言方面,一般以python、SQL为主,在数据量特别大时则需要使用hadoop或spark
本节介绍深度学习/AI一般是干什么的
人工智能 /深度学习
由于人工智能AI目前以深度学习为主力军,所以AI和深度学习往往指同样的工作
工作方向
目前根据处理问题的对象,和基础业务背景,
深度学习明确分为三块:文本挖掘NLP、图象处理、音频处理
1. 文本挖掘NLP
主要任务为词法分析、句法分析、语义分析、文档分析,
用于序列标注、文本分类、机器翻译、问答系统等
2. 图象处理
实例分割、图像分割、特征提取、字符识别等
用于人脸识别、OCR识别、图像目标检测、目标跟踪、模板匹配
3. 音频处理
音频信号处理、数字滤波器,时频分析等,
用于音频降噪、、语音增强、语音识别、声纹识别、声音事件检测等
备注:还有其它综合性更强的、或非指定类型问题岗位,这里不一一列举
技能要求
深度学习一般需要如下的技能:
base语言或框架:python+TensorFlow、Pytorch框架, 拓展:C++
base算法:神经网络、深度学习(CNN、RNN等)、迁移学习、强化学习等。
应用方向知识:不同方向需要不同专业知识,例如文本分析、图象处理、音频处理等
文本分析、图象处理、音频处理三个应用方向所需的一些特有知识如下
1. 文本挖掘(NLP)
文本处理基础技能,如分词等
算法:BERT、Transformer、GPT-3、图神经网络、知识图谱等
语言或框架:python
2. 图像处理
图像基础知识,图像库OpenCV等
3. 音频处理
音频信号处理、数字滤波器等
目前,深度学习/AI的从事人员一般以研究生、博士为主
工作定位
深度学习/人工智能一般的定位,仍然是技术赋能于业务
但由于深度学习技术上的突破,能给业务带来压倒性的优势
因此,深度学习/人工智能的定位上限可以去到"技术反哺于业务"
总的来说,深度学习的工作,在技术上更具研究性、挑战性
本节综合上述内容,总结数据分析、机器学习与深度学习三者的区别
总结
数据分析、机器学习与人工智能关系总结
数据分析、机器学习(数据挖掘)、人工智能(深度学习)
这几者不管是从技能、焦点、和难度都是层层叠进,又相互有交叉的关系
它们之间的界限不是完全泾渭分明,但整体上是层层叠进
对新人的建议
对于一般普通人来说,建议从中级数据分析、或者数据挖掘入手
对于AI,有太多的Base知识和要求,对一般人可能过于困难上手
而对于低端数据分析,往往又不具挑战性,且进阶路线过于漫长
因此,从中级数据分析或者数据挖掘入手,可能是对普通人最适合的选择
老饼对数据分析的看法
在技术链上,数据分析是最底端的,但是,这仅仅是技术链
在做数据团队的管理岗时,数据分析又站到了顶端,数据分析其实是个很高级的技能
好了,以上就是数据分析、机器学习与人工智能之间的介绍和区别了~
End