Spark 2.x + Python 大数据机器学习实战 视频教程 价值399

  [复制链接]

2113

主题

2127

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
37354
admin 发表于 2021-3-5 01:40:03
29471 114
课程介绍
/ u9 M) n( L3 Z: {机器学习是近二十来年兴起的多领域学科,机器学习算法可从数据中建立模型,并利用模型对未知数据进行预测。机器学习技术不断进步,应用相当广泛,例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。
, T3 k2 d8 n  m) T
( m: w/ Q7 Y- x0 \1 z为什么近年来机器学习变得如此热门,各大公司都争相投入?因为机器学习需要大量数据进行训练。大数据的兴起带来了大量的数据以及可存储大量数据的分布式存储技术,例如Hadoop HDFS、NoSQL……还有分布式计算可进行大量运算,例如 Spark 基于内存的分布式计算框架/架构,可以大幅提升性能。+ B6 a2 R- ?2 q* E3 O1 v

+ o: I! p1 q% L$ m/ y1 _# L6 `$ {  y% VPython是数据分析最常用的语言之一,而Apache Spark是一个开源的强大的分布式查询和处理引擎。本书用详尽的例子介绍了如何使用Python来调用Spark的新特性,如何处理结构化和非结构化的数据,如何使用PySpark中一些基本的可用数据类型,如何生成机器学习模型、操作图像、阅读串流数据以及在云上部署你的模型。
; H9 @4 {( u) [$ r4 p
. s/ B  ^! A$ U% g本课程系统讲解如何在Spark2.0上高效运用Python来处理数据并建立机器学习模型,帮助读者开发并部署高效可拓展的实时Spark解决方案。8 K% g8 l- d& G) F! {
2 `3 L/ d4 G, A3 b+ s
技术包含
" r$ Z( `$ s8 x% n本课程从浅显易懂的“大数据和机器学习”原理说明入手,讲述大数据和机器学习的基本概念,如分析、分类、训练、建模、预测、推荐引擎、二元分类、多元分类、回归分析和Pipeline等;2 T) ?, n& {( A' q
为降低学习大数据技术的门槛,提供了丰富的案例实践操作和范例程序编码,展示了如何在单机Windows系统上建立Spark 2.x + Python开发环境;
; l6 h! s+ s1 ~; g  R/ c适合于学习大数据基础知识的初学者,更适合正在使用机器学习想结合大数据技术的人员;
3 g+ D% \$ N5 A$ t' v8 |; E, h5 j* l( b% Y/ ?1 p4 ^: t2 r6 m
% S& Y& C( p" g# S4 A, s4 y1 v
IT直通车论坛整理分享,全套高清无加密,可直接播放,包含配套资料。* o( W" Z  P0 P

2 R* z; K5 E; P+ j. B8 P5 R课程目录8 G: @3 `/ L$ B6 P" F4 j8 }$ w
第一章、搭建Spark 2.x+Python开发环境及基本开发入门4 P2 c' d3 E' u. C  r2 S* Y3 T
1、快速环境搭建:导入Windows7虚拟机至VMWARE及启动系统和远程桌面连接
9 G; n" [8 l5 x' y5 [+ _& b( y2、快速环境搭建:Windows系统如何安装pyspark模块到Anaconda及启动PyCharm了解Spark MLlib机器学习库源码及走读/ ~9 d, I7 u) u& d  `. D7 l! z
3、快速环境搭建:使用PyCharm开发Spark程序(读取文本数据封装RDD)
0 s5 l( R8 h% a4、PySpark SQL快速开发:结构化海量数据处理框架SparkSQL介绍、DataFrame概述及分析数据两种方式3 M2 `1 X* }% V$ b; ~6 K
5、PySpark SQL快速开发:使用SparkSession读取文本数据分析及CSV格式数据分析(封装DataFrame分布式数据集)) p! P6 g' H* b' [) T
6、PySpark SQL快速开发:基于Jupyter Notebook读取航空航天数据、使用DSL分析& \8 l  K/ ~( X- R0 @
7、PySpark SQL快速开发:使用DSL分析航天航空数据及如何将DataFrame转换为Pandas中dataframe6 B! ^6 P& H$ x9 p

" a! v; {" j% `3 f/ h+ c+ V. x第二章、Python Spark MLlib 创建推荐引擎(ALS算法篇), O! \8 g. h: K% Z& o( ^6 Q% o
8、推荐系统几大分类(不同数据、不同算法)概述、以亚马逊和JD为例查看推荐(检索物品后推荐)及推荐系统预测(评分和行为): X3 N" w7 t( k/ h" r/ m  ~
9、协同过滤推荐算法CF核心思想、算法数据(用户对物品的评价)及矩阵分解两种方式(SVD和ALS算法)) }* [4 `. c* C6 w
10、CF的两种推荐方式(基于用户推荐和基于物品推荐)、计算用户或物品相似度常见四种方式及Spark MLlib中ALS算法核心(数据封装、算法超参数)) x8 H, i" T& ~  e" ]9 u. G
11、推荐数据集:电影评分数据、通过源码剖析Spark MLlib中协同过滤算法实现类(Rating、ALS和MatrixFactorizationModel)
- p: Y& d/ V: _12、使用Jupyter Notebook开发电影推荐:读取MovieLens评分数据、组合特征、训练模型、预测评分和为用户或电影进行Top10推荐- @. M9 c0 d' x

* q$ p) `% t5 b1 v3 m第三章、Python Spark MLlib 创建推荐引擎(深入实践篇)( w& D* z: P7 H0 V$ I3 i! s9 J$ {# j; P2 W
13、回顾综述Spark MLlib中支持推荐系统中不同算法(内容推荐Word2Vector、关联规则FP-Growth和协同过滤ALS)
6 b$ M. I4 S) g; Z; C) {, J, k14、针对电影推荐开发优化:将数据集划分为训练和测试、计算模型评估指标MSE和RMSE值
0 C. Z1 c' J* Y. |15、针对电影推荐开发优化:定义函数封装模型评估(依据传递模型和测试数据集)
3 X8 z. _& X5 K" S16、针对电影推荐开发优化:使用多层嵌套FOR循环设置不同超参数值训练和评估模型,获取最佳模型- {; W7 X* \$ {- P
17、针对电影推荐开发优化:保存加载模型、机器学习简易开发流程和使用PyCharm开发封装模型训练与保存! I3 E* H; e" ^
18、针对电影推荐开发优化:依据输入用户或物品进行相关推荐(加载离线训练完成的模型)6 j+ Y, M8 W  D% v
0 k4 X7 w1 F# H
第四章、Python Spark MLlib 构建分类模型" e( F8 @  w' M: Y* D1 [
19、综述Spark MLlib中实现常见分类算法库(二分类和多分类)及查看实现源码
) Y; [  y7 \6 |7 ^4 \20、监督学习算法数据格式标签向量LabelPoint及Kaggle竞赛StumbleUpon数据集说明(预测网址是否长青或短暂)7 j- `( D( i1 [8 R2 `
21、构建分类系统之数据调研、数据过滤转换和类别特征提取方式1-of-K详解
* j) K, C5 ?% `7 Q& F5 @) g1 Y22、构建分类系统之分别定义函数提取类别label和转换类别数据提取特征features& F+ w+ _* H  Q' M
23、构建分类系统之封装数据、划分数据集、使用决策树分类及二分类评估指标PR和ROC, ?3 `. R* S# V8 d
24、构建分类系统之使用集成学习算法随机森林RF训练模型和评估性能' O8 R! ~7 g# p, \, V) D
25、构建分类系统之使用梯度提升算法GBT训练模型和评估性能
( Q* E* n/ V+ T: L26、构建分类系统之分别使用朴素贝叶斯、支持向量机SVM和逻辑回归算法训练模型与预测9 {* @# i. K5 p
# @/ r( K7 p- A9 e$ d2 {% q, \
第五章、Python Spark MLlib 构建回归分析; _4 z+ s( Y" V
27、Spark MLlib中回归算法实现库(LR、DT等)、过拟合(L1和L2正则化)和阅读算法库源码
9 c. B& J8 d6 i- d28、BikeSharing数据集调研、读取数据并编写函数提取特征和标签5 N- \# s& G0 {$ \* t
29、构建回归模型之划分数据集、使用决策树回归算法训练模型及定义函数评估模型
! \6 W) y9 B! T7 m# A6 `30、构建回归模型之使用随机森林RF和梯度提升GBT回归算法训练模型及评估模型3 p0 V3 P" H+ j% V7 O* o, `5 U
31、构建回归模型之使用LinearRegressionWithSGD训练模型及引出要转换类别特征数据问题
  A. V, K1 t# Q) V4 _5 q8 N# l+ x9 ~3 L: S$ o& O- q; q
第六章、Spark ML Pipeline 机器学习流程回归分析3 m' \8 J# u" \/ {# \4 H: m5 d% I
32、回顾复习Spark MLlib中算法(分类、回归和推荐)及基于DataFrame ML几个核心概念剖析
/ e( ^  f4 K* M; G, Z! f* @33、_查看Spark ML机器学习库源码及SparkSession读取电影评分数据封装DataFrame
0 X7 E5 ~  z- a7 H1 K, s) f34、基于DataFrame 协同过滤算法ALS进行电影推荐模型训练和相关预测
* d$ H& @4 D" R35、基于DataFrame 决策树回归算法DecisionTreeRegressor训练模型(VectorAssembler特征组合)和评估(RegressionEvaluator)  |+ H: d0 L3 K' V" V
36、使用VectorIndexer类别特征转换及使用TrainValidationSplit进行超参数调整获取最佳模型
, w# d  \$ \4 Z- a37、使用交叉验证CrossValidator方式训练评估模型找到最佳模型% m- h9 N/ ]# h2 S+ G
38、Pipeline管道使用说明、结合共享单车出租预测进行构建Pipeline Model模型和预测
; y, O, n4 d+ }" m% v! u% P
  d. z+ E8 {( ~8 H! S% W) _) a; P视频截图7 v7 O) s$ K( q% t. @
捕获.PNG , E# L5 q4 V3 v' M* u7 v. {  f$ x7 A
资源存放>百度网盘
% u  J( S" @/ y. B/ D+ N+ ~, ~: K0 j/ ~) W& O
下载地址
6 x- g$ C2 m; y6 E! i4 I; E
游客,如果您要查看本帖隐藏内容请回复
7 C2 Z$ r5 s* K- I* _
VIP会员全站免金币
" m2 E3 @5 o' p/ u6 ZIT直通车已为全国各地程序员提供上千G课程资源
" s( _) p0 R$ \/ O  Y% c8 o9 k: W如您需要购买本站VIP会员,请点击「开通VIP」享受全站资源免金币无限制下载!
- o/ Q! W' ~9 S5 C6 N# a( [; S
7 f4 c! V( R. d9 V: ?' g% x: N失效反馈
9 |$ b. I$ x8 m! s! CIT直通车所有资源都存放在自己注册的百度网盘,失效可修复,确保持续可用
( d& n+ {/ A( U# l# E4 b  d( i如您需要的资源链接提示失效,请尽情反馈给我们,将在收到反馈后尽快修复「点击反馈
0 x% r( I$ [' b
" @* t) v' m5 s6 b6 g. f获得帮助7 Q5 l' D- _4 s) q* @+ c7 n; V
需要帮助吗?点击网站右侧在线客服,7X12小时在线!5 I1 ~, H0 k1 q
. t0 Q# }6 h; v7 X: V+ p/ }  G
回复

使用道具 举报

aliang55 发表于 2021-3-5 07:19:28 来自手机
回帖看看下载地址
回复

使用道具 举报

网络游侠 发表于 2021-3-6 15:30:14 来自手机
回帖看看下载地址
回复

使用道具 举报

sky322 发表于 2021-3-6 15:35:15
ititititititititititit
回复

使用道具 举报

yxy008 发表于 2021-3-6 15:35:39
1111111111
回复

使用道具 举报

yupeng3322 发表于 2021-3-6 15:43:17
1111111111
回复

使用道具 举报

xrj784520 发表于 2021-3-6 15:44:52 来自手机
楼主辛苦了!
回复

使用道具 举报

saucer 发表于 2021-3-6 15:48:49 来自手机
谢谢分享,注册对了!
回复

使用道具 举报

acmain_chm 发表于 2021-3-6 15:51:42 来自手机
祝IT直通车越办越好
回复

使用道具 举报

tt16888 发表于 2021-3-6 15:57:59 来自手机
IT直通车论坛,给我省了好几千块钱,太多需要的课程了
回复

使用道具 举报

懒得打字嘛,点击右侧快捷回复 AD:IT直通车VIP会员全站免金币下载
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

遇到问题联系客服

安全保证百分百处理 

如您充值或开通会员后资源无法下载

本站有售后服务,联系客服修复即可

[联系客服]-[会员充值]

更多课程

网站启用邮件对接VIP会员服务,不再使用QQ这种低效率工具,有事请发邮件到 wangkefuwu@outlook.com

关于本站

VIP介绍 加入我们

售后服务

QQ客服 Email邮件

网站声明

IT直通车(www.itztc.com)是一个IT视频教程、软件、书籍资源整合分享平台
站内所有资源均来自于互联网,版权归属原资源作者,如无意侵犯您的版权,请联系我们删除处理。

Archiver|手机版|小黑屋|IT学习网 |网站地图

Powered by Discuz! X3.4  © 2001-2013 IT直通车 ICP证:粤ICP备13026616号 增值电信业务经营许可证:粤B2-20140196

返回顶部 返回列表