基于Python Spark的大数据分析 价值399元

  [复制链接]

2131

主题

2149

帖子

4万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
40353
admin 发表于 2021-2-1 02:40:02
30709 109
课程介绍
  @: h) _6 g3 I7 ?' \, u! j: }课程研发环境
$ V$ c% o0 E5 V  k6 i# b2 WAnaconda2-4.2.0(Windows 64和Linux 64位)' l7 `; h4 V" Q9 C7 `# O
pycharm-community-2016.2.3
1 U* M1 I& u6 J' B% d9 y) PPython-2.7.9* O6 P8 E) b) |: c2 L6 R3 n( \
spark-1.6.1-bin-2.5.0-cdh5.3.61 A( _; b7 h! [
hadoop-2.5.0-cdh5.3.6
. ]& N$ O7 R8 Jhive-0.13.1-chd5.3.6
# O! R8 e. A0 W: F) p一、pyspark环境篇
. i2 J& ]' }7 s6 i7 p  U& b7 A①python2.7+pycharm环境配置
# M2 @# g" H4 n0 C+ i. P②anaconda环境配置# c! u/ R# v  U" l7 g' v
③python数据结构及函数使用
, I1 y, q* @* Z9 g9 a1 r④Spark2.x环境配置
9 M7 u. r2 d4 O  i9 q6 |0 y( p
! I  N) \3 D5 @& K+ R2、pyspark基础篇& F- u, d$ R: Y) q
①配置pyspark模块到pycharm
$ M5 q: p$ _; u/ C" X②基于pyspark编程实现wordcount(词频统计)
& C0 |6 a# Z+ D4 t$ b% H# c6 r③spark-submit提交spark application8 d3 ~$ c$ p: k/ Z6 B. @
④案例:基于pyspark电商网站数据分析
; {9 ^% I1 F' t⑤深入理解pyspark内部工作原理
' |9 i) f! _- H
+ c8 t; l4 I2 j# _, n7 i3、pyspark进阶篇* N' n! `: {- V  S# \) V( [* ]/ z: j
①基于pyspark的sparksql编程(sql和dsl)" v9 e) ~  U3 z
②案例:淘宝用户数据分析(集成hive使用)0 h) r4 L* m7 w/ H3 V
③如何定义、注册和使用udf
0 B& G8 J' Y: u2 ~2 t0 Y  v" d④基于pyspark的sparkstreaming实时计算3 }1 E! D8 Y- A2 X1 \9 S1 A+ w
⑤案例:实时销售额统计和商品点击趋势分析
5 R6 p7 Q( D: \. ?  r2 k& U' ^/ W
) V3 x% \( h" q/ K5 W5 t4、pyspark项目篇
6 R9 k0 X. B# A+ x, I①实战项目:美国宇航局肯尼迪航天中心web日志5 V8 k, \  c/ H9 T
②数据统计:数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析5 Q* t; j! {) N

+ t+ }( I+ @0 x# r0 z% m5、bigdata实战篇% w; L6 ]. e* f! N
①使用hbase的pyton api访问数据
2 k+ R$ |/ E5 ]/ B4 b②实战:爬取电子商务网站的图片和商品信息9 Y) H* T% {  w; l0 ?& b4 H! u
③python的爬虫(beautifulsoap和mechnize)5 a0 U+ e; |! n8 t* A1 D
④数据存储hbase表及分析
0 s4 N! r6 Q3 j课程目录' M1 ]6 D1 n- V( V7 q4 Z- H! ^3 |
课程一:PySpark课程及环境准备
: w8 b% }7 G6 }- q0101-为什么要学习PySpark编程
: J8 S7 ~2 `1 F/ V* ~, D0102-ySpark编程的内容大纲
3 O! O; f2 l. Y0 g$ Y0103-Python介绍、Windows下2.7的安装及测试
$ F, D/ _$ ~# P/ w0104-PyCharm安装、设置及创建工程和测试! P: S9 E6 s* d9 |1 i
0105-PySpark第三方包的安装配置
1 f8 x# K7 X& d- q0106-基于Python的SparkCore编程模板& f5 e  I; j- e3 u
0107-解决Windows下开发HDFS相关警告" h% ?! Z2 ]( ?! ^9 Z
0108-并行化本地集合创建RDD及RDD初步使用
2 d- n# T( a! C* Z0109-Python中函数的定义及匿名函数lambda使用* g$ M1 m8 |" O+ q$ w1 ^# Z
0110-PySpark实现WordCount程序及测试
% A4 i0 o9 ^; Z+ [. [9 W( c- p( |2 p6 c: N+ M0 |* k2 n
课程二:PySpark环境准备(二)
# b8 l: v, j: T/ |! r6 a2 _2 ]1 i, y0201-回顾上次课程的内容及本次课程提纲& T8 i0 @5 o  v1 y2 w
0202-PySpark实现从HDFS读取数据实现WordCount(属性配置)/ l( Z2 E+ C. h; P
0203-深入WordCount程序之SortByKey" {0 z1 R4 y' }, X
0204-深入WordCount程序之Top$ X9 G7 n% S, v% q; s, r
0205-Anaconda2版本、安装、配置、使用及测试(针对pyspark编程), k1 S* I, w2 C2 a$ Y$ p
0206-Spark自带交互式pyspark命令的使用
5 K' x/ m0 W# f: [  d# ^* t0207-pyspark底层架构及如何提交pyspark程序运行3 p: F1 u0 `6 _' x- Z
$ ^# H, `- e' b
课程三:PySpark基础篇3 h1 `8 ?6 U4 O1 o% _7 R3 ?, V
0301-Linux下源码编译安装Python及测试pyspark程序/ b) C9 V4 u# M
0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
2 ~3 @! f* `& l* a0303-运行Python脚本在SparkStandalone集群模式下
) G: G+ `6 p" `$ G# ]! [, a( \0304-案例分析:需求分析及读取数据、过滤清洗转换数据
9 I+ {1 C. M. _3 ]0 N3 }1 u% P4 }, l
课程四:PySpark进阶篇(一)6 P$ Q9 W! U6 x, ]1 d2 b, q
0401-案例分析:浏览量PV和访客数UV分析实现9 Q" g1 U; r6 u( i
0402-案例分析:熟悉RDD中其他API函数的使用
9 ]* _3 `" a1 n0 z9 H0403-PySpark基础使用回顾总结
! {+ z; ]5 H# d3 b0404-淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame: _9 a* ~& o5 a( y# q( }1 D' q
0405-淘宝数据分析:Python的DataFrame的SQL和DSL数据分析& }" r& Q- e3 ~  L" G

' }1 w' \4 h8 N& k5 u课程五:PySpark进阶篇(二)! F  R( c/ r$ a! L; c4 R8 j! Z" L
0501-Linux系统配置pyspark及安装PyCharm的配置
! P8 B, Z- K; d" m4 F6 ^0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
) ?' W% j( r& U* F0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用/ {0 R4 g: q* U
0504-基于Python的SparkStreaming从Network读取数据处理" L5 j; {( j0 @, {
* B$ U* r; A. B, W
课程六:PySpark项目篇(一)
% S! P- E2 o, ]0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明
) _- T# E4 H* K6 g+ S0602-项目实战:数据调研和开发流程
1 S! z; `1 A& m0603-项目实战:pSparkSQL数据读取、数据解析(正则表达式函数)和数据初步清洗
; f% R9 i# v# M
0 {2 K7 q, l5 Y! N课程七:PySpark项目篇(二)) @7 r- {1 F9 y1 C* ^' [3 H
0701-项目实战:数据清洗过滤(SparkSQL函数使用)
- q; X! s2 a4 A. y0702-项目实战:数据转换(日期类型数据处理,自定义UDF使用)' D, w& z1 U8 ^
0703-高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)
9 V1 E* g( h% @6 ?2 b5 k  A
0 K5 E7 L+ U- m9 A9 R# h1 z5 \课程八:PySpark项目篇(三)
& N! y+ q8 _" q2 j0 S0801-项目实战:依据需求数据分析编程测试(一)7 Z, q1 ?% J! x2 s7 @3 }
0802-项目实战:依据需求数据分析编程测试(二)! R0 T4 j2 m- M  A% a2 A& I
0803-项目实战:依据需求数据分析编程测试(三)及高级知识扩展
" P$ H* ]: O5 s9 D1 s  f4 S( T视频截图, V2 ^& ~& b- E. l5 U& V) a
QQ截图20210201024121.png
, [) O0 ~, H8 m) p3 g' a资源存放>百度网盘
3 F( m! u' R, N' i" V# ?* a/ o
9 d) D: m+ q+ o! n' n* E下载地址! S6 C, p0 |% U/ M
游客,如果您要查看本帖隐藏内容请回复

# Q; b/ U6 @. L% P* H5 _VIP会员全站免金币$ p3 {" l. J$ ^( A* S) w' k. v3 C: d) E
IT直通车已为全国各地程序员提供上千G课程资源. l2 p4 `- Y6 n$ G
如您需要购买本站VIP会员,请点击「开通VIP」享受全站资源免金币无限制下载!
# |7 i. k( }" A& N
( s* K3 c: q2 Q: [失效反馈) J( v1 A/ r2 b' o3 m; f1 N
IT直通车所有资源都存放在自己注册的百度网盘,失效可修复,确保持续可用
' `& h5 c$ W6 X4 Z2 k# ^7 ~1 k% e# d如您需要的资源链接提示失效,请尽情反馈给我们,将在收到反馈后尽快修复「点击反馈
, o# F2 G3 W/ V: c- E* \) B7 F
8 H& M; e- {) i获得帮助! F7 |8 @( p: x9 X: I
需要帮助吗?点击网站右侧在线客服,7X12小时在线!
- C) i) l) L. H9 S& A& Z! w/ `8 |, a1 |, r
# ~- t# `+ q! j1 I, i' t
回复

使用道具 举报

奥特曼 发表于 2021-2-1 07:02:02
IT直通车论坛,给我省了好几千块钱,太多需要的课程了
回复

使用道具 举报

zhangxiwen123 发表于 2021-2-1 09:51:54
楼主辛苦了!
回复

使用道具 举报

403727608 发表于 2021-2-1 13:37:49
网盘网盘下载网盘下载
回复

使用道具 举报

天天向上 发表于 2021-2-1 16:38:36
666666666666666666666
回复

使用道具 举报

saucer 发表于 2021-2-2 07:02:57 来自手机
感谢~~~~~~~~~~~~
回复

使用道具 举报

aliang55 发表于 2021-2-2 08:43:38
ttttttttttttt
回复

使用道具 举报

chen199306 发表于 2021-2-5 08:13:48
看了几节课程,对我帮助很大
回复

使用道具 举报

wanghui0380 发表于 2021-2-5 08:50:23
教程不错很清晰,来下载新课程学习了
回复

使用道具 举报

yxy008 发表于 2021-2-5 20:34:30
收割一波好资源
回复

使用道具 举报

懒得打字嘛,点击右侧快捷回复 AD:IT直通车VIP会员全站免金币下载
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

遇到问题联系客服

售后保障

如您充值或开通会员后资源无法下载

本站有售后服务,联系客服修复即可

[联系客服]-[会员充值]

更多课程

由于QQ吞消息严重,网站启用邮件对接VIP会员服务,有事请发邮件到 wangkefuwu@outlook.com

关于本站

VIP介绍 加入我们

售后服务

QQ客服 Email邮件

网站声明

IT直通车(www.itztc.com)是一个IT视频教程、软件、书籍资源整合分享平台
站内所有资源均来自于互联网,版权归属原资源作者,如无意侵犯您的版权,请联系我们删除处理。

Archiver|手机版|小黑屋|IT学习网 |网站地图

Powered by Discuz! X3.4  © 2001-2013 IT直通车 ICP证:粤ICP备13026616号 增值电信业务经营许可证:粤B2-20140196

返回顶部 返回列表