基于Python Spark的大数据分析 价值399元

  [复制链接]

2115

主题

2129

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
37370
admin 发表于 2021-2-1 02:40:02
29078 107
课程介绍
' H0 D( n  ^9 g7 N! o4 z! t% M课程研发环境
( w2 `7 v' p1 S5 P' RAnaconda2-4.2.0(Windows 64和Linux 64位)
, J5 _6 p' M( D8 Z: |8 ^pycharm-community-2016.2.37 k( Q" F( ?8 ~5 y5 ?& ]6 h# J
Python-2.7.9
5 i% Z+ p$ z1 f. E% l( D2 Rspark-1.6.1-bin-2.5.0-cdh5.3.61 o2 Y* w) t( B8 _! l0 l6 O8 o. c! ^
hadoop-2.5.0-cdh5.3.6" @7 h, X/ |0 W' z: [0 p
hive-0.13.1-chd5.3.6
. Y; _( q* m. c1 l: M' u' \一、pyspark环境篇
( c: u( F* N9 u①python2.7+pycharm环境配置" [3 g1 I# b! x) e: ]" k
②anaconda环境配置
. o3 ?: q' J/ t6 K5 E3 {/ w③python数据结构及函数使用( g7 H4 b  h, \; V8 G
④Spark2.x环境配置( }$ ~/ b8 ?- E/ e* \+ ?

. q$ k. n- x- x& a+ q$ P2、pyspark基础篇. O; J* W; j* k$ f2 ]' G3 Q4 Q
①配置pyspark模块到pycharm9 M7 \- o  h  Q$ A7 ]' n
②基于pyspark编程实现wordcount(词频统计)3 w9 ?- e6 @0 {' Y. P
③spark-submit提交spark application2 H; C9 O4 ^* q3 K
④案例:基于pyspark电商网站数据分析
8 I7 g7 r0 K% m- x* h5 j8 W⑤深入理解pyspark内部工作原理
, Y9 i0 t# H3 n. n( ]5 ~, q9 X$ X
3、pyspark进阶篇- r  [0 q/ y, }8 i' T, Q
①基于pyspark的sparksql编程(sql和dsl)2 r: o) Z8 h3 W# f1 I
②案例:淘宝用户数据分析(集成hive使用)
0 A1 a) K4 o+ _. n③如何定义、注册和使用udf, t; Z) G4 [- [1 x4 o: J
④基于pyspark的sparkstreaming实时计算
. g. w' f5 l! ~5 l' K" A" B5 }⑤案例:实时销售额统计和商品点击趋势分析
) V! K' \7 _1 y/ H6 s: V: e3 t: v! s5 |
4、pyspark项目篇' {2 V8 P9 l1 m3 o# P
①实战项目:美国宇航局肯尼迪航天中心web日志
- m  r( b$ a: n: K0 A7 C5 W②数据统计:数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析
2 i8 S; O2 K. F; K
9 |4 K1 T: b0 D: S% W8 D$ e$ H6 }5、bigdata实战篇
$ t: J% d0 W6 N5 B①使用hbase的pyton api访问数据0 E$ K& K" X& q( J1 p. K
②实战:爬取电子商务网站的图片和商品信息- r5 a: t; T' [. |; f: O( i; `
③python的爬虫(beautifulsoap和mechnize)4 q& N7 c4 w; Y3 u( _( A
④数据存储hbase表及分析0 t9 G2 e' E/ X& Y( {/ A
课程目录, F4 H% I$ W; Y* j. `
课程一:PySpark课程及环境准备! L% ~/ g+ d6 {6 g  F/ M
0101-为什么要学习PySpark编程/ |  D# p' v$ Y0 l& Q
0102-ySpark编程的内容大纲0 z, R- D# @/ ?% n2 R
0103-Python介绍、Windows下2.7的安装及测试
" G+ W# Q1 G4 c7 q5 A( q2 j0104-PyCharm安装、设置及创建工程和测试
# l+ c5 }6 J/ C$ f( ]0 L' N0105-PySpark第三方包的安装配置
- s$ O$ j: c  E. {6 j( _/ {0106-基于Python的SparkCore编程模板
4 o2 D1 n4 P- N& n. O  U! J9 L3 Q0107-解决Windows下开发HDFS相关警告" @1 W3 H/ q8 e2 S( q, R! o' ]7 K
0108-并行化本地集合创建RDD及RDD初步使用; ]) c" f" S' I
0109-Python中函数的定义及匿名函数lambda使用
5 ^  b2 G4 L6 i: M2 c' ~6 a0110-PySpark实现WordCount程序及测试" z- ~+ L8 b7 Y& |
; [9 w0 O# [8 O4 Q
课程二:PySpark环境准备(二)0 M& a" D* }+ M$ X* @5 D, j# _; W( n
0201-回顾上次课程的内容及本次课程提纲
8 Y5 R- w- g' f5 w2 Z0202-PySpark实现从HDFS读取数据实现WordCount(属性配置)
, I7 I. M" q& s8 V7 M) C) j0203-深入WordCount程序之SortByKey3 i# a' `7 O6 a
0204-深入WordCount程序之Top
* Q6 Q: N9 T2 ?( i! U0205-Anaconda2版本、安装、配置、使用及测试(针对pyspark编程)
% g5 B0 i4 M- E' c0206-Spark自带交互式pyspark命令的使用
/ M, S+ q$ N: G: U7 v) \0207-pyspark底层架构及如何提交pyspark程序运行2 t0 p' C+ Y8 \) u6 K
0 L/ ~; M+ B& Q, I6 t: h
课程三:PySpark基础篇
5 T( u4 @  ~/ H* a  _( X1 u. ^0301-Linux下源码编译安装Python及测试pyspark程序
1 n( H; m0 S) @0 p, h0302-快速掌握SparkStandalone及HistoryServer配置与功能使用% t+ C4 {2 V  N) C
0303-运行Python脚本在SparkStandalone集群模式下
. \# F: |6 ]7 s6 ^! ~0304-案例分析:需求分析及读取数据、过滤清洗转换数据& d2 `* l/ J" }
3 B/ T$ M) L* v+ e& P4 Q7 I. q+ _
课程四:PySpark进阶篇(一)# ]# {- X% D5 w' x3 W, n4 f
0401-案例分析:浏览量PV和访客数UV分析实现
  l# D1 I9 A: N% Z0402-案例分析:熟悉RDD中其他API函数的使用- M- a/ w; \- u/ ~% z1 [+ I# W1 G
0403-PySpark基础使用回顾总结  O8 O+ x! j" q3 O8 B9 v
0404-淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame
- q& E# ?- g; g  R0405-淘宝数据分析:Python的DataFrame的SQL和DSL数据分析
; \! T( z8 j7 x' S9 B6 l- _3 Q7 O2 s( a! \
课程五:PySpark进阶篇(二)
6 ^- P7 r7 x2 F* G4 ^$ v( j0501-Linux系统配置pyspark及安装PyCharm的配置
3 |9 f' v+ {* k( B0 [4 J" M$ `6 q, u" l0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
. o& x0 u7 B6 R0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用4 A) h' R: q! [. {
0504-基于Python的SparkStreaming从Network读取数据处理. T; g: }" e6 z

4 I* x" ^0 }* Y7 h+ v3 d; p$ h课程六:PySpark项目篇(一)0 Y$ l2 q8 i7 i, U3 X' j+ D2 \
0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明) P1 u' n, m# Q8 [8 G  s' c
0602-项目实战:数据调研和开发流程2 \( b0 o3 C( N+ n* h& Y+ X
0603-项目实战:pSparkSQL数据读取、数据解析(正则表达式函数)和数据初步清洗; h7 x- p3 ^: u

; E; ]* d1 f$ S! p; x课程七:PySpark项目篇(二)7 Z9 o7 h# D# }2 n  N* `; K
0701-项目实战:数据清洗过滤(SparkSQL函数使用): E. x; i1 T! P0 X
0702-项目实战:数据转换(日期类型数据处理,自定义UDF使用)
& Z) O- r( i( B; C3 b4 \0703-高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)- w: a1 @. @0 Y/ R5 W, `5 A
, r5 }% d) {6 a. S6 S
课程八:PySpark项目篇(三)' ]4 N' Z& B! H4 b; z5 g% V
0801-项目实战:依据需求数据分析编程测试(一)8 v" [/ M. g$ R) [9 E& [$ ]
0802-项目实战:依据需求数据分析编程测试(二)- A% l% ], m, n& Q
0803-项目实战:依据需求数据分析编程测试(三)及高级知识扩展3 n# f+ O2 x4 l' f5 j0 s
视频截图
8 E9 m: z6 t" C1 z5 M QQ截图20210201024121.png . V2 `! E" I: i5 S4 b9 J, d: C% r4 m3 }
资源存放>百度网盘" D8 j$ R% y3 i: d
# W% q" E9 u$ Z' z3 q
下载地址
* o+ q9 U7 W3 F) e
游客,如果您要查看本帖隐藏内容请回复

! R: q" ?3 u2 e1 |VIP会员全站免金币
2 A$ q6 x+ i4 P$ D- _3 SIT直通车已为全国各地程序员提供上千G课程资源
8 |$ b& z, S$ Y7 F如您需要购买本站VIP会员,请点击「开通VIP」享受全站资源免金币无限制下载!
) Z6 Y1 j+ e; W, `
1 R& W# O! q$ ?6 F5 }失效反馈4 U9 v9 `( {( Y- b& _) Y, c, _
IT直通车所有资源都存放在自己注册的百度网盘,失效可修复,确保持续可用: b3 a3 Z& c' c* Z7 I" s- a; m
如您需要的资源链接提示失效,请尽情反馈给我们,将在收到反馈后尽快修复「点击反馈
% [' \# i7 b8 r) T* I% {! A
# c! T. r1 d' l) R获得帮助
. p8 }* R3 S; `: F6 o8 C% E  K& h需要帮助吗?点击网站右侧在线客服,7X12小时在线!
" y/ u3 A: ]: E- P
; N. k4 O# Y6 |8 j& W) d4 [- @: z) X
! z, o/ C% ]' }. E
回复

使用道具 举报

奥特曼 发表于 2021-2-1 07:02:02
IT直通车论坛,给我省了好几千块钱,太多需要的课程了
回复

使用道具 举报

zhangxiwen123 发表于 2021-2-1 09:51:54
楼主辛苦了!
回复

使用道具 举报

403727608 发表于 2021-2-1 13:37:49
网盘网盘下载网盘下载
回复

使用道具 举报

天天向上 发表于 2021-2-1 16:38:36
666666666666666666666
回复

使用道具 举报

saucer 发表于 2021-2-2 07:02:57 来自手机
感谢~~~~~~~~~~~~
回复

使用道具 举报

aliang55 发表于 2021-2-2 08:43:38
ttttttttttttt
回复

使用道具 举报

chen199306 发表于 2021-2-5 08:13:48
看了几节课程,对我帮助很大
回复

使用道具 举报

wanghui0380 发表于 2021-2-5 08:50:23
教程不错很清晰,来下载新课程学习了
回复

使用道具 举报

yxy008 发表于 2021-2-5 20:34:30
收割一波好资源
回复

使用道具 举报

懒得打字嘛,点击右侧快捷回复 AD:IT直通车VIP会员全站免金币下载
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

遇到问题联系客服

安全保证百分百处理 

如您充值或开通会员后资源无法下载

本站有售后服务,联系客服修复即可

[联系客服]-[会员充值]

更多课程

由于QQ吞消息严重,网站启用邮件对接VIP会员服务,有事请发邮件到 wangkefuwu@outlook.com

关于本站

VIP介绍 加入我们

售后服务

QQ客服 Email邮件

网站声明

IT直通车(www.itztc.com)是一个IT视频教程、软件、书籍资源整合分享平台
站内所有资源均来自于互联网,版权归属原资源作者,如无意侵犯您的版权,请联系我们删除处理。

Archiver|手机版|小黑屋|IT学习网 |网站地图

Powered by Discuz! X3.4  © 2001-2013 IT直通车 ICP证:粤ICP备13026616号 增值电信业务经营许可证:粤B2-20140196

返回顶部 返回列表