基于Python Spark的大数据分析 价值399元

  [复制链接]

2049

主题

2060

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
29960
admin 发表于 2021-2-1 02:40:02
28457 107
课程介绍
7 V) C: Z9 W3 m7 i; ^课程研发环境9 b: h: t7 g3 a8 V' l* E: h8 b* l
Anaconda2-4.2.0(Windows 64和Linux 64位)6 {; W( o: p1 [& J2 C- Y( C! r
pycharm-community-2016.2.3
7 I6 N& f$ J+ x/ s# v* E  A  ]Python-2.7.9
2 J, C7 w( N" O2 O$ b. ?spark-1.6.1-bin-2.5.0-cdh5.3.6
9 a; l5 I) z& Z* khadoop-2.5.0-cdh5.3.6
9 U, I4 _( x3 C* chive-0.13.1-chd5.3.6
! n; b! s( K3 v+ W* A2 @( F9 u+ _' R! ?一、pyspark环境篇
6 B7 ]# W; Z; Z7 }( `①python2.7+pycharm环境配置+ w- }- c- t. X! T" x* j# i. a
②anaconda环境配置' v: m6 U% B" N. U
③python数据结构及函数使用
5 o, S( e. ~7 }* \④Spark2.x环境配置1 }9 g% g( K. [0 h. l8 q+ u
3 B, U4 G- e) h; d$ D% c7 N: N
2、pyspark基础篇1 A/ }- V6 g- R: U
①配置pyspark模块到pycharm
7 v5 X2 [- k0 z' t②基于pyspark编程实现wordcount(词频统计)
! T5 W/ v7 E- o5 S, ^& m: C③spark-submit提交spark application
. C2 E- _) r- v9 s④案例:基于pyspark电商网站数据分析/ P8 U. |# \* k) K
⑤深入理解pyspark内部工作原理4 r" T  E8 v1 H7 f' j1 S7 Z4 P
$ B5 Q( X+ v, W  B8 i6 I/ [+ l/ F
3、pyspark进阶篇) C! [5 D" a( }* o' B- f
①基于pyspark的sparksql编程(sql和dsl)
1 x" v( G% H' b# B②案例:淘宝用户数据分析(集成hive使用)1 L: }$ E& O7 n) G' T2 h9 @
③如何定义、注册和使用udf+ A9 b7 j, s* e- w
④基于pyspark的sparkstreaming实时计算) x* N% z+ w% H2 K
⑤案例:实时销售额统计和商品点击趋势分析
# T( v- r" B  b; g6 ]
5 @2 D) s4 @& M! S  H4、pyspark项目篇
8 @- M! k9 I( H# }, i①实战项目:美国宇航局肯尼迪航天中心web日志
' T! }/ b  M: f; M, N+ E2 I②数据统计:数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析  y  {& Q/ t$ f& S: w
* V: H1 o1 C* V& r) A2 ^7 h# h
5、bigdata实战篇
( s# f8 g5 {" H3 Q& s8 L①使用hbase的pyton api访问数据
, f  y9 b% X9 e②实战:爬取电子商务网站的图片和商品信息1 m% t) m3 N8 c* j% U
③python的爬虫(beautifulsoap和mechnize)
( `  |$ P: Z% ^0 T+ R7 Y! O2 ?$ ?④数据存储hbase表及分析7 b; K% z; O" A7 u9 A! d1 [: J
课程目录
, r5 F1 k# Q( J( H' s课程一:PySpark课程及环境准备9 ~' Q. Z8 |1 R" _& i8 `
0101-为什么要学习PySpark编程
7 ]) u" t( P9 A4 a1 ~3 C/ u9 T1 ]0102-ySpark编程的内容大纲: Z8 Y" }" Q( G
0103-Python介绍、Windows下2.7的安装及测试1 M/ ]. [. s9 i+ ]& t: m: @; v, |
0104-PyCharm安装、设置及创建工程和测试
' E. t  x  f$ o7 {0105-PySpark第三方包的安装配置* n) A. e- e6 E# y, `! c" V- Y
0106-基于Python的SparkCore编程模板5 I7 v4 u) i) F0 l7 Y! G* [
0107-解决Windows下开发HDFS相关警告
5 C9 {2 ?/ T' a& _0108-并行化本地集合创建RDD及RDD初步使用
, N' S% g- M( k) {. H8 n( j0109-Python中函数的定义及匿名函数lambda使用) _: |( H! g" G' ]; V" {
0110-PySpark实现WordCount程序及测试6 ^) B' E5 O1 O7 I' N

4 Q! E4 Z! O% m+ f, J) }# P& ?# ~课程二:PySpark环境准备(二)
0 T/ Q; `: D  }/ C( W# c: H3 i; e0201-回顾上次课程的内容及本次课程提纲
9 {: E- B/ _: b: x. ?; S* x0202-PySpark实现从HDFS读取数据实现WordCount(属性配置): ^  C  G! u) B" E8 Y: w
0203-深入WordCount程序之SortByKey1 \  y( J; m# k: I) P( R
0204-深入WordCount程序之Top
3 b  h* V2 m2 k. I0205-Anaconda2版本、安装、配置、使用及测试(针对pyspark编程)' L) b- a* a, ~
0206-Spark自带交互式pyspark命令的使用
: e+ J  \5 x. s0207-pyspark底层架构及如何提交pyspark程序运行1 {- v3 }& d$ z

6 L; m& Z$ p1 O. _课程三:PySpark基础篇
, c& A* `8 O( ~' m# x% j7 j: F0301-Linux下源码编译安装Python及测试pyspark程序/ n% i) ?9 }. K" ^) A
0302-快速掌握SparkStandalone及HistoryServer配置与功能使用/ g4 g" ]3 T1 `0 E* @3 k- e1 D
0303-运行Python脚本在SparkStandalone集群模式下- Q) s2 ]( v, w/ G# `! K4 {6 B
0304-案例分析:需求分析及读取数据、过滤清洗转换数据
+ K% [7 A+ ]$ ~  }8 A
# e8 M: B) r# T课程四:PySpark进阶篇(一)
+ S: C! X% p( V/ h' K0 @8 h0401-案例分析:浏览量PV和访客数UV分析实现; I" Y! A$ @& H# E5 ~
0402-案例分析:熟悉RDD中其他API函数的使用: @9 f# W: L+ y- V8 V% k
0403-PySpark基础使用回顾总结
* C+ N6 J% J" L( j  M6 o0404-淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame
  @7 B9 d8 [# L2 ^+ P; {1 z0405-淘宝数据分析:Python的DataFrame的SQL和DSL数据分析
9 ~; l) B) S" F* v
0 z8 c3 P" ~0 Y  n6 @) ^4 F5 X课程五:PySpark进阶篇(二)3 o+ X, V# V% Y
0501-Linux系统配置pyspark及安装PyCharm的配置0 r8 d' `2 ^7 l, ?
0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
0 g0 h0 E2 q) d6 }3 t0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用( u" p" S1 s: d$ |8 n3 z8 Y9 U- s" E
0504-基于Python的SparkStreaming从Network读取数据处理
; C5 s) j- t6 U$ b5 M1 c
3 s) V; X  G3 A$ q5 T; f3 ]课程六:PySpark项目篇(一)* x2 B5 e% M# v
0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明
& r, i. K0 U4 E/ U6 k0602-项目实战:数据调研和开发流程% j" T& S4 a6 y" {
0603-项目实战:pSparkSQL数据读取、数据解析(正则表达式函数)和数据初步清洗
4 v, |% d8 M& q4 J( z) C* g
* |! e% c  k! j' W" \1 c+ D/ i课程七:PySpark项目篇(二)
  Z+ @; c  j4 F; r/ J! o& o0701-项目实战:数据清洗过滤(SparkSQL函数使用). `( ], u& L7 E' R2 D& u- d# |
0702-项目实战:数据转换(日期类型数据处理,自定义UDF使用)  w; }) o) s# f) W8 Y2 L, V
0703-高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)
! P& k$ n8 s# p: B
2 F0 L: y* l/ _+ [6 p) i3 Z课程八:PySpark项目篇(三)
/ |# o) K5 h; l2 ~; X0801-项目实战:依据需求数据分析编程测试(一)5 e. U: U5 {1 n6 q) U% [
0802-项目实战:依据需求数据分析编程测试(二)2 f6 |% q; l$ z2 T! G+ t8 s6 Z
0803-项目实战:依据需求数据分析编程测试(三)及高级知识扩展
- _1 l8 b* l: J( q! M  D& B% @视频截图- H$ m0 a  m% E  x$ u. \2 G2 _
QQ截图20210201024121.png , A5 X+ q" u8 }
资源存放>百度网盘
3 P* m. ]1 a% f( m! _/ z3 T8 B" r# `9 Y# C9 c
下载地址$ V& |5 |$ m' z+ M0 j
游客,如果您要查看本帖隐藏内容请回复
+ _( S# Z8 Z8 |. i' y5 p& t5 ~
VIP会员全站免金币5 x5 e6 v# }) g: o
IT直通车已为全国各地程序员提供上千G课程资源
0 s2 ]+ G( T% ?1 O; s* g如您需要购买本站VIP会员,请点击「开通VIP」享受全站资源免金币无限制下载!5 _0 {, C- C$ ^/ c
; P+ f, F( Y2 K3 X7 X& J) h6 Q
失效反馈  r4 ^3 @4 e0 Z: G
IT直通车所有资源都存放在自己注册的百度网盘,失效可修复,确保持续可用5 |' o) F& V: w& E7 c
如您需要的资源链接提示失效,请尽情反馈给我们,将在收到反馈后尽快修复「点击反馈
" R) R& I% _% g% n( t* v$ W8 e/ s" L% Y" ^+ r$ j, U5 p
获得帮助! |# p% h0 [) U: q' _1 l# ?
需要帮助吗?点击网站右侧在线客服,7X12小时在线!6 \( h/ r; G1 K0 Z) r: t

$ r8 t1 j3 U$ d# v# y" m
; S, d8 J2 W1 O1 |4 P$ i' C
回复

使用道具 举报

奥特曼 发表于 2021-2-1 07:02:02
IT直通车论坛,给我省了好几千块钱,太多需要的课程了
回复

使用道具 举报

zhangxiwen123 发表于 2021-2-1 09:51:54
楼主辛苦了!
回复

使用道具 举报

403727608 发表于 2021-2-1 13:37:49
网盘网盘下载网盘下载
回复

使用道具 举报

天天向上 发表于 2021-2-1 16:38:36
666666666666666666666
回复

使用道具 举报

saucer 发表于 2021-2-2 07:02:57 来自手机
感谢~~~~~~~~~~~~
回复

使用道具 举报

aliang55 发表于 2021-2-2 08:43:38
ttttttttttttt
回复

使用道具 举报

chen199306 发表于 2021-2-5 08:13:48
看了几节课程,对我帮助很大
回复

使用道具 举报

wanghui0380 发表于 2021-2-5 08:50:23
教程不错很清晰,来下载新课程学习了
回复

使用道具 举报

yxy008 发表于 2021-2-5 20:34:30
收割一波好资源
回复

使用道具 举报

懒得打字嘛,点击右侧快捷回复 AD:IT直通车VIP会员全站免金币下载
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

遇到问题联系客服

在线客服QQ 488090338 

如您充值或开通会员后资源无法下载

本站有售后服务,联系客服修复即可

[联系客服]-[会员充值]

更多课程

关于本站

VIP介绍 加入我们

售后服务

QQ客服 Email邮件

网站声明

IT直通车(www.itztc.com)是一个IT视频教程、软件、书籍资源整合分享平台
站内所有资源均来自于互联网,版权归属原资源作者,如无意侵犯您的版权,请联系我们删除处理。

Archiver|手机版|小黑屋|IT学习网 |网站地图

Powered by Discuz! X3.4  © 2001-2013 IT直通车 ICP证:粤ICP备13026616号 增值电信业务经营许可证:粤B2-20140196

返回顶部 返回列表