大数据-基于Spark的机器学习-智能客户系统项目实战

冰点也疯狂

& Y2 V" i5 i5 S项目背景：
( f& Q/ d# [0 y& S8 ]' J9 @: ~5 N1、现在很多平台客户关系管理系统都是使用传统的CRM，所有的信息全靠手工录入，用户寻找上下游企业或者信息只能靠手工去查找并且标注。
2、大数据时代的到来，人工智能，云计算，先进的分析，用机器去替代人工的部分，从 2016 年趋势看，机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。

. `/ v8 b+ r! B因此我们对CRM进行了改造，主要有如下部分：
1、企业信息、商品信息来自互联网，机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
# ]- t( x- o& F& [3、机器学习自动计算企业和供求信息上下游。
( n0 |7 R) F* i& K6 [4、机器学习每隔一段时间自动去优化计算模型。

7 @& K' I% ?: \: P  K* W- z4 x根据图识，项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。

本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。
+ I) Q, y6 A- @6 z: |2 V' D5 e1 u
4 W' j# n- G. h3 @7 l" R# \: j本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，由于每个技术需要掌握的程度不一样，对于我们用到的一些开源技术，课程中将会是简单介绍如何使用，不会着重讲解。课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解
- U& E* I+ O+ |
7 ?6 v, ?( y; o) ]1 o) p) q- }
课程目录：
/ Y6 y" w2 h% x/ ~( J) ?第01节 项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中
, g7 ?. ^: D# L; q4 H0 C第02节 scala和IDE的安装以及使用以及maven插件的安装
第03节 Centos环境准备（java环境、hosts配置、防火墙关闭）
第04节 scala基础知识讲解-1
第05节 scala基础知识讲解-函数和闭包-2
第06节 scala基础知识讲解-数组和集合-3.1
8 d! ~/ D# x; d0 l) ^第07节 scala基础知识讲解-数组和集合-3.2
第08节 scala基础知识讲解-类和对象-4
第09节 scala基础知识讲解-特征和模式匹配-5
第10节 scala基础知识讲解-正则表达式和异常处理-6
9 @6 ]( s1 Z* U# V  i第11节 scala基础知识讲解-知识回顾
第12节 nosql数据库mongodb安装
  A  }0 j" c' c$ y; N第13节 spring data for mongodb-简单连接mongodb
第14节 spring data for mongodb-spring配置+CRUD操作(不实现repo，默认操作)
第15节 spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作
" {2 ^9 X, G$ A: }) N第16节 spring data for mongodb-分页查询
9 G! ]4 A- [+ g/ m" W$ w第17节 zookeeper集群安装
/ l. u, Q4 H9 X# I) x第18节 zookeeper基本介绍-1
' M* N$ j4 s: Z2 M& s第19节 zookeeper工作原理-选举流程（basic paxos算法）-2
第20节 zookeeper工作原理-选举流程（fast paxos算法）-3
第21节 kafka-背景及架构介绍
, ]  r" }! p7 Z' C7 ?6 {第22节 kafka集群安装以及测试
: C! X* Q8 l. [: V7 e  |第23节 kafka数据发送与接收实现-java
第24节 hdfs单机安装部署
第25节 连接hdfs查询存储-java
第26节 机器学习基本线性代数介绍
7 \+ \$ |+ m( f- V3 U  A! }" _4 [: T第27节 IKAnalyzer中文分词工具介绍
第28节 IKAnalyzer中文分词工具结合java应用
( [4 w( u; P* N3 j" @1 {+ f第29节 Spark以及生态圈介绍
第30节 Spark运行架构介绍及原理之job，stage，task
4 R6 z- s) G; {( y  D& R) z第31节 Spark编程模型RDD设计以及运行原理
第32节 纯手写第一个Spark应用程序：WordCount
" F2 I$ o, T" I: b第33节 RDD常用函数介绍
' F0 g* }5 l) E$ U+ C$ @第34节 Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化
  J9 m/ ^5 _; `$ E7 M: h+ {( `第35节 Spark Streaming介绍
9 D. U+ B+ D' D5 l  M+ g5 g5 d第36节 Spark Streaming+Kafka集成操作
5 f/ S. X9 N9 k5 K) s第37节 avro结合maven使用,实现序列化和反序列化
' ?- _- m  W3 {6 [$ G第38节 Spark ML（机器学习）介绍（监督学习、半监督学习、无监督学习）
9 L) S% |* [1 v/ x第39节 特征抽取：TF-IDF原理介绍
第40节 特征提取：TF-IDF代码实现计算
' b, G; O, F1 ~7 U2 F! T第41节 聚类算法：KMEANS原理介绍
9 F8 r+ i) x/ _: t第42节 聚类算法：KMEANS代码实现计算
; h$ o* L$ @6 f6 ^" x4 z! o第43节 其它Spark ML算法简单介绍
第44节 Spark连接Mongodb代码实现
' _9 U) J3 y: W- J4 V& r第45节 Mesos总体架构介绍
第46节 Mesos安装部署
( \5 a9 _: y. p2 I# }% S7 b& `第47节 Spark on Mesos安装部署
' B+ U8 w( t0 v第48节 系统整体架构再次介绍+技术串联介绍（将学习的技术全部整合到项目中）
第49节 项目代码：父类工程，管理各个jar的版本
第50节 项目代码：avro序列化jar，用于客户端和机器学学习实现序列化和反序列化
第51节 项目代码：kafka发送数据jar，给app调用并实现切词并发送数据到kafka
$ u( F/ o4 L1 |8 M5 `第52节 项目代码：工具类jar，实现操作hdfs、切词以及操作mongodb
第53节 项目代码：操作类jar，调用工具类具体进行切词以及数据清洗并且存储到Hdfs
& ^) r& C( U4 Q第54节 项目代码：机器学习集合jar，主要用来存放record
第55节 项目代码：机器学习算法jar，主要进行tf-idf以及kmeans计算，主要实现企业上下游、供求上下游模型计算
第56节 项目代码：流式计算jar，主要是接受客户端发送到kafka的数据加载模型进行计算
第57节 项目代码：测试模拟jar，主要模拟实现用户加载avro序列化jar写数据到kafka
0 U- e- l  j9 h第58节 Spark on Mesos部署提交参数介绍
, Z: {) ^! w! h) b9 u- N! v第59节 Spark代码提交到Mesos运行（Spark-submit）
第60节 项目整体流程跑通，结果展示
第61节 Spark调优介绍
第62节 基于Spark的机器学习项目-智能客户系统实战课程总结
; X, u" @6 P& Y第63节 实际工作及面试注意问题

游客，如果您要查看本帖隐藏内容请回复

6 ?( m7 u( @" l: p8 |/ A; Y8 W- `

" J! \" O& S' d6 d" e& _9 r/ V# r2 D, x) y