平台简介

　　金融大数据在银行业、证券行业、保险行业、支付清算行业和互联网金融行业的应用日渐广泛，金融大数据行业面临“人才荒”。

       1.据统计，互联网金融行业人才缺口超过300万，金融大数据人才平均月薪达2万，金融大数据人才“一将难求”

       2.大数据风控人才和分析人才尤为紧缺，包括从初级到高级的各类数据挖掘、统计建模人才等

       3.主流招聘网站数据显示，2017年金融行业风控岗位招聘需求量较2016年同期增长超过20%

　　目前全国283所本科高校、208所职业院校获批大数据专业，多所金融院校竞相打造大数据人才高地，但实用型金融大数据人才培养却面临挑战：

       1.基础设施：学生实验需要大量集群，一次性部署基础设施投入过高

 

       2.实验内容：生态体系庞大繁杂，技术发展迅速，实验设计花费时间

       3.考试系统：实验考核、试题设计、考试组织管理、试卷批阅费时费力，成绩存在主观性

       4.实训项目：缺乏切合业界金融大数据实际应用的实训项目

       5.师资培训：教师中精通金融大数据技术的人才较少

       大数据实验平台(金融版)——培养金融大数据应用高手!

　　针对上述问题，云创大数据为金融专业的学生量身打造了一站式的大数据实验平台(金融版)，同步提供真实的实验环境、详实的实验手册、配套的数据与代码等一站式服务，更好地满足课程设计、课程上机实验、实习实训、科研训练等需求，并在一定程度上缓解金融大数据师资不足的问题，轻松开展教学与实验。

平台特性

　　安全可靠的实验环境

　　1) 基于Docker容器技术，可瞬间创建随时运行的实验环境

　　2) 试用几台机器即可虚拟出大量实验集群，方便上百用户同时试用

　　3) 采用Kubernates容器编排架构管理集群，用户实验集群隔离、互不干扰

　　4) 用户可按需自己配置包含Hadoop、HBase/Hive、Spark、Storm等组件的集群，或利用平台提供的一键搭建集群功能快速搭建

　　5) 内置数据挖掘等教学实验数据，可导入高校各学科数据进行教学、科研，校外培训机构同样适用

　　针对金融应用的大数据实验

     在大数据实验平台2.1版本的基础上，大数据实验平台（金融版）进一步丰富了实验内容。除了具备多节点的Spark集群实验之外，还具备数据挖掘和数据分析的R语言和Python的金融案例实验，涵盖新浪股票数据、股票数据的预处理和分析、时间序列分析、对英国房屋价格建模并预测、航空燃油的交叉对冲、多元线性回归研究我国经济增长、金融风险管理、夏普比率与最大回撤和最大回撤时间、最优风险资产组合、预测股票走势等。具体实验如下：

　　1. R语言实验：分析新浪股票数据

　　2. R语言实验：股票数据抓取与分析(一)

　　3. R语言实验：股票数据抓取与分析(二)

　　4. R语言实验：时间序列分析-ARIMA模型（一）

　　5. 5.R语言实验：时间序列分析-指数平滑模型（二）

　　6. R语言实验：对英国房屋价格建模并预测

　　7. R语言实验：航空燃油的交叉对冲

　　8. R语言实验：多元线性回归研究我国经济增长

　　9. R语言实验：金融风险管理：VaR 和 ES

　　10. R语言实验：金融风险管理：Delta-normal方法计算 VaR 和 ES

　　11. R语言实验：金融风险管理：历史模拟法、蒙特卡罗模拟法计算 VaR 和 ES

　　12. R语言实验：金融风险管理：分位数回归法计算 VaR

　　13. R语言实验：分析股票指数的GARCH效应

　　14. R语言实验：建立VAR模型分析联合内生变量的动态关系（一）

　　15. R语言实验：建立VAR模型分析联合内生变量的动态关系（二）

　　16. Python实验：夏普比率与最大回撤和最大回撤时间

　　17. Python实验：最优风险资产组合(一)

　　18. Python实验：最优风险资产组合(二)

　　19. Python实验：预测股票走势

　　20. Python实验：基于CAPM模型的预期收益率与实际收益率

　　21. Python实验：航空公司客户价值分析

　　22. Python实验：漏电窃电用户行为分析与事件识别（一）

　　23. Python实验：漏电窃电用户行为分析与事件识别（二）

　　24. Python实验：电商产品评论数据情感分析

　　24. Python实验：实时中美货币转换

　　26.Python实验：利用层次聚类算法进行基于基站定位数据的商圈分析

　　27.Python实验：应用系统负载分析与磁盘容量预测（上）

　　28.Python实验：应用系统负载分析与磁盘容量预测（下）

　　30.Hadoop综合实战：推荐系统span>

　　30.Hadoop综合实战：贷款风险评估

　　实验涵盖金融大数据实战、数据挖掘等原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导，参照手册即可轻松完成每个实验。

　　 大数据实验平台（金融版）实验清单：

   

,

序号	实验名称	实验手册	实验代码	实验数据	实验视频
金1	R语言实验：分析新浪股票数据	√	√	√
金2	R语言实验：股票数据抓取与分析 （一）	√	√	√
金3	R语言实验：股票数据抓取与分析 （二）	√	√	√
金4	R语言实验：时间序列分析-ARIMA模型（一）	√	√	√
金5	R语言实验：时间序列分析-指数平滑模型（二）	√	√	√
金6	R语言实验：对英国房屋价格建模并预测	√	√	√
金7	R语言实验：航空燃油的交叉对冲	√	√	√
金8	R语言实验：多元线性回归研究我国经济增长	√	√	√
金9	R语言实验：金融风险管理：VaR 和 ES	√	√	√
金10	R语言实验：金融风险管理：Delta-normal方法计算 VaR 和 ES	√	√	√
金11	R语言实验：金融风险管理：历史模拟法、蒙特卡罗模拟法计算VaR和ES	√	√	√
金12	R语言实验：金融风险管理：分位数回归法计算 VaR	√	√	√
金13	R语言实验：分析股票指数的GARCH效应	√	√	√
金14	R语言实验：建立VAR模型分析联合内生变量的动态关系（一）	√	√	√
金15	R语言实验：建立VAR模型分析联合内生变量的动态关系（二）	√	√	√
金16	Python实验：夏普比率与最大回撤和最大回撤时间	√	√	√
金17	Python实验：最优风险资产组合(一)	√	√	√
金18	Python实验：最优风险资产组合(二)	√	√	√
金19	Python实验：预测股票走势	√	√	√
金20	Python实验：基于CAPM模型的预期收益率与实际收益率	√	√	√
金21	Python实验：航空公司客户价值分析	√	√	√
金22	Python实验：漏电窃电用户行为分析与事件识别（一）	√	√	√
金23	Python实验：漏电窃电用户行为分析与事件识别（二）	√	√	√
金24	Python实验：电商产品评论数据情感分析	√	√	√
金25	Python实验：实时中美货币转换	√	√	√
金26	Python实验：利用层次聚类算法进行基于基站定位数据的商圈分析	√	√	√
金27	Python实验：应用系统负载分析与磁盘容量预测（上）	√	√	√
金28	Python实验：应用系统负载分析与磁盘容量预测（下）	√	√	√
金29	Hadoop综合实战：推荐系统	√	√	√
金30	Hadoop综合实战：贷款风险评估	√	√	√
1	大数据基本操作	√	√	√	√
2	HDFS实验：部署HDFS集群	√	√	√	√
3	HDFS实验：读写HDFS文件	√	√	√	√
4	YARN实验：部署YARN集群	√	√	√	√
5	&n, bsp;MapReduce实验：单词计数	√	√	√	√
6	MapReduce实验：二次排序	√	√	√	√
7	MapReduce实验：计数器	√	√	√	√
8	MapReduce实验：join操作	√	√	√	√
9	MapReduce实验：分布式缓存	√	√	√	√
10	Hive实验：部署Hive	√	√	√	√
11	Hive实验：新建Hive表	√	√	√	√
12	Hive实验：Hive分区	√	√	√	√
13	Spark实验：部署Spark集群	√	√	√	√
14	Spark实验：SparkWordCount	√	√	√	√
15	&nb, sp;Spark实验：RDD综合实, 验	√	√	√	√
16	Spark实验：Spark综例	√	√	√	√
17	Spark实验：Spark-sql	√	√	√	√
18	Spark实验：Spark Streaming	√	√	√	√
19	Spark实验：GraphX	√	√	√	√
20	Zookeeper实验：部署Zookeeper	√	√	√
21	Zookeeper实验：进程协作	√	√	√	√
22	HBase实验：部署HBase	√	√	√	√
23	HBase实验：新建HBase表	√	√	√	√
24	Storm实验：部署Storm	√	√	√
25	Storm实验：实时WordCountTopology	√	√	√	√
26	Flume实验：文件数据Flume至HDFS	√	√	√	√
27	Kafka实验：Kafka订阅推送示例	√	√	√	√
28	Pig实验：Pig版WordC, ount	√	√	√
29	Redis实验：Redis部署与简单使用	√	√	√	√
30	Redis实验：MapReduce与Spark读写Redis	√	√	√	√
31	MongoDB实验：读写MongoDB	√	√	√	√
32	LevelDB实验：读写LevelDB	√	√	√	√
33	&, nbsp;M, ahout实验：K-Means	√	√	√	√
34	聚类算法实验：使用Spark实现K-Means	√	√	√	√
35	分类算法 实验：使用Spark实现SVM	√	√	√	√
36	关联规则算法实验：使用Spark实现FP-Growth	√	√	√	√
37	综合实战：车牌识别	√	√	√
38	综合实战：搜索引擎	√	√	√
39	综合实战：推荐系统	√	√	√
40	综合实战：环境大数据	√	√	√
41	综合实战：智能硬件大数据托管	√	√	√
42	综合实战：贷款风险评估	√	√	√
43	Python基础：流程控制	√	√	√
44	Python基础：列表和元组	√	√	√
45	Python基础：字典	√	√	√
46	Python基础：文件操作	√	√	√
47	Python MR：Python统计全国各省城市数量分布	√	√	√
48	Python MR：Python统计上海2016年每月历史天气	√	√	√
49	Python MR：Python统计上海2016年每月空气质量	√	√	√
50	Python MR：Python统计北京和上海2016年月均气温对比	√	√	√
51	Python MR：Python统计北京和上海2016年空气质量对比	√	√	√
52	Python算法：决策树分类	√	√	√
53	Python算法：随机森林分类	√	√	√
54	Python算法：朴素贝叶斯分类	√	√	√
55	Python算法：K最近邻分类	√	√	√
56	Python算法：支持向量机分类	√	√	√
57	Python算法：K-means聚类	√	√	√
58	Python算法：DBSCAN聚类	√	√	√
59	Python算法：回归分析	√	√	√
60	Python算法：Apriori关联规则	√	√	√
61	Python实战：随机森林分类空气质量	√	√	√
62	Python实战：区域经纬度聚类	√	√	√
63	Python实战：回归预测空气指数	√	√	√
64	R语言基础：流程控制	√	√	√
65	R语言基础：文件操作	√	√	√
66	R语言基础：数据帧	√	√	√
67	R语言基础：因子操作	√	√	√
68	R语言算法：决策树分类	√	√	√
69	R语言算 法：随机森 林分类	√	√	√
70	R语言算法：贝叶斯分类	√	√	√
71	R语言算法：KNN分类	√	√	√
72	R语言算法：SVM分类	√	√	√
73	R语言算法：K-means聚类	√	√	√
74	R语言 算法：DBSCAN聚类	√	√	√
75	R语言算法：回归分析	√	√	√
76	R语言算法：Apriori关联规则实验	√	√	√
77	R语言算法：时间序列分析	√	√	√
78	R语言实战：回归预测空气指数	√	√	√
79	R语言实战：按月进行时间序列预测温度	√	√	√
80	R语言实战：区域经纬度聚类	√	√	√
81	R语言实战：随机森林分类空气质量	√	√	√
82	Linux基础：常用基本命令	√	√	√
83	Linux基础：文件操作	√	√	√
84	Linux基础：sed	√	√	√
85	Linux基础：awk	√	√	√
86	Python实战:爬取双色球开奖信息数据	√	√	√
87	Python实战：爬取电影信息	√	√	√
90	Python实战：爬取豆瓣图书信息	√	√	√
89	Python实战：爬取网络小说（1）	√	√	√
90	Python实战：爬取网络小说（2）	√	√	√
91	Spark综合实战：环境数据读写	√	√	√
92	Spark综合实战：GM11预测环境数据	√	√	√
93	Spark综合实战：词频统计	√	√	√
94	Spark综合实战：聚类算法学习	√	√	√
95	Spark综合实战：算子学习	√	√	√
96	Spark综合实战：特征提取	√	√	√
97	Spark综合实战：分类算法学习	√	√	√
98	Spark综合实战：日志分析	√	√	√
99	Spark综合实战：ALS算法推荐	√	√	√
100	Spark综合实战：中文分词	√	√	√

　　多元的大数据资源

    平台同步提供由清华大学博士、南京大数据研究院院长、中国大数据应用联盟人工智能专家委员会主任刘鹏教授领衔的专业团队出版的《云计算》、《大数据》、《大数据实验手册》(《云计算》已经被全国高校采用，其被引用量位居CNKI中国计算机类图书被引用量前列)，共同丰富了大数据实验平台(金融版)的课程资源。

　　同时，国内专业领域排名居前的网站——大数据世界(thebigdata.cn)、云计算世界(chinacloud.cn)等将提供配套PPT与前沿资源，让金融大数据学习变得更加轻松。

　　丰富的功能应用

　  1) 集成考试系统

　　海量题库：提供分类标准题库，题库可自定义分类，可扩展试题

　　试卷生成：可按照设计难度目标自动生成试卷，包括单选题，简答题

　　在线考试：提供在线考试功能

　　辅助评分：部分题型试题(单选题)自动评分

　　2) 集成数据挖掘及可视化工具

　　上传数据：用户上传数据集文件至平台(csv格式文件)

　　指定列表：点选指定待挖掘数据表列(多选)

　　选择算法：点选适用的数据挖掘算法(分类，聚类，决策树...)

　　数据展示：选择合适的数据展示方式(饼图，柱状图，散点图等)

　　优化的实验流程

　　创建环境：系统按照学生实验内容自动创建所需实验环境

　　实验操作：学生参照实验手册完成实验，并记录实验流程，生成实验报告

　　提交报告：学生提交报告，教师可根据实验报告提交情况，管理掌控实验进度

　　教师评分：教师根据学生实验报告内容的正确性、完整性和及时性打分

平台应用

       2016年末至今，在南京多次举办的大数据师资培训班，基于《大数据》、《大数据实验手册》以及云创大数据提供的大数据实验平台，帮助到场老师们跑通了Hadoop、Spark等多个大数据实验，使他们跨过了“从理论到实践，从知道到用过”的门槛，广受学员好评。

成功案例

　　目前，郑州大学、成都理工大学、西北工业大学、金陵科技学院、重庆师范大学、西南大学、重庆文理学院、天津农学院、信阳师范学院、西京学院、郑州升达经贸管理学院、镇江高等职业技术学校、新疆电信、软通动力等典型用户单位已经成功应用云创提供的大数据实验平台，完成了大数据教学科研实验室的建设工作。