大数据实验平台是云创大数据为高校开设大数据相关专业而研发的实验实训平台，它融合了代表性的大数据平台、大数据编程语言、数据挖掘与大数据分析方向相关课程、实训、案例实战等内容,培养学生的实战动手能力，从而适应大数据分析、大数据治理、大数据运维、大数据开发、大数据建模、大数据可视化等工作岗位需求。
产品介绍
产品特性
平台通过云计算技术对计算、存储、网络等资源进行统一的管理和调度， 支持容器虚拟化技术，支持私有化部署，支持课程、实验、用户、资源等管理功能。通过平台，老师可以一键搭建实验环境，在线跟踪学生实验进展，并进行在线学习诊断.学生可以直接通过浏览器访问平台，根据指南在线做实验、写报告，无需配置繁琐的本地环境。结合大数据就业环境、岗位模型、企业人才需求，设置了本科应用型、本科研究型、高职三大课程体系，并全面支撑计算机、大数据、金融、应用数学、统计以及电子商务等专业建设。
产品架构
大数据实验平台包括底层的分布式软硬件环境和支撑教学和实验资源。硬件通过高速网络连接多台x86服务器构建集群计算环境;底层软件采用容器技术，将有限的物理服务器虚拟出大量的虛拟服务器，从而提供充足的实验计算资源;平台集成多种主流大数据平台、分析框架和挖掘算法。平台可以快速批量搭建开展大数据实验所需的运行环境以及应用环境，实现大数据实验要求的分布式计算实验环境，并可以实现实验环境的隔离;提供多个行业的实战案例资源包，内含项目数据、代码以及配套实验手册，并提供真实应用案例的实践，实现理论教学与企业需求无缝衔接。
产品优势
完善的平台支撑
平台底层采用分布式架构，安全稳定、方便扩展。可以灵活配置实验环境资源，直观清晰地管理虚拟环境，支持负载均衡多用户并发，在实验人数较多情况下保证平台运行流畅，高效开展实验教学。
丰富的软件框架
覆盖主流的大数据挖掘、分析框架一- Hadoop. Spark、 Kafka、 Storm、Hive、 HBase、Zookeeper等
个性化的实验环境
用户可自行创建个性化的实验环境。在物理资源允许的情况下，可对其进行资源配置,动态调整CPU数量、节点个数及内存大小。
多样化的开发环境
平台提供多种在线编程环境，如基于命令行的WebSSH和基于界面操作的JupyterLab、VSCode，同时提供“-键搭建”功能，可快速部署实验需要的组件,提高实验教学效率。
完整的课程体系
以新工科要求为导向，以行业岗位要求为目标，面向大数据管理与应用、数据科学与大数据技术、环保、金融、交通等相关交叉学科，应用于教学实践、项目实训，覆盖数据采集、数据管理、数据挖掘多个技术路径。
配套大数据教材
由南京云创大数据总裁刘鹏教授主编，联合全国高校老师和云创大数据工程师共同编写，形成完整的大数据高级人才和应用人才教材体系，分别在电子工业出版社和清华大学出版社出版，配套实验体系建立了完整的理论教学体系，被国内数百所高校采用。其中，《云计算》 在中国知网高被引图书排行榜上被引用次数比第二名高出一倍以上。
丰富的实验内容
基于企业级项目案例编制的实验，涵盖几十种典型分析场景，让学生了解行业最新技术与应用场景，通过实战演练提升学生解决实际问题的能力。
每个实验包含详细的实验目的、要求、原理、步骤等内容，配套相应的实验数据，用户参照实验手册即可轻松完成实验。重要实验提供实验操作讲解视频，可进一步 降低用户学习大数据的门槛。
- Linux系统实验:包括常用基本命令、文件操作、sed. awk、 文本编辑器vi、grep等。
- Python语 言编程实验:包括流程控制、列表和元组、文件操作、正则表达式、字符串、字典等。
- R语言编程实验:包括流程控制、文件操作、数据帧、因子操作、函数、线性回归等。
- 大数据处理技术实验:包括HDFS实验、YARN实验、MapReduce实验、Hive实验、Spark实验、Zookeeper实验、HBase实验、Storm实验等 。
- 数据采集实验:包括网络爬虫原理、爬虫之协程异步、爬取豆瓣电影信息、爬取豆瓣图书Top250、爬取双色球开奖信息等。
- 数据清洗实验:包括Excel数据清洗常用函数、Excel数据分裂、Excel|快速定 位和填充、住房数据清洗、客户签到数据的清洗转换、数据脱敏等。
- 数据标注实验:包括标注工具的安装与基础操作、车牌夜晚环境标框标注、车牌日常环境标框标注、不完整车牌标框标注、行人标框标注、物品分类标注等。
- 数据分析及可视化实验:包括Jupyter Lab、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。
- 数据挖掘实验: 包括决策树分类、朴素贝叶斯分类、K最近邻分类、支持向量机分类、K- -means聚类等。
- 金融大数据实验: 包括时间序列分析、金融风险管理、预测股票走势、中美实时货币转换、航空公司客户价值分析等。
- 电商大数据实验:包括基于基站定位数据的商圈分析、员工离职预测、数据分析、电商产品评论数据情感分 析、电商打折套路解析等。
- 数理统计实验:包括高级数据管理、基本统计分析、回归、方差分析、功效分析、中级绘图等。
- 科研环境数据:包括提供多种多样的科研环境，包括科研所需要的人脸数据、交通数据、环保数据、传感器 数据、图片数据等。
教学支撑
平台提供实验数据、实验管理、课程管理、项目实战、考试等功能模块，支撑备课、授课、作业等场景，覆盖课前、课中和课后各环节，通过动态化过程数据分析，实现学生学习质量的全面掌控。
课程编排
平台提供了多个技术方向的推荐课程供用户直接使用，也提供用户自主进行编排课程。帮助老师快速备课教学的同时，也能兼顾其个性化、差异化的教学需求。
测评模块
- 支持学生在线实验与实验报告在线编写，支持报告在线比对查重;
- 支持实验完成情况自动统计并生成报告，支持在线批阅自动留痕。
考试模块
- 支持按题型、知识点等多种方式自动组卷;
- 提供选择、填空、判断、简答、编程等上千道试题，试题内容紧扣实验;
- 实时监控考试情况，多种反作弊技术;
- 支持在线批阅试卷，多种题型可自动判分。
项目实训
项目实训包含了物联网、车联网以及金融等多个行业的真实案例，平台提供标准企业开发环境以及完整的实训指导，学生在项目环境中进行实践，感受项目开发全过程,培养学生面对实际问题的处理能力与项目责任感，提升学生实践能力以及对企业项目的初步认识。
赛事支撑
支持大数据省赛专业服务，已成功多次支撑山西、山东等省级大数据技术与应用技术大赛。与国赛大数据比赛无缝对接，提供多套竞赛环境、比赛试题和数据集供学生使用。
