Experiment Science and Technology, Volume. 21, Issue 4, 124(2023)
Construction of Big Data Teaching Platform Based on Server Cluster
Figures & Tables(8)
Table 1. [in Chinese]
View tableView in ArticleTable 1. [in Chinese]
课内实验 课程实训 创新项目 名称 技术 简述 影评数据网络爬虫采集 PyQuery, Xpath 使用Python爬虫组件，采集影视典型网站网页信息 数据采集实训 音视频推荐系统 Flume日志数据采集 Flume 使用Flume框架采集本地音频访问流信息 Hadoop集群搭建 HDFS,MapReduce,HBase，Hive,Yarn,Spark,Storm等 熟悉Hadoop分布式环境搭建，学会常见组件配置方法 大数据存储实训 影评数据清洗 Excel, Kettle, Python 空值处理、格式转换等操作 音频数据分布式存储 HDFS, HBase, Hive 音频数据集存储于分布式集群，并生成音频指纹信息，方便检索 影评数据存储转换 MongoDB, MySQL, Jieba 影评解析，存储格式转换 K-means聚类分析 K-means, MapReduce, Spark 根据影评、音频历史数据，对用户进行聚类分析 大数据分析实训 协同过滤推荐算法 MapReduce, Spark 使用协同过滤算法进行音视频推荐 Spark随机森林算法 Spark 使用随机森林算法对音频分类 影评语义分析 Jieba, 语义理解 情感倾向分析 柱状图−条形图−散点图 Tableau, ECharts 对用户类型、电影类型等进行可视化展示 数据可视化实训 扇形图−箱型图−面积图实验 Tableau, ECharts 对电影区域分布进行可视化展示 Top10流行电影展示 Tableau, ECharts 利用关联分析，展示流行电影
Tools
Get Citation
Copy Citation Text
Lei HAN, Zhan SHI, Yanfeng SHI. Construction of Big Data Teaching Platform Based on Server Cluster[J]. Experiment Science and Technology, 2023, 21(4): 124
Paper Information
Category:
Received: Aug. 15, 2022
Accepted: --
Published Online: Nov. 7, 2023
The Author Email: Lei HAN (hanl@njit.edu.cn)
© Copyright 2018-2021 | Chinese Laser Press.
All Rights Reserved 沪ICP备15018463号-20