基于大数据的学习视频数据分析与个性化推荐:以B站2022年知识/科技区视频数据作为分析对象。
对于以下几个部分更详细的文档详见目录下的README文件和项目报告。
本部分对应Spider文件夹。
使用Aiohttp实现异步分布式爬虫。
本部分对应DataAnalysis文件夹。
使用Hadoop+Spark对总体数据进行大数据分析。
本部分对应Backend文件夹。
其中主要包括单视频分析(评论情感分析等),视频推荐等。
本部分对应Visualization文件夹。
使用Vue+Element+ECharts实现数据可视化。