Skip to content

合工大 大数据课程 基于Hadoop+Spring的京东商品评论词频统计系统

Notifications You must be signed in to change notification settings

NingNing0111/JD-comments-analyse

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

说明

 合肥工业大学软件工程专业《云计算、大数据技术与应用》课程综合设计报告。

 基于Hadoop+Spring的京东商品评论词频统计系统。

 爬取京东或淘宝某一商品的评论1000条,统计词频(使用MapReduce或HBase或Hive),并以词云的方式可视化呈现,

启动

 配置application.yml文件并运行Spring应用;

 信息交换采用Websocket协议,链接ws://localhost:8211/ws/{唯一通信id}发送以下命令即可执行:

  • run crawler [productionId]: 爬取指定productionId商品的所有评论;

img.png

  • run analyzer: 启动hadoop对爬取的评论结果进行统计和分析

img.png

词云效果图

About

合工大 大数据课程 基于Hadoop+Spring的京东商品评论词频统计系统

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages