您的当前位置:首页正文

基于大数据爬虫+Hive+SpringBoot+的歌曲筛选推荐与可视化大屏平台设计和实现(源码+论文+部署讲解等)

2024-11-01 来源:个人技术集锦

系统介绍:

随着互联网技术不断地发展,网络大数据成为了人们生活的一部分,而歌曲筛选推荐系统作为网上应用的一个全新的体现,由于其特有的便捷性,已经被人们所接受。目前主流的歌曲筛选推荐系统服务不仅不明确并且管理盈利较低,针对用户定制的歌曲筛选推荐系统更能够体现出其服务特色。

本项目以歌曲筛选推荐系统为研究背景,采用的框架为springbootJava开发了歌曲筛选推荐系统。本文通过分析歌曲筛选推荐系统的需求,建立起了相关的开发模型,构建出相关的系统需要的开发环境。通过调研,明确了歌曲筛选推荐系统的需求,最后开发实现了系统并进行了测试。

关键词:歌曲筛选推荐系统; springboot框架;Java语言;

    程序上交给用户进行使用时,需要提供程序的操作流程图,这样便于用户容易理解程序的具体工作步骤,现如今程序的操作流程都有一个大致的标准,即先通过登录页面提交登录数据,通过程序验证正确之后,用户才能在程序功能操作区页面操作对应的功能。

程序操作流程图

      首先前端通过Vue和axios发送HTTP请求到后端的登录接口。在后端接收登录请求的Controller会使用`@RequestParam Map<String, Object> params`来接收前端传递的用户参数,用户名和密码。然后后端根据接收到的参数创建一个查询条件封装对象MyBatis的EntityWrapper用于构建查询条件。接着在业务层,调用相应的service方法来查询数据库中是否存在匹配的用户信息。这个查询方法Login()会将前端传递的对象参数传递到后台的DAO层,进行数据库的交互操作。如果存在符合条件的用户,则会返回相关的用户信息。最后在后端控制器中将查询结果封装成响应体,通过`return R.ok().put("data", userService.selecView(ew))`将用户信息返回给前端。前端收到响应后,可以通过调用Vue、ElementUI等组件来渲染登录结果,例如显示用户信息或者跳转到相应的页面。

系统架构设计

系统架构设计是软件开发过程中至关重要的一环。首先是模型层(Model),模型层通常对应着数据库或者其他数据源,它负责与数据库进行交互,执行各种数据操作,并将处理后的数据传递给控制器层。模型层的设计应该简洁清晰,尽可能减少与视图和控制器的耦合,以提高代码的可维护性和可重用性。

其次是视图层(View)通常是通过网页、移动应用界面或者其他用户界面来展示数据。视图层与用户交互,接受用户的输入,并将输入传递给控制器层进行处理。在MVC三层架构中,视图层应该尽量保持简单,只负责数据的展示和用户交互,不涉及业务逻辑的处理,以保持视图层的清晰度和可复用性,最后是控制器层(Controller),每个层都有特定的职责和功能,通过分层架构设计,实现代码模块化,为软件开发提供了一种有效的架构模式。系统架构如图4-1所示。

详细视频演示

请文末卡片dd我获取更详细的演示视频

功能截图:

5.1前台用户功能的实现

游客打开系统的网址后,首先看到的就是首页界面。在这里,游客能够看到歌曲筛选推荐系统导航条显示系统主页、音乐信息、音乐资讯、音乐论坛、个人中心等,系统首页界面如图5.1所示:

图5.1 系统首页界面

用户进入系统进行相关操作前必须进行注册登录用户注册、用户登录界面如图5.2所示:

5.2 用户注册、用户登录界面

用户点击音乐信息:在音乐信息页面的搜索栏输入音乐名称、作者,进行搜索,可以查看音乐名称、图片、作者、收藏数、分享数、评论数、播放数、歌曲列表数、点击次数、评论数、收藏数等内容,还可以点击收藏或者评论等操作;如图5.3所示:

5.3音乐信息页面

用户点击音乐资讯:在音乐资讯页面的搜索栏输入标题、简介,进行搜索,可以查看标题、封面、发布时间、点击次数、评论数、收藏数等内容,还可以进行收藏或者评论等操作;如图5.4所示:

5.4音乐资讯页面

用户点击个人中心,在个人中心页面可以修改个人信息,还可以对修改密码、我的发布、我的收藏进行详细操作如图5.5所示:

5.5个人中心页面

在登录界面中需要使用el-input标签实现输入框供管理员输入用户名和密码,需要使用name标签表示不同的信息。在登录界面中还需要包括角色的按钮,使用el-radio表示按钮,管理员可以点击按钮从而选择不同的角色如图5.6所示。

5.6管理员登录界面

管理员登录进入歌曲筛选推荐系统可以查看系统首页、用户管理、音乐信息管理、音乐资讯管理、 音乐论坛、系统管理、我的信息等功能进行详细操作,如图5.7所示。

5.7管理员功能界面图

管理员点击用户管理;在用户管理页面输入账号、姓名、性别,进行搜索然后查看用户账号、姓名、性别、年龄、手机、身份证、头像,还可以点击新增或删除操作如图5.8所示。

5.8用户管理界面图

管理员点击音乐信息管理;在音乐信息管理页面输入音乐名称、图片、作者进行搜索然后查看音乐名称、图片、作者、收藏数、分享数、评论数、播放数、歌曲列表数、点击次数、评论数、收藏数,还可以点击新增或删除爬取数据操作如图5.9所示。

5.9音乐信息管理界面图

管理员点击音乐资讯管理;在音乐资讯管理页面输入标题、封面、发布时间、点击次数、评论数、收藏数,进行搜索然后查看音乐资讯,还可以点击新增或删除操作如图5.10所示。

5.10音乐资讯管理界面图

管理员点击音乐论坛;在音乐论坛页面输入帖子标题,进行搜索然后查看帖子标题、用户名、状态、是否置顶、置顶时间,还可以点击删除音乐论坛操作如图5.11所示。

5.11音乐论坛界面图

管理员点击系统管理;在系统管理页面包括系统简介、轮播图管理,还可以进行详情操作如图5.12所示。

5.12系统管理界面图

5.3看板展示

歌曲筛选推荐系统展示如图5.13所示。

5.13歌曲筛选推荐系统展示

5.4数据预处理

在基于大数据的商品推荐系统开发中,数据集处理是至关重要的环节。以下是我详细的数据集处理流程:首先,通过各种渠道搜集宠物商品信息数据集,这可能涉及抓取在线宠物商品信息平台的数据、接收资料,以及整合宠物商品公告等。这些数据应涵盖宠物商品的核心详情,例如价格走势统计、店铺商品统计、宠物食品总数、用户总数、宠物食品、商品品牌统计、适用品种统计等。

接着,获取到数据集后,重要的一环是执行数据清洗和预处理步骤。数据清洗的目的是保证数据质量和完整性,涉及消除重复记录、处理未填充的值、修正不准确的信息等。预处理阶段则涵盖数据的格式统一、标准化和转化操作,以适应后续的分析需求。这一过程中,我利用pandas库来进行数据洞察,并结合Scrapy架构进行高效的数据采集和清洗,从而保证数据的精确度和实用性。为了数据的可靠存储和扩展能力,选用MySQL数据库系统。

为了建立与MySQL数据库的连接,我将使用root用户,其密码设定为123456,目标数据库名为spider5nw5u40i。采用pandas的read_sql方法,可以从数据库中提取所需的数据。具体代码实现代码如下所示。

def pandas_filter(self):

    engine = create_engine('mysql+pymysql://root:123456@localhost/spider381f1kqr?charset=UTF8MB4')

    df = pd.read_sql('select * from qichexinxi limit 50', con = engine)

首先检查DataFrame对象df是否存在重复的行,使用'df.drop_duplicates()'函数删除对象中重复行。调用'df.isnull()'函数检测对象df'中的缺失值。随后调用'df.dropna()'函数删除具有缺失值的行。'df.fillna(value='暂无')'函数将对象df中的缺失值替换为指定的值'暂无'。代码如下所示。

def pandas_filter(self):

    engine = create_engine('mysql+pymysql://root:123456@localhost/spider381f1kqr?charset=UTF8MB4')

    df = pd.read_sql('select * from qichexinxi limit 50', con = engine)

    # 重复数据过滤

    df.duplicated()

    df.drop_duplicates()

    #空数据过滤

    df.isnull()

    df.dropna()

    # 填充空数据

    df.fillna(value = '暂无')

    # 异常值过滤

    # 滤出 大于800 和 小于 100 的

    a = np.random.randint(0, 1000, size = 200)

    cond = (a<=800) & (a>=100)

    a[cond]

    # 过滤正态分布的异常值

    b = np.random.randn(100000)

    # 3σ过滤异常值,σ即是标准差

    cond = np.abs(b) > 3 * 1

    b[cond]

    # 正态分布数据

    df2 = pd.DataFrame(data = np.random.randn(10000,3))

    # 3σ过滤异常值,σ即是标准差

    cond = (df2 > 3*df2.std()).any(axis = 1)

    # 不满⾜条件的⾏索引

    index = df2[cond].index

    # 根据⾏索引,进⾏数据删除

    df2.drop(labels=index,axis = 0)

生成一个包含80个介于0到1000之间的随机整数的数组a,然后定义了一个布尔条件cond,用于筛选满足a在100到800之间的元素。生成一个包含10万个符合标准正态分布的随机数的数组b,定义一个布尔条件cond,用于筛选满足b的绝对值大于3的元素。

创建一个形状为10000行3列的DataFrame df2,其中的数据是符合标准正态分布的随机数。定义一个布尔条件cond,用于筛选在df2中任意一列的值大于三倍标准差的行。该行代码使用索引操作df2[cond].index,获取满足条件cond的行的索引。删除具有指定索引的行,并返回更新后的对象df2。

移除HTML标签,首先,检查html参数是否为None,如果是则返回空字符串。然后使用正则表达式模式匹配HTML标签的正则表达式(<[^>]+>),并通过re.sub函数将匹配到的HTML标签替换为空字符串。最后使用strip函数去除字符串两端的空白字符,并返回处理后的结果。代码如下所示。

# 去除多余html标签

def remove_html(self, html):

    if html == None:

        return ''

    pattern = re.compile(r'<[^>]+>', re.S)

    return pattern.sub('', html).strip()

将处理好的数据进行数据存储,定义一个包含插入语句的sql字符串,目标数据库表是Shangpinxinxi,列名包括id、jobname、salary等,从表5nw5u40i_Shangpinxinxi中选择符合条件的数据,将这些数据插入到目标表中,代码段如图6-22所示。

# 数据库连接函数

def db_connect(self):

    # 从配置文件中获取数据库连接信息

    type = self.settings.get('TYPE', 'mysql')  # 数据库类型,默认为 MySQL

    port = int(self.settings.get('PORT', 3306))  # 数据库连接端口,默认为 3306,需转换为整数类型

    user = self.settings.get('USER', 'root')  # 数据库用户名,默认为 root

    password = self.settings.get('PASSWORD', '123456')  # 数据库密码,默认为 123456

    try:

        # 从类属性中获取数据库名

        database = self.databaseName

    except:

        database = self.settings.get('DATABASE', '')  # 从配置文件中获取数据库名,默认为空字符串

    # 根据数据库类型选择不同的数据库连接方式

    if type == 'mysql':

        # MySQL 数据库连接方式

        connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')

    else:

        # MSSQL 数据库连接方式

        connect = pymssql.connect(host=host, user=user, password=password, database=database)

    

    # 返回数据库连接对象

    return connect  

5.5数据结果集

通过爬取https://cars.app.autohome.com.cn网站数据集。数据如图5-12,5-13所示

图5-12 数据集

图5-13 数据集

论文参考:

1 绪  论

1.1研究背景与意义

1.2系统研究现状

1.3 论文主要工作内容

2 系统关键技术

2.1 java简介

2.2 MySQL数据库

2.3 B/S结构

2.4 SpringBoot框架

2.5 VUE框架

3 系统分析

3.1 系统可行性分析

3.1.1 技术可行性

3.1.2 操作可行性

3.1.3 经济可行性

3.1.4 法律可行性

3.2 系统性能分析

3.3 系统功能分析

3.4 系统流程分析

3.4.1 数据开发流程

3.4.2 用户登录流程

3.4.3 系统操作流程

3.4.4 添加信息流程

3.4.5 修改信息流程

3.4.6 删除信息流程

4 系统设计

4.1 系统概要

4.2 系统结构设计

4.3数据库设计

4.3.1 数据库设计原则

4.3.3 数据库表设计

4.4 系统时序图

4.4.1 注册时序图

4.4.2 登录时序图

4.4.3 管理员修改用户信息时序图

4.4.4 管理员管理系统信息时序图

5 系统的实现

5.1前台功能实现

5.1.1系统首页页面

5.1.2个人中心

5.2后台管理员功能实现

6 系统测试

6.1 测试环境

6.2 测试目的

6.3 测试概述

6.4 单元测试

6.4.1 注册测试

6.4.2 登录测试

6.5 集成测试

结  论

参考文献

致  谢

代码实现:

/**
 * 登录相关
 */
@RequestMapping("users")
@RestController
public class UserController{
    
    @Autowired
    private UserService userService;
    
    @Autowired
    private TokenService tokenService;

    /**
     * 登录
     */
    @IgnoreAuth
    @PostMapping(value = "/login")
    public R login(String username, String password, String role, HttpServletRequest request) {
        UserEntity user = userService.selectOne(new EntityWrapper<UserEntity>().eq("username", username));
        if(user != null){
            if(!user.getRole().equals(role)){
                return R.error("权限不正常");
            }
            if(user==null || !user.getPassword().equals(password)) {
                return R.error("账号或密码不正确");
            }
            String token = tokenService.generateToken(user.getId(),username, "users", user.getRole());
            return R.ok().put("token", token);
        }else{
            return R.error("账号或密码或权限不对");
        }

    }
    
    /**
     * 注册
     */
    @IgnoreAuth
    @PostMapping(value = "/register")
    public R register(@RequestBody UserEntity user){
//        ValidatorUtils.validateEntity(user);
        if(userService.selectOne(new EntityWrapper<UserEntity>().eq("username", user.getUsername())) !=null) {
            return R.error("用户已存在");
        }
        userService.insert(user);
        return R.ok();
    }

    /**
     * 退出
     */
    @GetMapping(value = "logout")
    public R logout(HttpServletRequest request) {
        request.getSession().invalidate();
        return R.ok("退出成功");
    }
    
    /**
     * 密码重置
     */
    @IgnoreAuth
    @RequestMapping(value = "/resetPass")
    public R resetPass(String username, HttpServletRequest request){
        UserEntity user = userService.selectOne(new EntityWrapper<UserEntity>().eq("username", username));
        if(user==null) {
            return R.error("账号不存在");
        }
        user.setPassword("123456");
        userService.update(user,null);
        return R.ok("密码已重置为:123456");
    }
    
    /**
     * 列表
     */
    @RequestMapping("/page")
    public R page(@RequestParam Map<String, Object> params,UserEntity user){
        EntityWrapper<UserEntity> ew = new EntityWrapper<UserEntity>();
        PageUtils page = userService.queryPage(params, MPUtil.sort(MPUtil.between(MPUtil.allLike(ew, user), params), params));
        return R.ok().put("data", page);
    }

    /**
     * 信息
     */
    @RequestMapping("/info/{id}")
    public R info(@PathVariable("id") String id){
        UserEntity user = userService.selectById(id);
        return R.ok().put("data", user);
    }
    
    /**
     * 获取用户的session用户信息
     */
    @RequestMapping("/session")
    public R getCurrUser(HttpServletRequest request){
        Integer id = (Integer)request.getSession().getAttribute("userId");
        UserEntity user = userService.selectById(id);
        return R.ok().put("data", user);
    }

    /**
     * 保存
     */
    @PostMapping("/save")
    public R save(@RequestBody UserEntity user){
//        ValidatorUtils.validateEntity(user);
        if(userService.selectOne(new EntityWrapper<UserEntity>().eq("username", user.getUsername())) !=null) {
            return R.error("用户已存在");
        }
        userService.insert(user);
        return R.ok();
    }

    /**
     * 修改
     */
    @RequestMapping("/update")
    public R update(@RequestBody UserEntity user){
//        ValidatorUtils.validateEntity(user);
        userService.updateById(user);//全部更新
        return R.ok();
    }

    /**
     * 删除
     */
    @RequestMapping("/delete")
    public R delete(@RequestBody Integer[] ids){
        userService.deleteBatchIds(Arrays.asList(ids));
        return R.ok();
    }
}

推荐项目:

基于大数据爬虫+数据可视化的农村产权交易与数据可视化平台

基于SpringBoot+数据可视化+大数据二手电子产品需求分析系统

基于SpringBoot+数据可视化+协同过滤算法的个性化视频推荐系统

基于大数据+爬虫+数据可视化的的亚健康人群数据可视化平台

基于SpringBoot+大数据+爬虫+数据可视化的的媒体社交与可视化平台

基于大数据+爬虫+数据可视化+SpringBoot+Vue的智能孕婴护理管理与可视化平台系统

基于大数据+爬虫+数据可视化+SpringBoot+Vue的虚拟证券交易平台

基于大数据+爬虫技术+数据可视化的国漫推荐系统

基于大数据爬虫+Hadoop+数据可视化+SpringBoo的电影数据分析与可视化平台

基于python+大数据爬虫技术+数据可视化+Spark的电力能耗数据分析与可视化平台

基于SpringBoot+Vue四川自驾游攻略管理系统设计和实现

基于SpringBoot+Vue+安卓APP计算机精品课程学习系统设计和实现

基于Python+大数据城市景观画像可视化系统设计和实现

基于大数据+Hadoop的豆瓣电子图书推荐系统设计和实现

基于微信小程序+Springboot线上租房平台设计和实现-三端

2022-2024年最全的计算机软件毕业设计选题大全

基于Java+SpringBoot+Vue前后端分离手机销售商城系统设计和实现

基于Java+SpringBoot+Vue前后端分离仓库管理系统设计实现

基于SpringBoot+uniapp微信小程序校园点餐平台详细设计和实现

基于Java+SpringBoot+Vue+echarts健身房管理系统设计和实现

基于JavaSpringBoot+Vue+uniapp微信小程序实现鲜花商城购物系统

基于Java+SpringBoot+Vue前后端分离摄影分享网站平台系统 

基于Java+SpringBoot+Vue前后端分离餐厅点餐管理系统设计和实现

基于Python热门旅游景点数据分析系统设计与实现

项目案例: 

 

为什么选择我

源码获取:

大家点赞、收藏、关注、评论啦 、查看??获取联系方式??

 精彩专栏推荐订阅下方专栏??

2022-2024年最全的计算机软件毕业设计选题大全:1000个热门选题推荐✅

Java项目精品实战案例《100套》

Java微信小程序项目实战《100套》

Python项目实战《100套》

显示全文