基于中文分词算法和众包协同的高校课程思政资源共享与互助系统.pdf

现代计算机Modern Computer第 29 卷 第 14 期2023 年 7 月 25 日基于中文分词算法和众包协同的高校课程思政资源共享与互助系统张露，童颖佳，马华*（湖南师范大学信息科学与工程学院，长沙 410081）摘要：近年来，广大高校教师积极参与“课程思政”教改实践，但却经常面临创新思路单一、参考资源查找效率低、教学资源制作的技能和精力不足等困扰。针对现有研究的不足，设计并实现了一个基于中文分词算法和众包协同的高校课程思政资源共享与互助系统。该系统使用TFIDF算法和众包机制来整合互联网上的课程思政资源，联结了多方平台和参与者，使用Spring Boot和Vue框架进行开发。该系统由协同互助、课程思政、讨论区、资源检索、个人中心等模块组成，可为高校教师提供课程思政教学的辅助支持，具有良好的应用价值。关键词：课程思政教学；资源共享与互助；中文分词算法；众包协同文章编号:10071423（2023）14009105DOI:10.3969/j.issn.10071423.2023.14.018收稿日期：20230326修稿日期：20230423基金项目：国家级大学生创新创业训练计划支持项目（202210542045）；湖南省教育科学规划课题研究成果（XJK18BXX001）作者简介：张露（2002），女，湖南邵东人，本科生，主要研究方向为个性化学习与推荐；童颖佳（2001），女，江西宜春人，本科生，主要研究方向为推荐系统；*通信作者：马华（1979），男，湖南株洲人，博士，教授，主要研究方向为推荐系统和个性化学习，Email：0引言自2014年“课程思政”这一理念提出并在上海的部分高校进行试验，取得了较好的成效。习近平总书记不断强调学校作为立德树人的地方，要牢牢抓住思想政治教育工作。2020 年，教育部印发 高等学校课程思政建设指导纲要1，高校思政课改革创新，各高校开始逐步探索课程思政模式。由此诞生的思政教育资源互联网平台，为教师提供了一些优质课程思政示范课及其配套资源，协助教师完成专业课和思政教育的有机融合。然而，目前已有平台仍存在如资源分类粒度大、数量有限、搜索困难等问题。近年来，学者们对课程思政资源的共享和利用进行了研究，但尚缺乏面向高校课程的思政资源的共享与互助平台的系统性研究。例如，汤宇轩等2提出一种基于知识图谱的课程思政素材库的构建方案，对课程思政领域进行本体设计、命名实体识别、关系抽取等方法的研究，构建了面向大学生计算机基础课程的课程思政素材库。朱丽等3阐述了大数据平台商建立课程教学资源推荐系统的设计、框架及其应用，表示在大数据平台的基础上，课程教学资源推荐系统的建设得到推进。龙丹等4以CNKI数据库中刊载的课程思政的相关文献为数据来源，对我国高校课程思政研究的趋势、热点、问题进行调查分析。汪路金等5从继续教育思政教学出发，指出思政类网络课程资源的重要性，并提出建设策略。针对此现状，我们引入TFIDF（termfrequencyinverse document frequency）中文分词算法和众包协同机制，挖掘和整合网络上现有的课程思政教育资源，联结多方平台和参与者以提供一个高校课程思政教育资源共享和互助的全新系统，构建了一个可动态扩充的智慧型课程思政资源库，即“智慧思政文库”。91现代计算机2023年1系统建设思路1 1.1 1爬爬取资源取资源国内已有一些课程思政教育资源平台，例如，新华思政（）等。非专业教育学习平台上也散布有许多有借鉴意义和使用价值的课程思政资源，例如，知乎、微博等。面对目前互联网上众多的课程思政资源，我们使用Python 开发数据爬虫，用 Scrapy 框架对不同的网站进行爬虫定制，对它们进行爬取，并分割保存为JSON格式数据。这些初始的资源数据被处理后存入MySQL数据库。1 1.2 2预处理数据预处理数据对JSON格式数据进行初步的处理加工。首先，以本校的院系专业划分以及课程开设为标准，建立基本的学科大类、专业、课程的树形结构分类。其后，利用TFIDF算法从爬取的资源当中提取出关键词，根据关键词判断资源所属类别，从而对资源进行分类。最终，将处理过的数据存入本地数据库，供平台后续使用。1 1.3 3功能开发功能开发使用Spring Boot框架和Vue进行平台的总体设计和开发。主要的模块包括协同互助模块、课程思政模块、讨论区模块、资源检索模块、登录注册模块、个人中心模块等。通过引入众包协同机制，平台允许用户自主上传资源和资源互助，以进一步扩充资源库。通过用户的自主上传，资源库得以不断扩充，而资源协同互助的创新功能，为教师和创作者的各取所需提供了交流和协作的渠道。2资源库建设及动态化构建2 2.1 1资源爬虫设资源爬虫设计计本文从新华思政网站、CNKI、知乎、微博等爬取若干课程思政相关的各类资源，如课件、教学视频、教案等，作为资源库的一部分，并为之后的标签提取提供基础的数据支持，使用基于 Python 语言的 Scrapy爬虫框架，针对不同网页开发定制个性化爬虫程序。对爬虫抓取的原始Web页面进行页面处理，通过去掉Web页面中的大量噪声数据，将Web页面转化为纯净统一的文本格式和元数据格式。对初步处理得到的文本格式和元数据格式的数据进行进一步的加工，利用TFIDF算法提取数据中的关键词，根据关键词判断资源所属类别，从而对资源进行分类，包括资源所包含的思政元素、所属课程、知识点等标签，将分类后的数据导入数据库中，作为资源库初始数据。2 2.2 2基于基于TFIDFTFIDF算法的中文关键词抽取算法的中文关键词抽取本文使用一种改进的 TFIDF算法6提取关键词。首先，计算类别间离散度，类别间离散度越高，词语的类别区分能力越强。计算公式如公式（1）所示。D(t)=1m-1i=1m()fi(t)-f(t)2-f(t),-f(t)00,-f(t)=0（1）其中：fi(t)为类别Ci中包含术语t的文档数量；-f(t)为特征词在所有类别中出现频率的平均值，m为类别数。之后，计算类别内信息熵，类别内信息熵越高，词汇的类别区分能力越强。使用公式（2）和（3）计算。E(t,Ci)=-j=1nej（2）ej NdjNCilog2NdjNCi,NCi 0 and Ndj 00,NCi=0 and Ndj=0（3）类别间离散度或类别内信息熵越高，类别区分能力越强。因此，引入公式（4）表示特征项对类别Ci的区分能力，即类别判别：CD(t,Ci)=D(t)*E(t,Ci)（4）最终得到 TFIDF 的计算公式如公式（5）所示。wij(t)=tfij*CD(tj,Ci)（5）其中：wij为特征项t对类别Ci的权重；tfij为特征项tj的词频；CD(tj,Ci)为特征项t对类别Ci的类别判别，可由公式（1）（4）计算。在改进的TFIDF算法中，用类别识别CD(tj,Ci)代替逆文 92张露等：基于中文分词算法和众包协同的高校课程思政资源共享与互助系统第14期档频率 IDF，从而弥补了传统 TFIDF算法没有考虑特征项的类别内和类别间分布的缺陷。2 2.3 3基于众包协同机制的资源库扩充与资源基于众包协同机制的资源库扩充与资源互助互助一方面，利于设定好的爬虫程序，定时对目标平台进行资源爬取，根据内容发布时间，过滤掉已经爬取过的内容，处理存入资源库中。另一方面，设置“协同互助”模块，用户通过该模块所创作的个性化资源，经用户同意，也将录入资源库并公开展示。同时，用户也可以通过个人中心自主上传资源。以上两方面构成了资源库动态扩展的数据来源，使得资源库能够得到智能自主扩充。平台所设置的“协同互助”模块显示已经发布的用户需求列表。教师可以发布相关需求，设定所需资源信息；创作者可以搜索感兴趣的需求申请承接。当需求有承接申请，教师可自主选定需求的最终承接者。由此产生的需求订单，平台将跟踪需求的完成状态，并以进度条的形式展示给相关用户。创作者可以是有闲暇时间且有相关创作技能的非教师用户、普通教师用户等，此机制将各类用户聚合在一起，共同完成资源的最终产出。另外，平台利用Java-WebSocket框架，实现了“私信交流”功能，使得教师与创作者能在系统中进行实时交流，教师可随时提出修改意见，协助成品的不断完善，便于需求的更好完成。3智慧思政文库系统的开发3 3.1 1基于基于SpringSpring BootBoot和和VueVue的总体开发的总体开发3 3.1 1.1 1基于基于SpringSpring BootBoot框框架的后端设计架的后端设计（1）建立实体层，其中课程类包括 id、名称、简介、一级学科、二级学科、目录、选课人数等属性；资源类包括id、类型、简介、上传时间、名称、链接、标签、来源、收藏量、下载量、所属章节等属性。（2）建立数据访问层，封装对数据库的访问，CourseDao.java和ResourceDao.java用于对数据库中的课程信息表和资源信息表进行增删改查操作。（3）建立Spring Boot配置文件，设置SpringBoot配置文件中的数据库连接参数和访问端口信息等。（4）建立业务层，存放业务逻辑处理，提供控制器层调用的方法。（5）建立控制器层，接收前端传过来的参数进行业务操作，并返回对应的数据。3 3.1 1.2 2基于前后端分离的系统框架设计基于前后端分离的系统框架设计（1）使用 Vue 框架编写前端页面，使用Axios向后端发送HTTP请求。（2）后端控制器层从 HTTP 请求中获取信息，提取参数，将其分发给业务层处理不同的服务。（3）业务层调用数据访问层对数据库进行访问，并将其处理成JSON格式返回给控制器层。（4）控制器层将数据返回给前端页面，前端根据不同的数据所在的位置进行页面的局部刷新。3 3.2 2系统组成及主要功能模块系统组成及主要功能模块基于上述设计，“智慧思政文库”系统包含了协同互助模块、课程思政模块、讨论区模块、资源检索模块、登录模块、注册模块和个人中心模块。系统的功能模块结构如图1所示。首页的界面设计如图2所示。课程资源的浏览界面设计如图3所示。协同互助模块课程思政模块讨论区模块资源检索模块登录模块注册模块需求推荐资源在线浏览用户资源共享付费问答回答内容推荐检索内容过滤检索内容排序注册信息存储个人信息展示资源制作进度追踪智慧思政文库个人中心模块私信交流用户信息校验用户偏好初始设置图 1系统功能模块 93现代计算机2023年 图 2首页设计界面图 3课程资源浏览的设计界面3 3.2 2.1 1协同互助模块协同互助模块在系统提供的第三方技术保障之下，教师基于自己或者其他用户上传的教学思路在此发布互助需求，创作者对于资源创作提供技术支持。教师可根据需求复杂度设置创作者人数及其分工。教师与创作者紧密合作，共同参与到资源的开发过程，教师提供资源设计理念和想法，创作者依据教师提出的需求制作出满足要求的资源。在整个过程中，创作者和教师在私聊区域进行资源内容开发的深入交流，在交流过程中逐步完善个性化资源的制作。制作完成后，教师对制作出的成品进行验收，结束整个互助流程。同时，平台将追踪资源互助完成进度，推动创作流程的顺利进行，促进生成更多优质资源。3 3.2 2.2 2课程思政模块课程思政模块系统将资源所属课程根据学科大类进行分类，用户点击对应课程可查看相关的资源，资源类型分为课件、教案、思路、视频、论文。同时平台内的用户也可以进行资源上传操作，实现资源共享，用户上传的资源若评分较高，可以提升平台内的信誉值。3 3.2 2.3 3讨论区模块讨论区模块该模块功能是发布问题以及回答问题，其中问题分为普通问题以及付费问题，付费问题用于激励平台内用户输出更为专业的解答，用户可以在个人中心修改付费问答的基本信息，以及选择最优回答给予酬金。3 3.2 2.4 4资源检索模块资源检索模块检索的内容包括平台内的资源、需求、问题以及回答，根据用户在平台内资源的浏览记录、资源评分、创作记录等信息，分析用户潜在的资源浏览偏好，使用混合推荐算法对数据库中检索资源进行过滤及排序。3 3.2 2.5 5登录模块登录模块用户提交登录信息后，向 Spring Boot 控制器层发送登录验证请求，访问数据库获取持久化对象，当对象密码校验正确时，用户成功登录系统，以便系统对用户提供资源协同互助的支持及个性化的资源推荐。3 3.2 2.6 6注册模块注册模块用户提交注册信息后，向 Spring Boot 的控制器层发送注册请求，为用户生成持久化对象存储于数据库中。其中注册信息包括用户名、密码、所在专业、感兴趣的思政元素及课程等，以解决用户初始登录系统资源推荐冷启动问题。3 3.2 2.7 7个人中心模块个人中心模块该模块用于公开展示用户的个人信息，包括用户名、所在院校、所在专业、自我介绍、兴趣爱好等，并提供用户的资源访问入口，包括互助情况、讨论情况、所发布的资源等。对用户本人开放资源制作进度追踪，确保双方能在指定时间完成资源制作。4结语本文开发的基于中文分词算法和众包协同的高校思政教育资源共享和互助系统，使用了Python爬虫、Spring Boot和Vue技术，基于Scrapy爬虫采集互联网上的课程思政资源，利用TFIDF改进算法提取关键词并将其关联到知识点，通过用户的资源协同互助实现资源库的动态扩充，该系统借鉴了众包和协同思想，使用 94张露等：基于中文分词算法和众包协同的高校课程思政资源共享与互助系统第14期界面简洁清晰，可为从事教学改革的高校教师和从事资源开发的专业技术人员搭建合作共赢的平台。可为广大教师提供课程思政教学的辅助支持，具有良好的应用价值。未来研究中，我们拟引入知识图谱技术对资源所包含的思政元素及知识点间的关联关系建模，进一步提高用户资源搜索的满意度和效率。参考文献：1 中华人民共和国教育部.教育部关于印发 高等学校课程思政建设指导纲要 的通知A/OL.http:/ 汤宇轩，齐恒，申彦明，等.基于知识图谱的课程思政素材库构建 J.软件导刊，2022，21（7）：214219.3 朱丽，付海涛，冯宇轩，等.基于大数据平台的课程教学资源推荐系统应用探究 J.计算机产品与流通，2020（6）：209.4 龙丹，卢一舟.基于CiteSpace的高校课程思政研究的热点及趋势分析J.当代教育理论与实践，2022，14（1）：19.5 汪路金，李庆玖，彭文兵，等.继续教育思政类网络课程资源建设策略研究 J.成都中医药大学学报（教育科学版），2021，23（4）：114116.6 YI J，YANG G，WAN J.Category discriminationbased feature selection algorithm in Chinese text classification J.Journal of Information Science&Engineering，2016，32（5）：11451159.A sharing and mutual assistance system of ideological and politicaleducation resources for university courses based on Chinese wordsegmentation algorithm and crowdsourcing collaborationZhang Lu,Tong Yingjia,Ma Hua*（College of Information Science and Engineering,Hunan Normal University,Changsha 410081,China）Abstract:In recent years,more college teachers have participated in the teaching reform practice of“Curriculum Ideologyand Politics”.However,they often face the problems of single innovative ideas,low efficiency in finding reference resources,and insufficient skills and energy in creating teaching resources.To address the shortcomings of the existing research,a sharing and mutual assistance system of ideological and political education resources for university courses is designed and implemented based onChinese word segmentation algorithm and crowdsourcing collaboration.The system uses the TFIDF algorithm and crowdsourcingmechanism to integrate ideological and political resources of courses on the Internet,connects multiple platforms and participants,and is develops by using Spring Boot and Vue frameworks.The system consists of modules,including collaborative assistance,curriculum ideology and politics,discussion forum,resource retrieval,personal center,and on so,and can provide auxiliary support forcollege teachers in ideological and political education in course teaching and has good application value.Keywords:ideological and political education in course teaching;resources sharing and mutual assistance;Chinese wordsegmentation algorithm;crowdsourcing collaboration 95