阳光采购平台数据自动采集信息系统设计与实现_徐正雄.pdf

2023.6电脑编程技巧与维护1概述省政府采购和出让中心通过药品集中采购平台（以下简称阳光平台）对全省医用药品、耗材可采目录及采购限价进行了阳光公示，要求全省医疗机构严格按照公示目录及价格对本单位药品、耗材进行采购并及时调整价格。其中，涉及药物可采品种5 736种，非基本药物可采品种16 776种，高值医用耗材62 706种，品种数量繁杂，对比及时性要求非常高1。但该平台不支持数据导出及下载，造成工作量及工作难度极大，每次比对都要消耗大量的人力、精力，且不能保证数据的准确性及有效性。在此通过阳光平台数据自动采集系统的建设，有效解决以上问题，为药品、耗材管理部门提供了方便、快捷、准确的查询及数据分析工具，保证了医院药品、耗材相关信息与阳光平台保持一致，保证了管理工作正规化、精细化、科学化。2平台功能药品集中采购平台信息公开网页包含基本药物可采品种、非基本药物可采品种、高值医用耗材、全省配送企业名单，4个查询子网页。药品品种信息列表显示的主要字段如表1所示。高值耗材品种信息列表显示的主要字段如表2所示。以上网页均未设置数据导出功能，需要输入商品ID、产品名称、投标企业等查询选项进行查询。阳光平台根据药品、耗材采购、监管工作实时动态调整中标品种、厂家、价格等数据信息，并在平台进行发布，医疗机构需要及时浏览网页，根据发布信息进行药品、耗材等数据的实时更新维护。因为涉及的种类多，阳光平台与医疗机构信息系统数据无交互对照，若阳光平台数据列表式实时更新无及时提醒，怎么才能及时采集到阳光平台更新数据并第一时间在本单位信息系统进行数据调整跟新，是必须解决的问题。以往只能通过安排专人定时按单品种模式逐个查询并与本单位数据进行人工对照，工作量极大，且差错及漏检率高。3数据自动采集功能的实现采用Python开发语言，开发对阳光平台公开信息的爬虫工具2。通过该工具，可以对阳光平台的公开信息网页数据进行实时爬取，生成Excel文件。主要实现语句如下。from urllib import requestimport jsonimport timeimport pandas as pdimport pandas.io.sql as pd_sqlloginToken=Token对应的字符串urls=http:/urls地址#构建user_agentuser_agent=rMozilla/5.0(Macintosh;Intel MacOS X 10_13_3)AppleWebKit/537.36 r(KHTML,like Gecko)Chrome/61.0.3163.79Safari/537.36headers=User-Agent:user_agent,Connec-tion:keep-alive,Cookie:#生成会话cookieJSESSIONIDSCHEDULE=CTtrEFAL2sS-阳光采购平台数据自动采集信息系统设计与实现徐正雄，刘辉，李思琳，雷姣惠，李捷波，肖文博（联勤保障部队第九二医院信息科，昆明650032）摘要：自动采集阳光平台公示的药品、耗材信息，实现与医院相关数据自动的校验，并及时进行维护，保证医院与阳光平台数据的统一规范。采用 Python 开发语言，开发了对阳光平台公开信息进行爬取的爬虫工具，实现了对平台数据的自动采集；应用 Java 开发语言，实现了采集数据与医院数据的自动校验及查询。建立了阳光平台自动采集信息系统，平台间数据交互实现实时验证对比。阳光平台数据自动采集信息系统的建设，能有效解决平台与医院之间数据校验难度大的问题，确保医院数据与平台数据实时统一，确保医院药品、耗材管理正规有序，确保患者利益得到充分保证。关键词：阳光采购平台；数据自动采集；信息系统表1药品品种信息列表显示的主要字段商品ID产品ID通用名剂型 规格包装单位包装材质包装数量计价单位最小制剂单位采购类别挂网价/采购限价生产企业投标企业项目名称商品ID产品名称分类名称一级目录二级目录产地 品牌 单位生产企业投标企业省内参考价省外参考价采购类别表2高值耗材品种信息列表显示的主要字段106DOI:10.16184/prg.2023.06.0362023.6电脑编程技巧与维护GDMXpKcV6psVRDjmFdDIEJHlaIk2PBczXw7HUp4xv!-1998390763;JSESSIONID=9kBrEFJsSYMZZv1P2xWL6fK0a-TAEl2x2skusKeVBqqlfITTsJ62T!-1998390763;loginToken=Token对应的字符串#CSV Headercolumns=operate,center,goodsId,procurecata-logId,procurecatalogOldId,nprocurecatalogId,ggypId,goodsInfo,goodsName,productName,medicinem-odel,outlook,factor,unit,materialName,priceUnit,minUnit,companyNameSc,companyNameTb,mid-dleWithMaxPack,qualityLevel,usingRang,areaName,tagging,purchaseType,sourceName,maxPurchase-Price,isUsing,addTime,auditTime,splitCompanyNa-me,remark,remark2df_result=pd.DataFrame()#使用cookie登录get_urlfor url in urls:try:time.sleep(0.1)page=request.Request(url,headers=headers)page_info=request.urlopen(page).read().de-code(utf-8)#打开Url,获取HttpResponse返回对象并读取其#ResposneBodynew_dict=json.loads(page_info)json_str=json.dumps(new_dictrows,en-sure_ascii=False,indent=2)#转换为json数据json_dict=json.loads(json_str)data=list(json_dict)csv_data=pd.DataFrame(data,index=range(len(data),columns=columns)df_result=df_result.append(csv_data,ig-nore_index=True)print(url)except Exception as e:continue#con=sqlite3.connect(Database.db)#pd.io.sql.to_sql(df_result,tb_province_bid,con=con,index=False,if_exists=replace)#print(download_complete)df_result.to_excel(Download_province_bid.xlsx,index=False,header=True,encoding=utf-8)df_result.to_csv(Download_province_bid.csv,in-dex=False,header=True,encoding=utf-8)print(export_complete)通过爬虫工具，将阳光平台药品、耗材数据信息进行自动采集对比分析，生成相应的Excel文件并导出。4自动数据分析模块4.1建立对照数据库存储从阳光平台采集的药品及耗材信息，方便数据的对照及自动查询。对照表字典设计如表3所示。4.2程序设计系统采用Java开发工具实现自动分析3，通过建立HashMap哈希表（又称散列表）提高系统的分析效率4，实现采集数据去重、校验、分析、存储、查询等功能。部分实现语句如下。/导入阳光平台数据try String sql=select*from ASSET.Sun-shine_Platform_Master p where p.SUNSHINE_CODE=?and p.SUNSHINE_TYPE=?and p.create_date=to_date(to_char(sysdate,yyyy-mm-dd),yyyy-mm-dd);ps=conn.prepareStatement(sql);ps.setString(1,(String)temp.get(6);ps.setString(2,Converse.encode(SUN-SHINE_TYPE);rs=ps.executeQuery();boolean has=false;while(rs.next()has=true;break;rs.close();ps.close();if(has)sql=delete from ASSET.Sunshine_Plat-字段名称类型（大小）说明IDVARCHAR2(36)ID（唯一标识）CODE_TYPEVARCHAR2(20)代码类别（区分药剂科、医工科）ITEM_CODEVARCHAR2(50)项目代码ITEM_NAMEVARCHAR2(80)项目名称ITEM_SPECVARCHAR2(100)项目规格ITEM_UNITSVARCHAR2(8)单位FACTORNUMBER(3)系数（倍数）SUNSHINE_PLATFORM_CODEVARCHAR2(50)阳光平台代码表3对照表字典设计1072023.6电脑编程技巧与维护物信息学Web服务客户端J.医学信息学杂志,2018,39(7):41-45.2张宝玉基于Web服务的地税局人事管理系统的设计与实现D.成都:电子科技大学,2018.3尹兆冰,王加阳.Web服务及其关键技术研究综述J.软件导刊,2010,9(2):121-123.4张 仙 伟,张 璟.Web Service的 核 心 技 术 之 一：SOAP协议J.电子科技,2010,23(3):30-32.5李之翔.基于SOAP异构系统跨平台数据交换的设计与实现J.电脑知识与技术,2018,14(27):272-273.6费晶.基于Lotus Domino/notes平台的办公自动化系统开发J.电子设计工程,2010,18(7):85-87.7何国辉,卿银波.基于XML的数据交换系统设计J.计算机工程与设计,2007(3):583-587.form_Master p where p.SUNSHINE_CODE=?and p.SUNSHINE_TYPE=?and p.create_date=to_date(to_char(sysdate,yyyy-mm-dd),yyyy-mm-dd);ps=conn.prepareStatement(sql);ps.setString(1,(String)temp.get(6);ps.setString(2,Converse.encode(SUN-SHINE_TYPE);ps.execute();ps.close();sql=INSERT INTO ASSET.Sunshine_Plat-form_Master(ID,item_code,item_name,item_spec,item_units,firm_id,factor,+sunshine_code,price,sunshine_name,sun-shine_brand,sunshine_units,sunshine_spec,sunshine_firm_id,sunshine_bidding_enterprise,sunshine_price,sunshine_date,create_date,sunshine_type)+VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,to_date(?,yyyy-mm-dd),to_date(to_char(sysdate,yyyy-mm-dd),yyyy-mm-dd),?);ps=conn.prepareStatement(sql);ps.execute();ps.close();catch(SQLException ex)ex.printStackTrace();JOptionPane.showMessageDialog(ImportSun-shinePlatform.this,数据库错误：+ex.getMessage();return;5应用效果阳光平台自动采集信息系统建设完成后，理论上实现了阳光平台与医院系统数据交互实时校验及闭环管理，实际校验周期从原来的每月1次缩短到每周1次，校验时间从3天缩短到1 h，应用效果明显，有效提高了科室工作效率及数据精确度。同时，医院通过系统反馈的异常信息，能够及时干预、分析原因、促进医院耗材管理工作的标准化和规范化5。6结语阳光平台数据自动采集信息系统的建设，有效解决了平台与医院之间数据校验难度大的问题，确保医院数据与平台数据及时统一，确保医院药品、耗材管理正规有序，确保患者利益得到充分保证。工作效率及数据精确度提高明显，相关职能科室对系统应用反映良好。参考文献1蔡芸芸,茅春宇,高海峰,等.“阳光平台”下加强医用耗材管理的探讨J 中国医疗器械杂志,2020,44(3):276-279.2杨健,陈伟.基于Python的三种网络爬虫技术研究J 软件工程,2023,26(2):25-27.3孟维成.对基于Java语言实现数据库的访问研究J.软件,2022,43(2):169-171.4秦加伟,刘辉,方木云.大数据平台下基于类型的小文件合并方法J 软件工程,2020,23(10):12-14.5王楠,钱昆,耿闳,等.公立医院阳光监管平台的实践与思考J 江苏卫生事业管理,2022,33(5):620-622.(上接第91页)108