成果展示——CSNS数据管理系统设计Indico中国科学院高能物理.pptx

中级谱仪软件工程师岗位中级谱仪软件工程师岗位申请报告申请报告唐唐 明明CSNS 谱仪软件组谱仪软件组2014年年1月月提纲提纲个人简介个人简介主要工作主要工作自我评价及总结自我评价及总结2/26个人简介个人简介u2003.92007.7就读于华南理工大学应用物理学专业，本科就读于华南理工大学应用物理学专业，本科u2007.92010.7就读于中国科学院合肥物质科学研究院，硕士就读于中国科学院合肥物质科学研究院，硕士在等离子体物理研究所在等离子体物理研究所HT-7和和EAST托卡马克托卡马克装置上开展等离子体灰尘的研究装置上开展等离子体灰尘的研究u2010.7至今至今任职于中国科学院高能物理研究所任职于中国科学院高能物理研究所CSNS谱仪谱仪软件岗位软件岗位3/26主要工作主要工作u工作内容工作内容1CSNS 数据管理系统及数据管理系统及CSNS Portal 2CSNS Portal 开发环境搭建开发环境搭建3其他工作其他工作4/26一、一、CSNS 数据管理系统及数据管理系统及CSNS Portal（2013）工作职责及内容（当前主要职责）：以工作职责及内容（当前主要职责）：以ICAT为基础，设计一套适合为基础，设计一套适合CSNS的数据管理的数据管理系统框架，用于管理实验元数据、原始数据、重构数据、系统框架，用于管理实验元数据、原始数据、重构数据、NeXus用户数据、分析数据、用户数据、分析数据、数据引用、文献出版、算法版本等方面的内容。开发数据引用、文献出版、算法版本等方面的内容。开发CSNS Portal，整合用户系统、，整合用户系统、提案系统、样品系统、元数据管理系统、数据检索提案系统、样品系统、元数据管理系统、数据检索/浏览浏览/上传上传/下载、数据在线可视化、下载、数据在线可视化、高性能分析集群、用户培训、出版跟踪等应用，为高性能分析集群、用户培训、出版跟踪等应用，为CSNS用户提供完整、良好的服务用户提供完整、良好的服务门户。门户。5/26CSNS 数据管理数据管理CSNS Portal一、一、CSNS 数据管理系统及数据管理系统及CSNS Portal系统目标功能系统目标功能CSNS 数据管理系统数据管理系统元数据提取服务：从相关系统（元数据提取服务：从相关系统（DAQ、控制、控制、User Office）提取重要的实验元数据）提取重要的实验元数据数据传输服务：将数据传输服务：将DAQ本地原始数据传递到中央存储系统本地原始数据传递到中央存储系统数据重构：从原始数据解析事例数据，数据解析验证，组合事例数据和元数据为数据重构：从原始数据解析事例数据，数据解析验证，组合事例数据和元数据为NeXus用户数据用户数据ICAT：管理各种数据之间的关系：管理各种数据之间的关系ICAT Client：操作：操作ICAT，将数据纳入，将数据纳入ICAT管理管理DOI服务：为数据分配并注册唯一标识服务：为数据分配并注册唯一标识CSNS Portal用户系统：用户注册、登录、找回账户、用户管理用户系统：用户注册、登录、找回账户、用户管理在线提案系统：提案创建、复制、浏览、审核、样品管理在线提案系统：提案创建、复制、浏览、审核、样品管理数据在线可视化系统：在线浏览数据在线可视化系统：在线浏览NeXus数据文件、简单的数据绘图数据文件、简单的数据绘图数据上传数据上传/下载系统：中央存储系统数据的上传、下载、归档、删除，同步更新下载系统：中央存储系统数据的上传、下载、归档、删除，同步更新ICAT数据在线分析系统：连接分析集群，通过数据在线分析系统：连接分析集群，通过Web入口执行实验数据分析、结果反馈入口执行实验数据分析、结果反馈数据检索数据检索/浏览系统：基于浏览系统：基于ICAT的用户界面，浏览的用户界面，浏览/搜索元数据和实验数据、展示各种实验信息搜索元数据和实验数据、展示各种实验信息出版管理系统：管理并统计用户利用实验数据发表的相关文献出版管理系统：管理并统计用户利用实验数据发表的相关文献用户培训系统：对装置用户进行相关的在线培训，如样品处理、谱仪操作、安全用户培训系统：对装置用户进行相关的在线培训，如样品处理、谱仪操作、安全6/26一、一、CSNS 数据管理系统及数据管理系统及CSNS Portal重要性重要性CSNS数据管理系统数据管理系统数据核心，数据就是生命：调试、实验、统计数据核心，数据就是生命：调试、实验、统计数据庞大、关系繁杂：运行环境、实验配置、提案数据、刻度数据、原始数据、重构数据、数据庞大、关系繁杂：运行环境、实验配置、提案数据、刻度数据、原始数据、重构数据、NeXus用户数据、分析数用户数据、分析数据，等等据，等等装置发展：统计分析（有效机时、故障处理、热门课题、用户、装置改正）装置发展：统计分析（有效机时、故障处理、热门课题、用户、装置改正）CSNS Portal尽可能满足用户通常需求，提供用户服务门户尽可能满足用户通常需求，提供用户服务门户简单易用的用户界面简单易用的用户界面难点难点CSNS数据管理系统数据管理系统需求经常变化、要求易于扩展需求经常变化、要求易于扩展海量数据、关系复杂，要求严谨的数据库设计海量数据、关系复杂，要求严谨的数据库设计数据完整性、可靠行、存储环境要求严格数据完整性、可靠行、存储环境要求严格系统接口多：探测器、控制、系统接口多：探测器、控制、DAQ、网络、计算中心、网络、计算中心软硬件联系紧密：数据、服务（元数据提取、传输、重构）、数据库、存储系统、应用软硬件联系紧密：数据、服务（元数据提取、传输、重构）、数据库、存储系统、应用CSNS Portal系统庞大、模块多：功能贯穿整个科研流程系统庞大、模块多：功能贯穿整个科研流程模块间相互关联，要求企业级应用：单点登录模块间相互关联，要求企业级应用：单点登录/登出、统一认证、分散授权、低耦合、好扩展登出、统一认证、分散授权、低耦合、好扩展每个模块都是一个独立的、完整的应用，需要较长时间开发每个模块都是一个独立的、完整的应用，需要较长时间开发技术复杂、要求很高、开发周期长，人力严重不足：技术复杂、要求很高、开发周期长，人力严重不足：B/S架构、架构、web服务、数据库、服务、数据库、Java EE（JPA、EJB、JSF、JAXB）、脚本、大数据传输与数理，等等）、脚本、大数据传输与数理，等等7/26成果展示成果展示CSNS 数据管理系统设计数据管理系统设计8/26系统框架系统框架元数据关联元数据关联系统网络系统网络中央存储中央存储分析集群分析集群成果展示成果展示ICAT&TopCAT9/26ICAT数据库数据库TopCAT数据列表数据列表成果展示成果展示ICAT&TopCAT（数据浏览（数据浏览&搜索）搜索）10/26提案信息提案信息数据浏览数据浏览数据搜索数据搜索成果展示成果展示 CSNS Portal（用户系统）（用户系统）11/26登录登录注册账号注册账号找回账号找回账号成果展示成果展示 CSNS Portal（提案系统）（提案系统）12/26提案系统首页提案系统首页提案列表提案列表&搜索搜索提案复制提案复制成果展示成果展示 CSNS Portal（提案系统）（提案系统）13/26创建提案创建提案提案一般信息提案一般信息谱仪选择谱仪选择添加样品添加样品二、软件开发环境搭建（二、软件开发环境搭建（2013）重要性及目的：建立科学、高效的科学软件开发管理系统，实现团队协作，重要性及目的：建立科学、高效的科学软件开发管理系统，实现团队协作，提高生产率，确保软件的健壮性、可用性、可靠性提高生产率，确保软件的健壮性、可用性、可靠性难点难点各系统调试、安装各系统调试、安装系统相互整合系统相互整合产品级优化产品级优化安全性保障安全性保障14/26SVNNeXusJenkinsWebSVNDeveloperDeveloperTracMaven提交提交提交提交取出取出&构建构建构建构建取出取出&构建构建显示显示关联关联&显示显示版本控制版本控制代码管理代码管理自动构建自动构建/测试测试持续集成持续集成依赖管理依赖管理自动构建自动构建/测试测试报告报告/站点生成站点生成发布发布公共库管理公共库管理软件发布软件发布任务发布任务发布进度控制进度控制Bug跟踪跟踪源代码浏览源代码浏览显示提交日志显示提交日志显示显示Diff成果展示成果展示SVN&WebSVN（版本控制、源代码管理）（版本控制、源代码管理）15/26项目列表项目列表提交日志提交日志源代码浏览源代码浏览成果展示成果展示 Trac（任务发布、进度控制、（任务发布、进度控制、bug跟踪）跟踪）16/26项目结构项目结构&更新日志更新日志进度控制进度控制任务发布任务发布成果展示成果展示 Jenkins（自动构建、测试、集成）（自动构建、测试、集成）17/26项目信息项目信息集成状态集成状态指纹指纹成果展示成果展示 Maven NeXus库（公共库管理、库共享、软件发布）库（公共库管理、库共享、软件发布）18/26依赖管理（统一依赖）依赖管理（统一依赖）发行管理发行管理&库共享库共享成果展示成果展示 CSNS Portal 项目站点（项目信息项目站点（项目信息&项目报告）项目报告）19/26项目项目依赖依赖聚合报告聚合报告Java DOC三、以前的工作（三、以前的工作（2011-2012）目的：基于目的：基于NeXus数据格式，将数据格式，将CSNS的数据处理纳入的数据处理纳入Mantid Framework，以利用，以利用Mantid的的数据归约数据归约、数据可视化数据可视化、谱仪谱仪3D可视化可视化等等功能，简化开发。功能，简化开发。工作内容工作内容20/26IDFCSNS谱仪谱仪原始数原始数据据CSNS事例事例NeXus格格式式刻度数据刻度数据日志数据日志数据CSNS NeXus数据数据文件文件虚拟化虚拟化导入导入重构重构重构重构导入导入结果结果生成生成数据处理数据处理数据可视化数据可视化谱仪可视化谱仪可视化汉化汉化谱仪描述谱仪描述CSNS事例内容事例内容适合国人使用适合国人使用降低学习成本降低学习成本难点难点谱仪谱仪XML描述描述事例格式设计事例格式设计一致的一致的NeXus文件文件层次层次需掌握需掌握Mantid框架框架Mantid体系庞大体系庞大Mantid代码量很大代码量很大Mantid算法扩展算法扩展成果展示成果展示Mantid汉化汉化英文界面英文界面21/26汉化界面汉化界面uIDF设计设计l3个监视器：个监视器：ID 13l1个主探测器（低角探测器）：个主探测器（低角探测器）：1m x 1m，1m*125 3He管，管，每根每根3He管管125个逻辑段，圆柱个逻辑段，圆柱形像素，共形像素，共125*125像素，每像素，每像素像素8mm x 8mm，ID 415628l参考坐标系：参考坐标系：Y竖直向上，竖直向上，Z束束流方向，右旋，流方向，右旋，原点原点在慢化器在慢化器表面（表面（source）u探测器的探测器的3D构建构建成果展示成果展示CSNS SANS IDF22/26pixeltubebank探探测测器器像像素素信信息息成果展示成果展示CSNS NeXus事例数据格式设计（唐明、田浩来）事例数据格式设计（唐明、田浩来）uNeXus事例数据格式包括事例数据格式包括事例描述事例描述和和探测器描述探测器描述u一个中子击中事例数据至少包含中子击中的探测器一个中子击中事例数据至少包含中子击中的探测器位置位置和和飞行时间飞行时间，建议包含事例发生的建议包含事例发生的绝对时间戳绝对时间戳u探测器描述包括直方图探测器描述包括直方图数据数据、数据误差数据误差、探测器探测器ID、像素位置及大小、像素位置及大小、类型、类型、到样品的距离到样品的距离、效率信息、效率信息NXdetectorNXevent_dataNameTypeDescriptiontime_of_flightNX_INTiTime of flightpixel_numberNX_INTiMap pixel number to detector numberpulse_timeNX_TIMEjPulse start time of“j”th pulseevents_per_pulseNX_INTjThe number of events in“j”th pulse23/26成果展示成果展示CSNS NeXus 文件层次设计文件层次设计24/26CSNS NeXus文件文件层次结构层次结构HDFView读取读取NXbrowse读取读取SANS NeXus示例测试文件示例测试文件自我评价及总结自我评价及总结1.经过在本岗位的开发实践，不断学习，不断积累技术，能力得到经过在本岗位的开发实践，不断学习，不断积累技术，能力得到较大提高，能够独立进行一定程度上的软件开发，能够解决本专较大提高，能够独立进行一定程度上的软件开发，能够解决本专业范围内比较复杂的技术问题业范围内比较复杂的技术问题2.能够胜任目前的工作能够胜任目前的工作3.恳请获得工程师职称，更好地为恳请获得工程师职称，更好地为CSNS服务服务。25/2626/26敬请指正！敬请指正！谢谢！谢谢！