评价网 > 科教论文 > 工学毕业论文 > 计算机应用论文 > 正文

浅谈数据库信息管理系统的逻辑架构与功能设计(2)

2015-12-15 01:08 必须先配置数据抽取的范围，先选择数据抽取对应的系统，查询该系统下所有需要执行的抽取任务，然后对抽取数据的各个节点进行配置，确定在哪些节点上执行数据抽取。
        2.2.3 数据抽取服务：根据后台中心下发的数据抽取任务对各个业务系统的数据逐项进行抽取，选择的任务的流水号启动抽取服务；数据抽取过程中，根据抽取出来的数据内容产生一个统计表，包括数据表名称、记录数等内容，该表作为数据抽取是否完整、是否正常的参考文件。
        2.2.4 数据抽取服务重启：根据抽取过程的统计表和日志信息，判断抽取服务是否成功，如未成功执行，则可通过数据抽取服务的重新启动来对任务进行重做。
        2.3 数据上传 数据抽取完成后，数据文件导出保存在本地服务器中对所有导出文件进行汇总打包，数据量大时，还可进行压缩处理，然后存储在本地服务器准备传输。
        2.3.1 本地服务器的配置：包括“接收数据服务器的IP、用户名、用户密码、上传，目录、接收目录、传输方式”等数据内容。
        2.3.2 数据汇总：对数据导出文件按业务系统数据分类分别进行汇总、压缩打包，使用后台中心统一的命名规则，给各个数据包进行命名、存放在文件上传的目录中，准备上传。
        2.3.3 数据上传：系统制定上传时间、上传目录、上传服务器地址，数据文件上传的工作方式以自动方式为主，如果由于网络故障或上传文件损坏等原因自动上传入库不能进行，可人工干预，重新选择传输过程，完成数据抽取和上传工作。 （科教论文网 lw.nSeAc.com编辑发布）
        2.3.4 文件传输的监控：为检验数据上传情况，将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功。
        2.4 数据加载 数据加载模块将已传输到后台中心的数据经过解压缩，通过数据集成功能加载到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
        2.4.1 数据解压：将已传输到后台中心的数据进行解压，通过数据集成功能追加到数据库中。如数据加载入库过程中出现问题，可以重新加载。保证同一条记录不会重复入库，也不会造成记录、内容的丢失。
        2.4.2 数据加载：分为人工加载和自动加载两种方式，人工加载可通过人为干预，有选择地把数据加载入库，也可用于数据入库过程中，异常数据经过特殊处理追加入库。
        2.4.3 数据检验：数据入库完成后，自动产生数据表、记录个数等信息的统计表，与数据抽取产生的统计表进行比较，如果两者数据不一致，需要重新进行数据抽取上传入库。
        2.5 监控管理 监控管理模块主要是对系统的各个工作环节进行监控灌录，数据导入导出情况及数据传输情况进行监控管理。
        2.5.1 数据抽取监控：通过数据抽取的监控，发现数据抽取与转换过程中因为网络或人为原因等所引起的数据错误。
        2.5.2 数据传输监控：将数据上传日志写入数据库，用户通过应用程序可以浏览传输过程，发现数据上传是否成功以及未进行数据抽取上传的地区。
        2.5.3 数据加载监控：监控数据加载中出现的数据丢失与加载错误。
        2.6 查询统计 查询统计主要按照一定的条件和工作要求，查询数据完整性信息和任务执行情况。将每个模块的处理结构制成表，存储在后台数据库中。