1. 范围
本规则规定了纸质档案数字化的主要技术要求。
本规则适用于指导宁波市各级档案部门纸质档案的数字化加工及数字化成果的管理。
2. 规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。
GB/T 17235.1-1998信息技术 连续色调静态图像的数字压缩编码第一部分:要求和指南
GB/T l7235.2-1998信息技术 还续色调静态图像的数字压缩编码第二部分:一致性测试
GB/T l8894-2004 电子文件归档与管理规范
DA/T 18-1999 档案著录规则
DA/T 31—2005 纸质档案数字化技术规范
3. 术语和定义
下列术语和定义适用于本规则。
3.1 数字化digitization
用计算机技术将模拟信号转换为数字信号的处理过程。
3.2 纸质档案数字化digitization of paper-based records
采用扫描仪或数码相机等数码设备对纸质档案进行数字化加工,将其转化为存储在磁带、磁盘、光盘等载体上并能被计算机识别的数字图像或数字文本的处理过程。
3.3 数字图像digital image
表示实物图像的整数阵列。一个二维或更高维的采样并量化的函数,由相同维数的连续图像产生。在矩阵(或其他)网络上采样——连续函数,并在采样点上将值最小化后的阵列。
3.4 黑白二值图像 Binary image
只有黑白两级灰度的数字图像。它对应于黑和白的两种状态文字稿、线条图等。
3.5 连续色调静态图像continuous-tone still image
以多于两级灰度的不同浓淡层次或以不同颜色通道组合成的静态数字图像。在纸质档案数字化过程中,通常表现为灰度扫描和彩色扫描两种模式。
3.6 分辨率resolution
单位长度内图像包含的点数或像素数,一般用每英寸点数(dpi)表示。
3.7 失真度distortion measure
对档案进行数字化转换后,数字图像与档案原件在色彩、几何等方面的偏离程度。
3.8 可懂度intelligibility
数字图像向人或机器提供信息的能力。
3.9 图像压缩image compression
消除图像冗余或对图像近似的任一种过程,其目的是对图像以更紧凑的形式表示。纸质档案数字化过程中,较常见的有TIFF(G4)、JPEG等压缩格式。
3.10 标记图像文件格式 Tagged Image File Format(TIFF)
一种基于标记的无损(不丢失信息)压缩格式,用于在应用程序之间和计算机平台之间交换文件。主要适用于黑白二值、灰度及彩色模式下的图像存储。
3.11 联合摄影专家组 Joint photographic Experts Group(JPEG)
一种丢失少量信息的压缩格式,尤其适用于屏幕和打印显示,支持所有主要的计算机平台和Web浏览器。主要适用于灰度以及彩色模式下的图像存储。
4. 纸质档案数字化基本要求
4.1 基本原则
纸质档案数字化的基本原则是使档案信息资源准确、方便、快捷地提供利用,使可以公开的档案信息资源得到共享,以满足社会对档案利用的需求。
4.2 数字化对象的确定原则
应当对所要进行数字化的对象按照一定的原则和利用方法进行确认,只有符合一定要求的纸质档案文献才能进行数字化。
4.2.1符合国家法律法规的原则
纸质档案的数字化,必须符合国家档案开放规定以及有关规定。
4.2.2价值性原则
属于归档范围且应永久或长期保存的、社会利用价值高的档案可列入数字化加工的范围。
4.3 基本环节
纸质档案数字化的基本环节主要包括:档案整理、档案扫描、图像处理、图像存储、目录建库、数据挂接、数据验收、数据备份、成果管理等。
4.4 过程管理
加强纸质档案数字化各环节的安全保密管理机制,同时建立起完整、规范的纸质档案数字化各环节登记记录,确保档案原件和数字化档案信息的安全。
5 档案整理
在扫描之前,根据档案管理情况,按下述步骤对档案进行适当整理,并视需要作出标识,确保档案数字化质量。
5.1 目录数据准备
按照《档案著录规则》和宁波市档案局电子目录数据库结构与交换格式有关规定的要求,规范档案目录内容。包括确定档案目录的著录项、字段类型、长度和内容要求,并对错误或不规范的目录数据进行修改。
5.2 拆除装订
在有装订物情况下,影响扫描工作进行的档案,应拆除装订物。拆除装订物时应注意保护档案不受损害。
5.3 区分扫描件和非扫描件
按要求把同一案卷中的扫描件和非扫描件区分开。普发性文件区分的原则是:无关和重复的文件,以及文件形成过程中产生的各种稿本、参考资料等可以剔除,有正式件的文件可以不扫描定稿。
5.4 页面修整
破损严重、无法直接进行扫描的档案,应先进行技术修复,折皱不平影响扫描质量的原件应先进行相应处理(压平或熨平)后再进行扫描。
5.5 档案整理登记
制作并填写纸质档案数字化加工过程交接登记表单,详细记录档案整理后每份文件的起始页号和页数。
5.6 装订
扫描工作完成后,拆除过装订物的档案应按档案保管的要求重新装订,恢复装订时,应注意保持档案的排列顺序不变,案卷不漏页、不掉页,装订左边和底边整齐,不压字,做到安全、准确、无遗漏。案卷变化情况应在备考表中注明。
6 档案扫描
6.1 扫描方式
6.1.1 根据档案幅面的大小选择相应规格的扫描仪或专业扫描仪进行扫描。大幅面档案可采用专用数码平台进行扫描或者采用图像拼接方式处理,或先进行缩微拍摄后再进行数字化转换。
6.1.2 纸张状况较差,以及过薄、过软或超厚的档案,应采用平板扫描方式;纸质照片档案,应采用平板扫描方式;纸张状况好的档案可采用高速扫描方式以提高工作效率。
6.2 扫描色彩模式
6.2.1 普通文件、档案可采用彩色、灰度或黑白二值图像模式扫描。需永久或长期保存、向档案馆移交的档案,应采用彩色模式进行扫描。
6.2.2 黑白照片应采用灰度模式扫描,彩色照片应采用RGB全彩模式扫描。
6.2.3 页面为黑白两色,并且字迹清晰、不带插图的档案,可采用黑白二值模式进行扫描。
6.2.4 当采用黑白二值图像模式不能充分反映档案内容信息时应采用彩色模式进行扫描,包括但不限于以下情况:
──页面为黑白两色,但字迹不清晰或插有黑白照片、彩色照片、彩色插图,以及页面中有红头、印章。
──页面由于纸质、色泽、印刷或书写方式等原因致使采用黑白二值图像扫描后内容无法辨认。
6.3 扫描分辨率
6.3.1 扫描分辨率应大于或等于200dpi。特殊情况下,如文字偏小、密集、清晰度较差等,可适当提高分辨率。
6.3.2 需要向档案馆移交的档案,扫描分辨率应大于或等于300dpi。
6.3.3 纸质照片档案,照片小于或者等于10英寸,扫描分辨率应不小于600dpi;照片大于10英寸,扫描分辨率应不小于300dpi。
6.3.4 图纸类文件扫描分辨率建议选择大于或等于300dpi。
6.4 扫描登记
认真填写纸质档案数字化转换过程交接登记表单,登记扫描的页数,核对每份文件的实际扫描页数与档案整理时填写的文件页数是否一致,不一致时应注明具体原因和处理方法。
7 图像处理
7.1 图像数据质量检验
7.1.1 对图像偏斜度、清晰度、失真度等进行检查。发现不符合图像质量要求时,应重新进行图像的处理。
7.1.2 由于操作不当,造成扫描的图像文件不完整或无法清晰识别时,应重新扫描。
7.1.3 发现文件漏扫时,应及时补扫并正确插入图像。
7.1.4 发现扫描图像的排列顺序与档案原件不一致时,应及时进行调整。
7.1.5 认真填写相关表单,记录质检结果和处理意见。
7.2 纠偏
对出现偏斜的图像应进行纠偏处理,图像偏度不得大于3度。对方向不正确的图像应进行旋转还原,以符合阅读习惯。
7.3 去污
对图像页画中出现的影响图像质量的杂质,如黑点、黑线、黑框、黑边等应进行去污处理。档案数字化图像的去污,应遵循在不影响可懂度的前提下展现档案原貌的原则。
7.4 图像拼接
对大幅面档案进行分区扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字化图像的整体性。
7.5 裁边处理
采用彩色模式扫描的图像应进行裁边处理,去除多余的白边,以有效缩小图像文件的容量,节省存储空间。
8 图像存储
8.1 存储格式
8.1.1 用于代替原件保存和需要移交至档案馆的档案,采用JPEG格式或多页TIFF格式存储。存储时的压缩模式的选择,应以保证画面质量无损的前提下,尽量减小存储容量为准则,建议选择LZW压缩模式。
8.1.2 用于提供网络查询的扫描图像,也可存储为PDF 、CEB或其他格式。
8.2 图像文件的命名
8.2.1 命名原则
每份档案文件与其图像文件通过档号的一致性和唯一性建立起一一对应的关联关系,为实现档案目录数据库与图像文件的批量挂接提供条件。
8.2.2 命名格式
8.2.2.1 命名格式(一)
对立卷改革之前的纸质文书档案进行扫描,TIFF图像文件命名由全宗号、目录号、案卷号、页号4部分组成,各字段间用“-”连接,即以xxxx-xxx-xxx-xxx.tif表示;JPEG图像文件命名由全宗号、目录号、案卷号、页号、序号等5部分组成,各字段间用“-”连接,即以xxxx-xxx-xxx-xxx-xxx.jpg表示。数据结构见下表:
字段名称 | 字段类型 | 字段长度 | 字段值 |
全宗号 | 字符 | 4 |
|
目录号 | 字符 | 3 |
|
案卷号 | 字符 | 3 |
|
页号 | 字符 | 3 |
|
序号 | 字符 | 3 |
|
全宗号用4位代码标识,其中第1位用汉语拼音字母标识全宗属性,后3位用阿拉伯数字标识某一属类全宗的顺序号。如“Q001”表示清代1号全宗。
目录号以3位阿拉伯数字标注,如“001”表示。
案卷号以3位阿拉伯数字标注,如“001”表示。
页号用3位阿拉伯数字标识,如“002”表示第2页。
序号是JPEG格式存档的页号,用3位阿拉伯数字标识,如“002”表示此份文件的第2页。
8.2.2.2 命名格式(二)
立卷改革后形成的纸质档案的扫描,TIFF图像文件命名由全宗号、年度、保管期限、组织机构或问题、档案室(馆)编件号等5部分组成,各字段间用“-”连接,即以xxxx -xxxx-xxxx-xx-xxxx.tif表示;JPEG图像文件命名由全宗号、年度、保管期限、组织机构或问题、档案室(馆)编件号、序号等6部分组成,各字段间用“-”连接,即以xxxx-xxxx-xxxx-xx-xxxx-xxx.jpg表示,数据结构见下表:
字段名称 | 字段类型 | 字段长度 | 字段值 |
全宗号 | 字符 | 4 |
|
年度 | 字符 | 4 |
|
保管期限 | 字符 | 4 | 10年、30年、永久 |
组织机构或问题 | 字符 | 2 |
|
档案室编件号 | 字符 | 4 |
|
序号 | 字符 | 3 |
|
全宗号用4位代码标识,其中第1位用汉语拼音字母标识全宗属性,后3位用阿拉伯数字标识某一属类全宗的顺序号。如“J002”表示建国后2号全宗。
年度以4位阿拉伯数字标注公元纪年,如“2012”表示2012年。
保管期限用“10年”、“30年”、“永久”标识。
组织机构或问题是指作为分类方案的组织机构或问题名称的规范化简称。用两位字母标识,可以用简称中的汉语拼音第一个字母表示,其中“ZZ”表示无该项内容。
档案室编件号是归档文件的流水号,用4位阿拉伯数字标识,如“0002”表示第2个文件。
序号是单份归档文件的页号,用3位阿拉伯数字标识,如“002”表示单份文件的第2页。
8.2.2.3 各单位列入进馆范围的档案,因特殊情况不能采用上述命名格式的,应与同级国家档案馆协商处理。
8.3 存储结构
移交载体内数字化成果的存储结构参照《电子档案移交和接收办法》有关电子档案的存储结构执行。
9 目录建库
9.1 数据格式选择
目录建库应选择通用的数据格式,所选定的数据格式应能直接或间接通过XML文档进行数据交换。向档案馆移交时应转换为DBF或XML格式,也可采用档案馆认可的其他格式。
9.2 档案著录
按照《档案著录规则》和宁波市档案局电子目录数据库结构与交换格式有关规定的要求进行著录,建立档案目录数据库。
9.3 目录数据质量检查
核对著录项目是否完整、著录内容是否规范、准确,发现不合格的数据应要求进行修改或重录。
10 数据挂接
10.1 汇总挂接
档案数字化转换过程中形成的目录数据库与图像数据库,经质量检验合格后,通过在线或离线方式加载到数据服务器。通过编制程序或借助相应软件等方式实现目录数据对相关联的数字图像的批量、快速挂接。
10.2 交接登记
认真填写纸质档案数字化转换过程交接登记表单,记录数据关联后的页数,核对每一份文件关联后的页数与档案整理、扫描时填写的页数是否一致,不一致时应注明具体原因和处理办法。
11 数据验收
11.1 验收方式
数据验收主要采取抽检的方式,有条件的应通过编制程序或借用相应软件等方式扩大检测的覆盖面,提高数据检测的效率和质量。
11.2 目录数据验收
以全宗的一个或多个目录为单元,随机抽查5%的数据,对条目数量及其著录项目内容的准确性进行逐条检查。其中,档号的合格率要求达到100%,其他项目抽检合格率要求达到95%以上(含95%)。合格率=抽检合格文件数/抽检文件总数×100%。
11.3 图像数据验收
以全宗的一个或多个目录为单位,随机抽查5%的条目数据相对应的图像数据,对图像数量及其图像内容的准确性进行检查。图像应符合本规则中所规定的分辨率、文件格式及色彩模式。图像文件的命名必须与条目档号相一致,一致率要求达到100%;扫描图像完整性要求100%正确,完整性包括不准缺页、漏页。图像的倾斜度、清晰度、整洁度等技术指标,抽检合格率要求达到95%以上(含95%)。合格率=抽检合格文件数/抽检文件总数×100%。
11.4 验收登记
验收后认真填写纸质档案数字化验收登记表单,详细记录数据验收情况及验收结论。
12 数据备份
12.1 备份范围
经验收合格的完整数据应及时进行备份。
12.2 备份方式
为保证数据安全,备份载体的选择应多样化,可采用在线、离线相结合的方式实现多套备份,并注意异地保存。
12.2.1 在线备份
目录和扫描档案一般都应采用磁盘、磁带库等载体实行在线存储备份,保证档案的利用与安全。
12.2.2 离线备份
长久保存的档案,应采用离线方式进行刻盘备份或者磁带备份。备份载体可选用CD\DVD\BD-R光盘或者数据磁带。目录及说明应与其相应的扫描档案保存在同一光盘上。
12.3 数据检验
备份数据也应进行检验。备份数据的检验内容主要包括备份数据能否打开、数据信息是否完整、文件数量是否准确等。
12.4 备份标签
数据备份后应在相应的备份介质上做好标签,以便查找和管理。
12.5 备份登记
填写纸质档案数字化备份管理登记表单。
12.6 移交进馆
列入进馆范围的纸质档案,其数字化成果按照《电子档案移交与接收办法》,向同级国家档案馆移交。未到进馆年限的,应按照《浙江省档案登记备份管理办法》有关规定,向同级国家档案馆登记备份。
13 数字化成果管理
13.1 应加强对纸质档案数字化成果的管理,确保其准确、完整、可用和安全。
13.2 纸质档案数字化成果提供网上检索利用时,应有制作单位的电子标识,并根据具体情况分别采用可下载或不可下载的数据格式。
13.3 涉密纸质档案数字化加工及成果管理,应符合国家、省、市保密工作的相关规定。