Từ trang giấy đến dữ liệu số – một tài liệu được số hóa như thế nào?

Trong thời kỳ chuyển đổi số, một trong những công việc quan trọng là đưa những thông tin ấy từ trang giấy vào môi trường dữ liệu.

Quá trình đó tưởng như chỉ cần một chiếc máy scan, nhưng thực tế phía sau một tài liệu số có thể là cả một chuỗi công việc:

Tài liệu giấy → Scan → OCR → Chuẩn hóa → Lập chỉ mục → Lưu trữ → Tìm kiếm → Khai thác dữ liệu

Bước đầu tiên: chuyển trang giấy thành hình ảnh số

Máy scan thực hiện công việc đầu tiên: ghi nhận nội dung trên tài liệu vật lý và chuyển thành hình ảnh kỹ thuật số.

Tùy loại tài liệu, quá trình này có thể rất khác nhau.

Một bộ hợp đồng vài chục trang có thể được đưa qua máy scan tài liệu có khay nạp tự động.

Một cuốn sách quý không thể tháo gáy cần phương pháp scan phù hợp để hạn chế ảnh hưởng đến bản gốc.

Một tấm bản đồ hay bản vẽ kỹ thuật khổ lớn lại cần thiết bị chuyên dụng.

Ảnh cũ, phim âm bản, bản thảo viết tay hay tài liệu đã xuống cấp cũng đặt ra những yêu cầu riêng về độ phân giải, màu sắc và cách xử lý.

Nhưng dù sử dụng phương pháp nào, kết quả đầu tiên vẫn giống nhau: nội dung vật lý đã có một phiên bản trong môi trường số.

Scan chưa có nghĩa là dữ liệu đã có thể khai thác

Đây là một điểm dễ nhầm lẫn khi nói về số hóa.

Một trang văn bản sau khi scan có thể được lưu dưới dạng hình ảnh hoặc PDF. Con người nhìn vào vẫn đọc được nội dung, nhưng đối với máy tính, trang tài liệu đó có thể vẫn chỉ là tập hợp các điểm ảnh.

Ví dụ, trong một văn bản có cụm từ “Thành phố Hồ Chí Minh”, con người nhìn thấy và hiểu ngay.

Nhưng nếu tài liệu chỉ tồn tại dưới dạng hình ảnh, hệ thống chưa chắc đã biết những điểm ảnh ấy tạo thành các chữ “Thành phố Hồ Chí Minh”.

Muốn máy tính nhận biết phần chữ viết, cần thêm một bước khác.

OCR – từ hình ảnh của chữ thành ký tự

OCR, viết tắt của Optical Character Recognition, là công nghệ nhận dạng ký tự quang học.

Công nghệ này phân tích hình ảnh của tài liệu và nhận diện những ký tự xuất hiện trên đó.

Khi OCR được thực hiện tốt, một trang tài liệu scan không còn đơn thuần là hình ảnh. Nội dung bên trong có thể trở thành văn bản để tìm kiếm, sao chép hoặc tiếp tục xử lý.

Đây là bước rất quan trọng.

Bởi một kho lưu trữ gồm một triệu trang ảnh và một kho gồm một triệu trang có khả năng tìm kiếm toàn văn mang lại hai giá trị sử dụng rất khác nhau.

Chuẩn hóa để dữ liệu không trở thành một kho file mới

Sau khi scan và nhận dạng nội dung, một vấn đề khác xuất hiện: tổ chức tài liệu như thế nào?

Nếu hàng chục nghìn tài liệu được lưu với những tên như:

scan001.pdf
scan002.pdf
scan003.pdf

thì về bản chất, chúng ta chỉ chuyển một kho giấy khó tìm kiếm thành một kho file cũng khó tìm kiếm.

Số hóa vì vậy cần đi cùng chuẩn hóa.

Một tài liệu có thể được gắn thêm những thông tin như tên tài liệu, loại tài liệu, ngày ban hành, tác giả, cơ quan phát hành, địa danh, chủ đề, số hồ sơ hoặc thời gian lưu trữ.

Những thông tin mô tả này thường được gọi là metadata – dữ liệu mô tả dữ liệu.

Metadata giúp hệ thống biết tài liệu là gì và giúp con người tìm lại nó sau này.

Lập chỉ mục – để thông tin có thể được tìm thấy

Một thư viện truyền thống cần mục lục để người đọc biết cuốn sách nằm ở đâu.

Kho dữ liệu số cũng cần một cơ chế tương tự.

Sau khi nội dung và metadata được xử lý, hệ thống có thể lập chỉ mục để phục vụ tìm kiếm.

Người sử dụng khi đó không nhất thiết phải nhớ chính xác tên file.

Họ có thể tìm theo một địa danh, một khoảng thời gian, tên tác giả, số văn bản hoặc thậm chí một cụm từ xuất hiện bên trong tài liệu.

Đây là một trong những thay đổi lớn khi tài liệu giấy thực sự trở thành dữ liệu có thể khai thác.

Lưu trữ không chỉ để tiết kiệm chỗ

Số hóa thường được nhắc đến như một giải pháp giảm diện tích kho tài liệu. Điều đó đúng, nhưng chưa phải giá trị quan trọng nhất.

Một tài liệu số có thể được sao lưu ở nhiều nơi, phân quyền truy cập, chia sẻ từ xa và bảo vệ khỏi một số rủi ro mà bản giấy có thể gặp phải như ẩm mốc, cháy, thất lạc hoặc hư hỏng theo thời gian.

Đối với những tư liệu quý, việc số hóa còn giúp giảm số lần phải trực tiếp sử dụng bản gốc.

Người nghiên cứu có thể tiếp cận phiên bản số trong khi tài liệu vật lý tiếp tục được bảo quản.

Bản số vì vậy không nhất thiết thay thế bản gốc. Trong nhiều trường hợp, nó giúp bảo vệ bản gốc tốt hơn.

Khi một tài liệu bắt đầu kết nối với những tài liệu khác

Giá trị của dữ liệu còn nằm ở khả năng liên kết.

Một tấm bản đồ cũ có thể liên quan đến một địa danh.

Địa danh đó có thể xuất hiện trong sách lịch sử.

Một nhân vật được nhắc đến trong cuốn sách lại có thể xuất hiện trên những tờ báo cùng thời.

Một văn bản hành chính có thể liên quan đến một sự kiện hoặc sự thay đổi địa giới.

Khi những tài liệu này được số hóa và tổ chức tốt, chúng không còn tồn tại như những vật thể riêng biệt nằm ở những kho khác nhau.

Dữ liệu có thể bắt đầu kết nối chúng lại.

Đó là lúc việc số hóa vượt ra ngoài mục tiêu lưu trữ và tiến gần hơn đến mục tiêu khai thác tri thức.

Từ tìm kiếm bằng từ khóa đến khai thác bằng AI

Trước đây, một trong những lợi ích lớn nhất của số hóa là khả năng tìm kiếm.

Ngày nay, sự phát triển của trí tuệ nhân tạo đang mở thêm một lớp khai thác mới.

Khi tài liệu đã được scan, OCR, chuẩn hóa và tổ chức thành dữ liệu, AI có thể hỗ trợ nhiều công việc như nhận diện nội dung, phân loại tài liệu, tóm tắt, đối chiếu hoặc tìm mối liên hệ giữa một lượng thông tin rất lớn.

Nhưng AI không làm mất đi tầm quan trọng của những bước phía trước.

Nếu bản scan kém chất lượng, OCR sai nhiều, metadata thiếu hoặc dữ liệu được tổ chức không nhất quán, khả năng khai thác phía sau cũng bị ảnh hưởng.

Có thể hình dung đơn giản:

Tài liệu tốt → Bản scan tốt → Dữ liệu tốt → Khả năng khai thác tốt hơn

Công nghệ càng phát triển, chất lượng của dữ liệu đầu vào càng trở nên quan trọng.

Số hóa là một hành trình, không phải một thao tác

Đặt một tài liệu lên máy scan và nhấn nút chỉ mất vài giây.

Nhưng để biến một kho tài liệu được hình thành qua hàng chục hay hàng trăm năm thành một nguồn dữ liệu có giá trị là một công việc lớn hơn rất nhiều.

Nó bắt đầu từ việc bảo tồn tài liệu gốc, lựa chọn phương pháp scan, nhận dạng nội dung, chuẩn hóa thông tin, lập chỉ mục, lưu trữ và cuối cùng là tạo ra khả năng tìm kiếm và khai thác.

Vì vậy, có thể nhìn quá trình số hóa qua một hành trình:

Trang giấy → Hình ảnh số → Văn bản số → Dữ liệu có cấu trúc → Thông tin có thể tìm kiếm → Tri thức có thể khai thác

Máy scan đứng ở những bước đầu tiên của hành trình ấy.

Nhưng chính từ bước tưởng như rất đơn giản đó, một trang giấy nằm im trong kho lưu trữ có thể bắt đầu một cuộc đời mới trong thế giới dữ liệu.