Tiêu chuẩn TCVN 14667:2025 về Dữ liệu lớn - Kiến trúc tham chiếu

• Số hiệu: TCVN14667:2025
• Loại văn bản: Tiêu chuẩn Việt Nam
• Nơi ban hành: ***
• Người ký: ***
• Ngày ban hành: Năm 2025

TIÊU CHUẨN QUỐC GIA

TCVN 14667:2025
ITU-T Y.3605 (9/2020)

DỮ LIỆU LỚN - KIẾN TRÚC THAM CHIẾU

Big data - Reference architecture

Nội dung

Lời nói đầu 

1  Phạm vi áp dụng 

2  Tài liệu viện dẫn 

3  Thuật ngữ và định nghĩa 

...

...

...

3.2  Các thuật ngữ được định nghĩa trong tiêu chuẩn này 

4  Thuật ngữ và từ viết tắt 

5  Quy ước 

6  Khái niệm kiến trúc tham chiếu 

6.1  Góc nhìn kiến trúc BDRA 

6.2  Mối quan hệ giữa góc nhìn người dùng và góc nhìn chức năng

7  Góc nhìn người dùng 

8 Góc nhìn chức năng 

8.1  Khung phân tầng cho dữ liệu lớn 

...

...

...

9  Các khía cạnh xuyên suốt 

9.1  Sự dư thừa dữ liệu 

9.2  Hiệu năng 

9.3  Chất lượng dữ liệu 

10  Xem xét về an toàn 

Lời nói đầu

TCVN 14667:2025 hoàn toàn tương đương với ITU-T Y.3S05 (9/2020).

TCVN 14667:2025 do Ban kỹ thuật tiêu chuẩn quốc gia TCVN/JTC 1 “Công nghệ thông tin” biên soạn, Viện Tiêu chuẩn Chất lượng Việt Nam đề nghị, Ủy ban Tiêu chuẩn Đo lường Chất lượng quốc gia thẩm định, Bộ Khoa học và Công nghệ công bố.

...

...

...

DỮ LIỆU LỚN - KIẾN TRÚC THAM CHIẾU

Big data - Reference architecture

1  Phạm vi áp dụng

Tiêu chuẩn này quy định kiến trúc tham chiếu dữ liệu lớn (BDRA). Tiêu chuẩn này cung cấp mô tả về các khái niệm kiến trúc tham chiếu, góc nhìn người dùng, góc nhìn chức năng và các khía cạnh xuyên suốt.

2  Tài liệu viện dẫn

Các tài liệu viện dẫn dưới đây là cần thiết cho việc áp dụng tiêu chuẩn này. Đối với các tài liệu ghi năm công bố thì áp dụng phiên bản được nêu. Đối với các tài liệu không ghi năm công bố thì áp dụng, phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có).

TCVN 12481:2019 (ISO/IEC 17789:2014), Công nghệ thông tin-Tính toán đám mây - Kiến trúc tham chiếu;

ITU-T Y.3519 (2018), Cloud computing - functional architecture of big data as a service (Tính toán đám mây - kiến trúc chức năng của dữ liệu lớn dưới dạng dịch vụ);

ITU-T Y.3600 (2015), Big data - cloud computing based requirements and capabilities (Dữ liệu lớn - các yêu cầu và khả năng dựa trên tính toán đám mây);

...

...

...

ITU-T Y.3603 (2019), Big data - requirements and conceptual model of metadata for data catalogue (Dữ liệu lớn - yêu cầu và mô hình khái niệm về siêu dữ liệu cho danh mục dữ liệu);

[ITU-T Y.3604 (2020), Big data - overview and requirements for data preservation (Dữ liệu lớn - tổng quan và yêu cầu về bảo quản dữ liệu).

3  Thuật ngữ và định nghĩa

3.1  Các thuật ngữ được định nghĩa trong tiêu chuẩn khác

Tiêu chuẩn này sử dụng các thuật ngữ được định nghĩa trong tiêu chuẩn khác như sau:

3.1.1

Hoạt động (activity)

Một hành động thực hiện hoặc một tập các tác vụ cụ thể.

[Nguồn ITU-T Y.3502]

...

...

...

Dữ liệu lớn (big data)

Một mô hình cho phép thu thập, lưu trữ, quản lý, phân tích và trực quan hóa, có khả năng theo những hạn chế thời gian thực, của các bộ dữ liệu mở rộng với các đặc điểm không đồng nhất.

CHÚ THÍCH  Các ví dụ về đặc điểm của bộ dữ liệu bao gồm khối lượng lớn, tốc độ cao, tính đa dạng cao, v.v...

[Nguồn ITU-T Y.3600]

3.1.3

Nguồn gốc dữ liệu lớn (big data provenance)

Thông tin ghi lại lịch sử đường dẫn của dữ liệu theo các hoạt động vòng đời dữ liệu trong hệ sinh thái dữ liệu lớn.

CHÚ THÍCH 1  Các hoạt động trong vòng đời dữ liệu bao gồm tạo, truyền, lưu trữ, sử dụng và xóa dữ liệu.

CHÚ THÍCH 2  Thông tin xuất xứ cung cấp thông tin chi tiết về nguồn dữ liệu, chẳng hạn như người chịu trách nhiệm cung cấp dữ liệu, các chức năng được áp dụng cho dữ liệu và thông tin về môi trường máy tính để xử lý dữ liệu (ví dụ: hệ điều hành, mô tả về phần cứng, cài đặt ngôn ngữ và múi giờ).

...

...

...

3.1.4

Danh mục dữ liệu (data catalogue)

Danh sách tất cả siêu dữ liệu mà bên môi giới dữ liệu cung cấp.

[Nguồn ITU-T Y.3601]

3.1.5

Cấu phần chức năng (functional component)

Khối xây dựng chức năng cần thiết để tham gia vào một hoạt động được hỗ trợ bởi một triển khai.

[Nguồn ITU-T Y.3502]

3.1.6

...

...

...

Dữ liệu được mã hóa, có cấu trúc mô tả các đặc tính của các thực thể mang thông tin nhằm hỗ trợ nhận dạng, khám phá, đánh giá và quản lý các thực thể được mô tả.

[Nguồn b-ITU-T H.752]

3.1.7

Bên tham gia (party)

Cá nhân hoặc pháp nhân, có hoặc không có tư cách pháp nhân, hoặc một nhóm có cả hai.

[Nguồn b-ITU-T Y.3500]

3.1.8

Thông tin nhận dạng cá nhân (personally identifiable information)

Bất kỳ thông tin nào a) có thể được sử dụng để xác định chủ thể PII mà thông tin đó liên quan đến, hoặc b) được hoặc có thể được liên kết trực tiếp hoặc gián tiếp với chủ thể PII.

...

...

...

[Nguồn b-ITU-T X.1361]

3.1.9

Nguồn gốc (provenance)

Thông tin liên quan đến bất kỳ nguồn thông tin nào bao gồm bên tham gia hoặc các bên liên quan đến việc tạo ra thông tin đó, giới thiệu thông tin đó và/hoặc bảo lãnh cho thông tin đó.

[Nguồn b-ITU-TX. 1255]

3.1.10

Kiến trúc tham chiếu (reference architecture)

Kiến trúc cốt lõi nắm bắt thiết kế mức cao của dòng sản phẩm phần mềm và hệ thống bao gồm cấu trúc và kết cấu kiến trúc (ví dụ: các quy tắc và ràng buộc chung) ràng buộc tất cả các sản phẩm thành viên trong dòng sản phẩm phần mềm và hệ thống.

[Nguồn b-ISO/lEC 26550]

...

...

...

3.1.11

Vai trò (role)

Một tập các hoạt động phục vụ cho một mục đích chung.

[Nguồn ITU-T Y.3502]

3.1.12

Vai trò con (sub-role)

Một tập con các hoạt động của một vai trò nhất định.

[Nguồn ITU-T Y.3502]

3.2  Các thuật ngữ được định nghĩa trong tiêu chuẩn này

...

...

...

4  Thuật ngữ và từ viết tắt

Tiêu chuẩn này sử dụng các chữ viết tắt sau:

BDC

Big Data Service Customer

Khách hàng dịch vụ dữ liệu lớn

BDRA

Big Data Reference Architecture

Kiến trúc tham chiếu dữ liệu lớn

BDSP

...

...

...

Bên cung cấp dịch vụ dữ liệu lớn

ETL

Extract, Transform, Load

Trích xuất, Chuyển đổi, Tải

HTML

Hypertext Markup Language

Ngôn ngữ đánh dấu siêu văn bản

NoSQL

Not Only SQL

...

...

...

PII

Personally Identifiable Information

Thông tin nhận dạng cá nhân

SLA

Service Level Agreement

Thỏa thuận mức dịch vụ

XML

Extensible Markup Language

Ngôn ngữ đánh dấu mở rộng

...

...

...

Các quy ước sau đây được áp dụng:

Các sơ đồ được sử dụng trong toàn bộ Tiêu chuẩn này giúp minh họa kiến trúc tham chiếu dữ liệu lớn (BDRA). Hình 5-1 cung cấp các quy ước được sử dụng liên quan đến nội dung của các sơ đồ.

CHÚ THÍCH Trong Hình 5-1, “khía cạnh" được hiểu là đề cập đến “Khía cạnh xuyên suốt".

Hình 5-1 - Chú thích cho các sơ đồ được sử dụng trong tiêu chuẩn này [ITU-T Y.3502]

6  Khái niệm kiến trúc tham chiếu

Điều này cung cấp tổng quan về các khái niệm kiến trúc được sử dụng trong Tiêu chuẩn này.

6.1  Góc nhìn kiến trúc BDRA

Hệ thống dữ liệu lớn có thể được mô tả bằng cách sử dụng phương pháp tiếp cận góc nhìn. Bốn góc nhìn riêng biệt được sử dụng trong BDRA (xem Hình 6-1):

...

...

...

- góc nhìn chức năng;

- góc nhìn thực hiện; và

- góc nhìn triển khai.

Hình 6-1 - Chuyển đổi giữa các góc nhìn kiến trúc [ITU-T Y.3502]

Bảng 6-1 cung cấp mô tả về từng góc nhìn này.

Bảng 6-1 - Góc nhìn BDRA

Góc nhìn của BDRA

Mô tả về góc nhìn BDRA

...

...

...

Góc nhìn người dùng

Hệ sinh thái, các bên tham gia, các vai trò, các vai trò con và các hoạt động dữ liệu lớn

Trong phạm vi

Góc nhìn chức năng

Các chức năng cần thiết để hỗ trợ các hoạt động dữ liệu lớn

Trong phạm vi

Góc nhìn thực hiện

Các chức năng cần thiết để triển khai dịch vụ dữ liệu lớn trong các bộ phận dịch vụ và/hoặc các bộ phận hạ tầng

Ngoài phạm vi

...

...

...

Cách thức các chức năng của dịch vụ dữ liệu lớn được triển khai về mặt kỹ thuật trong các cấu phần hạ tầng hiện có hoặc trong các cấu phần mới sẽ được giới thiệu trong hạ tầng này

Ngoài phạm vi

CHÚ THÍCH  Chi tiết về góc nhìn người dùng được định nghĩa trong Điều 7. Điều 8 đề cập đến chi tiết về góc nhìn chức năng. Các góc nhìn triển khai và thực hiện liên quan đến công nghệ và triển khai dữ liệu lớn cụ thể của bên cung cấp và triển khai thực tế, và nằm ngoài phạm vi của Tiêu chuẩn này.

Hình 6-2 cho thấy sự chuyển đổi từ góc nhìn người dùng sang góc nhìn chức năng.

Hình 6-2 - Chuyển đổi từ góc nhìn người dùng sang góc nhìn chức năng [ITU-T Y.3502]

Các khía cạnh xuyên suốt là các hành vi hoặc khả năng cần được phối hợp giữa các vai trò và được triển khai nhất quán trong một hệ thống dữ liệu lớn. Các khía cạnh xuyên suốt có thể được chia sẻ và có thể tác động đến nhiều vai trò, hoạt động và cấu phần chức năng. Các khía cạnh xuyên suốt áp dụng cho nhiều vai trò hoặc cấu phần chức năng riêng lẻ. Một ví dụ về khía cạnh xuyên suốt là chất lượng dữ liệu. Mô tả về các khía cạnh xuyên suốt được cung cấp trong Điều 9.

6.2  Mối quan hệ giữa góc nhìn người dùng và góc nhìn chức năng

Hình 6-3 minh họa cách góc nhìn người dùng cung cấp tập các hoạt động được thể hiện trong góc nhìn chức năng (và được thực hiện bằng cách sử dụng các công nghệ của góc nhìn triển khai).

...

...

...

Hình 6-3 - Từ góc nhìn người dùng đến góc nhìn chức năng [ITU-T Y.3502]

Tiêu chuẩn này chỉ ra góc nhìn vai trò và hoạt động trong Điều 7 và góc nhìn chức năng, bao gồm các cấu phần chức năng kiến trúc trong Điều 8. Tiêu chuẩn mô tả trong Điều này là các mối quan hệ logic của các vai trò và hoạt động tính toán đám mây với các cấu phần chức năng.

Tiêu chuẩn có thể liên quan đến một số mối quan hệ. Tiêu chuẩn liên quan đến một mối quan hệ có thể được sử dụng để (i) quy định mức độ luồng thông tin hoặc các loại khả năng tương tác khác; và/hoặc (ii) đảm bảo các mức độ chất lượng được quy định (ví dụ: mức độ bảo mật hoặc dịch vụ).

Các mối quan hệ logic được xác định trong các khái niệm kiến trúc tham chiếu này là một phần quan trọng trong việc quy định BDRA và hành vi của nó. Mối quan hệ này mô tả các vấn đề như luồng thông tin cần thiết giữa các cấu phần chức năng trong BDRA.

CHÚ THÍCH  Tham khảo góc nhìn chung chi tiết hơn về vai trò, hoạt động và cấu phần chức năng trong [ITU-T Y.3502]

7  Góc nhìn người dùng

Điều này mô tả một môi trường, được gọi là hệ sinh thái dữ liệu lớn, với các vai trò và vai trò con. Nó cũng xác định các hoạt động cần thiết cho các vai trò cung cấp và sử dụng các dịch vụ dữ liệu lớn cũng như mối quan hệ giữa các vai trò.

Hệ sinh thái dữ liệu lớn bao gồm các vai trò sau:

- bên cung cấp dữ liệu;

...

...

...

- khách hàng dịch vụ dữ liệu lớn.

Hệ sinh thái dữ liệu lớn được thể hiện ờ Hình 7-1.

Hệ sinh thái này được định nghĩa trong [ITU-T Y.3601], được mở rộng từ hệ sinh thái dữ liệu lớn được định nghĩa trong [ITU-T Y.3600].

Hình 7-1 - Góc nhìn người dùng về dữ liệu lớn [ITU-T Y.3601]

Chi tiết về từng vai trò con và hoạt động được thể hiện trong Hình 7-1 được cung cấp trong Điều 6.2 của [ITU-T Y.3600] và Điều 7.2 của [ITU-T Y.3601].

8  Góc nhìn chức năng

8.1  Khung phân tầng cho dữ liệu lớn

Khung phân tầng được sử dụng trong kiến trúc tham chiếu dữ liệu lớn có bốn tầng, cộng với một tập các chức năng mở rộng qua các tầng. Bốn tầng là:

...

...

...

- Tầng ứng dụng;

- Tầng xử lý;

- Tầng nguồn dữ liệu.

Các chức năng mở rộng qua các tầng được gọi là các chức năng đa tầng. Khung phân tầng được thể hiện trong Hình 8-1.

Hình 8-1 - Khung phân tầng dữ liệu lớn

Mỗi tầng trong khung được mô tả trong các Điều sau.

8.1.1  Tầng truy cập

Tầng truy cập cung cấp giao diện chung để truy cập vào các khả năng sẵn có ở các tầng khác của kiến trúc tham chiếu.

...

...

...

Tầng truy cập chuyển các yêu cầu đã xác thực đến các cấu phần trong các tầng khác của kiến trúc tham chiếu. Tầng này xử lý các yêu cầu sử dụng dịch vụ của khách hàng dịch vụ dữ liệu lớn để truy cập các dịch vụ và tài nguyên dữ liệu lớn do bên cung cấp dịch vụ dữ liệu lớn cung cấp.

8.1.2  Tầng ứng dụng

Tầng ứng dụng chịu trách nhiệm tìm ra các hiểu biết sâu sắc từ dữ liệu lớn và báo cáo các thông tin chi tiết bằng các công cụ trực quan hỏa khác nhau. Tầng này bao gồm phần mềm triển khai để thực hiện phân tích dữ liệu lớn.

8.1.3  Tầng xử lý

Tầng xử lý chuẩn bị dữ liệu để xử lý như phân tích dữ liệu. Tầng này cung cấp chức năng làm sạch dữ liệu, tổng hợp dữ liệu, chuyển đổi dữ liệu, trích xuất dữ liệu và tải dữ liệu.

8.1.4  Tầng nguồn dữ liệu

Tầng nguồn dữ liệu là nơi dữ liệu được thu thập và lưu trữ. Tầng này hỗ trợ các phương pháp đăng ký và lưu trữ phù hợp với loại dữ liệu được thu thập. Tầng này cũng bao gồm và hỗ trợ nhiều nhu cầu lưu trữ khác nhau để chuẩn bị dữ liệu, xử lý dữ liệu và phân tích dữ liệu.

8.1.5  Chức năng đa tầng

Các chức năng đa tầng bao gồm một loạt các cấu phần chức năng tương tác với các cấu phần chức năng của bốn tầng trên để cung cấp các khả năng hỗ trợ bao gồm nhưng không giới hạn ở:

...

...

...

- khả năng quản lý vòng đời dữ liệu (quản lý nguồn gốc dữ liệu, quản lý bảo quản dữ liệu, quản lý giấy phép dữ liệu);

- khả năng bảo mật (quản lý quyền riêng tư, quản lý xác thực, quản lý ủy quyền).

8.2  Các cấu phần chức năng

Điều này mô tả kiến trúc tham chiếu dữ liệu lớn theo tập hợp chung các cấu phần chức năng dữ liệu lớn. Hình 8-2 trình bày tổng quan mức cao về các cấu phần chức năng kiến trúc tham chiếu dữ liệu lớn được tổ chức theo khung phân tầng.

Hình 8-2 - Các cấu phần chức năng dữ liệu lớn

8.2.1  Các cấu phần chức năng của tầng truy cập

8.2.1.1  Kiểm soát truy cập

Cấu phần chức năng kiểm soát truy cập giới hạn người dùng sử dụng các dịch vụ dữ liệu lớn cụ thể. Về cơ bản, kiểm soát truy cập liên quan đến việc xác thực người dùng thông qua việc trình bày và xác thực thông tin đăng nhập, sau đó là việc cho phép người dùng đã xác thực này sử dụng các dịch vụ dữ liệu lớn cụ thể.

...

...

...

- tiếp nhận các yêu cầu sử dụng dịch vụ của khách hàng sử dụng dịch vụ dữ liệu lớn để truy cập vào các dịch vụ dữ liệu lớn và tài nguyên của bên cung cấp dịch vụ dữ liệu lớn;

- xác thực yêu cầu thông qua việc sử dụng thông tin đăng nhập của người dùng và để xác thực quyền hạn của người dùng để sử dụng các khả năng cụ thể;

- chuyển các yêu cầu đã xác thực tới các cấu phần ở các tầng khác của kiến trúc tham chiếu.

Kiểm soát truy cập hạn chế người dùng sử dụng một số dịch vụ nhất định, về nguyên tắc, kiểm soát truy cập bao gồm xác thực người dùng thông qua việc trình bày và xác thực thông tin xác thực và cho phép người dùng được phép sử dụng một số dịch vụ nhất định.

8.2.2  Các cấu phần chức năng của tầng ứng dụng

8.2.2.1  Phân tích

Cấu phần chức năng phân tích chịu trách nhiệm trích xuất thông tin hữu ích hoặc thông tin chi tiết có giá trị từ dữ liệu lớn. Cấu phần chức năng này cung cấp hỗ trợ cho nhiều phương pháp phân tích dữ liệu. Bên cạnh đó, cấu phần chức năng này cũng hỗ trợ tùy chỉnh các phương pháp phân tích cụ thể.

Cấu phần chức năng này cung cấp:

- đăng ký các phương pháp phân tích dữ liệu được sử dụng để phân tích dữ liệu. Các phương, pháp phân tích dữ liệu điển hình là phân tích phân loại, phân tích cụm, phân tích liên kết, phân tích hồi quy, phân tích tùy chỉnh;

...

...

...

CHÚ THÍCH 2  Phân tích cụm hỗ trợ k - trung bình, k - điểm trung tâm, cụm chồng lấn, cụm mờ, v.v., để phân loại dữ liệu thành các tầng hoặc cụm khác nhau theo mức độ tương đồng của chúng.

CHÚ THÍCH 3  Phân tích liên kết hỗ trợ một số thuật toán cụ thể để tìm mối liên kết giữa dữ liệu được lưu trữ. Ví dụ về thuật toán liên kết bao gồm thuật toán Apriori và thuật toán Frequent Pattern Growth. Thuật toán Apriori và thuật toán Frequent Pattern Growth là hai thuật toán phân tích liên kết cổ điển có thể khai thác các mối liên kết thông qua tần suất dữ liệu xuất hiện cùng nhau trong bộ dữ liệu.

CHÚ THÍCH 4  Phân tích hồi quy hỗ trợ hồi quy tuyến tính và hồi quy logistic và các thuật toán khác để ước tính mối quan hệ giữa dữ liệu.

CHÚ THÍCH 5  Tùy chỉnh phân tích cho phép điều chỉnh phương pháp phân tích dữ liệu chi tiết theo các yêu cầu cụ thể của khách hàng.

- thiết lập các quy trình cho phép phân tích bằng các phương pháp phân tích đã đăng ký trong số đăng ký chức năng phân tích;

- thực thi quy trình phân tích theo đúng quy trình.

CHÚ THÍCH 6  Cấu phần chức năng này giống với cấu phần chức năng phân tích trong [ITU-T Y.3519].

8.2.2.2  Trực quan hóa

Cấu phần chức năng trực quan hóa giúp dữ liệu trực quan hơn và dễ hiểu hơn đối với người dùng bằng cách sử dụng nhiều công cụ trực quan hóa dữ liệu khác nhau.

...

...

...

- trình bày dữ liệu bằng nhiều kiểu như đồ họa thống kê, biểu mẫu, sơ đồ, biểu đồ và báo cáo;

- công cụ báo cáo có thể được cấu hình bởi người dùng.

CHÚ THÍCH  Cấu phần chức năng này giống với cấu phần chức năng phân tích trong [ITU-T Y.3519].

8.2.3  Các cấu phần chức năng của tầng xử lý

Các cấu phần chức năng của tầng xử lý bao gồm:

- Cấu phần chức năng kết tập (xem Điều 8.2.3.1);

- Làm sạch cấp phần chức năng (xem Điều 8.2.3.2);

- Trích xuất, chuyển đổi và tải cấu phần chức năng (xem Điều 8.2.3.3).

8.2.3.1  Kết tập

...

...

...

CHÚ THÍCH 1  Kết tập theo thời gian: tất cả các điểm dữ liệu cho một tài nguyên duy nhất trong một khoảng thời gian cụ thể.

CHÚ THÍCH 2  Kết tập theo không gian: tất cả các điểm dữ liệu cho một nhóm tài nguyên trong một khoảng thời gian cụ thể. Cấu phần chức năng này cung cấp:

- ánh xạ lược đồ xác định cách dữ liệu được chuyển đổi giữa lược đồ của nguồn dữ liệu bên ngoài và lược đồ phiên tích hợp;

- hỗ trợ nhiều phương pháp kết tập khác nhau như kết tập theo thời gian và kết tập theo không gian.

8.2.3.2  Làm sạch

Cấu phần chức năng làm sạch cung cấp một tập các khả năng để lọc dữ liệu, làm mịn dữ liệu nhiễu và xác định và loại bỏ các giá trị ngoại lai để cải thiện chất lượng dữ liệu. Dữ liệu được thu thập từ nhiều nguồn khác nhau có thể ảnh hưởng đến độ chính xác của kết quả phân tích, cấu phần chức năng làm sạch cung cấp chất lượng dữ liệu tốt hơn, giúp các tổ chức cung cấp dữ liệu của họ cho giai đoạn phân tích.

CHÚ THÍCH 1  Giá trị ngoại lệ đề cập đến dữ liệu bất thường trong bộ dữ liệu. Nếu không được cắt bỏ, chất lượng dữ liệu có thể bị ảnh hưởng.

Cấu phần chức năng này cung cấp:

- lọc dữ liệu, là quá trình chọn một phần nhỏ của bộ dữ liệu và sử dụng tập hợp con đó để xem hoặc phân tích;

...

...

...

- làm mịn dữ liệu, là quá trình loại bỏ nhiễu khỏi một bộ dữ liệu. Khi các bộ dữ liệu được sử dụng, dữ liệu có thể được xử lý để loại bỏ hoặc giảm nhiễu dễ bay hơi hoặc các loại nhiễu khác;

- xác định và loại bỏ các giá trị ngoại lai, là quá trình phát hiện các giá trị ngoại lai và xóa chúng.

CHÚ THÍCH 2  Các giá trị ngoại lai có thể được phát hiện bằng các hàm phát hiện như phương pháp dựa trên mô hình hoặc phương pháp đồ họa.

8.2.3.3  Trích xuất, chuyển đổi và tải

Cấu phần chức năng trích xuất, chuyển đổi và tải (ETL) cung cấp các quy trình để kéo dữ liệu ra khỏi một hoặc nhiều bộ dữ liệu và đặt vào hệ thống đích. Trong quá trình ETL, dữ liệu được trích xuất từ bộ dữ liệu nguồn và chuyển đổi sang định dạng có thể phân tích và tải vào hệ thống lưu trữ khác.

Cấu phần chức năng này cung cấp:

- trích xuất, là quá trình thu thập các đặc tính đại điện tử một lượng lớn các bộ dữ liệu để xử lý thêm như phân tích dữ liệu;

- chuyển đổi, là quá trình chuyển đổi định dạng của dữ liệu được trích xuất thành dạng cần thiết để có thể đưa vào bộ dữ liệu khác;

- tải, là quá trình ghi dữ liệu vào bộ dữ liệu đích.

...

...

...

Các cấu phần chức năng của tầng nguồn dữ liệu bao gồm:

- Cấu phần chức năng thu thập dữ liệu (xem Điều 8.2.4.1);

- Cấu phần chức năng lưu trữ dữ liệu (xem Điều 8.2.4.2).

8.2.4.1  Thu thập dữ liệu

Cấu phần chức năng thu thập dữ liệu thực hiện thu thập dữ liệu dựa trên nhiều cấu hình thu thập dữ liệu khác nhau.

Cấu phần chức năng này cung cấp:

- thiết lập các cấu hình thu thập dữ liệu khác nhau, chẳng hạn như lượng dữ liệu, lưu lượng truy cập, thời gian thu thập, phương pháp thu thập;

CHÚ THÍCH 1  Ví dụ về các phương pháp thu thập bao gồm thu thập dữ liệu, thu thập tóm lược trang web, nhật ký/thu thập cảm biến.

CHÚ THÍCH 2  Tóm tắt trang web phong phú được sử dụng để kết tập nội dung web được đăng tải, chẳng hạn như báo trực tuyến, blog, podcast và blog video tại một vị trí.

...

...

...

CHÚ THÍCH 4  Thu thập nhật ký được sử dụng để thu thập dữ liệu từ các tệp nhật ký do máy chủ web tạo ra.

- thu thập dữ liệu dựa trên các cấu hình thu thập dữ liệu đã thiết lập. Dữ liệu thu thập được sẽ được lưu trữ trong bộ nhớ phù hợp theo loại dữ liệu.

CHÚ THÍCH 5  Cấu phần chức năng này giống với cấu phần chức năng thu thập dữ liệu trong [ITU-T Y.3519]

8.2.4.2  Lưu trữ dữ liệu

Cấu phần chức năng lưu trữ dữ liệu cung cấp một tập các khả năng để lưu trữ dữ liệu, cấu phần chức năng này cũng cung cấp các loại lưu trữ khác nhau cho các loại dữ liệu khác nhau và các loại cơ sở dữ liệu khác nhau trong khi lưu trữ dữ liệu.

Cấu phần chức năng này cung cấp:

- cung cấp lưu trữ xem xét các loại lưu trữ dữ liệu, cơ sở dữ liệu và các loại dữ liệu khác nhau như dữ liệu có cấu trúc, dữ liệu không có cấu trúc và dữ liệu bán cấu trúc

CHÚ THÍCH 1  Kiểu lưu trữ dữ liệu bao gồm lưu trữ khối, lưu trữ tệp và lưu trữ đối tượng.

CHÚ THÍCH 2  Cơ sở dữ liệu bao gồm cơ sở dữ liệu quan hệ, không chỉ cơ sở dữ liệu SQL (NoSQL).

...

...

...

- phân bổ dung lượng lưu trữ phù hợp khi có yêu cầu sử dụng dung lượng lưu trữ;

- giải phóng dung lượng lưu trữ khi việc sử dụng dung lượng lưu trữ kết thúc;

CHÚ THÍCH 4  Cấu phần chức năng lưu trữ dữ liệu tương tác với cấu phần chức năng thu thập dữ liệu (xem Điều 8.2.4.1) để xác định các đặc tính của dữ liệu như kiểu dữ liệu, khối lượng dữ liệu, v.v.

- lưu trữ dữ liệu trên nhiều bộ lưu trữ khác nhau. Nó hỗ trợ sao chép lưu trữ và cung cấp phân mảnh dữ liệu để phân phối và lưu trữ dữ liệu trên các hệ thống lưu trữ phân tán. Điều này cung cấp khả năng cập nhật dữ liệu;

CHÚ THÍCH 5  Hệ thống lưu trữ phân tán lưu trữ dữ liệu trên nhiều kho lưu trữ độc lập. Nó áp dụng cấu trúc hệ thống có thể mở rộng và sử dụng nhiều máy chủ lưu trữ được sử dụng để chia sẻ tải lưu trữ.

CHÚ THÍCH 6  Sao chép lưu trữ là việc sao chép các ổ đĩa lưu trữ logic vào các đĩa vật lý riêng biệt.

- lập chỉ mục dữ liệu được lưu trữ cùng với dữ liệu để cải thiện tốc độ hoạt động truy xuất dữ liệu;

- loại bỏ dữ liệu trùng lặp và dư thừa trong khi lưu trữ dữ liệu.

CHÚ THÍCH 7  Cấu phần chức năng này giống với cấu phần chức năng lưu trữ dữ liệu trong [ITU-T Y.3519] ngoại trừ chức năng cuối cùng là "loại bỏ dữ liệu trùng lặp và dư thừa trong khi lưu trữ dữ liệu".

...

...

...

8.2.5.1  Hệ thống hỗ trợ phân tích

8.2.5.1.1  Danh mục dữ liệu

Cấu phần chức năng danh mục dữ liệu cung cấp danh sách tất cả siêu dữ liệu mà một bên môi giới dữ liệu cung cấp [ITU-T Y.3601]. Cấu phần chức năng danh mục dữ liệu chịu trách nhiệm về các giao diện để tìm kiếm dữ liệu, ánh xạ siêu dữ liệu và các công cụ để tạo danh mục dữ liệu. Danh mục dữ liệu hoạt động như một kho dữ liệu sẵn có, cho phép khách hàng dịch vụ dữ liệu lớn (BDC) tìm kiếm và tìm dữ liệu. BDC có thể xem siêu dữ liệu của tất cả các bộ dữ liệu sẵn có và chọn các bộ dữ liệu.

Cấu phần chức năng này cung cấp:

- giao diện tìm kiếm dữ liệu;

- ánh xạ siêu dữ liệu;

- công cụ tạo danh mục dữ liệu.

CHÚ THÍCH 1  Các công cụ có khả năng tạo danh mục dữ liệu bằng cách sử dụng thông tin về việc tạo các bộ dữ liệu và mô tả không chính thức về các bộ dữ liệu.

CHÚ THÍCH 2  Có các yêu cầu và mô hình khái niệm về danh mục dữ liệu trong [ITU-T Y.3603].

...

...

...

Cấu phần chức năng quản lý quy trình công việc chịu trách nhiệm xác định, tạo và quản lý thực thi quy trình công việc. Quy trình công việc là toàn bộ hoặc một phần của quy trình trong đó dữ liệu, thông tin hoặc tác vụ được truyền từ phần này sang phần khác để thực hiện theo một bộ quy tắc thủ tục. Trong quy trình dữ liệu, quy trình công việc được sử dụng rộng rãi trong các quy trình thu thập dữ liệu, lưu trữ dữ liệu và phân tích. Trong trường hợp phân tích dữ liệu, quy trình công việc có thể được thiết kế kết hợp với một loạt các tác vụ để tải, tinh chỉnh, hợp nhất và phân tích dữ liệu.

Cấu phần chức năng này cung cấp:

- xác định và tạo quy trình công việc;

- quản lý việc thực hiện quy trình công việc.

8.2.5.1.3  Giám sát và báo cáo

Cấu phần chức năng giám sát và báo cáo chịu trách nhiệm giám sát các dịch vụ dữ liệu lớn với các triển khai dịch vụ để đảm bảo rằng chúng đáp ứng các mục tiêu thỏa thuận mức dịch vụ (SLA) đã thỏa thuận, bao gồm báo cáo và giải quyết các vấn đề liên quan đến các dịch vụ đó.

Cấu phần chức năng giám sát và báo cáo cung cấp:

• giám sát việc sử dụng các dịch vụ dữ liệu lớn của BDC như việc truy cập dịch vụ và triển khai dịch vụ;

• báo cáo kết quả hoặc các vấn đề phát sinh từ việc thu thập, xử lý, phân tích và trực quan hóa dữ liệu;

...

...

...

8.2.5.2  Quản lý vòng đời dữ liệu

8.2.5.2.1  Quản lý nguồn gốc dữ liệu

Cấu phần chức năng quản lý nguồn gốc dữ liệu chịu trách nhiệm quản lý vòng đời nguồn gốc và chính sách liên quan đến nguồn gốc dữ liệu. Nó hỗ trợ phân tích hỗ trợ (quy trình làm việc kiểm soát, tự động hóa phân tích dữ liệu, v.v.) và giám sát sự thay đổi của môi trường tính toán.

Cấu phần chức năng này cung cấp:

- ghi lại thông tin xuất xứ khi trạng thái của dữ liệu thay đổi, tức là khi dữ liệu được lưu trữ, khi dữ liệu bị thay đổi hoặc khi dữ liệu bị xóa;

- lưu giữ, kết hợp và xóa thông tin xuất xứ khi dữ liệu bị xóa khỏi bộ lưu trữ;

- kết tệp thông tin xuất xứ theo dữ liệu lớn kết tập.

8.2.5.2.2  Quản lý giấy phép dữ liệu

Cấu phần chức năng quản lý giấy phép dữ liệu chịu trách nhiệm thông báo bản quyền và quản lý thông tin giấy phép của dữ liệu. Việc xem xét và quản lý giấy phép dữ liệu là bắt buộc trong quá trình xử lý dữ liệu hoặc tạo dữ liệu.

...

...

...

- nêu trong thỏa thuận cấp phép dữ liệu được tạo ra bởi người tạo dữ liệu hoặc người bán dữ liệu;

- Sự cung cấp thỏa thuận cấp phép dữ liệu nhằm xác định rõ dữ liệu được cấp phép, bao gồm cách thức sử dụng, giới hạn tần suất, cũng như cách dữ liệu được cung cấp và cập nhật..

CHÚ THÍCH  Các điều khoản được định nghĩa trong thỏa thuận cấp phép dữ liệu có thể bao gồm việc sử dụng mã hóa và cơ chế phân phối an toàn, nền tảng công nghệ truyền thông được quy định và các yêu cầu cấu hình phần cứng hoặc phần mềm cụ thể.

8.2.5.2.3  Quản lý bảo quản dữ liệu

Cấu phần chức năng quản lý bảo quản dữ liệu chịu trách nhiệm quản lý hoạt động bảo quản dữ liệu lớn như lựa chọn và chuẩn bị dữ liệu cần bảo quản, bảo quản và truy xuất dữ liệu đã bảo quản theo các quy tắc chính sách cần được tham chiếu và tuân thủ. Bảo quản dữ liệu lớn là sự kết hợp giữa các chính sách, chiến lược và hành động do bên cung cấp dịch vụ dữ liệu lớn (BDSP) phát triển để đảm bảo rằng thông tin kỹ thuật số có giá trị liên tục vẫn có thể truy cập và sử dụng được trong hệ sinh thái dữ liệu lớn. Tham khảo [ITU-T Y.3604].

Cấu phần chức năng này cung cấp:

- quản lý hoạt động bảo quản dữ liệu theo các quy định chính sách bảo quản khác nhau;

CHÚ THÍCH 1  Ví dụ về các quy tắc chính sách bảo quản là thiết lập các quy tắc lựa chọn bảo quản, quy tắc thời gian bảo quản và quy tắc lưu trữ bảo quản.

CHÚ THÍCH 2  Các quy tắc lưu trữ bảo quản chỉ rõ dữ liệu này sẽ được lưu trữ ở tầng lưu trữ nào và trong điều kiện nào chúng sẽ được di chuyển sang các tầng lưu trữ khác.

...

...

...

- xác minh quyền của người yêu cầu dữ liệu được lưu giữ để truy cập dữ liệu được lưu giữ;

- thiết lập các quy tắc lựa chọn bảo quản, quy tắc thời hạn bảo quản và quy tắc lưu trữ bảo quản.

8.2.5.3  Bảo vệ

8.2.5.3.1  Quản lý quyền riêng tư

Cấu phần chức năng quản lý quyền riêng tư cung cấp một tập các khả năng để quản lý thông tin cá nhân trong dữ liệu, cấu phần chức năng này nhằm mục đích tránh dữ liệu bị thu thập, lưu trữ hoặc tiết lộ cho những người mà dữ liệu có thể không phù hợp.

Cấu phần chức năng này cung cấp:

- phương pháp bảo vệ quyền riêng tư của dữ liệu bí mật và dữ liệu nhạy cảm. Ví dụ, chức năng này hỗ trợ việc khử nhạy cảm dữ liệu để bảo vệ dữ liệu nhạy cảm;

CHÚ THÍCH 1  Dữ liệu bí mật đề cập đến việc bảo vệ dữ liệu khỏi việc tiết lộ trái phép (xem [b-ITU-T X.509]).

CHÚ THÍCH 2  Dữ liệu nhạy cảm là thông tin nhận dạng cá nhân hoặc thông tin nhạy cảm khác được thu thập, lưu trữ, sử dụng và cuối cùng bị hủy hoặc xóa.

...

...

...

CHÚ THÍCH 3  Cấu phần chức năng này dựa trên cấu phần chức năng quản lý quyền riêng tư trong [ITU-T Y.3519] và [b-ITU-T Y.3602].

8.2.5.3.2  Quản lý xác thực

Cấu phần chức năng quản lý xác thực cung cấp khả năng quản lý nhận dạng để chỉ những người dùng đã xác thực mới có thể truy cập vào các khả năng hoặc dữ liệu cụ thể.

8.2.5.3.3  Quản lý ủy quyền

Cấu phần chức năng quản lý ủy quyền cung cấp khả năng kiểm soát và thực thi các quyền cho phép người dùng truy cập vào các khả năng hoặc dữ liệu cụ thể.

9  Các khía cạnh xuyên suốt

Các khía cạnh xuyên suốt có thể được chia sẻ và có thể tác động đến nhiều vai trò, hoạt động và cấu phần chức năng, như được mô tả trong [ITU-T Y.3600] và [ITU-T Y.3519].

9.1  Sự dư thừa dữ liệu

Sự dư thừa dữ liệu đề cập đến sự xuất hiện lặp đi lặp lại của cùng một dữ liệu trong hệ thống. Ví dụ, trong cơ sở dữ liệu quan hệ, sự dư thừa dữ liệu chủ yếu đề cập đến việc lưu trữ lặp đi lặp lại cùng một dữ liệu trong cơ sở dữ liệu quan hệ, bao gồm sự lặp lại của các bảng, thuộc tính, bộ và giá trị thuộc tính. Sự dư thừa dữ liệu cần thiết có thể cải thiện khả năng chống nhiễu của dữ liệu, do đó ngăn ngừa mất dữ liệu và lỗi. Ví dụ, mã hóa dữ liệu dự phòng bằng cách thêm một số bit dựa trên độ dài của mã nhị phân gốc, để ngăn ngừa mất dữ liệu chính và lỗi. Để biết thêm chi tiết, xem Điều 8.1 trong [ITU-T Y.3519].

...

...

...

9.2  Hiệu năng

Hiệu năng bao gồm một tập các khía cạnh không chức năng liên quan đến hoạt động của dịch vụ dữ liệu lớn như:

- khả năng sử dụng dữ liệu: điều này có nghĩa là người dùng dữ liệu (BDSP hoặc BDC) có thể truy cập dữ liệu với đủ siêu dữ liệu để hiểu ý nghĩa của nó;

- khả năng tìm kiếm dữ liệu: điều này có nghĩa là người dùng dữ liệu (BDSP hoặc BDC) có thể truy xuất dữ liệu với đủ siêu dữ liệu theo các yêu cầu khác nhau;

- tính khả dụng của dịch vụ dữ liệu lớn;

- thời gian phản hồi để hoàn thành các yêu cầu dịch vụ dữ liệu lớn;

- tốc độ giao dịch mà các yêu cầu dịch vụ dữ liệu lớn được thực hiện;

- độ trễ cho các yêu cầu dịch vụ dữ liệu lớn;

- tốc độ truyền dữ liệu (đầu vào và đầu ra);

...

...

...

- Khi chạy một ứng dụng trong một dịch vụ, các khía cạnh hiệu năng tương tự cũng được áp dụng cho hành vi của ứng dụng chạy trong, môi trường của bên cung cấp dịch vụ dữ liệu lớn.

9.3  Chất lượng dữ liệu

Chất lượng dữ liệu có thể được đánh giá khác nhau tùy thuộc vào môi trường và mục tiêu mà dữ liệu được sử dụng. Do đó, rất khó để đánh giá định lượng chất lượng dữ liệu thông qua một số tiêu chí. Tuy nhiên, trong một số trường hợp, chất lượng dữ liệu cao có nghĩa là dữ liệu được sử dụng là chính xác, có thể sử dụng và được đánh giá cao cho mục đích dự định của nó.

Chất lượng dữ liệu được xác định thông qua một số chiều như độ chính xác, tính đầy đủ, tính nhất quán, tính kịp thời, tính hợp lệ và tính duy nhất. Các chiều cụ thể hơn được xác định tùy thuộc vào bối cảnh sử dụng dữ liệu.

CHÚ THÍCH 1  Độ chính xác đề cập đến mức độ dữ liệu phản ánh một đối tượng hoặc sự kiện thực.

CHÚ THÍCH 2  Tính duy nhất đề cập đến việc không nên có dữ liệu trùng lặp được báo cáo.

CHÚ THÍCH 3  Tính kịp thời đề cập đến mức độ dữ liệu thể hiện thực tế từ thời điểm yêu cầu.

CHÚ THÍCH 4  Tính hợp lệ có nghĩa là dữ liệu hợp lệ nếu nó tuân thủ cú pháp (định dạng, kiểu, phạm vi) của định nghĩa.

CHÚ THÍCH 5  Tính đầy đủ đề cập đến việc liệu tất cả dữ liệu sẵn có có hiện diện hay không.

...

...

...

10  Xem xét về an ninh

Các yêu cầu an ninh có liên quan của [b-ITU-T Y.2201], [b-ITU-T Y.2701] và các loạt khuyến nghị ITU-T X, Y và M áp dụng cần được xem xét, bao gồm kiểm soát truy cập, xác thực, bí mật dữ liệu, chính sách lưu giữ dữ liệu, an ninh mạng, tính toàn vẹn của dữ liệu, tính khả dụng và bảo vệ thông tin cá nhân. Các hướng dẫn bảo mật để phân tích các lỗ hổng bí mật dữ liệu lớn và quản lý vòng đời dữ liệu lớn được cung cấp trong [b-ITU-T X.1751], Các vai trò và trách nhiệm an toàn của các cấu phần cho các dịch vụ dữ liệu lớn được xác định và khung an toàn cho các nền tảng, ứng dụng, phân tích, giao diện và hạ tầng dữ liệu lớn được cung cấp trong [b-ITU-T X.1750].

Thư mục tài liệu tham khảo

[1] [b-ITU-T H.752] Khuyến nghị ITU-T H.752 (2015), Giao diện cung cấp nội dung đa phương tiện cho dịch vụ IPTV (Multimedia content provisioning interface for IPTV services).

[2] [b-ITU-T X.509] Khuyến nghị ITU-T X.509 (2019), Công nghệ thông tin - kết nối hệ thống mở - thư mục: khung chứng chỉ khóa công khai và thuộc tỉnh (Information technology - open systems interconnection - the directory: public-key and attribute certificate frameworks).

[3] [b-ITU-T Y.1255] Khuyến nghị ITU-T X.1255 (2013), Khung để khám phá thông tin quản lý danh tính (Framework for discovery of identity management information).

[4] [b-ITU-T X.1361] Khuyến nghị ITU-T X.1361 (2018), Khung an toàn cho Internet vạn vật dựa trên mô hình cổng (Security framework for the internet of things based on the gateway model).

[5] [b-ITU-T X.1750] Dự thảo khuyến nghị ITU-T X.1750 (2020), Hướng dẫn về bí mật dữ liệu lớn dưới dạng dịch vụ cho các bên cung cấp dịch vụ dữ liệu lớn (Guidelines on security of big data as a service for big data service providers).

...

...

...

[7] [b-ITU-T Y.2201] Khuyến nghị ITU-T Y.2201 (2011), Yêu cầu và khả năng cho ITU-T NGN (Security guidelines on big data lifecycle management for telecommunication operators).

[8] [b-ITU-T Y.2701] Khuyến nghị ITU-T Y.2701 (2007), Yêu cầu an ninh cho phiên bản NQN 1 (Requirements and capabilities for ITU-T NGN).

[9] [b-ITU-T Y.3500] Khuyến nghị ITU-T Y.3500 (2014), Tính toán đám mây - tổng quan và từ vựng (Security requirements for NGN release 1).

[10] [b-ITU-T Y.3602] Khuyến nghị ITU-T Y.3602 (2018), Dữ liệu lớn-các yêu cầu chức năng về nguồn gốc dữ liệu (Big data - functional requirements for data provenance).

[11] [b-ISO/IEC 26550] ISO/lEC 26550:2015, Kỹ thuật phần mềm và hệ thống - mô hình tham chiếu cho kỹ thuật và quản lý dòng sản phẩm (Software and systems engineering - reference model for product line engineering and management).