Tiêu chuẩn TCVN 14199-1:2024 về quy trình vòng đời và yêu cầu chất lượng mô hình Meta chất lượng

• Số hiệu: TCVN14199-1:2024
• Loại văn bản: Tiêu chuẩn Việt Nam
• Nơi ban hành: ***
• Người ký: ***
• Ngày ban hành: Năm 2024

TIÊU CHUẨN QUỐC GIA

TCVN 14199-1:2024

TRÍ TUỆ NHÂN TẠO - QUY TRÌNH VÒNG ĐỜI VÀ YÊU CẦU CHẤT LƯỢNG - PHẦN 1: MÔ HÌNH META CHẤT LƯỢNG

Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 1: Quality Meta Model

Lời nói đầu

TCVN 14199-1:2024 được xây dựng trên cơ sở tham khảo tài liệu DIN SPEC 92001-1 (2019).

TCVN 14199-1:2024 do Học viện Công nghệ Bưu chính Viễn thông biên soạn, Bộ Thông tin và Truyền thông đề nghị, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia thẩm định, Bộ Khoa học và Công nghệ công bố.

Bộ tiêu chuẩn TCVN 14199 gồm 02 phần:

- TCVN 14199-1:2024, Trí tuệ nhân tạo - Quy trình vòng đời và yêu cầu chất lượng - Phần 1: Mô hình Meta chất lượng;

...

...

...

TRÍ TUỆ NHÂN TẠO - QUY TRÌNH VÒNG ĐỜI VÀ YÊU CẦU CHẤT LƯỢNG - PHẦN 1: MÔ HÌNH META CHẤT LƯỢNG

Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 1: Quality Meta Model

1  Phạm vi áp dụng

Tiêu chuẩn này phác thảo và xác định ba trụ cột chất lượng trung tâm là chức năng & hiệu năng, độ bền vững và tính dễ hiểu. Lưu ý rằng những trụ cột này không hoàn toàn tách biệt, nhưng sự phân biệt được đề xuất giúp liệt kê có cấu trúc các yêu cầu chất lượng cụ thể. Các yêu cầu chất lượng này cũng được liên kết với các giai đoạn và quy trình vòng đời khác nhau. Bằng cách này, rõ ràng khi nào và trong bối cảnh nào các yêu cầu cụ thể cần được đáp ứng. Hơn nữa, có sự phân biệt giữa các yêu cầu chất lượng liên quan đến các yếu tố tác động như mô hình, dữ liệu, nền tảng hoặc môi trường của mô-đun AI được tạo ra.

Tất cả các cân nhắc này được tập hợp trong Mô hình Meta chất lượng AI, được giới thiệu trong phần 4. Nó bao gồm đánh giá rủi ro, trụ cột chất lượng, các giai đoạn và quy trình vòng đời. Hơn nữa, sự khác biệt giữa mô hình, dữ liệu, nền tảng và môi trường cũng được xác định. Trong DIN SPEC 92001-2, các yêu cầu AI cụ thể đưa ra có liên quan đến các khía cạnh khác nhau của Mô hình Meta chất lượng AI.

Tiêu chuẩn này áp dụng cho tất cả các giai đoạn vòng đời của mô-đun AI - ý tưởng, phát triển, triển khai, vận hành và ngừng hoạt động - đồng thời đề cập đến các quy trình vòng đời khác nhau. Do thực tế các công nghệ AI được sử dụng cho nhiều nhiệm vụ khác nhau, cho nên tiêu chuẩn này không chỉ nhắm đến một lĩnh vực cụ thể mà còn áp dụng cho các công ty và sản phẩm AI trong tất cả các lĩnh vực.

Tiêu chuẩn này áp dụng cho tất cả các loại mô-đun AI bao gồm cả học máy và các hệ thống chuyên gia.

Tiêu chuẩn này không xác định hoặc liệt kê các thuật toán, phương pháp hoặc công nghệ thuộc về AI. Do đó, người dùng tiêu chuẩn này cần đánh giá xem Mô hình Meta chất lượng AI được đưa ra và các yêu cầu chất lượng AI liên quan có áp dụng hay không.

...

...

...

Các cân nhắc vòng đời phần mềm trong tiêu chuẩn này tương thích với ISO/IEC/IEEE 12207:2017, Kỹ thuật hệ thống và phần mềm - Quy trình vòng đời phần mềm [3]. Tiêu chuẩn này giải thích các thuật ngữ, định nghĩa hoặc quy trình cụ thể của AI.

Tiêu chuẩn này đề xuất tách biệt giữa các mô-đun AI có mức độ rủi ro cao và thấp liên quan đến an toàn, bảo mật, quyền riêng tư và mức độ phù hợp về đạo đức. Nó cũng cung cấp các khía cạnh liên quan trong bối cảnh đánh giá rủi ro. Tiêu chuẩn này không thiết lập một quy trình đánh giá rủi ro chính xác, cũng như không xây dựng một khuôn khổ thiết kế đạo đức. Tuy nhiên, nó bị ràng buộc bởi bộ quy tắc ứng xử đạo đức của mỗi tổ chức. Việc tuân thủ các quy định được giả định. Hơn nữa, các bên liên quan của tiêu chuẩn này cần đánh giá hồ sơ rủi ro mô-đun AI của họ.

Các yêu cầu chất lượng được liệt kê trong DIN SPEC 92001-2 không cụ thể cho từng lĩnh vực. Mà có khả năng mở rộng các yêu cầu được đưa ra trong DIN SPEC 92001-2 cho các lĩnh vực ứng dụng cụ thể của AI trong bước tiêu chuẩn hóa tiếp theo.

CHÚ THÍCH:

- Mục đích của tiêu chuẩn này là thiết lập chu trình đảm bảo chất lượng và minh bạch của các mô-đun trí tuệ nhân tạo (AI). Các tiêu chí chất lượng quan trọng được xác định và các vấn đề cụ thể liên quan đến AI sẽ được giải quyết. Để đạt được điều này, tiêu chuẩn này trình bày một tập hợp các yêu cầu chất lượng được cấu trúc trong Mô hình Meta chất lượng cụ thể cho AI.

- Điều quan trọng cần lưu ý rằng không phải tất cả các mô-đun AI đều có cùng yêu cầu chất lượng. Do đó, tiêu chuẩn này đề xuất việc phân biệt giữa các mô-đun AI dựa trên tính an toàn, bảo mật, quyền riêng tư và sự liên quan về đạo đức của chúng. An toàn, bảo mật, quyền riêng tư hoặc sự liên quan về đạo đức của một mô-đun AI yêu cầu phải xem xét và đáp ứng tất cả các yêu cầu chất lượng, trong khi các yêu cầu này ít nghiêm ngặt hơn khi không có sự liên quan này.

2  Tài liệu viện dẫn

Tiêu chuẩn này không sử dụng tài liệu viện dẫn.

3  Thuật ngữ và định nghĩa

...

...

...

DIN và DKE duy trì cơ sở dữ liệu thuật ngữ để sử dụng trong tiêu chuẩn tại các địa chỉ sau:

- DIN-TERMinologieportal: có tại https://www.din.de/go/din-term.

- DKE-IEV: có tại http://www.dke.de/DKE-IEV.

3.1

Trí tuệ nhân tạo (AI) (artificial intelligence - AI)

Lĩnh vực liên ngành, thường được coi là một nhánh của khoa học máy tính, liên quan đến trí thông minh của con người, chẳng hạn như lý luận và kiến thức [1].

3.2

Mô-đun trí tuệ nhân tạo (AI) (artificial intelligence (AI) module)

Mô-đun phần mềm bao gồm các thuật toán AI.

...

...

...

Độ khả dụng (availability)

<khả năng truy cập/khả năng sử dụng> thuộc tính có thể truy cập và có thể sử dụng được theo yêu cầu của một thực thể được ủy quyền

[NGUỒN: ISO/TS 21089:2018]

3.4

Mô-đun tiện ích (comfort module)

Mô-đun phần mềm không liên quan đến an toàn hoặc bảo mật.

3.5

Thành phần (component)

Yếu tố mức phí hệ thống có thể tách rời về mặt logic và kỹ thuật, gồm nhiều hơn một phần cứng hoặc một hay nhiều đơn vị phần mềm.

...

...

...

[NGUỒN: ISO 26262-1:2011]

3.6

Tính bí mật (confidentiality)

<không được tiết lộ> thuộc tính mà thông tin không được cung cấp hoặc tiết lộ trái phép cho các cá nhân, thực thể hoặc quy trình.

CHÚ THÍCH 1: Tính bí mật dữ liệu là một từ đồng nghĩa.

[NGUỒN: ISO/TS 21089:2018, được sửa đổi - Chú thích 1 đưa vào đã được bổ sung thêm.]

3.7

Dữ liệu (data)

Biểu thị thông tin có thể diễn giải lại dưới dạng chính thức hóa phù hợp cho việc giao tiếp, diễn giải hoặc xử lý.

...

...

...

[NGUỒN: ISO/IEC 25000:2014, được sửa đổi - Chú thích 1 đưa vào đã được bổ sung thêm.]

3.8

Toàn vẹn dữ liệu (data integrity)

Thuộc tính mà dữ liệu không bị thay đổi hoặc phá hủy một cách trái phép.

CHÚ THÍCH 1: Thường được sử dụng đồng nghĩa với tính toàn vẹn.

[NGUỒN: ISO 24534-5:2011, được sửa đổi - Chú thích 1 đưa vào đã được bổ sung thêm.]

3.9

Yếu tố (element)

Các đơn vị phần mềm và phần cứng.

...

...

...

Môi trường (environment)

<hệ thống> bối cảnh xác định thiết lập và các tình huống của tất cả các yếu tố tác động lên một hệ thống.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.11

Lỗi (error)

Sự chênh lệch giữa giá trị hoặc điều kiện đã tính toán, quan sát hoặc đo lường được, so với giá trị hoặc điều kiện thực sự, cụ thể hoặc đúng theo lý thuyết.

CHÚ THÍCH 1: Một lỗi có thể phát sinh do các điều kiện vận hành không lường trước được hoặc do lỗi bên trong hệ thống, hệ thống con hoặc thành phần đang được xem xét.

CHÚ THÍCH 2: Một lỗi có thể tự biểu hiện như một sai sót bên trong yếu tố được xem xét và sai sót này cuối cùng có thể gây ra hư hỏng.

[NGUỒN: ISO 26262-1:2011]

...

...

...

Hỏng (failure)

Sự chấm dứt khả năng của một thành phần, để thực hiện một chức năng theo yêu cầu.

[NGUỒN: ISO 26262-1:2011, được sửa đổi - Chú thích 1 đưa vào đã bị xóa bỏ.]

3.13

Sai sót (fault)

Tình trạng bất thường có thể gây ra hư hỏng cho một thành phần hoặc một hạng.

[NGUỒN: ISO 26262-1:2011, được sửa đổi - Chú thích 1 đưa vào và Chú thích 2 đưa vào đã bị xóa bỏ.]

3.14

Bộ phận phần cứng (hardware part)

...

...

...

[NGUỒN: ISO 26262-1:2011]

3.15

Tổn hại (harm)

Chấn thương vật lý hoặc gây nguy hại đến sức khỏe con người.

[NGUỒN: ISO 26262-1:2011]

3.16

Siêu tham số (hyperparameters)

Các biến bên ngoài điều khiển mô hình.

VÍ DỤ Tốc độ học của phương pháp giảm dần theo độ dốc là một siêu tham số.

...

...

...

[NGUỒN: [4]]

3.17

Mô hình suy luận (inference model)

Một thành phần cụ thể của không gian mô hình để giải quyết một nhiệm vụ cụ thể đến một mức độ nhất định.

CHÚ THÍCH 1: Mô hình suy luận bao gồm siêu tham số được cố định. Vì vậy, nó đại diện cho một kiến trúc mô hình riêng biệt.

3.18

Sự toàn vẹn (integrity)

Được thiết kế sao cho không thể sửa đổi bất kỳ thông tin được lưu trữ điện tử nào, nếu không có sự ủy quyền hợp lệ.

CHÚ THÍCH 1: Thường được sử dụng đồng nghĩa với tính toàn vẹn của dữ liệu.

...

...

...

3.19

Vòng đời (life cycle)

Sự tiến triển của một hệ thống, sản phẩm, dịch vụ, đề án hoặc thực thể khác do con người tạo ra từ khi hình thành cho đến khi ngừng hoạt động.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.20

Mô hình vòng đời (life cycle model)

Khung quy trình và hoạt động liên quan đến vòng đời, có thể được tổ chức thành các giai đoạn, đóng vai trò như một tham chiếu chung cho giao tiếp và hiểu biết.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.21

...

...

...

Quá trình sử dụng các thuật toán thay vì mã lập trình quy trình, ở đó cho phép học từ dữ liệu hiện có để dự đoán kết quả trong tương lai.

3.22

Mô hình Meta (metamodel)

Mô hình xác định các khái niệm và mối quan hệ của chúng với một số ký hiệu mô hình hóa.

[NGUỒN: ISO/IEC 15909-2:2011, được sửa đổi - Chú thích 1 đưa vào đã bị xóa bỏ.]

3.23

Mô hình (model)

Sự trừu tượng của một số khía cạnh của thực tế.

CHÚ THÍCH 1: Một mô hình có thể là một biểu diễn vật lý, toán học hoặc logic của một hệ thống, thực thể, hiện tượng hoặc quá trình.

...

...

...

3.24

Không gian mô hình (model space)

Tập hợp các cách tiếp cận tiềm năng để giải quyết một nhiệm vụ đến một mức độ nhất định.

CHÚ THÍCH 1: Trong không gian mô hình, siêu tham số chưa được cố định.

3.25

(Mô hình) các tham số ((model) parameters)

Các biến cấu hình mô hình bên trong.

VÍ DỤ Trọng số trong mạng thần kinh là các tham số mô hình.

CHÚ THÍCH 1: Trong ML, mục tiêu là tìm các tham số mô hình. Chúng có thể được ước tính từ dữ liệu.

...

...

...

[NGUỒN: [4]]

3.26

Học ngoại tuyến (offline learning)

Học từ một lượng dữ liệu nhất định và tĩnh.

3.27

Học trực tuyến (online learning)

Cập nhật liên tục mô hình dựa trên các lô dữ liệu mới.

3.28

Nền tảng (platform)

...

...

...

3.29

Quy trình (process)

Tập hợp các hoạt động có liên quan hoặc tương tác với nhau để đạt được một tập hợp các mục tiêu.

3.30

Sản phẩm (product)

Kết quả của một quá trình.

CHÚ THÍCH 1: Có bốn loại sản phẩm chung đã được thống nhất: phần cứng (ví dụ: bộ phận cơ khí của động cơ); phần mềm (ví dụ: các thủ tục chương trình máy tính và có thể là tài liệu và dữ liệu liên quan); các dịch vụ (ví dụ: vận tải); và các vật liệu chế biến (ví dụ: chất bôi trơn). Phần cứng và vật liệu chế biến nói chung là sản phẩm hữu hình, trong khi phần mềm hoặc dịch vụ nói chung là vô hình.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.31

...

...

...

Nỗ lực với các tiêu chí bắt đầu và kết thúc đã xác định được thực hiện nhằm tạo ra một sản phẩm hoặc dịch vụ phù hợp với các nguồn lực và yêu cầu cụ thể.

CHÚ THÍCH 1: Một đề án đôi khi được xem như một quá trình duy nhất bao gồm các hoạt động được phối hợp và kiểm soát và bao gồm các hoạt động từ các quá trình Quản lý Kỹ thuật và các quy trình Kỹ thuật được định nghĩa trong tiêu chuẩn này.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.32

Bảo đảm chất lượng (quality assurance)

Phần quản lý chất lượng tập trung vào việc cung cấp sự tin cậy, ở đó các yêu cầu chất lượng sẽ được đáp ứng.

[NGUỒN: ISO 9000:2015]

3.33

Trụ cột chất lượng (quality pillar)

...

...

...

3.34

Yêu cầu chất lượng (quality requirement)

Yêu cầu cần thiết để bảo đảm chất lượng.

3.35

Độ tin cậy (reliability)

Khả năng của một thiết bị hoặc một hệ thống thực hiện chức năng dự kiến của nó dưới các điều kiện sử dụng nhất định trong một khoảng thời gian hoặc số chu kỳ đã được xác định.

[NGUỒN: ISO/TS 17574:2017]

3.36

Yêu cầu (requirement)

...

...

...

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.37

Rủi ro (risk)

Ảnh hưởng của sự không chắc chắn lên các đối tượng.

CHÚ THÍCH 1: Ảnh hưởng là độ lệch so với dự kiến - tích cực hoặc tiêu cực. Một ảnh hưởng tích cực còn được gọi là một cơ hội.

CHÚ THÍCH 2: Các mục tiêu có thể có các khía cạnh khác nhau (chẳng hạn như mục tiêu tài chính, sức khỏe và an toàn, và môi trường) và có thể áp dụng ở các cấp độ khác nhau (chẳng hạn như chiến lược, toàn tổ chức, đề án, sản phẩm và quá trình).

CHÚ THÍCH 3: Rủi ro thường được đặc trưng bằng cách tham chiếu đến các sự kiện và hậu quả tiềm ẩn, hoặc sự kết hợp của những điều này.

CHÚ THÍCH 4: Rủi ro thường được thể hiện dưới dạng kết hợp giữa hậu quả của một sự kiện (bao gồm cả những thay đổi về hoàn cảnh) và khả năng xảy ra liên quan.

CHÚ THÍCH 5: Độ không đảm bảo là trạng thái, thậm chí một phần, thiếu thông tin liên quan đến hiểu biết hoặc kiến thức về một sự kiện, hậu quả của nó hoặc khả năng xảy ra.

...

...

...

3.38

An toàn (safety)

Kỳ vọng rằng một hệ thống, trong các điều kiện xác định, không dẫn đến tình trạng đe dọa đến tính mạng, sức khỏe, tài sản hoặc môi trường của con người.

CHÚ THÍCH 1: Cho đến nay, thuật ngữ này thường được sử dụng chung theo nghĩa độ tin cậy. Theo nghĩa hạn chế của nó, thuật ngữ này chỉ khả năng của một cấu trúc chống lại tất cả các tác động, cũng như một số hiện tượng ngẫu nhiên cụ thể mà nó sẽ phải chịu đựng trong quá trình xây dựng và sử dụng theo dự kiến (liên quan đến các trạng thái giới hạn cuối cùng).

CHÚ THÍCH 2: An toàn có nghĩa là không có rủi ro không thể chấp nhận được.

[NGUỒN: ISO/IEC/IEEE 12207:2017, được sửa đổi - Chú thích 1 đưa vào phù hợp với ISO 8930:1987, Chú thích 2 đưa vào phù hợp với ISO 5840-3:2013]

3.39

Bảo mật (security)

Khả năng chống lại các hoạt động cố ý được thiết kế để gây nên tổn hại hoặc thiệt hại đến hoặc bởi chuỗi cung ứng.

...

...

...

CHÚ THÍCH 2: Đánh giá bảo mật bao gồm các câu hỏi về rủi ro có thể xảy ra cho một mô-đun AI do con người hoặc các thành phần phần mềm khác gây ra và các khía cạnh liên quan đến quyền riêng tư.

[NGUỒN: ISO/TR 12773-2:2009, được sửa đổi - Chú thích 1 đưa vào phù hợp với ISO 28001:2007, Chú thích 2 đưa vào đã được bổ sung thêm]

3.40

Phần tử phần mềm (software element)

Phần tử của hệ thống đó là phần mềm

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.41

Mô-đun phần mềm (software module)

Đơn vị chương trình đóng gói các quy trình và cấu trúc dữ liệu cần thiết để cung cấp một chức năng mong muốn nhất định.

...

...

...

Giai đoạn (stage)

Các giai đoạn khác nhau trong vòng đời của một phần mềm hoặc mô-đun phần mềm.

3.43

Bên liên quan (stakeholder)

Cá nhân hoặc tổ chức có thẩm quyền, chia sẻ, yêu cầu hoặc quan tâm đến một hệ thống hoặc sở hữu các đặc tính đáp ứng nhu cầu và quan tâm đến của chúng.

VÍ DỤ: Người dùng cuối, tổ chức người dùng cuối, người hỗ trợ, nhà phát triển, nhà sản xuất, nhà đào tạo, nhà bảo trì, người định đoạt, người mua, tổ chức cung cấp và cơ quan quản lý.

CHÚ THÍCH 1: Một số bên liên quan có thể có lợi ích đối lập nhau hoặc đối lập với hệ thống.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.44

...

...

...

Sự kết hợp của các yếu tố tương tác được tổ chức để đạt được một hoặc nhiều mục tiêu đã định.

CHÚ THÍCH 1: Một hệ thống đôi khi được xem như một sản phẩm hoặc dịch vụ mà nó cung cấp.

CHÚ THÍCH 2: Trong thực tế, cách hiểu về ý nghĩa của nó thường được làm rõ bằng cách sử dụng danh từ liên quan, ví dụ: hệ thống máy bay hoặc hệ thống quản lý cơ sở dữ liệu. Ngoài ra, từ hệ thống có thể được thay thế đơn giản bằng một từ đồng nghĩa phụ thuộc vào nội dung, ví dụ: máy bay hoặc cơ sở dữ liệu, mặc dù điều này có thể làm mờ đi quan điểm về nguyên tắc hệ thống.

CHÚ THÍCH 3: Một hệ thống có thể bao gồm thiết bị, phương tiện, vật liệu, phần mềm, phần sụn, tài liệu kỹ thuật, dịch vụ và nhân sự có liên quan cần thiết cho các hoạt động và hỗ trợ ở mức độ cần thiết để sử dụng trong môi trường dự kiến của nó.

CHÚ THÍCH 4: Xem để so sánh: hệ thống cho phép, hệ thống quan tâm, hệ thống của các hệ thống.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.45

Yếu tố hệ thống (system element)

Thành viên của tập hợp các yếu tố cấu thành nên một hệ thống.

...

...

...

CHÚ THÍCH 1: Một yếu tố hệ thống là phần riêng biệt của một hệ thống có thể được triển khai để đáp ứng đầy đủ các yêu cầu đã xác định.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.46

Nhiệm vụ (task)

Hành động được yêu cầu, khuyến nghị hoặc cho phép, nhằm góp phần đạt được một hoặc nhiều kết quả của một quá trình.

[NGUỒN: ISO/IEC/IEEE 12207:2017]

3.47

Kiểm thử (testing)

Quá trình lập kế hoạch, chuẩn bị, triển khai và thực hiện kiểm thử để phát hiện lỗi hoặc sự bất thường trong quá trình triển khai hệ thống có thể dẫn đến sự cố hệ thống.

...

...

...

3.48

Người dùng (user)

Cá nhân hoặc tổ chức sử dụng hệ thống hoặc phần mềm để đạt được các mục tiêu nhất định.

3.49

Xác nhận tính hợp lệ (validation)

Hoạt động để chứng minh rằng mô-đun AI đáp ứng được mục đích sử dụng của nó khi được đặt vào mục tiêu của nó.

CHÚ THÍCH 1: Các kỹ thuật mô phỏng hệ thống và kiểm thử hộp đen cung cấp các phương tiện quan trọng để xác nhận tính hợp lệ.

3.50

Xác minh (verification)

...

...

...

CHÚ THÍCH 1: Trong các giai đoạn phát triển, triển khai và vận hành của vòng đời mô-đun AI, các yêu cầu sẽ được đặt vào thiết kế và sau đó được triển khai thành quy định. Việc xác minh đảm bảo rằng kết quả quy định là đúng đối với thông số kỹ thuật. Xem xét thiết kế, xem xét quy định, kiểm tra, kiểm soát mô hình và các kỹ thuật kiểm tra hộp trắng cung cấp các phương tiện quan trọng để xác minh hệ thống.

4  Ký hiệu và chữ viết tắt

AI

Artificial Intelligence

Trí tuệ nhân tạo

ML

Machine Learning

Học máy

5  Mô hình Meta chất lượng

...

...

...

Đảm bảo chất lượng cao cho các mô-đun AI nhất định là một nhiệm vụ khó khăn, đặc biệt trong học máy (ML), do phản ứng không thể dự đoán đối với các đầu vào không lường trước và thiếu tính minh bạch, điều này đặt ra những thách thức mới trong việc đảm bảo chất lượng AI. Giải quyết các thách thức này một cách có cấu trúc là nền tảng bắt buộc để phát triển và tích hợp thành công các mô-đun AI mạnh mẽ, an toàn và đáng tin cậy. Cung cấp cách thức dễ sử dụng và dễ hiểu với cấu trúc lĩnh vực rộng lớn của các vấn đề và thách thức về chất lượng AI là đóng góp chính của tiêu chuẩn này. Để đạt được mục đích này, tiêu chuẩn này mô tả một mô hình Meta chất lượng AI như được trình bày trong Hình 1. Nó cung cấp cấu trúc cơ bản cho các yêu cầu chất lượng AI cụ thể được đưa ra trong DIN SPEC 92001-2.

Mô hình Meta bao gồm những khía cạnh quan trọng nhất cần được xem xét để tạo điều kiện thuận lợi cho thiết kế các mô-đun AI chất lượng cao: Vòng đời của một mô-đun AI, được minh họa bằng vòng tròn ở giữa Hình 1, bao gồm các giai đoạn vòng đời đó là ý tưởng, phát triển, triển khai, vận hành, ngừng hoạt động và các quy trình vòng đời. Mô hình Meta chất lượng này thừa nhận ba nhóm quy trình vòng đời chính, đó là quy trình tổ chức hỗ trợ đề án, quản lý kỹ thuật và quy trình kỹ thuật. Các quy trình được phân định cho ba nhóm này có thể được tìm thấy trong [3]. Yêu cầu chất lượng cho các mô-đun AI cần được liên kết với vòng đời. Một số yêu cầu, chẳng hạn như việc ngăn chặn thiên lệch có hại, là cần thiết trong quá trình phát triển cũng như trong quá trình triển khai và vận hành của vòng đời thành phần AI.

Các đặc tính chất lượng chính, còn được gọi là các trụ cột chất lượng, cần được xem xét trong suốt vòng đời của một mô-đun AI bao gồm: chức năng & hiệu năng, độ bền vững và tính dễ hiểu. Chúng được mô tả ở phần bên trái của Hình 1. Các trụ cột chất lượng này bao gồm những thách thức chất lượng AI cụ thể cấp bách nhất. Chúng chỉ ra các vấn đề triển khai tập trung các mô-đun AI so với phần mềm cổ điển, chẳng hạn như việc xây dựng tập huấn luyện và độ bền vững đối với các ví dụ tấn công đối kháng. Ba trụ cột chất lượng này không hoàn toàn tách biệt. Ví dụ, độ bền vững có thể được coi là một phần của chức năng & hiệu năng, vì sự thích ứng với các môi trường chưa biết có thể là một yêu cầu về chức năng trong một ứng dụng cụ thể. Tuy nhiên, việc tách biệt này giúp nhấn mạnh các khía cạnh quan trọng khác nhau trong việc đánh giá và đảm bảo chất lượng AI.

Hình 1 - Mô hình Meta chất lượng AI

Tiêu chuẩn này phân biệt giữa các mô-đun AI có liên quan đến an toàn, bảo mật, quyền riêng tư hoặc đạo đức và các mô-đun không có liên quan đến những yếu tố này. Theo cách này, các mô-đun AI được chia thành hai lớp rủi ro. Trong phần tiếp theo, các mô-đun AI có liên quan đến an toàn, bảo mật, quyền riêng tư hoặc đạo đức được tóm tắt là các thành phần có rủi ro (tiềm ẩn) cao, trong khi các thành phần còn lại thuộc nhóm rủi ro thấp. Đối với các mô-đun AI rủi ro cao, việc sai lệch so với các yêu cầu chất lượng hoặc không được phép hoặc phải có lý do chính đáng, trong khi đối với các mô-đun AI rủi ro thấp thì yêu cầu này ít nghiêm ngặt hơn. Phân loại rủi ro này được trình bày trong Bảng 1.

Trong Hình 1, đánh giá rủi ro cơ bản này được quan sát dưới dạng một hình chữ nhật đặt phía sau ba trụ cột chất lượng. Bước đầu tiên trong giai đoạn ý tưởng của mô-đun AI là đánh giá xem mô-đun AI được hỏi có tiềm ẩn rủi ro cao hay thấp liên quan đến các khía cạnh an toàn, bảo mật, quyền riêng tư và đạo đức hay không. Điều này không được xử lý trong DIN SPEC này. Một nhóm các chuyên gia trong một tổ chức chịu trách nhiệm về mô-đun AI sẽ được triệu tập để thực hiện nhiệm vụ này. Việc đánh giá rủi ro có ảnh hưởng đến tính nghiêm ngặt cần được áp dụng khi triển khai và đánh giá các thuộc tính và chất lượng của mô-đun AI.

Trong Hình 1, đánh giá rủi ro cơ bản này được hình dung như một hình chữ nhật đặt sau ba trụ cột chất lượng. Bước đầu tiên trong giai đoạn ý tưởng của một mô-đun AI là đánh giá xem mô-đun AI đó có rủi ro cao hay thấp liên quan đến các khía cạnh an toàn, bảo mật, quyền riêng tư hoặc đạo đức hay không. Điều này không nằm trong phạm vi của tiêu chuẩn này. Nếu một quy trình đánh giá rủi ro đã được thiết lập trong một công ty, việc phân loại rủi ro cũng có thể được ánh xạ tương ứng với những gì được gọi là rủi ro cao hoặc thấp trong tiêu chuẩn này. Một nhóm chuyên gia trong công ty nên được triệu tập để thực hiện nhiệm vụ này.

Trong DIN SPEC 92001-2, mỗi yêu cầu chất lượng đã liệt kê đều được liên kết với một trong ba trụ cột chất lượng, với một hoặc nhiều giai đoạn vòng đời, và với một hoặc nhiều quy trình vòng đời. Hơn nữa, nó cũng nêu rõ yêu cầu chất lượng có liên quan đến môi trường, nền tảng, dữ liệu hoặc mô hình của mô-đun AI hay không. Cách tiếp cận theo cấu trúc này được thúc đẩy bởi thực tế là trong nhiều trường hợp, chất lượng AI không thể được đánh giá đơn giản chỉ bằng cách tiến hành đánh giá mã hóa nguồn. Chất lượng AI phụ thuộc vào thiết kế của mô hình AI được sử dụng, bao gồm kiến trúc, siêu tham số và thuật toán huấn luyện trong trường hợp ML, nhưng cũng phụ thuộc vào chất lượng của dữ liệu được sử dụng. Tuy nhiên, trong nhiều trường hợp, chất lượng dữ liệu không thể đánh giá được mà không đưa vào tính đến nền tảng và môi trường của mô-đun AI. Ví dụ, trong lĩnh vực lái xe tự động, cần lưu ý đến tạp nhiễu camera và sự thay đổi trong phân phối dữ liệu tự nhiên, chẳng hạn như các điều kiện thời tiết khác nhau cần phải được thể hiện trong tập các dữ liệu. Sự phụ thuộc giữa mô hình, dữ liệu, nền tảng và môi trường được minh họa ở phía bên phải của Mô hình Meta chất lượng AI trong Hình 1.

...

...

...

5.2  Mối quan hệ giữa mô-đun AI và hệ thống phần mềm

Các hệ thống phần mềm bao gồm các phần tử hệ thống tương tác với nhau, trong đó mỗi phần tử có mục đích và yêu cầu riêng tương ứng. Mô-đun AI là một trong những phần tử này, bao gồm các phương pháp và thuật toán AI tương ứng. Như một phần tử của hệ thống phần mềm, nên nó liên quan và tương tác với các phần tử khác chẳng hạn như phần cứng, phần mềm hoặc dữ liệu và với môi trường xung quanh như con người. Do đó, tiêu chuẩn này tập trung vào đảm bảo chất lượng của các đối tượng AI trong hệ thống phần mềm. Những đối tượng này có thể là hệ thống lai ghép. Cần lưu ý rằng các tiêu chuẩn, yêu cầu và quy định khác có thể áp dụng cho toàn bộ hệ thống phần mềm và do đó áp dụng cho mô-đun AI. Để cung cấp một khung phát triển và vận hành (DevOps) cho các mô-đun AI đáng tin cậy, một Mô hình Meta chất lượng đã được đề xuất và mô tảtrong tiêu chuẩn này:

5.3  Đánh giá rủi ro

Để kiểm soát các rủi ro như vi phạm các mục tiêu về an toàn, bảo mật, quyền riêng tư hoặc đạo đức, bắt buộc phải xác định và đánh giá rủi ro. Điều này nên được xem xét từ rất sớm trong vòng đời, vì những thay đổi sau này thường dẫn đến nỗ lực cao. Nên thiết lập quản lý rủi ro xuyên suốt toàn bộ vòng đời.

Đánh giá rủi ro liên quan đến các khía cạnh về an toàn, bảo mật, quyền riêng tư, đạo đức và pháp lý của một mô-đun AI. An toàn đề cập đến kỳ vọng rằng một hệ thống, trong những trường hợp đã định, không dẫn đến tình trạng nguy hiểm đến đời sống, sức khỏe, tài sản hoặc môi trường của con người. Bảo mật đề cập đến tác động tiêu cực mà con người hoặc máy móc khác có thể gây ra cho mô-đun AI. Tính bí mật, tính toàn vẹn và tính khả dụng là các chủ đề bảo mật chính. Quyền riêng tư đề cập đến việc thu thập và xử lý dữ liệu cá nhân phù hợp với các quy định có liên quan. Chẳng hạn, chủ thể dữ liệu ở Châu Âu có quyền xóa dữ liệu riêng tư của họ [5].

Một khía cạnh bổ sung của đánh giá rủi ro là mức độ liên quan về đạo đức của lĩnh vực mà mô-đun AI được triển khai. Do đó, cần thiết lập một khuôn khổ đạo đức cho vòng đời của mô-đun AI, trong đó hành vi đạo đức phải được xác định thông qua một bộ quy tắc ứng xử minh bạch. Cảnh giác và nhận thức liên tục liên quan đến các câu hỏi đạo đức cần được duy trì xuyên suốt quá trình phát triển của mô-đun AI [6]. Các khía cạnh đạo đức bao gồm xem xét sự thiên vị có chủ ý và không chủ ý của mô-đun AI. Ví dụ, để đảm bảo tính công bằng, có thể cần đưa sự thiên vị có chủ ý vào mô-đun AI. Do đó, để đảm bảo hành vi đạo đức của mô-đun AI, không chỉ cần xem xét các khía cạnh phân tích công nghệ AI mà còn phải thu thập kiến thức về môi trường xã hội mà mô-đun AI hoạt động.

Trong tiêu chuẩn này, chúng tôi phân chia các mô-đun AI thành hai loại, đó là các mô-đun AI rủi ro cao và rủi ro thấp. Các lớp rủi ro nội bộ được giả định là được ánh xạ vào một trong hai loại rủi ro cao hoặc rủi ro thấp. Các mô-đun AI rủi ro cao (còn được gọi là các mô-đun AI “quan trọng”) có liên quan đến tính an toàn, bảo mật, quyền riêng tư hoặc đạo đức. Các lĩnh vực có mức độ liên quan như vậy có thể là lái xe tự động, chẩn đoán y tế và xếp hạng tín dụng. Các mô-đun AI rủi ro thấp không đáp ứng bất kỳ mục tiêu nào về an toàn, bảo mật, quyền riêng tư hoặc đạo đức, mặc dù đã được đánh giá rủi ro theo công nghệ tiên tiến nhất. Chúng được gọi là các mô-đun AI “tiện nghi”. Tuy nhiên, hệ thống phần mềm chứa mô-đun AI có thể có sự liên quan về an toàn, bảo mật, quyền riêng tư hoặc đạo đức. Hầu hết các hệ thống khuyến nghị hoặc quảng cáo, chẳng hạn như lựa chọn phim tự động, là ví dụ cho các mô-đun AI rủi ro thấp.

Trong DIN SPEC 92001-2, các yêu cầu được phân loại dựa trên mức độ liên quan của chúng thành bắt buộc, khuyến nghị cao và khuyến nghị, xem Bảng 1.

Bảng 1 - Phân loại các yêu cầu liên quan đến các mô-đun AI có rủi ro cao hoặc thấp theo bắt buộc, khuyến nghị cao và khuyến nghị

...

...

...

Lớp yêu cầu

Rủi ro cao

Rủi ro thấp

Bắt buộc

Không sai lệch so với yêu cầu cho phép

Không sai lệch so với yêu cầu cho phép

Khuyến nghị mức cao

Sai lệch so với yêu cầu chỉ có lý do chính đáng

Sai lệch so với yêu cầu chỉ có lý do chính đáng

...

...

...

Sai lệch so với yêu cầu chỉ có lý do chính đáng

Sai lệch so với yêu cầu không có lý do được cho phép

Đối với các mô-đun AI rủi ro thấp, cho phép sai lệch so với các yêu cầu được khuyến nghị mà không cần căn chỉnh thêm. Chỉ cho phép sai lệch so với các yêu cầu được khuyến nghị cao đối với các mô-đun AI rủi ro thấp trong các trường hợp ngoại lệ và có căn chỉnh tương xứng, trong khi đó, sai lệch so với các yêu cầu bắt buộc như thiết lập quy trình xác định và đánh giá rủi ro sẽ không được chấp nhận. Chỉ cho phép sai lệch so với các yêu cầu được khuyến nghị và khuyến nghị cao trong những trường hợp ngoại lệ và có lý do tương xứng, trong khi không được phép lệch so với các yêu cầu bắt buộc.

Do cần có sự hiểu biết sâu sắc về lĩnh vực cụ thể của hệ thống để xác định các mục tiêu liên quan đến các khía cạnh an toàn, bảo mật, quyền riêng tư và đạo đức, nên tiêu chuẩn này không chứa bất kỳ quy trình tương ứng nào để đánh giá mức độ nghiêm trọng. Phân loại này phải đảm bảo phù hợp với tính tiên tiến của các tiêu chuẩn trong lĩnh vực cụ thể. Các chủ đề mẫu mực, có thể được xem xét ở đây, sẽ đánh giá sự kiện xảy ra, tính nghiêm ngặt và khả năng kiểm soát hậu quả có thể xảy ra từ sự cố của mô-đun AI. Đánh giá rủi ro của các mô-đun AI cũng bị ảnh hưởng bởi mức độ tác động của nó đối với môi trường. Có thể đánh giá hoặc mô-đun AI có tác động trực tiếp lên môi trường hay nó chỉ đưa ra các khuyến nghị, chẳng hạn như khuyến nghị chẩn đoán y tế với sự giải thích cụ thể. Khả năng kiểm soát chỉ có thể dễ dàng đảm bảo trong trường hợp sau đây. Điều này dẫn đến một yếu tố khác cần được xem xét: sự hiện diện hay vắng mặt của giám sát bên ngoài và loại hình giám sát đó. Cụ thể, sự tồn tại của một hệ thống tác động khác như cần phải xem xét đối với người giám sát. Điều này được liên kết chặt chẽ hơn nữa với mức độ tự chủ của mô-đun AI. Mức độ tự chủ cao có thể làm tăng phạm vi tác động có thể xảy ra do hành vi không mong muốn. Một chủ đề quan trọng khác nữa liên quan đến loại hình học: Các thuật toán học ngoại tuyến không còn thay đổi trong quá trình hoạt động, điều này giúp cho việc đánh giá dễ dàng hơn. Ngược lại, các thuật toán học trực tuyến tiếp tục thay đổi trong quá trình hoạt động, điều này có thể khiến việc đánh giá trở nên khó khăn hơn nhiều hoặc thậm chí là không thể thực hiện, tùy thuộc vào các phương pháp tiếp cận thuật toán [7].

5.4  Môi trường, nền tảng, dữ liệu, mô hình

Các ảnh hưởng đối với mô-đun AI, chẳng hạn như thiết lập phần cứng chung hoặc mô hình toán học đã được lựa chọn, cần được xem xét trong quá trình đánh giá chất lượng. Để giải quyết các yếu tố ảnh hưởng của mô-đun AI, tiêu chuẩn này đề xuất một phương pháp tiếp cận phân cấp. Như được minh họa ở phía bên phải của Hình 1, nó phân biệt giữa môi trường, nền tảng, dữ liệu và mô hình. Những khía cạnh này được gọi là các lớp. Phương pháp tiếp cận này cho phép thiết kế các quy trình đảm bảo chất lượng có cấu trúc bằng cách ánh xạ các yêu cầu chất lượng vào các lớp khác nhau.

Vì môi trường, nền tảng, dữ liệu và mô hình có thể tác động đến tất cả các giai đoạn vòng đời, cho nên chúng cần phải được xem xét trong toàn bộ vòng đời của một mô-đun AI. Sau đây sẽ trình bày các định nghĩa của bốn lớp này.

Môi trường là toàn bộ bối cảnh mà mô-đun AI được cài đặt vào và có thể tương tác với nó. Liên quan đến cài đặt mô-đun phần mềm trong hệ thống phần mềm [3], môi trường bao gồm các khía cạnh bên ngoài hệ thống phần mềm có ảnh hưởng đến mô-đun. Ví dụ về môi trường AI rất đa dạng. Môi trường của các nhiệm vụ phân tích hình ảnh có thể là nguồn từ những hình ảnh được cảm nhận bởi hệ thống phần mềm và mô-đun AI, chẳng hạn như máy ảnh. Trong các trò chơi như cờ vua, cờ vây hoặc bài xì phé, luật chơi và biểu diễn trạng thái trò chơi được coi như môi trường. Ô tô tự lái được đặt trong môi trường thực tế có chứa các chướng ngại vật có thể xảy ra trên đường và các ô tô khác. Lưu ý rằng việc đánh giá môi trường không phải là một quá trình cố định. Nó phụ thuộc vào sự đánh giá của một nhóm chuyên gia. Xem Phụ lục A đối với ví dụ chi tiết về các khía cạnh môi trường khác nhau.

Nền tảng liên quan đến các thuộc tính và ràng buộc của phần cứng và hệ điều hành. Điều này bao gồm, ví dụ như giao diện (giao tiếp), sức mạnh xử lý, sự phụ thuộc vào các yếu tố phần mềm khác, hệ thống thời gian chạy, mối liên quan giữa độ tin cậy và độ chính xác của các thành phần phần cứng. Ví dụ như độ chính xác và độ tin cậy của máy ảnh hoặc cảm biến.

...

...

...

Thuật ngữ mô hình trong ngữ cảnh của tiêu chuẩn này đề cập đến hai thực thể riêng biệt: không gian mô hình và mô hình suy luận. Không gian mô hình bao gồm tập hợp tất cả các bộ phương pháp tiếp cận tiềm năng để giải quyết vấn đề nhiệm vụ trước mắt. Điều này bao gồm các thuật toán, mô hình toán học, kiến trúc và cấu hình tham số có thể dẫn đến các giải pháp phù hợp cho nhiệm vụ đã được quy định trong tập hợp này. Không gian mô hình chứa toàn bộ các lựa chọn và biến thể có thể có, ví dụ như các phương pháp học sâu, các kiến trúc mạng thần kinh khác nhau, hoặc các kỹ thuật tối ưu hóa. Mô hình suy luận là một yếu tố cụ thể của không gian mô hình. Do đó, nó bao gồm một kiến trúc mô hình cụ thể có cấu hình tham số cố định. Cấu hình này được suy ra từ không gian mô hình thông qua phương pháp lựa chọn, chẳng hạn như một thuật toán huấn luyện dựa trên một tập dữ liệu nhất định. Mô hình suy luận có thể được sử dụng để giải quyết nhiệm vụ được đặt ra ở một mức độ nhất định. Trong bối cảnh phân loại hình ảnh với mạng thần kinh tích chập, không gian mô hình cấu thành tất cả các kiến trúc đã chọn trước đó, có thể khác nhau về độ sâu, cấu trúc và bao gồm tất cả các tham số có thể, chẳng hạn như trọng số và độ lệch. Ngoài ra, các thuật toán dẫn đến mô hình suy luận sau này là một phần của không gian mô hình. Chẳng hạn, các kỹ thuật tối ưu hóa hoặc phương pháp tiến hóa với các siêu tham số, như sử dụng tỷ lệ học hoặc chiến lược điều chỉnh. Không gian mô hình có thể được tăng cường khi xem xét các cách tiếp cận mới để thực hiện nhiệm vụ, ví dụ như cây quyết định thích ứng.

Sự sắp xếp đồ họa của các lớp trong Hình 1 làm nổi bật tác động mà một lớp có thể có trên các lớp tiếp theo. Một thay đổi đáng kể trong môi trường có thể hàm ý một thiết lập phần cứng khác và thay đổi dữ liệu có sẵn. Hơn nữa, sự tăng hoặc giảm dữ liệu có sẵn có thể dẫn đến các lựa chọn mô hình khác nhau. Các tác động có thể bao hàm từ những thích ứng nhỏ của các tham số đến việc xem xét lại mô hình toán học đã lựa chọn. Do đó, chúng có tác động đáng kể đến đảm bảo chất lượng. Những thay đổi về môi trường, nền tảng, dữ liệu và mô hình có thể xảy ra trong quá trình lặp lại các giai đoạn vòng đời. Do đó, chuyển tiếp giữa các giai đoạn cần được thực hiện với sự thận trọng bổ sung liên quan đến các yêu cầu dựa trên các lớp này. Với những ảnh hưởng liên quan đến nhau đã xác định, đòi hỏi cần phải liên tục đánh giá lại các yêu cầu liên quan đến chất lượng của mô-đun AI [7].

Các yêu cầu cụ thể về chức năng & hiệu năng, độ bền vững và tính dễ hiểu, thu thập trên các lớp và đưa ra chi tiết hơn về cách đạt được tiêu chuẩn chất lượng mong muốn. Chúng được đưa ra trong DIN SPEC 92001-2.

5.5  Vòng đời

5.5.1  Khái quát

Mọi hệ thống phần mềm đều có vòng đời xác định sự tiến hóa của nó từ giai đoạn ý tưởng cho đến khi ngừng hoạt động, bao gồm các giai đoạn và quy trình của vòng đời [3]. Các giai đoạn vòng đời thường bao gồm các khía cạnh ý tưởng hóa, hiện thực hóa, sử dụng, tiến hóa và loại bỏ. Hệ thống phần mềm tiến triển qua các giai đoạn bằng cách thực hiện các quy trình vòng đời như lập kế hoạch, thực hiện và đánh giá. Chúng được liên kết với một hoặc nhiều giai đoạn, tùy thuộc vào quy trình cụ thể. Là một phần của hệ thống phần mềm, mô-đun AI cho phép tạo ra một vòng đời tương tự với các giai đoạn gồm: ý tưởng, phát triển, triển khai, vận hành và ngừng hoạt động, cũng như các nhóm quy trình gồm: quy trình hỗ trợ tổ chức đề án, quy trình quản lý kỹ thuật và quy trình kỹ thuật. Tiêu chuẩn này dựa trên [3]. Nó không xác định hoặc yêu cầu một mô hình vòng đời mới. Nếu tồn tại một vòng đời riêng cho toàn bộ hệ thống phần mềm, thì có thể chấp nhận sử dụng vòng đời cụ thể này cho mô-đun AI, bằng cách ánh xạ các giai đoạn vòng đời của mô-đun AI vào các giai đoạn vòng đời của phần mềm hiện có. Tuy nhiên, khuyến nghị áp dụng một số loại vòng đời nào đó để phát triển mô-đun AI, và nó cần được ánh xạ tới vòng đời được trình bày trong tiêu chuẩn này.

Các giai đoạn vòng đời được đề cập ở trên là một hướng dẫn. Mỗi bên liên quan của tiêu chuẩn này có trách nhiệm đánh giá xem các giai đoạn vòng đời này có thể áp dụng được hay không, và điều chỉnh chúng nếu cần. Điều này cho phép liên kết các yêu cầu với một hoặc nhiều quy trình vòng đời và một hoặc nhiều giai đoạn vòng đời. Cần thiết phải thực hiện các hoạt động đảm bảo chất lượng thích hợp trước khi chuyển tiếp diễn ra từ một giai đoạn sang giai đoạn tiếp theo. Các hoạt động này nên bao gồm xác minh và xác nhận tính hợp lệ bằng cách sử dụng các phương pháp kiểm thử thích hợp. Đặc biệt đối với các mô-đun AI có rủi ro cao, các yêu cầu chất lượng về chức năng & hiệu năng, độ bền vững và tính dễ hiểu cần phải được liên kết với vòng đời nhằm ngăn chặn hành vi bất ngờ và có khả năng gây hại.

Mô tả tiến trình phát triển của một mô-đun AI từ ý tưởng đến khi ngừng hoạt động, các giai đoạn trong vòng đời là một hướng dẫn cho sự phát triển của nó. Mỗi giai đoạn có mục đích và đóng góp riêng cho vòng đời. Việc sử dụng các giai đoạn trong vòng đời cung cấp một khuôn khổ cho khả năng quan sát và kiểm soát cao đối với đề án và các quy trình [3]. Trong mỗi giai đoạn vòng đời, các phương pháp kiểm thử thích hợp cần được xem xét và các tiêu chí kiểm thử sẽ được thu thập cho giai đoạn thực tế và vòng đời tiếp theo. Tiêu chuẩn này đề xuất năm giai đoạn vòng đời cho các mô-đun AI, được minh họa dưới dạng mũi tên màu xanh lam trong Hình 1.

a) Giai đoạn đầu tiên của vòng đời là giai đoạn ý tưởng gồm tất cả các hành động diễn ra trước khi phát triển mô-đun AI, tức là quá trình xác định vấn đề, phân tích và tìm kiếm không gian mô hình phù hợp. Dựa trên vấn đề cụ thể, các mô hình phù hợp nên được xác định và nhân tích về các thuộc tính như hội tụ và các giả định đầu vào. Trong giai đoạn này, không có mô hình siêu tham số nào được chọn và không thực hiện đánh giá mô hình cuối cùng. Điều này là một phần của giai đoạn phát triển. Ngoài ra, các tiêu chí có khả năng chấp nhận nên được xác định cho các bước đảm bảo chất lượng tiếp theo. Ví dụ, khuyến nghị vận hành hóa vấn đề sao cho việc hình thành của nó chứa các hành động khả thi cho một giải pháp.

...

...

...

c) Giai đoạn triển khai thể hiện sự chuyển dịch từ phát triển sang vận hành. Đối với các mô-đun AI có mức độ học dựa trên dữ liệu cao, việc triển khai bao gồm huấn luyện mô hình trên hệ thống máy chủ và xuất sang hệ thống mục tiêu. Đối với các mô-đun AI có mức độ học dựa trên dữ liệu thấp, dịch chuyển từ máy chủ sang hệ thống mục tiêu cũng có liên quan. Chẳng hạn, khả năng chấp nhận mô-đun AI bởi bên liên quan là một phần của hệ thống mục tiêu và cần phải đạt được. Lưu ý rằng việc triển khai bắt đầu giai đoạn vận hành. Vì vậy, không thể phân định rõ ràng giữa triển khai và vận hành. Triển khai và phát triển đều là một phần của quá trình phát triển. Đối với nhiều vấn đề phát triển liên quan đến AI, sẽ rất hữu ích khi nhấn mạnh sự khác biệt giữa cài đặt huấn luyện là một phần của phát triển và môi trường thực tế nơi mô-đun AI đang được sử dụng trong triển khai và vận hành. Đặc biệt, việc xác minh độ bền vững của các mô-đun AI có rủi ro cao đặt ra thách thức lớn trong giai đoạn này và giai đoạn tiếp theo. Điều này là do việc chuyển dịch từ môi trường nhân tạo sang môi trường thực tế, nơi các khía cạnh về an toàn, bảo mật, quyền riêng tư, hoặc đạo đức đều rất quan trọng. Do đó, trong giai đoạn này, việc lùi lại giai đoạn phát triển là phổ biến do khó chuyển giao mô hình được huấn luyện vào thế giới thực.

d) Giai đoạn vận hành đề cập đến các khía cạnh bảo trì và đánh giá trong môi trường nơi sử dụng mô-đun AI. Trong giai đoạn này, sự khác biệt lớn so với phát triển phần mềm truyền thống được quan sát, vì các thuật toán ML có thể tiếp tục học từ dữ liệu thông qua học trực tuyến, và do đó tiếp tục thay đổi sau khi huấn luyện trong môi trường thử nghiệm.

e) Giai đoạn ngừng hoạt động xác định việc giải thể và ngừng hoạt động của mô-đun AI cũng như quá trình chuyển dịch sang một mô-đun AI mới. Trong giai đoạn này, một mô-đun AI có thể bị xóa khỏi hệ thống phần mềm hoặc bị thay đổi đáng kể đến mức tạo ra một mô-đun AI mới. Điều này bắt đầu một vòng đời mới. Do đó, cũng có thể hiểu là mô-đun AI ban đầu đã ngừng hoạt động.

Năm giai đoạn vòng đời này minh họa các giai đoạn mà một mô-đun AI trải qua trong suốt thời gian sống của nó. Chúng không tạo nên một quá trình tuyến tính từ ý tưởng đến ngừng hoạt động. Ngược lại, có thể cần quay lại giai đoạn trước đó của vòng đời nhiều lần để hoàn thành đầy đủ các yêu cầu liên kết đến giai đoạn cụ thể đó. Chẳng hạn, nếu một lỗi được tìm thấy ở đâu đó trong vòng đời, thì nó có thể cần phải quay lại giai đoạn nơi lỗi đó phát sinh để sửa lỗi và sau đó tiếp tục qua các giai đoạn vòng đời một lần nữa. Như đã đề cập ở trên, các giai đoạn này có thể được ánh xạ vào một vòng đời hiện có của hệ thống phần mềm mà mô-đun AI là một phần trong đó. Cần thiết phải đảm bảo chất lượng thông qua đảm bảo quy trình. Do đó, trước khi tiến hành giai đoạn tiếp theo, cần phải kiểm tra xem tất cả các yêu cầu của giai đoạn đã được đáp ứng thỏa mãn hoàn toàn hay chưa.

5.5.2  Quy trình vòng đời

Để liên kết các trụ cột chất lượng với vòng đời, các yêu cầu được chính thức hóa cho từng quy trình vòng đời, dựa trên môi trường, nền tảng, dữ liệu và mô hình. Các quy trình vòng đời đại diện cho tập hợp các hoạt động có liên quan hoặc tương tác lẫn nhau [3] được phân bổ cho một hoặc nhiều giai đoạn vòng đời. Các nhóm quy trình trong tiêu chuẩn này đề cập đến những quy trình được xác định trong [3] và được minh họa trong Hình 1. Các quy trình được xác định theo tiêu đề, mục đích và kết quả. Các quy trình được tổ chức thành ba nhóm:

a) Các quy trình cho phép tổ chức đề án “liên quan đến việc cung cấp các nguồn lực để giúp đề án đáp ứng nhu cầu và mong đợi của các bên liên quan của tổ chức” [3]. Hầu hết các quy trình trong nhóm này chỉ bị ảnh hưởng một chút bởi những thách thức mới mà AI mang lại. Tuy nhiên, người sử dụng tiêu chuẩn này cần đánh giá xem có cần thay đổi các quy trình hiện có hay không. Ví dụ, những cách mà các quy trình này cần được tinh chỉnh bao gồm thiết lập các tiêu chí đánh giá chất lượng áp dụng cho chức năng & hiệu năng, độ bền vững và tính dễ hiểu của các mô-đun AI.

b) Các quy trình quản lý kỹ thuật “liên quan đến quản lý các nguồn lực và tài sản được phân bổ bởi tổ chức quản lý và có áp dụng chúng để thực hiện các thỏa thuận mà tổ chức hoặc các tổ chức tham gia. Đặc biệt, chúng liên quan đến lập kế hoạch về chi phí, tỷ lệ thời gian và đạt được, đến kiểm tra các hành động để giúp đảm bảo rằng chúng tuân thủ kế hoạch và tiêu chí hiệu năng, cũng như việc xác định và lựa chọn các hành động khắc phục [3]. Ngoài ra, các biện pháp cụ thể với các tiêu chí chất lượng tương ứng cần được xác định để cho phép đánh giá xem mô-đun AI có đáp ứng các tiêu chí chức năng & hiệu năng, độ bền vững và tính dễ hiểu hay không.

c) Các quy trình kỹ thuật “biến đổi nhu cầu của các bên liên quan thành sản phẩm hoặc dịch vụ thông qua các hành động kỹ thuật trong suốt vòng đời” [3]. Chúng đảm bảo rằng hiệu năng bền vững và chất lượng tổng thể đạt được khi áp dụng mô-đun AI. Đây là nhóm các quy trình bị ảnh hưởng nhiều nhất bởi các thách thức dành riêng cho AI. Chẳng hạn, một khía cạnh quan trọng cần được xem xét trong quá trình phân tích hệ thống là để đảm bảo mức độ khả năng giải thích cần thiết của mô-đun AI. Đối với các mô-đun ML, cần đặc biệt chú ý đến việc phân tích và lập mô hình dữ liệu một cách phù hợp.

...

...

...

Các quy trình thỏa thuận là một nhóm quy trình khác trong [3] không phải là một phần của tiêu chuẩn này. Các quy trình thỏa thuận “là các quy trình tổ chức áp dụng ngoài phạm vi vòng đời của một đề án, cũng như trong suốt vòng đời của đề án. Các thỏa thuận cho phép nhận thức rõ giá trị và hỗ trợ các chiến lược kinh doanh cho các tổ chức [3]. Trong khi các quy trình thỏa thuận áp dụng cho toàn bộ hệ thống phần mềm, chúng không liên quan đến một thành phần phần mềm cụ thể và các thách thức dành riêng cho AI. Do đó, DIN SPEC này không bao gồm các quy trình thỏa thuận.

5.6  Trụ cột chất lượng AI

Trong toàn bộ vòng đời, các đặc điểm chất lượng AI dưới dạng các yêu cầu cần được xem xét. Tiêu chuẩn này giới thiệu một cách tiếp cận để bao quát một phổ đủ rộng về các khía cạnh chất lượng phần mềm liên quan đến AI và nhấn mạnh tầm quan trọng của các yêu cầu AI cụ thể. Điều này cho phép phát triển và triển khai các mô-đun AI hiệu quả, bền vững, an toàn và đáng tin cậy. Đối với điều này, ba đặc điểm chất lượng chính được thể hiện là chức năng & hiệu năng, độ bền vững và tính dễ hiểu.

a) Chức năng & hiệu năng thể hiện mức độ mà một mô-đun AI có khả năng hoàn thành nhiệm vụ dự kiến của nó trong các điều kiện đã nêu. Mục tiêu chất lượng giải quyết các vấn đề liên quan đến chính thức hóa vấn đề, phân tích nhiệm vụ, thu thập, phân tích và xử lý dữ liệu. Đánh giá hiệu năng và lựa chọn mô hình là các chủ đề xa hơn được đề cập trong trụ cột chất lượng này. Cần phải xác định rõ ràng vấn đề hoặc mục tiêu trước khi phát triển và phân tích nó theo các ràng buộc và giả định liên quan đến môi trường, nền tảng, dữ liệu và mô hình. Sau khi phân tích vấn đề, các giải pháp tiềm năng cần được chính thức hóa và đánh giá. Để tìm ra các giải pháp phù hợp, các phép đo và chỉ số hiệu năng thích hợp sẽ được lựa chọn cho nhiệm vụ và dữ liệu đã đã cho. Các yêu cầu liên quan đến dữ liệu được nêu ra để cải thiện khả năng khái quát hóa và phát triển các phương pháp giải pháp phù hợp. Ngoài ra, cũng cung cấp các yêu cầu về tính dễ hiểu của các phương pháp và biện pháp đánh giá hiệu năng.

b) Độ bền vững biểu thị khả năng của mô-đun AI đối phó với dữ liệu đầu vào sai, nhiễu, không xác định và đối nghịch. Do tính phức tạp của môi trường mô-đun AI có thể phát sinh từ tính không ổn định và tính đa chiều cao, độ bền vững là một vấn đề chất lượng AI quan trọng. Do đó, độ bền vững của mô-đun AI cần phải được định lượng đầy đủ và đáp ứng các yêu cầu được xác định trong phân tích rủi ro. Sự phụ thuộc của mô hình vào môi trường, nền tảng và dữ liệu phải được xem xét. Kết quả của sự cố hoạt động có thể hoặc là gây ra bởi phân loại sai do thay đổi phân phối hoặc là một cuộc tấn công đối nghịch cần phải được đánh giá. Sự thay đổi phân phối xảy ra khi mô-đun AI tiếp xúc với các điểm dữ liệu nằm ngoài tập dữ liệu huấn luyện hoặc kiểm tra. Khả năng xảy ra một cuộc tấn công đối kháng phải được giải quyết cụ thể, vì điều này gây ra rủi ro lớn đối với hoạt động của các mô-đun AI trong các thiết lập liên quan đến an toàn và bảo mật. Để làm được điều này, cần đánh giá kiến thức của đối thủ về mô-đun AI và phạm vi nhiễu loạn tương ứng, đồng thời phải lựa chọn các chiến lược phòng thủ một cách phù hợp và theo dõi liên tục trong quá trình phát triển và triển khai.

c) tính dễ hiểu thể hiện mức độ mà một bên liên quan có nhu cầu đã định có thể hiểu được nguyên nhân của đầu ra mô-đun AI. Các nguyên nhân bao gồm lý do cho một đầu ra cụ thể, tức là đầu vào dẫn đến nó, và toàn bộ quá trình ra quyết định. Điều này có nghĩa rằng, thành phần AI minh bạch và có thể giải thích được. Hơn nữa, sự hiểu biết định tính giữa các biến đầu vào và phản hồi được cung cấp phù hợp với mức độ chuyên môn và nhu cầu hiểu biết của các bên liên quan. Chẳng hạn, nhà phát triển mô-đun AI cần phải hiểu không chỉ dữ liệu và mô hình suy luận mà còn cả không gian mô hình và mô hình toán học. Trong khi đó, các đối tượng liên quan đến dữ liệu chỉ cần hoặc muốn hiểu biết cách dữ liệu được lưu trữ và sử dụng sau đó. Ngoài ra, các ràng buộc được xem như có thể áp đặt các nhu cầu về tính dễ hiểu khác nhau ở mỗi cấp độ. Pháp luật là một trong những ràng buộc bên ngoài có thể xảy ra. Trụ cột chất lượng này tập trung vào tính minh bạch và khả năng diễn giải của mô hình đã chọn. Các mô hình hộp trắng hoàn toàn dễ hiểu và tiết lộ quá trình ra quyết định cần được ưu tiên sử dụng. Các mô hình hộp đen hoặc hộp xám có thể không rõ ràng, tức là sự ánh xạ từ đầu vào đến đầu ra phần lớn khó có thể hiểu được đối với các bên liên quan. Nếu không có sẵn các mô hình khác, thì tính dễ hiểu cần phải tăng cường sử dụng các giải thích sau khi hoàn tất.

Các trụ cột chất lượng này được căn chỉnh tốt với các yêu cầu chất lượng AI cụ thể cần phải được đáp ứng để giải quyết các thách thức chính đặt ra với AI. Mô tả chi tiết về cả ba trụ cột và các nhiệm vụ liên quan được đưa ra trong các phần khác của DIN SPEC 92001.

Kết luận, đảm bảo chất lượng được chia thành ba phần: Vòng đời, các yếu tố ảnh hưởng và ba trụ cột chất lượng. Việc xem xét các yếu tố ảnh hưởng như môi trường, nền tảng, dữ liệu và mô hình là cần thiết. Điều này giúp nâng cao nhận thức về những vấn đề chất lượng có thể phát sinh trong các giai đoạn và quy trình vòng đời khác nhau của mô-đun AI. Toàn bộ vòng đời được dẫn dắt bởi ba trụ cột chất lượng cần được giải quyết. Tất cả các yêu cầu đảm bảo chất lượng đều được tập hợp trong các đặc tính chất lượng này. Do đó, Mô hình Meta chất lượng AI bao trùm các khía cạnh đảm bảo chất lượng AI.

...

...

...

[1] ISO/IEC 2382:2015. Information technology - Vocabulary. Tech. rep. ISO and IEC, 2015.

[2] P. Stone et al. Artificial Intelligence and Life in 2030. Tech. rep. Stanford University, 2016.

[3] ISO/IEC/IEEE 12207:2017. Systems and software engineering - Software life cycle processes. Tech, rep. ISO, IEC and IEEE, 2017.

[4] C. M. Bishop. Pattern Recognition and Machine Learning. Springer Science+Business Media, 2006.

[5] Council of European Union. Council regulation (EU) 2016/679 - General Data Protection Regulation (GDPR). Tech. rep. Council of European Union, 2018.

[6] A. Kung, O. Maridat, and G. Pellischeck. Cyber Security Framework. WP 200. Tech. rep. Automat, 2015.

[7] P. V. Wesel and A. E. Goodloe. Challenges in the Verification of Reinforcement Learning Algorithms. Tech. rep. NASA/TM-2017-219628, 2017.

[8] DIN SPEC 92001-1, Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 1: Quality Meta Model

[9] TCVN 14199:2024 Trí tuệ nhân tạo - Quy trình vòng đời và yêu cầu chất lượng - Phần 2: Độ bền vững (DIN SPEC 92001-2, Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 2: Robustness).

...

...

...

[11] ISO 8930:1987, General principles on reliability for structures - List of equivalent terms

[12] ISO 9000:2015, Quality management systems - Fundamentals and vocabulary

[13] ISO 17364:2013, Supply chain applications of RFID - Returnable transport items (RTIs) and returnable packaging items (RPIs)

[14] ISO 19103:2015, Geographic information - Conceptual schema language

[15] ISO 24534-5:2011, Intelligent transport systems - Automatic vehicle and equipment identification - Electronic Registration Identification (ERI) for vehicles - Part 5: Secure communications using symmetrical techniques

[16] ISO 26262-1:2011, Road vehicles - Functional safety - Part 1: Vocabulary

[17] ISO 28001:2007, Security management systems for the supply chain - Best practices for implementing supply chain security, assessments and plans - Requirements and guidance

[18] ISO/IEC 18023-1:2006, Information technology - SEDRIS - Part 1: Functional specification

[19] ISO/IEC 25000, System und Software-Engineering - Qualitätskriterien und Bewertung von System-und Softwareprodukten (SQuaRE) - Leitfaden für SQuaRE

...

...

...

[21] ISO/TR 12773-2:2009, Business requirements for health summary records - Part 2: Environmental scan

[22] ISO/TS 17574:2017, Electronic fee collection - Guidelines for security protection profiles

[23] ISO/TS 21089:2018, Health informatics - Trusted end-to-end information flows

[24] S. J. Russell and P. Norvig. Artificial intelligence: a modern approach. Prentice Hall series in artificial intelligence. Prentice Hall, 1995.

[25] W. Bourne, R. Gallimard and J. Tunnicliffe. Multi-Agent Systems, url: https://www.doc.ic.ac.uk/project/examples/2005/163/g0516302/environments/environments.html (visited on 11/30/2018).

MỤC LỤC

Mục lục

1  Phạm vi áp dụng

...

...

...

3  Thuật ngữ và định nghĩa

4  Ký hiệu và chữ viết tắt

5  Mô hình Meta chất lượng

5.1  Giới thiệu

5.2  Mối quan hệ giữa mô-đun AI và hệ thống phần mềm

5.3  Đánh giá rủi ro

5.4  Môi trường, nền tảng, dữ liệu, mô hình

5.5  Vòng đời

5.5.1  Khái quát

...

...

...

5.6  Trụ cột chất lượng AI

Thư mục tài liệu tham khảo