Tiêu chuẩn TCVN 14199-2:2024 về Quy trình vòng đời và yêu cầu chất lượng Trí tuệ nhân tạo - Phần 2: Độ bền vững

• Số hiệu: TCVN14199-2:2024
• Loại văn bản: Tiêu chuẩn Việt Nam
• Nơi ban hành: ***
• Người ký: ***
• Ngày ban hành: Năm 2024

TIÊU CHUẨN QUỐC GIA

TCVN 14199-2:2024

TRÍ TUỆ NHÂN TẠO - QUY TRÌNH VÒNG ĐỜI VÀ YÊU CẦU CHẤT LƯỢNG - PHẦN 2: ĐỘ BỀN VỮNG

Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 2: Robustness

Lời nói đầu

TCVN 14199-2:2024 được xây dựng trên cơ sở tham khảo tài liệu DIN SPEC 92001-2(2020).

TCVN 14199-2:2024 do Học viện Công nghệ Bưu chính Viễn thông biên soạn, Bộ Thông tin và Truyền thông đề nghị, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia thẩm định, Bộ Khoa học và Công nghệ công bố.

Bộ tiêu chuẩn TCVN 14199 gồm 02 phần:

- TCVN 14199-1:2024, Trí tuệ nhân tạo - Quy trình vòng đời và yêu cầu chất lượng - Phần 1: Mô hình Meta chất lượng;

...

...

...

TRÍ TUỆ NHÂN TẠO - QUY TRÌNH VÒNG ĐỜI VÀ YÊU CẦU CHẤT LƯỢNG - PHẦN 2: ĐỘ BỀN VỮNG

Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 2: Robustness

1  Phạm vi áp dụng

Tiêu chuẩn DIN SPEC này áp dụng cho tất cả các giai đoạn vòng đời của mô-đun AI - ý tưởng, phát triển, triển khai, vận hành và ngừng hoạt động - và giải quyết nhiều quy trình vòng đời khác nhau. Do trong thực tế, các công nghệ AI được sử dụng cho nhiều nhiệm vụ khác nhau, nên tiêu chuẩn DIN SPEC này không chỉ hướng đến một lĩnh vực cụ thể mà còn áp dụng cho các công ty và sản phẩm AI trên tất cả các lĩnh vực.

Tiêu chuẩn DIN SPEC này áp dụng cho tất cả các loại mô-đun AI bao gồm cả ML và các hệ thống chuyên gia.

Tiêu chuẩn này không định nghĩa hoặc liệt kê các thuật toán, phương pháp hoặc công nghệ là một phần của AI. Do đó, người dùng tiêu chuẩn DIN SPEC được yêu cầu tự đánh giá xem mô hình Meta chất lượng AI đã định và các yêu cầu chất lượng AI liên quan có được áp dụng hay không.

Tiêu chuẩn DIN SPEC đề xuất tách biệt giữa các mô-đun AI có mức rủi ro cao và thấp liên quan đến an toàn, bảo mật, quyền riêng tư và đạo đức. Nó cũng cung cấp các khía cạnh liên quan trong bối cảnh đánh giá rủi ro. Tiêu chuẩn này không thiết lập một quy trình đánh giá rủi ro chính xác, cũng như không thiết lập khuôn khổ thiết kế đạo đức. Tuy nhiên, nó bị ràng buộc bởi khung pháp lý hiện hành và quy tắc ứng xử đạo đức của mỗi tổ chức. Sự tuân thủ các quy định được cho là đúng. Ngoài ra, các bên liên quan của tiêu chuẩn này được yêu cầu thành lập một nhóm chuyên gia để đánh giá hồ sơ rủi ro mô-đun AI của họ.

CHÚ THÍCH:

...

...

...

- Các cân nhắc về vòng đời phần mềm trong tiêu chuẩn này tương thích với ISO/IEC/IEEE 12207:2017, Kỹ thuật hệ thống và phần mềm - Các quy trình vòng đời phần mềm [1].

- Các yêu cầu chất lượng được liệt kê trong tiêu chuẩn DIN SPEC 92001-2 không cụ thể theo lĩnh vực. Các yêu cầu đã đưa ra trong tiêu chuẩn này sẽ được mở rộng cho các lĩnh vực ứng dụng AI cụ thể trong bước tiêu chuẩn hóa tiếp theo.

2  Tài liệu viện dẫn

Không có tài liệu tham khảo viện dẫn trong tiêu chuẩn này.

3  Thuật ngữ và định nghĩa

Tiêu chuẩn này sử dụng các thuật ngữ và định nghĩa sau:

ISO, IEC và IEEE duy trì cơ sở dữ liệu thuật ngữ để sử dụng trong tiêu chuẩn tại các địa chỉ sau:

- IEC Electropedia: có tại http://www.electropedia.org/.

- Nền tảng trình duyệt trực tuyến ISO: có tại http://www.iso.org/obp.

...

...

...

Thuật ngữ chung (General Terminology)

Tiêu chuẩn này dựa trên các thuật ngữ và định nghĩa của [1].

3.1.1

Trí tuệ nhân tạo (AI) (artificial intelligence - AI)

Lĩnh vực liên ngành, thường được coi là một nhánh của khoa học máy tính, liên quan đến trí thông minh của con người, chẳng hạn như lý luận và kiến thức [1].

3.1.2

Mô-đun trí tuệ nhân tạo (AI) (artificial intelligence (AI) module)

Mô-đun phần mềm bao gồm các thuật toán AI.

3.2

...

...

...

3.2.1

Tấn công đối thủ (adversarial attack)

Một thuật toán được phát triển bởi kẻ tấn công, theo đó trả về các nhiễu loạn đối thủ hoặc các mẫu đối thủ.

3.2.2

Khả năng đối thủ (adversarial capabilities)

Các hành động, thông tin, kỹ thuật hoặc các hướng tấn công khác nhau mà kẻ tấn công có thể dùng được để tấn công về mặt đe dọa [3].

3.2.3

Mẫu đối thủ (adversarial example)

Đầu vào một mô-đun AI mà kẻ tấn công đã cố tình thiết kế khiến mô hình đưa ra kết quả sai [4].

...

...

...

Khả năng chuyển giao mẫu đối thủ (adversarial example transferability)

Thuộc tính mà các mẫu đối thủ tạo ra để gây ra lỗi hiệu năng trong một mô hình tương tự như gây ra lỗi hiệu năng trong một mô hình khác [3].

3.2.5

Nhiễu loạn đối thủ (adversarial perturbation)

Nhiễu loạn được tạo ra cẩn thận ở đó được thiết kế để gây ra lỗi hiệu năng khi được thêm vào hoặc kết hợp với một hoặc nhiều điểm dữ liệu đầu vào của mô hình AI.

3.2.6

Độ bền vững đối thủ (adversarial robustness)

Khả năng của một mô-đun AI đối phó với các mẫu đối thủ (hoặc nhiễu loạn đối thủ).

3.2.7

...

...

...

Một cá nhân ác ý, người có ý định tấn công mô-đun AI hoặc trong khi học bằng cách can thiệp vào dữ liệu huấn luyện, hoặc trong quá trình suy luận bằng cách thao túng các đầu vào trên mô hình đang đưa ra dự đoán [5].

3.2.8

Kiến thức đối thủ (adversary’s knowledge)

Kiến thức đối thủ về mô-đun AI, ví dụ: bao gồm dữ liệu huấn luyện, kiến trúc mô hình, siêu tham số, số lượng lớp, hàm kích hoạt, trọng số mô hình [6].

3.2.9

Phát hiện tấn công (attack detection)

Hành động phân biệt giữa hành vi bất thường và bình thường, hoặc giữa một mẫu đối thủ và một mẫu lành tính [3].

3.2.10

Vi phạm tính khả dụng (availability violation)

...

...

...

3.2.11

Mô hình hộp đen (blackbox model)

Đối thủ có kiến thức hạn chế hoặc không có kiến thức gì về mô hình bị tấn công và có thể không được phép thăm dò hoặc truy vấn mô hình trong quá trình tạo ra các mẫu đối thủ [3].

3.2.12

Chiến lược phòng thủ (defence strategy)

Một tập hợp các kỹ thuật giảm thiểu hoặc biện pháp đối phó để bảo vệ mô-đun AI chống lại các tấn công đối thủ.

3.2.13

Phạm vi nhiễu loạn cá nhân (individual perturbation scope)

Thuộc tính nhiễu loạn đối thủ, cụ thể là nhiễu loạn này được liên kết với một điểm đầu vào cụ thể và cố gắng đánh lừa mô-đun AI trên điểm đầu vào đã chọn này.

...

...

...

Vi phạm tính toàn vẹn (integrity violation)

Hành động gây ra một đầu ra hoặc hành vi cụ thể theo lựa chọn của đối thủ [3].

3.2.15

Tấn công không chủ đích (non-targeted attack)

Một cuộc tấn công gây ra bất kỳ sự phân loại sai nào, thay vì ép mô hình phân loại vào một lớp cụ thể (không chính xác) [3].

3.2.16

Vi phạm quyền riêng tư (privacy violation)

Hành vi tiết lộ thông tin cá nhân về sự riêng tư có trong dữ liệu huấn luyện [3].

3.2.17

...

...

...

Đối thủ cố gắng tạo ra các đầu vào buộc đầu ra của mô hình phân loại phải thuộc về một lớp mục tiêu cụ thể [7].

3.2.18

Phạm vi nhiễu loạn tổng thể (universal perturbation scope)

Thuộc tính nhiễu loạn đối thủ, cụ thể là nhiễu loạn không thể biết trước hình ảnh và cố gắng đánh lừa mô-đun AI trên phần lớn các đầu vào [7].

3.2.19

Mô hình hộp trắng (whitebox model)

Đối thủ có kiến thức đầy đủ về mô hình bao gồm loại mô hình, kiến trúc mô hình và giá trị của tất cả các tham số cũng như trọng số có thể huấn luyện [8].

3.3

Thuật ngữ - Độ bền vững thoái hóa (Terminology - Corruption Robustness)

...

...

...

Độ bền vững thoái hóa - Thuật ngữ chung (Corruption Robustness - General terminology)

3.3.1.1

Bất thường (anomaly)

Một mẫu trong dữ liệu không phù hợp với hành vi mong muốn [9].

3.3.1.2

Phát hiện bất thường (anomaly detection)

Các chiến lược và phương pháp phát hiện sự bất thường và điểm ngoại lai [9].

3.3.1.3

Phát hiện thay đổi (change detection)

...

...

...

3.3.1.4

Sai lệch dữ liệu (data corruption)

Quá trình mà dữ liệu bị thay đổi từ định dạng ban đầu sang một định dạng được coi là tạp nhiễu, lỗi hoặc khiếm khuyết [10].

3.3.1.5

Tập lỗi (error set)

Tập hợp các điểm trong không gian đầu vào mà tại đó phân loại đưa ra dự đoán sai [13].

3.3.1.6

Môi trường tạp nhiễu (noisy environment)

Môi trường của mô-đun AI nơi các biến được quan sát có một lỗi [14].

...

...

...

Môi trường không cố định (non-stationary environment)

Môi trường của một mô-đun AI nơi phân phối dữ liệu cơ bản thay đổi theo thời gian [14].

3.3.1.8

Các điểm ngoại lai (outliers)

Một điểm dữ liệu khác biệt đáng kể so với các quan sát khác [15].

3.3.1.9

Tính nhất quán dự đoán (prediction consistency)

Một thuộc tính đảm bảo rằng, khi kích thước mẫu tăng lên, phân phối lấy mẫu của dự đoán trở nên ngày càng tập trung vào giá trị thực [10].

3.3.1.10

...

...

...

Một mô-đun AI được cho là có độ tin cậy dự đoán cao nếu nó đưa ra kết quả tương tự trong các điều kiện nhất quán [10].

3.3.1.11

Độ bền vững không gian (spatial robustness)

Độ bền vững của mô-đun AI đối với các phép biến đổi hình học, đặc biệt là phép tịnh tiến và xoay [16].

3.3.1.12

Ẩn số chưa biết (unknown unknowns)

Các điểm dữ liệu không xuất hiện trong tập dữ liệu huấn luyện hoặc kiểm thử của mô-đun AI (ở đó mô- đun AI không thể xử lý chính xác) [17].

3.3.2

Thay đổi phân phối/Thay đổi tập dữ liệu (Distributional Shift/ Dataset Shift)

...

...

...

Thay đổi phân phối/Thay đổi tập dữ liệu (distributional shift/dataset shift)

Phân phối chung của đầu vào và đầu ra khác nhau giữa giai đoạn huấn luyện hoặc kiểm thử và giai đoạn triển khai [11].

3.3.2.2

Thay đổi khái niệm (concept shift)

Sự thay đổi khái niệm xảy ra khi mối quan hệ giữa đầu vào và đầu ra thay đổi [12].

3.3.2.3

Thay đổi đồng biến (covariate shift)

Sự thay đổi phân phối của các biến đầu vào giữa giai đoạn huấn luyện hoặc kiểm thử và triển khai [12].

3.3.2.4

...

...

...

Sự thay đổi phân phối của biến đầu ra giữa giai đoạn huấn luyện hoặc kiểm thử và triển khai [12].

3.3.3

Thiên lệch lựa chọn mẫu (Sample Selection Bias)

3.3.3.1

Thiên lệch lựa chọn mẫu (sample selection bias)

Sự khác biệt giữa các phân phối của dữ liệu huấn luyện hoặc kiểm thử và phân phối trong giai đoạn triển khai do một quá trình loại bỏ mẫu không rõ ràng [11].

3.3.3.2

Khiếm khuyết ngẫu nhiên (missing at random)

Khiếm khuyết ngẫu nhiên xảy ra khi phương pháp lấy mẫu phụ thuộc vào các đặc trưng đầu vào với điều kiện đã cho, ở đó các đặc trưng đầu vào độc lập với đầu ra. Loại thiên vị này có tiềm năng tạo ra sự thay đổi đồng biến [12].

...

...

...

Khiếm khuyết ngẫu nhiên theo lớp (missing at random-class)

Khiếm khuyết ngẫu nhiên theo lớp xảy ra khi phương pháp lấy mẫu phụ thuộc vào đầu ra với điều kiện đã cho, ở đó đầu ra độc lập với các đặc trưng đầu vào. Loại thiên lệch này có tiềm năng tạo ra sự thay đổi xác suất tiên nghiệm [12].

3.3.3.4

Khiếm khuyết hoàn toàn ngẫu nhiên (missing completely at random)

Khiếm khuyết hoàn toàn ngẫu nhiên xảy ra khi phương pháp lấy mẫu hoàn toàn độc lập với các đặc trưng đầu vào và đầu ra [12].

3.3.3.5

Khiếm khuyết không ngẫu nhiên (missing not at random)

Khiếm khuyết không ngẫu nhiên xảy ra khi không có giả định độc lập giữa phương pháp lấy mẫu, các đặc trưng đầu vào và đầu ra. Loại thiên lệch này có thể dẫn đến một hoặc nhiều sự thay đổi đồng biến, sự thay đổi xác suất tiên nghiệm và sự thay đổi khái niệm [12].

Thiếu không ngẫu nhiên xảy ra khi không có giả định độc lập giữa phương pháp lấy mẫu, các đặc trưng đầu vào và đầu ra. Loại thiên lệch này có thể gây ra một hoặc nhiều sự thay đổi hiệp biến, sự thay đổi xác suất tiên nghiệm và sự thay đổi khái niệm [12].

...

...

...

missing not at random occurs when there is no independence assumption between the sampling method, the input features, and the output. This kind of bias can introduce one or more covariate shifts, prior probability shifts and concept shifts [12]

4  Mô hình Meta chất lượng AI

Mô hình Meta chất lượng AI được giới thiệu trong DIN SPEC 92001-1, Hình 1. Bao gồm các khía cạnh quan trọng nhất cần được tính đến để tạo thuận lợi cho việc thiết kế các mô-đun AI chất lượng cao. Vòng đời của một mô-đun AI, được minh họa bằng vòng tròn ở giữa Hình 1, bao gồm các giai đoạn vòng đời "ý tưởng", "phát triển", "triển khai", "vận hành" và "ngừng hoạt động" Mô hình Meta chất lượng này thừa nhận ba nhóm quy trình vòng đời chính cần được xem xét trong các giai đoạn vòng đời. Đó là quy trình tổ chức hỗ trợ đề án, quản lý kỹ thuật, và quy trình kỹ thuật. Các yêu cầu chất lượng đối với các mô-đun AI, đặc biệt hơn so với phần mềm cổ điển, cần phải được liên kết với vòng đời. Điều này trở nên đặc biệt rõ ràng khi xem xét các ứng dụng học máy (ML), phát triển thông qua thu thập thông tin khi được triển khai trong thế giới thực, được gọi là học trực tuyến. Do đó, liên quan đến các yêu cầu nhất định, ví dụ, ngăn chặn thiên lệch có hại, được yêu cầu để tạo nguyên mẫu cũng như trong quá trình triển khai và vận hành vòng đời của mô-đun AI.

Hình 1 - Mô hình Meta chất lượng AI

Các đặc điểm chất lượng chính, hay còn được gọi là trụ cột chất lượng, cần được tính đến trong toàn bộ vòng đời của mô-đun AI bao gồm chức năng & hiệu năng, độ bền vững và tính dễ hiểu. Chúng được thể hiện ở phần bên trái của Hình 1. Những trụ cột chất lượng này kéo theo những thách thức cấp bách nhất về chất lượng dành riêng cho AI. Chúng chỉ ra các vấn đề triển khai trọng tâm của các mô-đun AI so với phần mềm truyền thống, chẳng hạn như việc xây dựng tập huấn luyện và độ bền vững tương ứng với các mẫu đối thủ.

Trong tiêu chuẩn DIN SPEC này, mỗi mô-đun AI được xem như hoặc là rủi ro cao hoặc là rủi ro thấp. Các mô-đun AI có liên quan đến an toàn, bảo mật, quyền riêng tư và đạo đức được phân loại như là các mô-đun có rủi ro cao (có tiềm năng). Các mô-đun AI không có sự liên quan như vậy được xem như rủi ro thấp. Đối với các mô-đun AI rủi ro cao, tiêu chuẩn này yêu cầu xem xét tất cả các yêu cầu chất lượng đã nêu. Những sai lệch tiềm tàng của các mô-đun AI có rủi ro cao so với các yêu cầu chất lượng đã liệt kê cần có sự biện minh hợp lý. Yêu cầu này được nới lỏng đối với các mô-đun AI có rủi ro thấp. Phân loại rủi ro này được thể hiện trong Bảng 1.

Bảng 1 - Phân loại các yêu cầu liên quan đến các mô-đun AI rủi ro cao hoặc thấp theo bắt buộc, khuyến nghị cao và khuyến nghị

Lớp Mô-đun AI

...

...

...

Rủi ro cao

Rủi ro thấp

Bắt buộc

Không được lệch so với yêu cầu cho phép

Không được lệch so với yêu cầu cho phép

Khuyến nghị mức cao

Chỉ được phép lệch so với yêu cầu khi có lý do chính đáng

...

...

...

Khuyến nghị

Chỉ được phép lệch so với yêu cầu khi có lý do chính đáng

Chỉ được phép lệch so với yêu cầu khi có lý do chính đáng

Trong Hình 1, việc đánh giá rủi ro cơ bản này được minh họa dưới dạng một hình chữ nhật đặt phía sau ba trụ cột chất lượng. Bước đầu tiên trong giai đoạn ý tưởng của mô-đun AI là đánh giá xem mô-đun AI được hỏi có tiềm tàng rủi ro cao hay thấp liên quan đến các khía cạnh an toàn, bảo mật, quyền riêng tư và đạo đức hay không. Điều này không được đề cập trong tiêu chuẩn DIN SPEC này. Một nhóm các chuyên gia trong một tổ chức chịu trách nhiệm về mô-đun AI sẽ được triệu tập để thực hiện nhiệm vụ này. Việc đánh giá rủi ro có ảnh hưởng đến tính nghiêm ngặt cần được áp dụng khi triển khai và đánh giá các thuộc tính và chất lượng của mô-đun AI.

5  Độ bền vững

5.1  Giới thiệu độ bền vững AI

Sau đây, độ bền vững biểu thị khả năng của mô-đun AI đối phó với dữ liệu đầu vào bị sai sót, tạp nhiễu, không xác định hoặc được tạo ra bởi đối thủ. Do thực tế, mô-đun AI được đặt trong một môi trường tiềm tàng độ phức tạp cao (môi trường có thể không cố định về bản chất, nhưng cũng có thể có tính đa chiều về quá trình sinh dữ liệu), độ bền vững là một vấn đề chất lượng AI quan trọng. Do đó, độ bền vững được giới thiệu và xem xét trong tiêu chuẩn này như một trụ cột cơ bản của chất lượng AI.

Trong tiêu chuẩn này, có sự phân biệt giữa độ bền vững đối thủ (AR), tức là độ bền vững đối với các nhiễu loạn của đối thủ và độ bền vững thoái hóa (CR), tức là độ bền vững đối với các tín hiệu tạp nhiễu hoặc những thay đổi trong phân phối dữ liệu cơ bản. Hai mục tiêu độ bền vững cụ thể này làm rõ định nghĩa khá tổng quát về độ bền vững theo hai chủ đề thiết yếu và bộ tiêu chí về chất lượng AI.

AR yêu cầu các biện pháp bảo vệ mô-đun AI khỏi cái gọi là đối thủ, những người đang cố gắng đánh lừa mô-đun AI bằng cách sử dụng đầu vào độc hại được lựa chọn cần thận. Những năm nghiên cứu và phát triển AI gần đây nhất đã chỉ ra rằng các mô-đun AI hiện đại nhất rất dễ bị tổn thương trước các mẫu đối thủ. Điều này đặt ra rủi ro nghiêm trọng khi các giải pháp AI được áp dụng trong các tình huống quan trọng về an toàn và bảo mật.

...

...

...

Lưu ý rằng có một số biện pháp cải thiện cả AR và CR. Điều này là do thực tế cả AR và CR đều đảm bảo hiệu năng của mô-đun AI khi nó phải đối mặt với các điểm dữ liệu được coi là rất khó xảy ra hoặc thậm chí là các điểm dữ liệu bên ngoài phân phối đã nhìn thấy trong quá trình huấn luyện. Một mẫu đối thủ thậm chí có thể được hiểu là một loại thay đổi phân phối đặc biệt, được thiết kế để làm suy giảm hiệu năng khiến của mô-đun AI.

Tuy nhiên, vẫn có sự khác biệt giữa AR và CR. Có nhiều lý do khác nhau cho điều này. Đáng chú ý nhất, vì một đối thủ chủ động được giả định trong thiết lập AR, cho nên cần phải tính đến một "cuộc chạy đua vũ trang" liên tục giữa tấn công và phòng thủ, trong khi CR thường được xem như một vấn đề phát sinh từ các nguyên nhân tự nhiên như hư hỏng phần cứng hoặc đầu vào bị xâm phạm. Do đó, AR và CR tương ứng được xem như vấn đề bảo mật và an toàn.

Mặc dù CR tương ứng và bị giới hạn trong các tình huống không có thiết kế chủ ý đằng sau các môi trường quan trọng dẫn đến suy giảm hiệu năng của mô-đun AI (do đó CR được gọi là "không tối ưu hóa”), AR về cơ bản là một lĩnh vực nghiên cứu chủ yếu dựa vào tối ưu hóa. Tuy nhiên, cả CR và AR đều có thể phải tính đến, và được kiểm tra trong ba môi trường thử nghiệm khác nhau, tức là lĩnh vực kỹ thuật số, mô phỏng và vật lý.

Phần còn lại của tiêu chuẩn này được tổ chức như sau. Ở mức cao nhất, các điều 5.3 và 5.4 bao hàm những đóng góp chính của tiêu chuẩn này, tức là các yêu cầu liên quan đến AR và các yêu cầu liên quan đến CR. Mỗi điều được chia thành bốn khoản con được gọi là phân tích mô hình mối đe dọa, phân tích khả năng xảy ra và tác động, đánh giá độ bền vững và các biện pháp giảm thiểu. Mặc dù phân tích mô hình mối đe dọa hỗ trợ nâng cao hiểu biết hoặc nâng cao nhận thức về các lỗ hổng tiềm tàng của một mô-đun AI, nhưng phân tích khả năng xảy ra và tác động sẽ định lượng khả năng xảy ra sai sót hiệu năng và thiệt hại hoặc chi phí liên quan. Việc đánh giá độ bền vững tiếp theo quy định một kế hoạch thử nghiệm có thể được tính đến khi đưa ra các biện pháp giảm thiểu cuối cùng.

Yêu cầu truyền đạt các chi tiết quan trọng liên quan đến trụ cột chất lượng độ bền vững. Tiêu chuẩn này không hình thành một chuỗi hành động kiểm soát khi nào và cách thức thực hiện các hành động, mà xa hơn bao gồm một tập hợp các yêu cầu chất lượng quan trọng về độ bền vững dành riêng cho AI. Tất cả các biện pháp kiểm soát chất lượng AI phải được nhúng vào các quy trình phù hợp để quản lý rủi ro cho một tổ chức đang phát triển hoặc sử dụng AI. Một tính toán đầy đủ về quản lý rủi ro nằm ngoài phạm vi của tiêu chuẩn này, nhưng mối liên kết chặt chẽ với các hoạt động quản lý rủi ro được công nhận và mô tả trong các yêu cầu và hướng dẫn về quản lý rủi ro tại điều 5.2. Khoản 5.2.2 đặt nền tảng phương pháp luận cho quản lý rủi ro tập trung vào AI bằng cách tập trung vào các nhu cầu an toàn và bảo mật cụ thể của một tổ chức và đưa ra định nghĩa tương ứng về sự cố của mô-đun AI, trong khi khoản 5.2.3 tóm tắt các mục đích và mục tiêu bao trùm cho cả AR và CR. Do đó, các tổ chức nên cân nhắc sử dụng một tiêu chuẩn quản lý rủi ro liên quan đến tiêu chuẩn này. ISO 31000 [18] là một tiêu chuẩn thường được chấp nhận chung.

5.2  Yêu cầu và hướng dẫn về quản lý rủi ro

5.2.1  Tổng quan

Hình 2 cung cấp hình ảnh trực quan về mối quan hệ hai chiều của độ bền vững (AR và CR), các môi trường đánh giá khác nhau, tức là môi trường kỹ thuật số, mô phỏng và vật lý, đã được trình bày trong phần trước và các giai đoạn của quá trình quản lý rủi ro.

...

...

...

Phía bên trái của Hình 2 nhấn mạnh rằng quy trình quản lý rủi ro AI được đề xuất khác nhau giữa AR và CR, tức là giữa bối cảnh ứng dụng mô-đun AI, nơi yêu cầu độ bền vững đối với nhiễu loạn đối thủ, và quan tâm tới bối cảnh nơi nhiễu loạn do nguyên nhân tự nhiên gây ra. Do đó, các yêu cầu chất lượng AI cụ thể của tiêu chuẩn này cũng sẽ phản ánh và tương ứng với hai khía cạnh độ bền vững này. Ngoài sự khác biệt giữa AR và CR, các yêu cầu chất lượng sau đây sẽ được cấu trúc theo các giai đoạn được mô tả của quy trình quản lý rủi ro, tức là Phạm vi, Bối cảnh, Tiêu chí, Đánh giá rủi ro và Xử lý rủi ro. Thiết kế quy trình quản lý rủi ro này chủ yếu dựa trên quy trình quản lý rủi ro nổi tiếng theo tiêu chuẩn ISO 31000.

Giai đoạn Phạm vi, Bối cảnh và Tiêu chí hàm chứa các yêu cầu chất lượng giúp tùy chỉnh quy trình quản lý rủi ro tổng thể hơn, phù hợp với tình hình cụ thể của tổ chức, ở giai đoạn này, điều quan trọng là xác định tất cả các bên liên quan có liên quan và đặt ra các mục tiêu chung bên ngoài liên quan đến AR và CR. Sau khi thiết lập những nền tảng tổ chức này, có thể tiến hành đánh giá rủi ro AR và CR. Giai đoạn này bao gồm ba giai đoạn phụ, gọi là Xác định rủi ro, Phân tích rủi ro và Đánh giá rủi ro. Do đó, các tổ chức phải tìm, nhận diện và mô tả các rủi ro về độ bền vững có thể gây nguy hiểm cho các mục tiêu độ bền vững chung đã được xác định trong Phạm vi, Bối cảnh và Tiêu chí. Trong trường hợp AR, tổ chức phải xác định các đối thủ tiềm tàng cũng như các mục tiêu và ràng buộc liên quan của chúng ở giai đoạn này. Sau khi xác định rủi ro, các tổ chức sẽ xác định khả năng xảy ra và phân tích tác động tiêu cực tiềm tàng của rủi ro đã xác định, ở đây, điều cốt yếu là quyết định các phương pháp thích hợp cho việc định lượng các kịch bản rủi ro khác nhau là rất quan trọng, và việc xác định phạm vi chấp nhận được đối với các biện pháp này cũng cần được thực hiện. Điều này tạo điều kiện thuận lợi để đánh giá rủi ro của mô hình AI có liên quan đối với các rủi ro đã được xác định trong giai đoạn xác định rủi ro. Tùy thuộc vào kết quả đánh giá rủi ro, các biện pháp sau đó phải được thực hiện để cải thiện AR và/hoặc CR trong giai đoạn xử lý rủi ro.

Tất cả các giai đoạn của quy trình quản lý rủi ro đều được liên kết chặt chẽ với các môi trường có khả năng áp dụng mô hình AI. Điều này được biểu thị ở phía bên bên phải của Hình 2. Ở đây, thuật ngữ Môi trường kỹ thuật số đề cập đến môi trường được tạo thành từ dữ liệu đầu vào kỹ thuật số cho mô-đun AI. Do đó, nhiễu loạn trong môi trường kỹ thuật số bao gồm nhiễu loạn của dữ liệu đầu vào kỹ thuật số sạch. Các nhiễu loạn có thể mang đặc tính đối thủ hoặc có nguyên nhân "tự nhiên" (hoặc thậm chí bắt nguồn từ các mô hình của chúng). Chúng rõ ràng không bị giới hạn ở các nhiễu loạn nhỏ được tạo ra thủ công. Chẳng hạn, các mô hình sương mù kỹ thuật số được áp dụng ngẫu nhiên cho các hình ảnh đầu vào kỹ thuật số cũng được bao gồm trong định nghĩa này. Mặc dù những thay đổi này, từ góc độ toán học, có thể có kích thước đáng kể xét theo tiêu chuẩn Lp (không giống như các nhiễu loạn đối thủ), nhưng chúng không dễ thấy đối với người quan sát vì chúng tương ứng với các sự kiện xảy ra một cách tự nhiên.

Ngược lại, môi trường mô phỏng bao gồm một quy trình sinh dữ liệu được thiết kế để đưa ra dữ liệu đầu vào tổng hợp cho mô-đun AI. Đối với môi trường mô phỏng, quá trình sinh dữ liệu hoặc các tham số của nó có thể bị căng thẳng. Nghĩa là, việc mô phỏng dữ liệu đầu vào (ví dụ: một cảnh đường phố dành cho lái xe tự động) bị nhiễu loạn. Chẳng hạn, các tư thế cụ thể hoặc đối tượng đối thủ "giả" có thể được đưa vào trong mô phỏng.

Cuối cùng, môi trường vật lý là thế giới thực (tức là trước khi dữ liệu được chuyển đổi thành định dạng đầu vào kỹ thuật số thông qua cảm biến). Nhiễu loạn trong môi trường vật lý rõ ràng không được áp dụng cho đầu vào kỹ thuật số. Nhãn dán trên biển báo đường phố là một ví dụ phổ biến cho sự nhiễu loạn xảy ra trong miền vật lý.

Một số yêu cầu về chất lượng AI sau đây phải được giải quyết khác nhau đối với môi trường kỹ thuật số, mô phỏng hoặc vật lý. Ví dụ: các cuộc tấn công đối thủ tiêu chuẩn nổi tiếng để đánh giá độ bền vững của mô hình AI, chẳng hạn như Phương pháp biển báo độ dốc nhanh [19] hoặc giảm dần độ dốc dự kiến [20], đã được giới thiệu để Đánh giá rủi ro của các mô hình AI trong môi trường kỹ thuật số. Do đó, các biện pháp khác (hoặc các bài kiểm tra căng thẳng) hoặc sự thích ứng của các biện pháp truyền thống phải được xác định trong quá trình Phân tích rủi ro nếu tồn tại những lo ngại về môi trường vật lý của mô hình AI. Tuy nhiên, lưu ý rằng không phải cả ba môi trường đều liên quan đến mọi bối cảnh ứng dụng AI và mô-đun AI. Ví dụ, hãy xem xét một hệ thống đề xuất phim dựa trên AI. Một hệ thống như vậy hoạt động trong môi trường kỹ thuật số hoàn toàn và do đó không thể được kiểm tra trong môi trường vật lý.

Khi nói đến việc đánh giá và cải thiện độ bền vững của một mô-đun AI, cũng có thể hữu ích khi xem xét cái gọi là kịch bản nhằm hướng dẫn người thử nghiệm trong suốt quá trình thử nghiệm và độc lập với môi trường triển khai và thử nghiệm của mô-đun AI. Một kịch bản đề cập đến các trường hợp đặc thù hoặc chi tiết xảy ra trong một thiết đặt hoặc môi trường nhất định (ví dụ: các điều kiện khí tượng cụ thể như mưa đá và băng giá). Ngoài ra, một kịch bản có thể được đặc trưng bởi một sự kiện hoặc chuỗi sự kiện cụ thể (ví dụ: một người đi bộ băng qua đường và dừng lại giữa chừng). Do đó, các kịch bản cấu thành các tập hợp con của tập dữ liệu gốc ở đó có thể đóng vai trò quan trọng trong quy trình quản lý rủi ro (ví dụ: trong lái xe tự động, các chi tiết và đặc trưng của đô thị đặt ra những thách thức lớn hơn nhiều về mặt an toàn và an ninh so với các con đường ở các vùng nông thôn dân cư thưa thớt).

Lưu ý rằng một kịch bản cần được lập mô hình/biểu diễn khác nhau trong mỗi môi trường thử nghiệm (một lần nữa, có thể là kỹ thuật số, mô phỏng hoặc có bản chất vật lý). Chẳng hạn, một kịch bản tương ứng với biển báo dừng bị xoay có thể được đổi thành môi trường kỹ thuật số bằng cách đơn giản là xoay các hình ảnh lành tính. Kịch bản tương tự có thể được mô hình hóa trong mô phỏng bằng cách thay đổi các tham số trong quá trình kết xuất sao cho các biển báo dừng được bị xoay theo mặc định. Trong môi trường vật lý, biển báo dừng sẽ trải qua các xoay chuyển vật lý thực tế, cuối cùng thu được dữ liệu ảnh.

Hơn nữa, cần phải nhấn mạnh rằng quản lý rủi ro độ bền vững AI không thể được xem như một quy trình cứng nhắc chỉ được thực hiện một lần cho mỗi mô hình AI. Thay vào đó, cần phải liên tục làm việc qua các giai đoạn khác nhau của quy trình quản lý rủi ro. Các mô hình mối đe dọa đã được phát hiện và rủi ro về độ bền vững có thể thay đổi thường xuyên do những thay đổi trong môi trường hoặc sự xuất hiện của các đối thủ mạnh hơn. Công việc liên tục cần thiết này thông qua quy trình quản lý rủi ro được hình ảnh hóa bằng vòng tròn màu xanh bên dưới trong Hình 2.

...

...

...

Để tạo thuận lợi cho công việc với các yêu cầu chất lượng AI, tất cả các yêu cầu về độ bền vững được giới thiệu trong Tiêu chuẩn DIN này đều được cung cấp một cách có hệ thống với mã định danh văn bản có dạng Rxx_yyy.n. “R” đại diện cho độ bền vững, “xx” chỉ loại tổng quát, “yyy” chỉ loại phụ và “n” là số thứ tự trong loại phụ. Trong tiêu chuẩn này, ba loại được sử dụng: "GE" cho độ bền vững chung, "AR" cho độ bền vững đối thủ và "CR" cho độ bền vững thoái hóa. Ví dụ: “RAR_TMA.1” xác định yêu cầu đầu tiên liên quan đến "Phân tích mô hình mối đe dọa" (TMA) theo loại “AR”.

5.2.2  Phạm vi, bối cảnh và tiêu chí

5.2.2.1  RGE_SCC.1

Thiết lập mối liên kết giữa các hoạt động quản lý của một tổ chức và quản lý rủi ro có liên quan đến AI. Khi quản lý rủi ro AI, các tổ chức cần phân tích phạm vi của các hoạt động quản lý cũng như bối cảnh bên trong và bên ngoài của chúng. Liên quan đến độ bền vững, các tổ chức cần đưa ra các tiêu chí chung để đáp ứng kỳ vọng của các bên liên quan. Tiêu chuẩn ISO 31000 [18] cung cấp hướng dẫn toàn diện về những vấn đề này.

CHÚ THÍCH: Các mục tiêu được mô tả trong 5.2.3.1 và 5.2.3.2 hỗ trợ quá trình xác định rủi ro và phân tích rủi ro được mô tả trong tiêu chuẩn ISO 31000 [8]. Đánh giá rủi ro được hỗ trợ bởi các yêu cầu quy định trong 5.2.3.3. Quá trình xử lý rủi ro được hỗ trợ bởi 5.2.3.4.

CHÚ THÍCH 2  Tiêu chuẩn ISO 31000 [18] định nghĩa “rủi ro” là “tác động của sự không chắc chắn đến các mục tiêu” và thừa nhận rằng những tác động như vậy có thể là tiêu cực cũng như tích cực. Tiêu chuẩn này, xử lý đặc biệt với các sự kiện và tình huống gây nguy hại cho độ bền vững của hệ thống AI, tự giới hạn trong tác động có kết quả tiêu cực. Do đó, xử lý rủi ro được giới hạn trong việc xác định và thực hiện các biện pháp kiểm soát và đối phó giảm thiểu.

Loại yêu cầu

Rất được khuyến khích

(các) Yếu tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển, triển khai, vận hành, ngừng hoạt động

(các) Quy trình vòng đời

Quy trình quản lý nguồn nhân lực, Quy trình quản lý chất lượng, Quy trình quản lý nhận thức, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đảm bảo chất lượng, Quy trình xác định nhu cầu và yêu cầu của các bên liên quan, Quy trình xác định yêu cầu hệ thống/phần mềm

5.2.2.2  RGE_SCC.2

Dựa trên các mục tiêu của tổ chức và yêu cầu về an toàn và bảo mật, cần phải xem xét quyết định và tài liệu hóa những nhiệm vụ được AI hỗ trợ trong quản lý rủi ro liên quan đến độ bền vững.

Đối với các nhiệm vụ mà AI hỗ trợ được coi là có liên quan, cần cung cấp một giải thích chi tiết về môi trường, nền tảng, dữ liệu và các mô hình. Điều này bao gồm mô tả rõ ràng về nhiệm vụ học máy mà mô- đun AI đã được huấn luyện đối với các tác động tiềm tàng về an toàn và bảo mật. Mô tả kiến trúc, bao gồm các tiện ích bổ sung cho mô-đun, cũng như các khả năng và hiệu năng thử nghiệm của nó.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, dữ liệu, nền tảng, môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển, triển khai, vận hành, ngừng hoạt động

(các) Quy trình vòng đời

Quy trình quản lý nguồn nhân lực, Quy trình quản lý chất lượng, Quy trình quản lý nhận thức, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đảm bảo chất lượng, Quy trình xác định nhu cầu và yêu cầu của các bên liên quan, Quy trình xác định yêu cầu hệ thống/phần mềm

5.2.2.3  RGE_SCC.3

Xác định hư hỏng mô-đun AI. Trong bất kỳ trường hợp nào, đưa ra ra một định nghĩa cụ thể, định lượng và khả thi về "hư hỏng mô-đun AI". Điều này tương ứng với việc thiết lập một danh mục các các chỉ số và biện pháp, cũng như chỉ định các giá trị hoặc phạm vi quan trọng. Cả định nghĩa được đưa ra và danh mục các các chỉ số và biện pháp nên đủ chi tiết để tính toán đối với các nguyên nhân và loại hư hỏng hệ thống khác nhau. Điều này gắn liền với việc phân tích kỹ lưỡng các hậu quả tiềm tàng của hư hỏng hệ thống.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, dữ liệu, nền tảng, môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển, triển khai, vận hành

(các) Quy trình vòng đời

Quy trình quản lý mô hình vòng đời, Quy trình quản lý chất lượng, Quy trình quản lý nhận thức, Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý cấu hình, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình đảm bảo chất lượng, Quy trình xác định yêu cầu hệ thống/phần mềm, Quy trình phân tích hệ thống, Quy trình xác minh

5.2.2.4  RGE_SCC.4

Chỉ định các kịch bản quan trọng và xác định các tập dữ liệu liên quan, môi trường mô phỏng cũng như môi trường thử nghiệm thực tế cần được xem xét trong khi đánh giá rủi ro. Đối với một nhiệm vụ học máy nhất định, xác định các kịch bản có ý nghĩa quan trọng về bảo mật hoặc an toàn, và/hoặc thường gặp phải trong quá trình triển khai. Đối với các kịch bản này, hãy lưu giữ hồ sơ về các tập dữ liệu có liên quan, môi trường mô phỏng cũng như môi trường thử nghiệm trong thực tế tiềm tàng và đưa ra lý luận về lý do tại sao dữ liệu, mô phỏng và môi trường thử nghiệm trong thế giới thực đã định lại đại diện cho các kịch bản được xem như cực kỳ quan trọng, đồng thời cũng giải quyết những hạn chế có thể xảy ra. Ngoài ra hoặc theo cách khác, để tăng thêm trọng lượng cho các kịch bản cụ thể, bất kể chúng có gây ra rủi ro về mặt an toàn và bảo mật hay không, các vùng nhất định của tập dữ liệu có thể cần được ưu tiên, cho phép người dùng phát triển các chiến lược quản lý rủi ro tinh vi được cân bằng tốt hơn.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, dữ liệu, môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình đảm bảo chất lượng, Quy trình phân tích hệ thống

5.2.3  Mục tiêu và Mục đích chung

5.2.3.1  Phân tích mô hình mới đe dọa

Obj. 1 Các đối thủ đặc trưng của và nhiễu loạn đối thủ. Xem xét AR, các đối thủ có thể có và kiến thức tiềm năng của chúng cũng như quyền truy cập vào mô-đun AI nhất định cần được xác định và định rõ đặc trưng. Hơn nữa, các định nghĩa về các loại mẫu đối thủ khác nhau (hoặc nhiễu loạn đối thủ) trong bối cảnh ứng dụng nhất định sẽ được cung cấp.

Obj. 2 Các loại sai lệch đặc trưng hoặc thay đổi phân phối. Xem xét CR, các nguồn thoái hóa tiềm năng hoặc thay đổi phân phối có thể xảy ra trong bối cảnh áp dụng cụ thể sẽ được xác định, nghĩa là nó cần phải đánh giá, đo lường và ghi lại cách mà dữ liệu gặp phải trong quá trình triển khai có thể khác với các tập huấn luyện đã được thu thập trước đó (theo tự nhiên, tức là không có sự can thiệp về phần tấn công ác ý).

...

...

...

Obj. 1 Đánh giá các hậu quả của việc thiếu độ bền vững. Các hậu quả tiềm tàng của việc hư hỏng môđun AI cần được đánh giá để phân tích mối liên quan của cả AR và CR. Điều này đòi hỏi phải có sự đánh giá kỹ lưỡng và hợp lý về khả năng xảy ra và rủi ro của từng hậu quả tiềm tàng về hư hỏng hệ thống. Mọi hậu quả có thể xảy ra phải được ghi lại cùng với khả năng xảy ra và những thiệt hại dự kiến của nó. Ngoài ra, các mô-đun AI phải được phân loại rõ ràng với mức độ rủi ro cao hoặc thấp.

5.2.3.3  Đánh giá độ bền vững

Obj. 1 Đánh giá AR lặp đi lặp lại bằng cách sử dụng dữ liệu đối thủ cũng như các số liệu và biện pháp đo phù hợp. Nếu AR với các loại mẫu đối thủ nhất định được xác định là một thách thức đáng kể, thì độ bền vững của mô-đun AI với các mẫu đối thủ có liên quan cần được đánh giá. Các kỹ thuật giảm thiểu tiềm tàng và biện pháp đối phó cũng cần được đánh giá sau khi chúng được triển khai. Tất cả thử nghiệm phải tuân theo một quy trình được quy định bởi kế hoạch thử nghiệm chỉ rõ các phạm vi, khoảng thời gian và điểm chuẩn có thể chấp nhận được của các số liệu và biện pháp đo phù hợp theo quy định của các bên liên quan.

Obj. 2 Đánh giá CR lặp đi lặp lại bằng cách sử dụng dữ liệu bị thoái hóa cũng như các số liệu và biện pháp đo phù hợp. Đối với CR, cần phải lựa chọn và ghi lại các số liệu và biện pháp đo để xác định loại (cũng như mức độ nghiêm trọng, phạm vi và khoảng thời gian) của thoái hóa hoặc thay đổi phân phối, ở đó mô-đun AI có thể chịu đựng được mà không bị suy giảm hiệu năng. Bằng các số liệu và biện pháp đo đánh giá phù hợp, cũng như dữ liệu thể hiện các loại thoái hóa hoặc thay đổi phân phối nghiêm trọng đã xác định, mô hình huấn luyện sẽ được thử nghiệm và chuẩn hóa. Kết quả các loại và mức độ dẫn đến suy giảm hiệu năng phải được ghi lại.

5.2.3.4  Sự giảm nhẹ

Obj. 1 Xác định và phát triển toàn bộ chiến lược phòng thủ để đạt được AR. Đối với AR, các biện pháp phòng thủ thích hợp cần được lựa chọn, triển khai và thử nghiệm chống lại các cuộc tấn công đối thủ phù hợp và các số liệu đã được xác định trước khác. Trong suốt quá trình phát triển, triển khai và vận hành, cần liên tục đánh giá xem có cần thiết phải thêm các biện pháp phòng thủ nữa hay không.

Obj. 2 Xác định và phát triển một tập hợp các kỹ thuật giảm thiểu để đạt được CR. Đối với CR, cần xác định một tập hợp các chiến lược để giảm thiểu tác động của thay đổi phân phối hoặc sự thoái hóa đã được phát hiện. Ngoài ra, cần xác định một tập hợp các biện pháp đối phó, sẵn sàng sử dụng trong trường hợp thay đổi phân phối được phát hiện trong thời gian hoạt động.

5.3  Yêu cầu cụ thể với độ bền vững đối thủ

5.3.1  Phạm vi, bối cảnh và tiêu chí

...

...

...

5.3.2  Phân tích mô hình mối đe dọa

5.3.2.1  RAR_TMA.1

Xác định các đặc điểm của đối thủ tiềm năng và phân lớp các loại nhiễu loạn đối thủ mà chúng có thể tạo ra. Để đánh giá mối liên quan về độ bền vững đối thủ đối với từng mô-đun AI cụ thể, cần phải xác định rõ ràng các đối thủ tiềm tàng phải. Điều này bao hàm tài liệu hóa chi tiết về các nhiễu loạn đối thủ mà chúng có thể tạo ra trong một kịch bản nhất định, với mỗi kịch bản cụ thể yêu cầu một tập hợp riêng hoặc loại nhiễu loạn đối thủ. Việc xác định và phân tích các kịch bản bảo mật quan trọng tiềm tàng cần được xây dựng dựa trên 5.2.2 RGE_SCC.4.

VÍ DỤ: Các đối thủ có liên quan có thể khác nhau về mục tiêu của chúng (ví dụ: tấn công có chủ đích so với không có chủ đích, phạm vi tấn công riêng lẻ so với phạm vi tấn công chung), mức độ hiểu biết về mô hình nạn nhân (ví dụ: thiết đặt hộp trắng so với hộp đen) và các thuộc tính tương tự.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, nền tảng, môi trường

(các) Giai đoạn đoạn vòng đời

...

...

...

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình đảm bảo chất lượng, Quy trình xác định yêu cầu hệ thống/phần mềm, Quy trình phân tích hệ thống

5.3.2.2  RAR_TMA.2

Chỉ định cách đối thủ đạt được sự không rõ ràng của nhiễu loạn trong ngữ cảnh ứng dụng cụ thể. Một trong những điều kiện tiên quyết của mẫu đối thủ là nó phải không thể nhận thấy hoặc ít nhất là không dễ nhận ra với mắt con người. Một mẫu đối thủ không dễ nhận thấy có thể được định nghĩa theo nhiều cách khác nhau. Các loại đầu vào không thể nhận thấy hoặc không dễ nhận ra khác nhau phải được đặc tả và đặt trong mối quan hệ với các loại truy cập dữ liệu đầu vào mà đối thủ đã được phát hiện hoặc được giả định là đã có.

VÍ DỤ 1: Theo giả định về môi trường kỹ thuật số trong thị giác máy tính, đối thủ có thể quyết định chỉ tấn công một vài điểm ảnh (pixel) để làm cho cuộc tấn công của chúng không thể nhận thấy được. Trong một môi trường mô phỏng, các đối thủ sẽ có khả năng đặt các đối tượng đối thủ vào cảnh, xoay nhẹ các biển báo trên đường hoặc tìm vị trí chính xác của người đi bộ, khiến cho mô-đun AI phân loại sai dữ liệu.

VÍ DỤ 2: Trong miền xử lý ngôn ngữ tự nhiên, các từ đồng nghĩa được chọn phù hợp có thể che giấu một cuộc tấn công của đối thủ theo cách mà cảm giác văn bản bị làm xáo trộn vẫn giữ nguyên đối với người quan sát, nhưng sẽ được mô hình phân loại văn bản gán nhãn khác. Ngoài ra, toàn bộ tài liệu có thể được diễn đạt lại, gây ra kết quả có hại tương tự mà người đọc không nhận ra.

Loại yêu cầu

Được khuyến khích

(các) Nhân tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển, vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình đảm bảo chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.2.3  RAR_TMA.3

Xác định sự thành công của nhiễu loại đối thủ. Xây dựng dựa trên định nghĩa về hư hỏng mô-đun AI (xem 5.2.2 RGE_SCC.3), cung cấp một định nghĩa phù hợp (có thể là định nghĩa hoạt động dựa trên các giả định đầu tiên tiềm tàng) về một cuộc tấn công "thành công" vào mô-đun AI, tức là một mẫu đối thủ. Điều này phải được thực hiện tương ứng với các định nghĩa về đối thủ tiềm năng và tính không dễ nhận thấy của đầu vào như được mô tả trong RAR_TMA.1 và RAR_TMA.2 tương ứng.

VÍ DỤ: Vì các mẫu đối thủ ban đầu được xác định trong bối cảnh của các hệ thống phân loại cho thị giác máy tính, cho nên định nghĩa về một mẫu đối thủ không phải luôn rõ ràng. Ví dụ: đối với nhiệm vụ phân đoạn ngữ nghĩa, có thể sẽ không đủ nếu một pixel đơn lẻ thay đổi phân loại do sự nhiễu loạn đối thủ.

Loại yêu cầu

Rất được khuyến khích

...

...

...

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Ý tưởng, phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình đảm bảo chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình thực hiện

5.3.2.4  RAR_TMA.4

Xác định phạm vi nhiễu loạn đối thủ, tức là liệu các đối thủ tiềm năng có nhắm đến việc tạo ra nhiễu loạn riêng biệt hoặc nhiễu loạn phổ quát. Chuẩn bị với những đối thủ có ý định hoặc có khả năng tạo ra nhiễu loạn đối thủ phổ quát, tức là nhiễu loạn có thể thành công trên một loạt các kịch bản khác nhau hoặc là như một sự lựa chọn, tất cả các điểm dữ liệu liên quan đến một một kịch bản cụ thể (xem 5.2.2 RGE_SCC.3).

VÍ DỤ: Một nhiễu loạn đối thủ có thể áp dụng phổ quát hoặc rộng rãi nếu nó thành công trên một loạt các góc nhìn từ máy ảnh hoặc dưới các điều kiện ánh sáng khác nhau trong một nhiệm vụ thị giác máy tính, hoặc trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), trong nhiều bối cảnh ngữ nghĩa hoặc ngữ dụng.

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình kế hoạch hóa đề án, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đảm bảo chất lượng

5.3.2.5  RAR_TMA.5

Chỉ định cách phân biệt các đối thủ và các loại nhiễu loạn đối thủ có thể được thể hiện hoặc mô phỏng trong các môi trường thử nghiệm khác nhau. Dựa trên đặc trưng của các đối thủ tiềm tàng trong RAR_TMA.1, trong đó bao hàm tính toán kỹ lưỡng khả năng của chúng, mô tả cách các đối thủ này có thể được biểu hiện hoặc mô phỏng trong các môi trường thử nghiệm khác nhau (xem 5.2.2 RGE SCC.4), chúng là vật lý, kỹ thuật số, hoặc mô phỏng. Đối với từng môi trường thử nghiệm dưới sự xem xét, sửa đổi và diễn giải lại các quan điểm về tính không dễ nhận thấy (xem RAR_TMA.2), sự thành công (xem RAR_TMA.3), và phạm vi (xem RAR_TMA.4) của nhiễu loạn đối thủ.

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng đời

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đảm bảo chất lượng, Quy trình phân tích hệ thống

5.3.2.6

RAR_TMA.6 Hợp nhất các cân nhắc ở trên (xem RARTMA.1, RAR_TMA.2, RAR TMA.3, RAR_TMA.4 và RAR_TMA.5) thành danh mục các đối thủ tiềm tàng, các loại nhiễu loạn, các định nghĩa về thành công, và phạm vi của từng nhiễu loạn, nhận thức các kịch bản và môi trường thử nghiệm khác nhau. Những cân nhắc này cần được tổng hợp dưới dạng một tài liệu (được gọi là "mô tả đặc tính AR") có chứa phân tích cấp cao về mô hình mối đe dọa, tức là mô tả đặc trưng của đối thủ và các loại nhiễu loạn đối thủ tướng ứng mà chúng có thể tạo ra. Đặc trưng AR phải luôn phải phân biệt giữa các kịch bản và môi trường thử nghiệm khác nhau. Tiêu chuẩn này phải được cập nhật theo một lịch trình cập nhật hợp lý và thực tế.

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3  Phân tích Khả năng xảy ra & Tác động

5.3.3.1  RAR_LIA.1

Đánh giá hậu quả tiềm tàng của một cuộc tấn công thành công, dựa trên các định nghĩa trong 5.3.2. Một phân tích trong lĩnh vực này nên được cấu trúc xung quanh các kịch bản được coi là quan trọng như đã trình bày trong 5.2.2 RGE_SCC.4, khả năng của đối thủ (xem 5.3.2 RAR_TMA.1 và RAR_TMA.2), và các loại nhiễu loạn đối thủ có thể xảy ra. Do đó, về cơ bản sử dụng đặc trưng AR như được thiết lập trong 5.3.2 RAR_TMA.6, việc phân tích cần xác định loại hành vi không mong muốn hoặc thậm chí có hại mà mô-đun AI đã định có thể biểu hiện (xem 5.2.2 RGE_SCC.3) do hành động của một đối thủ.

...

...

...

VÍ DỤ: Các hậu quả tiềm tàng đã được mô tả trong [3] và được đặc trưng bởi các vi phạm tính toàn vẹn, tính khả dụng, tính bí mật hoặc quyền riêng tư. Vi phạm tính toàn vẹn tương ứng với đầu ra của mô-đun AI bị xâm phạm, điều này có thể dẫn đến suy giảm giá trị độ tin cậy hoặc thậm chí phân loại sai. Vi phạm tính khả dụng có thể dẫn đến suy giảm quyền truy cập vào mô-đun AI hoặc giảm tốc độ suy luận. Vi phạm tính bí mật có thể cung cấp cho kẻ tấn công tiềm tàng kiến thức về mô-đun AI hoặc dữ liệu mà nó đã được huấn luyện. Cuối cùng nhưng không kém phần quan trọng, vi phạm quyền riêng tư là một trường hợp đặc biệt của vi phạm tính bí mật khi kẻ tấn công đã thu thập được thông tin cá nhân chứa trong dữ liệu huấn luyện, vi phạm luật bảo vệ dữ liệu.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình phân tích hệ thống, Quy trình xác minh

...

...

...

Phân tích tính khả thi về nhiễu loạn đối thủ và rút ra ước tính về khả năng xảy ra cho từng loại nhiễu loạn đối thủ, và nói chung hơn, sự tồn tại của các đối thủ với các tập hợp khả năng khác nhau. Một phân tích tính khả thi kỹ lưỡng về các loại nhiễu loạn đối thủ khác nhau (xem 5.3.2 RAR_TMA.6) giúp đánh giá mức độ liên quan của độ bền vững đối với các cuộc tấn công đối thủ. Phân tích tính khả thi này nên liên kết với việc đánh giá như thế nào mỗi loại nhiễu loạn đối thủ sẽ xảy ra trong bối cảnh một đối thủ sử dụng một một bộ năng lực cụ thể. Tuy nhiên, với các kịch bản khác nhau đã định (xem 5.2.2 RGE_SCC.4), đánh giá có thể mang lại các ước tính khả năng xảy ra khác nhau cho từng loại nhiễu loạn đối thủ.

VÍ DỤ: Ví dụ, nếu mô-đun AI chỉ bị đe dọa bởi các mẫu đối thủ đắt đỏ, vật lý, phổ biến, hộp trắng đòi hỏi nhiều tính toán, thì có thể không tồn tại mối nguy hiểm thực tế, và do đó ý tưởng và phát triển các chiến lược phòng thủ cho loại tấn công đối thủ cụ thể này có thể không cần thiết.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

...

...

...

5.3.3.3  RAR_LIA.3

Quyết định có liên quan chung về độ bền vững đối thủ bằng cách thực hiện phân loại rủi ro của các đối thủ khác nhau và các loại nhiễu loạn đối thủ. Cần phải được ghi nhận và giải thích, liệu độ bền vững trước những nhiễu loạn đối thủ có phải là một thành phần chất lượng quan trọng đối với mô- đun AI đang được xem xét hay không. Điều này liên quan đến việc thực hiện phân loại rủi ro của các loại nhiễu loạn đối thủ đã được xác định trước bằng cách sử dụng tiêu chí rủi ro được mô tả trong 5.2 Yêu cầu và Hướng dẫn về Quản lý Rủi ro (cụ thể là 5.2.2 Phạm vi, Bối cảnh và Tiêu chí), trong đó rủi ro được khái niệm hóa như là sản phẩm của thiệt hại từ một cuộc tấn công đối thủ (xem RAR_LIA.1) và khả năng xảy ra của nó (xem RAR_LIA.2).

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

...

...

...

5.3.3.4  RAR_LIA.4

Xác định và các kịch bản ưu tiên trong đó độ bền vững đối thủ là cần thiết. Không phải lúc nào cũng cần thiết, chưa kể đến việc có thể đạt được độ bền vững đối thủ đầy đủ trong mọi trường hợp. Nói cách khác, cần xác định và ưu tiên các kịch bản mà độ bền vững đối thủ là không thể bỏ qua được (xem 5.2.2 RGE_SCC.4).

VÍ DỤ: Các kịch bản thuộc loại này tương ứng với các khu vực trong tập dữ liệu có chứa thông tin Meta cụ thể. Ví dụ, trong lĩnh vực máy bay không người lái, các thiết lập ở khu vực đô thị, đông dân cư đòi hỏi phải cẩn thận hơn nhiều so với các khu vực thiết lập ở vùng nông thôn trống trải.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

...

...

...

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3.5 RAR_LIA.5

Thiết lập tài liệu bao hàm các cuộc tấn công, biện pháp đo và dữ liệu đo lường độ bền vững đối với các đối thủ đã xác định và các loại nhiễu loạn đối thủ. Xác định và thu thập các cuộc tấn công, biện pháp đo và dữ liệu có thể đo lường, hoặc ít nhất là đưa ra dấu hiệu về độ bền vững liên quan đến các đối thủ và các loại nhiễu loạn đối thủ (xem 5.3.2 RAR_TMA.6). Việc gán các định nghĩa và khái niệm toán học hoặc thuật toán liên quan đến các kịch bản và môi trường thử nghiệm (xem 5.2.2 RGE_SCC.4), sẽ tạo nên cấu trúc của tài liệu hoặc danh mục đã nói trên. Sau đây, danh mục này sẽ được gọi là "biện pháp đo và danh mục tấn công đối thủ".

VÍ DỤ: Một cách tiếp cận chung để đánh giá mức độ nhạy cảm của mô-đun AI đối với một mô hình mối đe dọa cụ thể là tạo ra một tập hợp các cuộc tấn công đối thủ có liên quan để phản ánh một đối thủ cụ thể và loại nhiễu loạn tương ứng, với tập hợp các cuộc tấn công này sẽ tạo thành một phần không thể thiếu của danh mục biện pháp đo và tấn công đối thủ. Bên cạnh các phương pháp tấn công, cần phải xác định các số liệu ở đó có thể tổng hợp các kết quả tấn công và đưa ra đánh giá chung về độ nhạy đối với mô hình mối đe dọa nhất định. Mặc dù trong trường hợp chung, các số liệu này có thể dễ dàng suy ra từ việc xác định một cuộc tấn công thành công, nhưng nó là tiêu chuẩn thực hành để tính toán độ chính xác đối thủ tổng thể và so sánh nó với độ chính xác rõ ràng.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

...

...

...

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3.6 RAR_LIA.6

Tích hợp quy trình cập nhật thường xuyên cho danh mục biện pháp đo và tấn công đối thủ (xem RAR_LIA.5), tức là thường xuyên tiến hành đánh giá hiện trạng. Do tốc độ nghiên cứu phát triển nhanh chóng trong lĩnh vực này, mà danh mục tấn công và biện pháp đo đối thủ cần được cập nhật thường xuyên.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

...

...

...

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình vận hành, Quy trình bảo trì

5.3.3.7  RAR_LIA.7

Giữ cân bằng danh mục biện pháp đo và tấn công đối thủ (xem RAR_LIA.5). Nếu điều đó là khả thi về mặt tính toán, cũng nên sử dụng các số liệu không dựa trên tấn công để xác định mức độ dễ bị tổn thương của mô-đun AI với các loại đối thủ và nhiễu loạn đối thủ khác nhau. Ngoài ra, còn sử dụng các số liệu chung để đưa ra các nhận định tổng quát hơn về khoảng cách hoặc đảm bảo độ bền vững.

CHÚ THÍCH: Trước đây, độ bền vững chủ yếu được đánh giá sơ bộ dựa trên các cuộc tấn công đối thủ, ví dụ: bằng cách so sánh độ chính xác ban đầu với độ chính xác thu được trong các điều kiện đối thủ. Đáng tiếc, các chỉ số tổng hợp này thường gây nên cảm giác sai lệch về độ nhạy tổng thể của mô-đun AI đối với các nhiễu loạn đối thủ. Vì vậy, việc sử dụng thêm cách tiếp cận bổ sung là rất thích hợp.

VÍ DỤ: Các kỹ thuật kiểm định chính thức có thể được sử dụng để đưa ra các đảm bảo chắc chắn về độ bền vững đối với đặc tính mô hình mối đe dọa đã định. Tuy nhiên, các kỹ thuật này thường không hiệu quả về mặt tính toán đối với các vấn đề thị giác máy tính phức tạp.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3.8  RAR_LIA. 8

Lựa chọn các phép đo tiêu chuẩn phù hợp cho các số liệu và biện pháp có liên quan, tức là liên kết danh mục biện pháp đo và tấn công đối thủ (xem RAR_LIA.5) với các giá trị có khả năng chấp nhận được hoặc mong muốn. Bằng cách ưu tiên các đối thủ và các loại nhiễu loạn đối thủ đã được xác định (xem 5.3.2 RAR_TMA.1 và RAR_TMA.2), hãy xem xét, lựa chọn và tổng hợp các biện pháp kiểm chuẩn cho các biện pháp đo và số liệu đối thủ liên quan đến kịch bản và môi trường thử nghiệm cụ thể (xem 5.2.2 RGE_SCC.4). Điều này là cần thiết để tránh thiên lệch trong việc đánh giá kết quả.

LƯU Ý: Nếu có khả năng, hãy đái chiếu với các tiêu chuẩn công nghiệp hoặc quy định.

Loại yêu cầu

Rất được khuyến khích

...

...

...

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3.9  RAR_LIA.9

Lựa chọn và tài liệu hóa phạm vi và khoảng thời gian có khả năng chấp nhận phù hợp cho các biện pháp đo và số liệu đã định. Sử dụng các phép đo lường chuẩn mực (xem RAR LIA.8) để xác định hoặc suy ra các khoảng thời gian và phạm vi phù hợp cho các biện pháp đo và số liệu của danh mục biện pháp đo và tấn công đối thủ mà mô-đun AI cần đáp ứng, để nó có thể được xem như bền vững trước các đối thủ và các loại nhiễu loạn đối thủ đã xác định.

Loại yêu cầu

Rất được khuyến khích

...

...

...

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.3.10 RAR_LIA.10

Tổng hợp các cân nhắc ở trên (xem RAR_LIA.1, RAR_LIA.2, RAR_LIA.3, RAR_LIA.4 và RAR_LIA.5) bằng cách mở rộng tài liệu được xem như “đặc trưng AR”. Những cân nhắc ở trên phải được tóm tắt dưới dạng một tài liệu (được gọi là "đặc trưng AR mở rộng (phân tích khả năng xảy ra và tác động)"). Tiêu chuẩn này bao gồm một phân tích về các hậu quả tiềm tàng và khả năng xảy ra hư hỏng mô-đun AI do thiếu độ bền vững trước các loại nhiễu loạn đối thủ nhất định, cũng như phân loại rủi ro tương ứng. Đặc trưng AR mở rộng (phân tích khả năng xảy ra và tác động) hơn nữa còn bao gồm danh mục các kịch bản bảo mật quan trọng được ưu tiên (xem 5.2.2 RGE_SCC.4) cũng như danh mục biện pháp đo và tấn công đối thủ (xem RAR_LIA.5). Tiêu chuẩn này cần được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình xác định các yêu cầu hệ thống/phần mềm

5.3.4  Đánh giá độ bền vững

5.3.4.1  RAR_EVL.1

Phát triển một kế hoạch kiểm thử (AR) dựa trên đặc trưng AR mở rộng (phân tích khả năng xảy ra và tác động) (xem 5.3.3 RAR_LIA.10). Trong kế hoạch kiểm thử, hãy tính đến các khía cạnh sau, đồng thời luôn cung cấp các lý do và tài liệu hóa cho các lựa chọn của bạn:

- Kế hoạch kiểm thử phải chứa các tiêu chí đưa vào phù hợp, tức là các sự kiện kích hoạt cần phải áp dụng kế hoạch kiểm thử đã được chỉ định.

...

...

...

- Các kết quả đánh giá phải được tiêu chuẩn hóa, hoặc ít nhất là có thể so sánh được, để cho phép đưa ra các kết luận rõ ràng, với kế hoạch kiểm thử cần hướng dẫn việc đánh giá nghiêm túc đối với các kết quả thu được.

- Kế hoạch kiểm thử phải được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng

Phát triển, Vận hành

(các) Quy trình vòng đời

...

...

...

5.3.4.2  RAR_EVL.2

Tích hợp quy trình cập nhật thường xuyên đối với kế hoạch kiểm thử (xem RAR_EVL.1), tức là thường xuyên tiến hành đánh giá trình độ phát triển và quyết định xem có thay đổi cơ bản nào đã xảy ra hay không (liên quan đến loại thay đổi phải được xác định trước bởi người dùng). Do tốc độ nghiên cứu phát triển nhanh chóng trong lĩnh vực này, cho nên danh mục cuộc tấn công và biện pháp đo đối thủ phải được cập nhật thường xuyên. Độ bền vững trước đối thủ của mô-đun AI phải được đánh giá lại và kiểm thử lại sau mỗi lần cập nhật danh mục cuộc tấn công và biện pháp đo đối thủ hoặc kế hoạch kiểm thử.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

...

...

...

5.3.4.3  RAR_EVL.3

Sau mỗi lần chạy kế hoạch kiểm thử (xem RAR_EVL.1), cần so sánh kết quả với phạm vi và kết quả kiểm chuẩn có khả năng chấp nhận được (xem 5.3.3 RAR_LIA.5) và quyết định xem mô-đun AI có đủ bền vững hay không. Mọi vi phạm chuẩn mực phải dẫn đến xem xét lại chiến lược phòng thủ và dừng trước, thậm chí là xem xét lại việc triển khai mô-đun AI.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

...

...

...

5.3.4.4  RAR_EVL.4

Hợp nhất các kết quả và thông tin ở trên (xem RAR_EVL.1, RAR_EVL.2 và RAR_EVL.3) dưới dạng tài liệu có cấu trúc (được gọi là "Đánh giá AR"), tức là thu thập và lưu trữ kỹ lưỡng các kết quả đánh giá và tất cả thông tin về hoạt động và cập nhật kế hoạch thử nghiệm cũng như dữ liệu đối thủ đã sinh ra để có thể được tái tạo sau này. Các phần thông tin phù hợp nhất về việc thực hiện và cập nhật kế hoạch thử nghiệm phải được thu thập và lưu trữ (ví dụ: thống kê tóm tắt). Ngoài ra, dữ liệu đối thủ được phát hiện phải được rút gọn thành một bản tóm tắt toàn diện về cả quá trình tạo ra và các tác động của chúng, trong đó khả năng tái sản xuất là mục tiêu chính (ví dụ: các hiện vật đã lưu). Nói cách khác, thông tin được thu thập phải luôn cho phép tái tạo dữ liệu đối thủ trong tập dữ liệu huấn luyện, thử nghiệm hoặc xác thực tính hợp lệ. Thêm vào đó, các phần thông tin phù hợp nhất có thể được sử dụng cho kiểm chuẩn và chiến lược phòng thủ tiếp theo. Tài liệu phải được cập nhật theo một lịch trình cập nhật hợp lý và thực tế.

VÍ DỤ: Đối với dữ liệu đối thủ, thông tin cần được tài liệu hóa bao gồm, nhưng không giới hạn với, khu vực liên quan (nghĩa là tập con của tập dữ liệu), đặc trưng đối thủ, chiến lược tấn công và siêu tham số.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển, Triển khai, Vận hành

...

...

...

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình bảo trì

5.3.5  Sự giảm nhẹ

5.3.5.1  RAR_MIT.1

Sau mỗi lần chạy kế hoạch thử nghiệm (xem 5.3.4 RAR_EVL.1), cần phân tích xem có yêu cầu áp dụng thêm các chiến lược phòng thủ hay không. Dựa trên kết quả phân tích tác động (xem 5.3.3 RAR_LIA.10) và đánh giá độ bền vững (xem 5.3.4 RAR_EVL.4), cần xác định xem có cần thiết phải cải thiện hơn nữa độ bền vững tương ứng với đối thủ và loại nhiễu loạn đối thủ đã xác định hay không (xem 5.3.2 RAR_TMA.1 và RAR_TMA.2).

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng

...

...

...

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình bảo trì

5.3.5.2  RAR_MIT.2

Ánh xạ các loại chiến lược phòng thủ phù hợp vào các loại nhiễu loạn đối thủ nghiêm trọng hoặc có vấn đề (xem 5.3.RAR_TMA.1 và RAR TMA.2). Cân nhắc sự thay đổi trong hành vi hoặc độ nhạy cảm của mô-đun AI tương ứng với các loại đối thủ hoặc nhiễu loạn đối thủ khác nhau, có thể sẽ phải chứng minh cần phải phát triển một tổ hợp phòng thủ, tức là sự hợp thành của các chiến lược phòng thủ có khả năng khắc phục những điểm yếu được phát hiện qua kết quả chạy thử nghiệm không đạt yêu cầu. Cần phải nhấn mạnh rằng một chiến lược phòng thủ đơn lẻ (và thường là chuyên biệt hóa) không thể được kỳ vọng một cách hợp lý để tính toán chống lại nhiều loại đối thủ khác nhau, chứ chưa nói đến tất cả, các loại đối thủ hoặc nhiễu loạn đối thủ. Do đó, các thành phần ứng cử viên phải được xác định, lựa chọn và cập nhật thường xuyên để tập hợp phòng thủ có thể hiệu quả trong việc đối phó với một loạt các mối đe dọa an ninh. Thông thường, cần phải xác định xem có cần thiết hay mong muốn huấn luyện lại mô-đun AI hay không.

VÍ DỤ: Trước khi điều chỉnh huấn luyện hoặc kiến trúc của mô-đun AI nhằm tăng cường độ bền vững trước các cuộc tấn công đối thủ, sẽ rất có lợi nếu xem xét khả năng áp dụng các chiến lược phòng thủ dựa trên phát hiện, sửa đổi và thêm vào.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

...

...

...

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình bảo đảm chất lượng, Quy trình bảo trì

5.3.5.3  RAR_MIT.3

Danh mục các chiến lược phòng thủ phù hợp (xem RAR_MIT.2) phải được cập nhật thường xuyên hoặc sau những thay đổi cơ bản. Do tốc độ nghiên cứu nhanh chóng trong lĩnh vực này, nên danh mục biện pháp phòng thủ đã định phải được cập nhật thường xuyên. Người dùng xác định khoảng thời gian cập nhật nào là hợp lý hoặc sự kiện nào nên kích hoạt cập nhật danh mục chiến lược phòng thủ.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình

...

...

...

Ý tưởng, Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình phân tích hệ thống, Quy trình bảo trì

5.3.5.4 RAR_MIT.4

Lựa chọn và thực hiện danh mục biện pháp phòng thủ (xem RAR_MIT.2). Các biện pháp Phòng thủ thích hợp cần được lựa chọn thực hiện một cách có chiến lược và hoàn chỉnh. Việc lựa chọn phải được biện minh và tài liệu hóa.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình

...

...

...

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình thực hiện

5.3.5.5  RAR_MIT.5

Đối với các biện pháp phòng thủ nên được sử dụng kết hợp (được gọi là "tập hợp biện pháp phòng thủ"), cần cung cấp các lập luận và bằng chứng để đạt được hiệu quả tập hợp. Cần phải thường xuyên xác minh rằng sự kết hợp của các chiến lược phòng thủ hiện vẫn duy trì một cách hiệu quả. Ngoài ra, sự kết hợp mới của các phương pháp phòng thủ cần phải được chứng minh là không chỉ tương thích, mà còn mạnh hơn khi kết hợp với nhau so với khi hoạt động riêng lẻ.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình

...

...

...

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình xác minh

5.3.5.6 RAR_MIT.6

Trước khi triển khai, cần kiểm thử mô-đun AI với tổ hợp biện pháp phòng thủ đã lựa chọn trong kế hoạch chi tiết kiểm thử (xem 5.3.4 RAR_EVL.1) và báo cáo các thay đổi so với tổ hợp phòng thủ trước đó. Một mô-đun AI phải được kiểm thử dựa trên các tập dữ liệu kiểm thử gốc và với tất cả, hoặc một tập hợp con có liên quan của các mẫu đối thủ đã lưu (xem 5.3.2 RAR_TMA.5). Hơn nữa, bắt buộc phải thực hiện lặp lại kế hoạch kiểm thử trên các môi trường kiểm thử bằng cách sử dụng danh mục biện pháp đo và tấn công đối thủ (xem 5.3.2 RAR_TMA.5) cũng như các biện pháp đo và số liệu hiệu năng chung, ở giai đoạn này, cũng nên xem xét các khía cạnh chất lượng AI khác chẳng hạn như tính dễ hiểu (xem DIN SPEC 92001-1).

CHÚ THÍCH: Việc Sửa đổi tiếp theo tiềm tàng của tổ hợp phòng thủ nên kích hoạt một lần chạy lại kế hoạch kiểm thử khác, tức là việc điều chỉnh phòng thủ cơ bản thuộc về các tiêu chí đưa vào đã thiết lập của kế hoạch kiểm thử (xem 5. 3.4 RAR_EVL.1).

VÍ DỤ 1: Để có được thước đo thực tế về khả năng phòng thủ của mô-đun AI, cần phải đánh giá chiến lược phòng thủ chống lại các cuộc tấn công không xác định hoặc chưa thấy.

VÍ DỤ 2: Các biện pháp phòng thủ phải được kiểm tra chống lại các cuộc tấn công được thiết kế đặc biệt với sự tiến triển phòng của mô-đun AI, được gọi là đối thủ thích ứng: vấn đề mà đối thủ có thể hiểu biết về biện pháp phòng thủ đang được sử dụng và thích ứng với cuộc tấn công tương ứng của chúng phải được trang bị và đánh giá, với danh mục đo lường và tấn công đối thủ yêu cầu cập nhật liên tục.

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác minh, Quy trình xác nhận tính hợp lệ

5.3.5.7  RAR_MIT.7

Hợp nhất các cân nhắc ở trên (xem RAR_MIT.1, RAR_MIT.2, RAR_MIT.3, RAR_MIT.4, RAR_MIT.5 và RAR_MIT.6) vào một danh mục tài liệu các thành phần của tổ hợp phòng thủ cùng với lý do tại sao các chiến lược phòng thủ cụ thể đã được lựa chọn và chứa tất cả thông tin liên quan đến việc thực hiện và cập nhật kế hoạch kiểm thử (xem 5.3.4 RAR_EVL.1). Những cân nhắc ở trên cần phải được tóm tắt dưới dạng một tài liệu (được gọi là "danh mục biện pháp phòng thủ AR") cung cấp cái nhìn tổng quan và đặc điểm các thành phần của tổ hợp phòng thủ, cùng với lý do rõ ràng và ngắn gọn tại sao chúng được lựa chọn để thực hiện. Đặc tính phòng thủ AR còn tóm tắt thêm tất cả các cập nhật cho kế hoạch kiểm thử và về cơ bản bao gồm thông tin và thống kê tóm tắt liên quan đến việc thực hiện kế hoạch kiểm thử.

CHÚ THÍCH: Các kết quả thu được cần cho phép so sánh: nghĩa là, các kết quả phải cung cấp thông tin chi tiết rõ ràng về cách thức mà mô hình hoạt động như thế nào khi có và không có phòng thủ, và cách mà các phòng thủ khác nhau hoạt động đối với tất cả các loại mẫu đối thủ có liên quan. Điều kiện tiên quyết để có thể so sánh là việc sử dụng đồng nhất các biện pháp đo và số liệu. Tiêu chuẩn này cần được cập nhật theo một lịch trình cập nhật hợp lý và thực tế.

...

...

...

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình bảo trì

5.4  Yêu cầu cụ thể với độ bền vững thoái hóa

...

...

...

Các yêu cầu được liệt kê trong 5.2.2 hoàn toàn có thể áp dụng cho các cân nhắc liên quan đến độ bền vững thoái hóa.

5.4.2  Phân tích mô hình mối đe dọa

5.4.2.1  RCR_TMA.1

Xác định và cung cấp một báo cáo có cấu trúc về các loại thoái hóa hoặc thay đổi phân phối tiềm tàng có liên quan đến mô-đun AI. Đánh giá và tài liệu hóa các loại thoái hóa hoặc thay đổi phân phối có thể đã gặp phải. Phát triển một cấu trúc phù hợp cho tài liệu. Lưu ý đến sự khác biệt giữa môi trường huấn luyện và thử nghiệm, cũng như giữa môi trường thử nghiệm và triển khai. Ngoài ra, bổ sung tài liệu với các nguồn có thể gây ra các thoái hóa hoặc thay đổi phân phối tiềm tàng. Điều này đặt nền tảng công việc để xác định và ngăn ngừa hành vi không mong muốn hoặc thậm chí có hại gây ra bởi thoái hóa hoặc thay đổi phân phối sau này.

VÍ DỤ 1: Các loại thay đổi phân phối có liên quan tiềm tàng có thể được gọi là thay đổi đồng biến, thay đổi xác suất tiên nghiệm hoặc chuyển dịch khái niệm [12].

VÍ DỤ 2: Các nguồn phổ biến của sự thay đổi phân phối là thiên lệch trong việc lựa chọn mẫu và môi trường không cố định. Ví dụ, lĩnh vực lái xe tự động có rất nhiều vấn đề độ lệch tiềm tàng: không chỉ các hiện tượng thời tiết như sương mù hoặc mưa có thể ảnh hưởng đến chất lượng dữ liệu mà cả phần cứng cũng có thể bị suy giảm do máy ảnh tạo ra đầu ra kém.

VÍ DỤ 3: Trong lĩnh vực xử lý ngôn ngữ tự nhiên, các nguồn độ lệch phổ biến nằm ở lỗi đánh máy hoặc ngôn ngữ mang phong cách riêng vì mô-đun AI thường được huấn luyện trên đầu vào sạch hoặc đã được chuẩn hóa.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình phân tích hệ thống

5.4.2.2  RCR_TMA.2

Xác định thành công cho từng loại thoái hóa hoặc thay đổi phân phối. Xây dựng trên định nghĩa về sự thất bại của mô-đun AI (xem 5.2.2 RGE_SCC.1), cung cấp một định nghĩa phù hợp (có thể là một định nghĩa đang hoạt động) về dữ liệu thoái hóa hoặc thay đổi phân phối thanh công, tức là một định nghĩa gây ra cho mô-đun AI hoạt động sai. Phân tích phải được liên kết với các loại thoái hóa hoặc thay đổi phân phối như được mô tả trong RCR_TMA.1.

Loại yêu cầu

Rất được khuyến khích

...

...

...

Mô hình, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình phân tích hệ thống

5A.2.3  RCR_TMA.3

Xác định phạm vi của các chiến lược tăng cường dữ liệu. Chuẩn bị cho các chiến lược tăng cường dữ liệu có khả năng tạo ra các loại hỏng thoái hóa dữ liệu phổ quát, tức là tạp nhiễu thành công trong một loạt các kịch bản khác nhau hoặc là tất cả các điểm dữ liệu liên quan đến một kịch bản cụ thể (xem 5.2.2 RG_SCC.1).

VÍ DỤ: Nêu rõ tên các phân phối mà từ đó tạp nhiễu được lấy mẫu (ví dụ: Gaussian hoặc Student's t).

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình lập kế hoạch đề án, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng

5.4.2.4  RCR_TMA.4

Chỉ định cách phân biệt các loại thoái hóa dữ liệu hoặc thay đổi phân phối khác nhau có thể được biểu thị hoặc mô phỏng trong các môi trường thử nghiệm khác nhau. Dựa trên đặc điểm của các loại thoái hóa dữ liệu hoặc thay đổi phân phối trong RCR_TMA.1, cần mô tả cách chúng có thể được thể hiện hoặc mô phỏng trong các môi trường thử nghiệm khác nhau, có thể là vật lý, kỹ thuật số, hoặc mô phỏng. Đối với từng môi trường thử nghiệm đang được xem xét, hãy sửa đổi và diễn giải lại các khái niệm về thành công và tầm quan trọng (xem RCR_TMA.2) của điểm dữ liệu bị sai lệch hoặc tạp nhiễu.

Loại yêu cầu

...

...

...

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng đời

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình phân tích hệ thống

5.4.2.5  RCR_TMA.5

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình xác định các yêu cầu hệ thống và phần mềm

5.4.3  Phân tích Khả năng xảy ra & Tác động

5.4.3.1  RCR_LIA.1

Đánh giá các hậu quả tiềm tàng của thoái hóa thành công hoặc sự thay đổi phân phối đáng kể. Phân tích trong lĩnh vực này nên được cấu trúc xung quanh các kịch bản được coi là quan trọng như đã được trình bày trong 5.2.2 RGE_SCC.4 và các loại thoái hóa hoặc thay đổi phân phối có thể xảy ra (xem 5.4.2 RCR_TMA.1). Kiểm soát các khía cạnh này (như được nêu trong đặc tính CR, xem 5.4.2 RCR_TMA.5), phân tích nên xác định loại hành vi không mong muốn hoặc thậm chí có hại mà mô-đun AI có thể biểu hiện (xem 5.2.2 RGE_SCC.3).

CHÚ THÍCH: Tương tự như AR, tài liệu về các hậu quả tiềm tàng có thể được cấu trúc theo các dòng tác động đến tính toàn vẹn hoặc tính khả dụng của mô-đun AI.

...

...

...

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Nền tảng, Môi trường

(các) Giai đoạn đoạn vòng

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm, Quy trình phân tích hệ thống, Quy trình xác minh

5.4.3.2 RCR_LIA.2

Đưa ra ước tính khả năng xảy ra cho từng loại thoái hóa hoặc thay đổi phân phối. Đánh giá khả năng xảy ra của từng loại thoái hóa hoặc thay đổi phân phối trong bối cảnh các kịch bản được xác định là có liên quan. Tuy nhiên, với các kịch bản khác nhau đã cho (xem 5.2.2 RGE_SCC.4), đánh giá có thể đưa ra các ước tính khả năng xảy ra khác nhau đối với từng loại thoái hóa hoặc thay đổi phân phối.

...

...

...

Được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm, Quy trình phân tích hệ thống

5.4.3.3  RCR_LIA.3

Thực hiện phân loại rủi ro và các kịch bản ưu tiên, trong đó CR liên quan các loại thoái hóa hoặc thay đổi phân phối đã được xác định là rất quan trọng. Thực hiện phân loại rủi ro các loại thoái hóa được xác định trước về sự thay đổi phân phối dựa trên quy trình quản lý rủi ro như được mô tả trong 5.2 Yêu cầu và Hướng dẫn về Quản lý Rủi ro (cụ thể là 5.2.2 Phạm vi, Bối cảnh và Tiêu chí), trong đó rủi ro được khái niệm hóa như là sản phẩm của thiệt hại gây ra bởi thoái hóa đối với chất lượng dữ liệu hoặc thay đổi phân phối (xem RCR-LIA.1) và khả năng xảy ra của chúng (xem RCR-LIA.2). Việc ánh xạ các loại thoái hóa dữ liệu đã xác định hoặc thay đổi phân phối vào tập dữ liệu sẽ cung cấp chỉ báo về các kịch bản, trong đó CR là không thể thiếu được hoặc ít nhất là các kịch bản có nhiều khả năng bị ảnh hưởng bởi các vấn đề thoái hóa.

...

...

...

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm

5.4.3A  RCR_LIA.4

...

...

...

- Các thuật toán để tạo ra dữ liệu thoái hóa, tức là các kỹ thuật để tăng cường dữ liệu sạch hiện có bằng cách sử dụng phân phối xác suất hoặc (mẫu) của chính dữ liệu bị thoái hóa;

- Các số liệu và biện pháp đo có thể chỉ ra và định lượng, trong không gian đầu vào, loại và mức độ thoái hóa dữ liệu hoặc thay đổi phân phối;

- Các số liệu và đo lường đưa ra dấu hiệu về lỗi của một mô-đun AI và định lượng mức độ lỗi này;

- Ngược lại, các số liệu và biện pháp đo có thể đưa ra chỉ báo về CR và định lượng mức độ mà đầu ra vẫn duy trì ổn định khi mô-đun AI gặp phải thoái hóa dữ liệu hoặc thay đổi phân phối.

Danh mục nên được tối ưu hóa theo cách sao cho tất cả các kịch bản an toàn quan trọng và các môi trường thử nghiệm có liên quan đều được tính đến (xem 5.2.2 RGE-SCC.4). Mặc dù, lý tưởng nhất là các mẫu huấn luyện thoái hóa dữ liệu đã được thu thập và đưa vào danh mục, nhưng việc bổ sung cho phương pháp tiếp cận này bằng cách sử dụng phân phối xác suất được khuyến khích để tạo ra một số lượng lớn hơn và đa dạng hơn các loại điểm dữ liệu bị thoái hóa.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

...

...

...

Ý tưởng

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm

5A.3.5  RCR_LIA.5

Nếu dữ liệu tổng hợp là một phần của danh mục thoái hóa và thay đổi phân phối, hãy lập luận và tài liệu hóa rõ ràng cách thức dữ liệu đó bắt chước thực tế cũng như lý do tại sao và mức độ nào có lợi cho việc đánh giá độ bền vững. Nếu dựa vào phân phối nhiễu loạn tổng hợp hoặc được mô hình hóa, thì phải chỉ ra cách chúng giống với các hiện tượng hoặc hiệu ứng trong thế giới thực như thế nào, hoặc ít nhất, nếu chúng không thể được giả định là giống với các hiệu ứng xảy ra tự nhiên, thì chúng có thể được đưa vào sử dụng hợp lý như thế nào.

Loại yêu cầu

Được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

...

...

...

Phát triển

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm, Quy trình xác nhận tính hợp lệ

5.4.3.6  RCR_LIA.6

Lựa chọn cẩn thận và thường xuyên cập nhật danh mục thoái hóa và thay đổi phân phối (xem RCR_LIA.4). Để phù hợp với tốc độ phát triển nhanh chóng của tiến bộ khoa học và khám phá trong lĩnh vực độ bền vững, điều rất cần thiết là phải thường xuyên xem xét tinh chỉnh và cập nhật danh mục thoái hóa và thay đổi phân phối là điều không thể thiếu, cần thiết lập một lịch trình cập nhật phù hợp, lịch trình này cũng có thể dựa trên các sự kiện như giới thiệu các mô-đun AI mới hoặc những thay đổi trong môi trường triển khai.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

...

...

...

Ý tưởng, Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm

5.4.3.7  RCR_LIA.7

Tiêu chí xác định và lập tài liệu cho CR đầy đủ, tức là xác định phạm vi có thể chấp nhận hợp lý cho các số liệu của sự thoái hóa và danh mục thay đổi phân phối (xem RCR_LIA.4). Phạm vi chấp nhận hợp lý có thể được thu thập và xây dựng bằng cách xem xét các biện pháp đo điểm chuẩn cho các số liệu được liệt kê trong tài liệu. Quá trình này cũng bao gồm việc xác định và tài liệu hóa phạm vi và khoảng thời gian có thể chấp nhận phù hợp.

VÍ DỤ: Điểm chuẩn phổ biến trong thị giác máy tính là hiệu năng của mô hình phân loại hình ảnh trên dữ liệu khi đối mặt với các thoái hóa phổ biến, chẳng hạn như nhiễu Gaussian hoặc nhiễu nổ ở các mức độ nghiêm trọng khác nhau.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quyết định, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm

5.4.3.8 RCR_LIA.8

Consolidate the above considerations (see RCR_LIA.1, RCR_LIA.2, RCR_LIA3, RCR_LIA4, RCR_LIA.5, Hợp nhất các cân nhắc ở trên (xem RCR_LIA.1, RCR_LIA.2, RCR_LIA3, RCR_LIA4, RCR_LIA.5, RCR_LIA.6 và RCR_LIA.7) bằng cách mở rộng tài liệu được gọi là “đặc tính CR”. Những cân nhắc ở trên phải được tóm tắt dưới dạng một tài liệu được gọi là "đặc tính CR mở rộng (phân tích khả năng và tác động)"). Tài liệu này bao gồm phân tích các hậu quả tiềm tàng, khả năng xảy ra lỗi mô-đun AI do thiếu độ bền vững đối với các loại thoái hóa dữ liệu hoặc thay đổi phân phối đã biết, và phân loại rủi ro tương ứng. Đặc tính CR mở rộng (phân tích khả năng xảy ra và tác động) hơn nữa còn bao gồm danh mục các kịch bản an toàn quan trọng được ưu tiên (xem 5.2.2 RGE_SCC.4) cũng như danh mục thoái hóa và thay đổi phân phối (xem RCR_LIA.4). Tài liệu phải được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình xác định các yêu cầu hệ thống và phần mềm

5.4.4  Đánh giá độ bền vững

5.4.4.1  RCR_EVL.1

Phát triển một kế hoạch thử nghiệm (CR) dựa trên đặc tính CR mở rộng (phân tích khả năng xảy ra và tác động) như được mô tả trong 5.4.3 RCR_LIA.8. Chuyển đổi các loại thoái hóa và thay đổi phân phối đã được xác định là nghiêm trọng và tùy thuộc vào phân loại rủi ro cũng như danh mục thoái hóa và thay đổi phân phối được liên kết thành một kế hoạch thử nghiệm cụ thể có thể được thực hiện cho mô-đun AI nhất định, ở đây, cần lưu ý những điều sau đây:

- Kế hoạch thử nghiệm phải chứa các tiêu chí đưa vào phù hợp, tức là các sự kiện kích hoạt áp dụng kế hoạch thử nghiệm phải được chỉ định.

- Kế hoạch thử nghiệm phải bao gồm các tiêu chí để dừng sớm, nghĩa là các sự kiện hủy bỏ thử nghiệm phải được mô tả.

...

...

...

- Kế hoạch kiểm tra phải được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu, Môi trường

(các) Giai đoạn đoạn vòng đời

Phát triển

(các) Quy trình vòng đời

Quy trình lập kế hoạch đề án, Quy trình quản lý quyết định, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm

...

...

...

Tích hợp một quy trình cập nhật thường xuyên cho kế hoạch kiểm tra (xem RCR_EVL.1), tức là thường xuyên tiến hành đánh giá tình trạng hiện đại nhất và quyết định xem những thay đổi cơ bản nào đã xảy ra hay chưa (các loại thay đổi có liên Quan phải được người dùng xác định trước). Do tốc độ nghiên cứu trong lĩnh vực này tiến triển nhanh chóng, cho nên danh mục thoái hóa và thay đổi phân phối phải được cập nhật thường xuyên. Độ bền vững thoái hóa của mô-đun AI phải được đánh giá lại và kiểm tra lại sau mỗi lần cập nhật danh mục thoái hóa và thay đổi phân phối hoặc kế hoạch kiểm tra.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống và phần mềm, Quy trình vận hành, Quy trình bảo trì

...

...

...

Sau mỗi lần chạy kế hoạch kiểm tra (xem RCR_EVL.1), cần so sánh kết quả với phạm vi có thể chấp nhận được và kết quả kiểm chuẩn cho mỗi loại thoái hóa hoặc thay đổi phân phối (xem 5.4.3 RCR_LIA.7), cũng như kịch bản và môi trường kiểm tra (xem 5.2 .2 RGE_SCC.4), và quyết định xem mô-đun AI có đủ bền vững hay không. Mọi vi phạm kiểm chuẩn đều phải dẫn đến việc xem xét lại chiến lược giảm thiểu và dừng sơ bộ, và thậm chí là xem xét lại việc triển khai mô-đun AI.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác minh

...

...

...

Hợp nhất các kết quả và thông tin ở trên (xem RCR_EVL.1, RCR_EVL.2 và RCR_EVL.3) dưới dạng một tài liệu có cấu trúc (được gọi là "đánh giá CR"), tức là thu thập và lưu trữ cần thận các kết quả đánh giá và tất cả thông tin về các lần hoạt động và cập nhật kế hoạch kiểm tra cũng như dữ liệu thoái hóa được tạo ra, để dữ liệu sau đó có thể được tái tạo. Các phần thông tin liên quan nhất về việc thực hiện và cập nhật kế hoạch kiểm tra phải được thu thập và lưu trữ (ví dụ: số liệu thống kê tóm tắt). Ngoài ra, dữ liệu bắt nguồn từ, hoặc bị ảnh hưởng bởi sự thoái hóa hoặc thay đổi phân phối phải được thu gọn thành một bản tóm tắt toàn diện về cả quá trình tạo ra và phân nhánh của chúng, với khả năng tái tạo cấu thành mục tiêu chính (ví dụ: hiện vật đã lưu). Nói cách khác, thông tin được thu thập phải luôn cho phép tái tạo trong tập dữ liệu huấn luyện, kiểm thử hoặc xác nhận tính hợp lệ. Ngoài ra, các phần thông tin phù hợp nhất có thể được sử dụng cho các kiểm chuẩn và chiến lược phòng thủ tiếp theo. Tài liệu phải được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

(các) Nhân tố ảnh hưởng

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình bảo trì

...

...

...

5.4.5.1  RCR_MIT.1

Xây dựng dựa trên kết quả của kế hoạch kiểm tra (xem 5.4.4 RCR_EVL.1), thiết lập một danh sách các chiến lược giảm thiểu tiềm tàng để tính toán các loại suy thoái hoặc thay đổi phân phối quan trọng (xem 5.4.2 RCR_TMA.1). Đối với mỗi loại thoái hóa dữ liệu hoặc thay đổi phân phối đã được xác định là có vấn đề trong khi chạy thử nghiệm, cần phát triển chiến lược giảm thiểu. Điều này bao gồm lý luận tại sao nó lại hiệu quả và xứng đáng được xem xét cũng như nỗ lực thực tế.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

Mô hình

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

...

...

...

5.4.5.2  RCR_MIT.2

Sưu soạn một nhóm giảm thiều từ danh mục các chiến lược giảm thiểu tiềm tàng (xem RCR_MIT.1). Xem xét sự thay đổi trong hành vi hoặc cảm nhận của một mô-đun AI đối với các loại thoái hóa hoặc thay đổi phân phối khác nhau, rất có thể cần phải chứng minh sự cần thiết phải phát triển một nhóm giảm thiểu, tức là sự hợp thành của các chiến lược giảm thiểu ở đó có khả năng cùng nhau khắc phục những thiếu sót bị phơi bày bởi các kết quả chạy thử nghiệm không đạt yêu cầu. Cần phải nhấn mạnh rằng, không thể mong đợi một chiến lược giảm thiểu duy nhất (và thường là chuyên biệt) có thể chống lại nhiều loại dữ liệu thoái hóa hoặc thay đổi phân phối khác nhau, chứ chưa nói đến tất cả các loại. Do đó các thành phần ứng viên phải được xác định, lựa chọn và cập nhật thường xuyên để nhóm giảm thiểu có hiệu quả trong việc chống lại các mối đe dọa an toàn khác nhau.

VÍ DỤ: Một tập hợp giảm thiểu đầy hứa hẹn có thể hoạt động như được mô tả sau đây. Tùy thuộc vào mức độ nghiêm trọng của sự thoái hóa hoặc thay đổi phân phối và mức độ liên quan đến an toàn của nhiệm vụ, hãy chọn một trong ba hành vi sau:

- Ghi nhật ký nội bộ mà không ảnh hưởng đến phân loại hoặc thực hiện hành động (ví dụ: không có phản hồi cho khách hàng của một cửa hàng trực tuyến nhưng có thông báo cho bộ phận quản lý chất lượng);

- Ghi nhật ký nội bộ mà không ảnh hưởng đến phân loại, nhưng lại thông báo cho người dùng;

- Ghi nhật ký nội bộ, từ chối phân loại, tùy chọn thông báo cho người dùng.

Loại yêu cầu

Rất được khuyến khích

(các) Nhân tố ảnh hưởng

...

...

...

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển

(các) Quy trình vòng đời

Quy trình quản lý quyết định, Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác định các yêu cầu hệ thống/phần mềm, Quy trình xác minh

5.4.5.3  RCR_MIT.3

Tìm kiếm liên tục các chiến lược giảm thiểu mới và tốt hơn (đặc biệt nếu các loại thoái hóa hoặc thay đổi dịch chuyển mới được xác định trong quá trình triển khai). Rất khuyến khích theo dõi tiến độ trong các lĩnh vực nghiên cứu tương ứng để cải thiện các chiến lược giảm thiểu hiện có hoặc thay thế chúng bằng các biện pháp phòng thủ mới lạ có khả năng đối phó hiệu quả hơn với các loại dữ liệu thoái hóa hoặc thay đổi phân phối mới.

VÍ DỤ: Một loại thoái hóa mới được phát hiện có thể yêu cầu thêm một biện pháp giảm thiểu phù hợp khác được bổ sung vào nhóm giảm thiểu. Chẳng hạn, sự xuống cấp của phần cứng và dẫn đến dữ liệu thoái hóa có thể được giải quyết bằng cách thêm các kỹ thuật khử tạp nhiễu dựa trên học máy vào mô-đun AI.

Loại yêu cầu

Rất được khuyến khích

...

...

...

Mô hình

(các) Giai đoạn đoạn vòng đời

Ý tưởng, Phát triển, Triển khai, Vận hành

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình quản lý hệ thống, Quy trình phân tích, Quy trình bảo trì

5.4.5.4  RCR_MIT.4

Trước khi triển khai, hãy thử nghiệm mô-đun AI với các chiến lược giảm thiểu đã thực hiện đối với các loại thoái hóa hoặc thay đổi có liên quan đã được xác định bằng cách sử dụng kế hoạch thử nghiệm. Trước khi triển khai mô-đun AI, hãy đánh giá các chiến lược giảm thiểu đã thực hiện bằng cách sử dụng kế hoạch kiểm tra như được mô tả trong 5.4.4 RCR_EVL.1, với loại dữ liệu thoái hóa tiềm tàng mới lạ đối với mô hình cấu thành tiêu chí đưa vào kế hoạch thử nghiệm. Luôn cố gắng làm cho các kết quả có thể tái tạo và so sánh được bằng cách tài liệu hóa quy trình một cách chính xác và rõ ràng.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình

(các) Giai đoạn đoạn vòng đời

Phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình đo lường, Quy trình bảo đảm chất lượng, Quy trình xác minh, Quy trình xác định tính hợp lệ

5.4.5.5  RCR_MIT.5

Hợp nhất các cân nhắc ở ở trên (xem RCR_MIT.1, RCR_MIT.2, RCR_MIT.3 và RCR_MIT.4) vào một tài liệu liệt kê các thành phần của nhóm giảm thiểu cùng với lý do tại sao các chiến lược giảm thiểu cụ thể đã được lựa chọn và chứa tất cả thông tin có liên quan đến việc thực hiện và cập nhật kế hoạch kiểm tra (xem 5.4.4 RCR_EVL.1). Những cân nhắc ở trên phải được tóm tắt dưới dạng một tài liệu (được gọi là "danh sách phòng thủ CR") cung cấp tổng quan và đặc điểm của các thành phần của nhóm phòng thủ cùng với lý do rõ ràng tại sao chúng được lựa chọn để thực hiện. Đặc tính giảm thiểu CR tóm tắt hơn nữa tất cả các cập nhật cho kế hoạch kiểm tra và về cơ bản bao gồm thông tin và số liệu thống kê tóm tắt liên quan đến thực hiện kế hoạch kiểm tra. Tài liệu phải được cập nhật theo một lịch trình cập nhật hợp lý và khả thi.

Loại yêu cầu

Bắt buộc

...

...

...

Mô hình, Dữ liệu

(các) Giai đoạn đoạn vòng đời

Phát triển

(các) Quy trình vòng đời

Quy trình quản lý rủi ro, Quy trình quản lý thông tin, Quy trình bảo đảm chất lượng

6  Hướng dẫn thực hiện

Tiêu chuẩn này không tạo thành một chuỗi hành động kiểm soát khi nào và cách thức triển khai các yêu cầu chất lượng AI riêng biệt được thực hiện, mà đúng hơn bao gồm một tập hợp các yêu cầu độ bền vững AI cụ thể. Tuy nhiên, các tổ chức chịu trách nhiệm phát triển và vận hành các mô-đun AI sẽ được hưởng lợi từ việc lập kế hoạch và thực hiện các bước đánh giá và cải tiến chất lượng AI một cách có hệ thống. Ví dụ: phân loại mô-đun AI được phát triển mới là “rủi ro cao" hoặc “rủi ro thấp" (xem chương 4) và thực hiện các quy trình quản lý rủi ro chung tương ứng (ví dụ: dựa trên tiêu chuẩn ISO 31000, xem Điều 5.1), trước khi xác định kế hoạch thử nghiệm chi tiết đánh giá Độ bền vững đối thủ (AR) và Độ bền vững thoái hóa (CR) của mô-đun AI mới, sẽ là thứ tự các bước công việc tự nhiên. Vì chất lượng AI đã định cần được xử lý như một quy trình liên tục thay vì thực hiện một lần theo kinh nghiệm (xem điều 5.2), các tổ chức nên lập kế hoạch cho công việc liên tục của họ liên quan đến đánh giá và cải tiến chất lượng AI tương ứng (ví dụ: bằng cách phát triển các biểu đồ quy trình đánh giá chất lượng AI với lộ trình quyết định rõ ràng dựa trên các số liệu chính, chẳng hạn như báo cáo độ bền vững AI cho từng mô-đun AI riêng biệt).

Bên cạnh một kế hoạch có hệ thống về các bước công việc liên quan đến chất lượng AI đang diễn ra, các tổ chức thực hiện yêu cầu độ bền vững AI sẽ được hưởng lợi từ việc xử lý nghiêm túc các tài liệu liên quan đến chất lượng AI. Ví dụ: Tiêu chuẩn DIN Spec này đề xuất đối với AR (xem điều 5.2) tạo ra các tài liệu “đặc tính AR”, "đặc tính AR mở rộng (phân tích khả năng xảy ra và tác động)", “danh mục biện pháp đo và tấn công của đối thủ”, "đánh giá AR" và "Danh mục biện pháp phòng thủ AR", đối với CR (xem điều 5.3) tạo ra các tài liệu "đặc tính CR", "đặc tính CR mở rộng (phân tích khả năng xảy ra và tác động)"," danh mục thoái hóa và thay đổi phân phối", "đánh giá CR" và "danh mục phòng thủ CR", và đối với đánh giá độ bền vững kinh nghiệm tổng thể (AR+CR) của một mô-đun AI cụ thể, theo một "kế hoạch thử nghiệm" riêng biệt. Ngoài ra, sau khi một kế hoạch thử nghiệm AI đã được triển khai trên thực tế, thì kết quả đánh giá độ bền vững thực nghiệm phải được lưu trữ tương ứng, ví dụ dưới dạng “báo cáo độ bền vững AI” hoặc “hồ sơ độ bền vững AI” (được liên kết với một phiên bản cụ thể của mô-đun AI riêng biệt). Việc tạo ra nghiêm túc và cập nhật liên tục các tài liệu như vậy cần được các tổ chức ưu tiên hàng đầu, vì trong tương lai, các tài liệu như vậy có thể được yêu cầu trong nhiều bối cảnh khác nhau, chẳng hạn như xin phê duyệt theo quy định đối với mô-đun AI mới, tăng độ tin cậy của cả khách hàng và nhà phân tích thị trường chứng khoán, và có thể chứng minh rằng các bước thích hợp để đánh giá độ bền vững AI đã được thực hiện trong các trường hợp AI thất bại dẫn đến thủ tục tố tụng tại tòa án về trách nhiệm pháp lý của AI.

Tham chiếu đến các tài liệu về độ bền vững của AI tập trung được đề cập trong Tiêu chuẩn này:

...

...

...

- Đặc tính AR (xem 5.3.2 RAR_TMA.6)

- Danh mục đo lường và tấn công đối thủ (xem 5.3.3 RAR_LIA.5)

- Đặc tính AR mở rộng (phân tích khả năng xảy ra và tác động) (xem 5.3.3 RAR_LIA.10)

- Kế hoạch thử nghiệm (AR) (xem 5.3.4 RAR_EVL.1)

- Đánh giá AR (xem 5.3.4 RAR_EVL.4)

- Danh mục phòng thủ AR (xem 5.3.5 RAR_MIT.7)

Đối với CR, Tiêu chuẩn này đề xuất tạo ra các tài liệu sau:

- Đặc tính CR (xem 5.4.2 RCR_TMA.5)

- Sự thoái hóa và danh mục thay đổi phân phối (xem 5.4.3 RCR_LIA.4)

...

...

...

- Kế hoạch thử nghiệm (CR) (xem 5.4.4 RCR_EVL.1)

- Đánh giá CR (xem 5.4.4 RCR_EVL.3)

- Danh mục phòng thủ CR (xem 5.4.5 RCR_MIT.5)

Thư mục tài liệu tham khảo

[1] ISO/ IEC/IEEE 12207:2017. Systems and software engineering - Software life cycle processes. Tech. rep. ISO, IEC and IEEE, 2017.

[2] ISO/IEC 2382:2015. Information technology - Vocabulary. Tech. rep. ISO and IEC, 2015.

[3] E. Tabassi et al. A Taxonomy and Terminology of Adversarial Machine Learning, 2019.

[4] I. Goodfellow et al. Attacking machine learning with adversarial examples. OpenAI Blog, 2017.

...

...

...

[6] X. Yuan et al. Adversarial Examples: Attacks and Defenses for Deep Learning, 2018.

[7] J. Metzen et al. Universal Adversarial Perturbations Against Semantic Image Segmentation, 2017.

[8] A. Kurakin et al. Adversarial Attacks and Defences Competition, 2018.

[9] Requirements for machine learning-based Quality of Service Assurance for the IMT-2020 Network, 2018.

[10] D. Hendrycks and T. Dietterich Benchmarking neural network robustness to common corruptions and perturbations, 2019.

[11] J. Quinonero-Candela. et al. Dataset Shift in Machine Learning. The MIT Press, 2008.

[12] J. Moreno-Torres et al. A unifying view on dataset shift in classification. Pattern Recognition 45, 2012.

[13] N. Ford et al. Adversarial examples are a natural consequence of test error in noise, 2019.

[14] G. Ditzlerand R. Polikar. Semi-supervised Learning in Nonstationary Environments, 2011.

...

...

...

[16] L. Engstrom et al. Exploring the landscape of spatial robustness, 2019.

[17] Y. Chung et al. Unknown Examples & Machine Learning Model Generalization, 2018.

[18] ISO 31000:2018. Risk management - Guidelines. Tech. rep. ISO, 2018.

[19] I. Goodfellow, J. Shlens, and C. Szegedy. Explaining and harnessing adversarial examples, 2014.

[20] A. Madry et al. Towards deep learning models resistant to adversarial attacks, 2017

[21] DIN SPEC 92001-2, Artificial Intelligence - Life Cycle Processes and Quality Requirements - Part 2: Robustness.

Mục lục

Mục lục

...

...

...

2  Tài liệu viện dẫn

3  Thuật ngữ và định nghĩa

3.1

3.2

3.3

4  Mô hình Meta chất lượng AI

5  Độ bền vững

5.1  Giới thiệu độ bền vững AI

5.2  Yêu cầu và hướng dẫn về quản lý rủi ro

...

...

...

5.4  Yêu cầu cụ thể với độ bền vững thoái hóa

6  Hướng dẫn thực hiện

Thư mục tài liệu tham khảo