Tiêu chuẩn quốc gia TCVN 8704:2011 về Công nghệ thông tin - Chất lượng sản phẩm - phép đánh giá chất lượng

• Số hiệu: TCVN8704:2011
• Loại văn bản: Tiêu chuẩn Việt Nam
• Nơi ban hành: ***
• Người ký: ***
• Ngày ban hành: Năm 2011

Tên phép đánh giá	Mục đích của phép đánh giá	Phương pháp áp dụng	Phép đo, công thức và tính toán các thành phần dữ liệu	Chuyển đổi giá trị đo	Loại thang đánh giá	Loại phép đo	Đầu vào cho phép đo	Tham chiếu ISO/IEC 12207 SLCP	Đối tượng sử dụng
Tính hiệu quả	Tỷ lệ mục tiêu của các nhiệm vụ đạt được đúng là bao nhiêu?	Người sử dụng kiểm tra	M1 = |1- ΣAi| Ai = Tỷ lệ giá trị của đầu ra của mỗi nhiệm vụ bị thiếu hoặc không chính xác.	0<=M1<=1 Càng gần 1.0 càng tốt		A= Tỷ lệ	Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng	6.5 Xác nhận 5.3 Kiểm tra chất lượng 5.4 Vận hành	Người sử dụng Người thiết kế giao diện sử dụng
CHÚ THÍCH: Mỗi thiếu sót tiềm năng hoặc thành phần không hoàn thiện được gán một trọng số Ai dựa trên giới hạn mà nó giảm từ giá trị đầu ra của doanh nghiệp hoặc người sử dụng. (Nếu tổng trọng số A lớn hơn 1, phép đánh giá thông thường thiết lập bằng 0, mặc dù điều này có thể chỉ thị kết quả và các vấn đề an toàn tiềm năng là tiêu cực). Phương án chấm điểm được lọc lặp nhiều lần bằng cách áp dụng nó cho một loạt các kết quả nhiệm vụ và chỉnh sửa các trọng số cho đến khi các phép đo nhận được trùng nhau, lặp lại và có nghĩa.
Hoàn thành nhiệm vụ	Tỷ lệ các nhiệm vụ được hoàn thành là bao nhiêu?	Người sử dụng kiểm tra	X= A/B A= Số lượng các nhiệm vụ được hoàn thành B= Tổng số các nhiệm vụ cố gắng thực hiện	0<=X<=1 Càng gần 1.0 càng tốt.	Tỷ lệ	A= Số đếm B= Số đếm X= Số đếm/ Số đếm	Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng	6.5 Xác nhận 5.3 Kiểm tra chất lượng 5.4 Vận hành	Người sử dụng Người thiết kế giao diện sử dụng
CHÚ THÍCH: Phép đánh giá này có thể được đo cho một người hoặc một nhóm người sử dụng. Nếu các nhiệm vụ có thể hoàn thành từng phần thì phép đánh giá tính hiệu quả phải được sử dụng.
Tần suất lỗi	Tần suất xảy ra lỗi là bao nhiêu?	Người sử dụng kiểm tra	X= A/T A= Số lượng các lỗi gây ra bởi người sử dụng T= Thời gian hoặc số lượng nhiệm vụ	0<=X<=1 Càng gần 0 càng tốt	Tuyệt đối	A= Số đếm	Báo cáo vận hành (kiểm tra) Bản ghi giám sát người sử dụng	6.5 Xác nhận 5.3 Kiểm tra chất lượng 5.4 Vận hành	Người sử dụng Người thiết kế giao diện sử dụng
CHÚ THÍCH: Phép đánh giá này chỉ thích hợp cho việc thực hiện so sánh nếu các lỗi có cùng mức độ quan trọng hoặc cùng trọng số.

7.2  Các phép đánh giá tính năng suất

Các phép đánh giá tính năng suất ước lượng các tài nguyên mà người sử dụng tiêu tốn trong mối quan hệ với tính hiệu quả thực hiện trong ngữ cảnh sử dụng xác định. Tài nguyên thông dụng chung nhất là thời gian để hoàn thành nhiệm vụ, mặc dù các tài nguyên liên quan khác có thể bao gồm nguồn lực người sử dụng, vật liệu hoặc chi phí tài chính của việc sử dụng.

Bảng 2 - Các phép đánh giá tính năng suất

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

...

...

...

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Thời gian thực hiện nhiệm vụ

Thời gian để hoàn thành nhiệm vụ là bao lâu?

Người sử dụng kiểm tra

X= Ta

Ta= thời gian hoàn thành nhiệm vụ

0<=X

...

...

...

Khoảng thời gian

T= Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

...

...

...

Người sử dụng hiệu quả như thế nào?

Người sử dụng kiểm tra

X= M1/T

M1= hiệu quả của nhiệm vụ

T= thời gian hoàn thành nhiệm vụ

0<=X

X càng lớn càng tốt

-

T= Thời gian

...

...

...

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

CHÚ THÍCH 1: Hiệu quả của nhiệm vụ đo tỷ lệ mục tiêu đạt được trên mỗi đơn vị thời gian. Hiệu quả tăng cùng với tính hiệu quả tăng và giảm thời gian thực hiện nhiệm vụ. Nó cho phép thiết lập so sánh, ví dụ, giữa các giao diện nhanh không thể tránh lỗi và các giao diện chậm.

CHÚ THÍCH 2: Nếu việc hoàn thành nhiệm vụ đã được đo, hiệu quả nhiệm vụ có thể được đo như hoàn thành nhiệm vụ/ thời gian hoàn thành. Điều này đo tỷ tệ với người sử dụng thành công trên mỗi đơn vị thời gian. Giá trị cao chỉ thị tỷ lệ của người sử dụng thành công trong khoảng thời gian nhỏ.

...

...

...

Hiệu quả chi phí người sử dụng như thế nào?

Người sử dụng kiểm tra

X = M1/C

M1= Hiệu quả nhiệm vụ

C= Tổng chi phí của nhiệm vụ

0<=X

Càng lớn càng tốt

Tuyệt đối

C= Giá trị

...

...

...

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

CHÚ THÍCH: Chi phí có thể bao gồm, ví dụ, thời gian người sử dụng, thời gian của các hỗ trợ khác, và chi phí tài nguyên máy tính, điện thoại, và các vật liệu.

Tỷ lệ năng suất

...

...

...

Người sử dụng kiểm tra

X = Ta/Tb

Ta= thời gian sản xuất = thời gian thực hiện nhiệm vụ - thời gian hỗ trợ - thời gian lỗi - thời gian tìm kiếm

Tb = thời gian thực hiện nhiệm vụ

0<=X<=1

Càng gần 1.0 càng tốt

Giá trị tuyệt đối

Ta= Thời gian

Tb= Thời gian

...

...

...

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

CHÚ THÍCH: Phép đánh giá này yêu cầu phân tích chi tiết băng ghi hình hành động xử lý.

Hiệu quả người sử dụng tương đối

...

...

...

Người sử dụng kiểm tra

Hiệu quả người sử dụng tương đối X= A/B

A= Hiệu quả người sử dụng ban đầu

B= Hiệu quả người sử dụng chuyên gia

0<=X<=1

Càng gần 1.0 càng tốt

Giá trị tuyệt đối

X = Tỷ lệ/Tỷ lệ

Báo cáo vận hành (kiểm tra)

...

...

...

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

CHÚ THÍCH: Người sử dụng và chuyên gia thực hiện cùng một nhiệm vụ. Nếu chuyên gia có hiệu suất 100% và người sử dụng và chuyên gia có cũng hiệu quả nhiệm vụ, thì phép đánh giá này có thể sẽ có cùng giá trị với tỷ lệ năng suất.

7.3  Các phép đánh giá tính an toàn

Các phép đánh giá tính an toàn ước lượng mức độ rủi ro gây hại tới con người, doanh nghiệp, phần mềm, tài sản hoặc môi trường trong ngữ cảnh sử dụng xác định. Nó bao gồm sức khỏe và an toàn của cả người sử dụng và những người có ảnh hưởng tới việc sử dụng, cũng như là các hậu quả vật lý và kinh tế không dự kiến trước được.

Bảng 3 - Các phép đánh giá tính an toàn

...

...

...

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

...

...

...

Có xảy ra nào liên quan các vấn đề sức khỏe người sử dụng sản phẩm không?

Thống kê sử dụng

X= 1-A / B

A= Số báo cáo của người sử dụng về RSI

B= Tổng số người sử dụng

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A= Số đếm

...

...

...

X= Số đếm/ Số đếm

Bản ghi giám sát sử dụng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

CHÚ THÍCH: Các vấn đề sức khỏe bao gồm bệnh căng thẳng thường xuyên (RSI), mệt mỏi, đau đầu,…

An toàn con người bị ảnh hưởng bởi sử dụng hệ thống

Có xảy ra mối nguy nào tới người sử dụng bị ảnh hưởng do sử dụng hệ thống không?

Thống kê sử dụng

...

...

...

A= Số người có mối nguy

B= Tổng số người sử dụng có khả năng bị ảnh hưởng bởi hệ thống

0<=X<=1

X càng gần 1.0 càng tốt

Tuyệt đối

A= Số đếm

B= Số đếm

X= Số đếm/ Số đếm

Bản ghi giám sát sử dụng

...

...

...

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

Người phát triển

CHÚ THÍCH: Ví dụ về phép đánh giá này là mức độ an toàn bệnh nhân, trong đó A là số bệnh nhân được chữa trị không đúng và B là tổng số bệnh nhân.

Thiệt hại về kinh tế

Xảy ra thiệt hại về kinh tế như thế nào?

Thống kê sử dụng

X= 1-A / B

...

...

...

B= Tổng số trường hợp sử dụng

0<=X<=1

X càng gần 1.0 càng tốt

Tuyệt đối

A= Số đếm

B= Số đếm

X= Số đếm/ Số đếm

Bản ghi giám sát sử dụng

5.4 Vận hành

...

...

...

Người thiết kế giao diện sử dụng

Người phát triển

CHÚ THÍCH: Nó cũng có thể được đo dựa trên số trường hợp xảy ra có những nguy cơ thiệt hại kinh tế.

Thiệt hại phần mềm

Xảy ra gián đoạn phần mềm như thế nào?

Thống kê sử dụng

X= 1-A / B

A= Số lượng xảy ra gián đoạn phần mềm

B= Tổng số tình huống sử dụng

...

...

...

Càng gần 1.0 càng tốt

Tuyệt đối

A= Số đếm

B= Số đếm

X= Số đếm/ Số đếm

Bản ghi giám sát sử dụng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

...

...

...

CHÚ THÍCH 1: Phép đánh giá này cũng có thể được đo dựa trên số trường hợp xảy ra có nguy cơ gây thiệt hại về phần mềm.

CHÚ THÍCH 2: Nó cũng có thể được đo như sau X = chi phí tích lũy do gián đoạn thời gian sử dụng phần mềm.

7.4  Các phép đánh giá sự thỏa mãn

Các phép đánh giá sự thỏa mãn đánh giá thái độ của người sử dụng phản ánh khi sử dụng sản phẩm trong ngữ cảnh sử dụng nhất định.

CHÚ THÍCH: Tính thỏa mãn bị ảnh hưởng bởi cảm nhận của người sử dụng tới các đặc tính của sản phẩm phần mềm (như các thuộc tính được đo bằng các phép đánh giá ngoài) và bởi cảm nhận của người sử dụng về tính hiệu quả, tính hiệu suất, tính an toàn khi sử dụng.

Bảng 4 - Các phép đánh giá tính thỏa mãn

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

...

...

...

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Mức độ thỏa mãn

Người sử dụng thỏa mãn như thế nào?

Người sử dụng kiểm tra

...

...

...

A= Bảng câu hỏi đo các mức độ tâm lí

B= Trung bình của số lượng

0<X

Càng lớn càng tốt

Tỷ lệ

A= Số đếm

B= Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

...

...

...

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện sử dụng

Người phát triển

Bảng câu hỏi về sự thỏa mãn

Người sử dụng thỏa mãn với các đặc điểm của phần mềm cụ thể như thế nào?

Người sử dụng kiểm tra

X = Σ(Ai) / n

...

...

...

N= Số phản hồi

So sánh với các giá trị trước hoặc với giá trị trung bình số lượng

Số thứ tự

A= Số đếm

B= Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người thiết kế giao diện sử dụng

Người phát triển

CHÚ THÍCH: Nếu các câu hỏi được kết hợp đưa ra số điểm toàn thể, chúng phải được đặt trọng số, do các câu hỏi khác nhau có mức quan trọng khác nhau.

Việc sử dụng theo ý

Tỷ lệ người sử dụng tiềm năng lựa chọn sử dụng hệ thống là bao nhiêu?

Quan sát việc sử dụng

X = A/ B

A = Số lần mà các chức năng/ ứng dụng/ hệ thống phần mềm cụ thể được sử dụng

...

...

...

0<=X<=1

Càng gần 1.0 càng tốt.

Tỷ lệ

A= Số đếm

B= Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người thiết kế giao diện sử dụng

Người phát triển

CHÚ THÍCH: Phép đánh giá này thích hợp khi việc sử dụng là tùy ý.

Phụ lục A

(Tham khảo)

Các vấn đề cần quan tâm khi sử dụng các phép đánh giá

Xem Phụ lục A. TCVN 8702:2011

...

...

...

Phụ lục B

(Tham khảo)

Sử dụng các phép đánh giá ngoài, trong và chất lượng sử dụng (ví dụ khung)

Xem Phụ lục B. TCVN 8702:2011.

Phụ lục C

(Tham khảo)

Giải thích chi tiết các loại thang đánh giá và các loại phép đo

Xem phụ lục C, TCVN 8702:2011.

...

...

...

THƯ MỤC TÀI LIỆU THAM KHẢO

[1] ISO/IEC 9126-1:2001 - Software engineering - Product quality - Part 1: Quality model.

[2] ISO/IEC 9126-4:2004 - Software engineering - Product quality - Part 4: Quality in Use metrics.

MỤC LỤC

1  Phạm vi áp dụng

2  Tiêu chuẩn viện dẫn

3  Thuật ngữ và định nghĩa

4  Ký hiệu và thuật ngữ

...

...

...

6  Đọc và sử dụng các bảng phép đánh giá

7  Bảng các phép đánh giá

7.1  Các phép đánh giá tính hiệu quả

7.2  Các phép đánh giá tính năng suất

7.3  Các phép đánh giá tính an toàn

7.4  Các phép đánh giá sự thỏa mãn

Phụ lục A (Tham khảo) Các vấn đề cần quan tâm khi sử dụng các phép đánh giá

Phụ lục B (Tham khảo) Sử dụng các phép đánh giá ngoài, trong và chất lượng sử dụng (ví dụ khung)

Phụ lục C (Tham khảo) Giải thích chi tiết các loại thang đánh giá và các loại phép đo

...

...

...