Mỗi bài đánh giá được xây dựng cho niềm tin, không chỉ cho quy mô.
Chúng tôi thiết kế nội dung đánh giá để các tổ chức có thể dựa vào đó cho các quyết định về kỹ năng, học tập và con người. Điều đó bắt đầu từ sự đảm bảo: tính hợp lệ, độ tin cậy và quản trị. Quy trình và công nghệ hỗ trợ những tiêu chuẩn đó; chúng không thay thế chúng.
Chất lượng nghĩa là gì đối với chúng tôi
Câu hỏi đo lường đúng kỹ năng mà nó tuyên bố đo lường.
Hai người đưa ra cùng một câu trả lời nhận được kết quả nhất quán.
Trách nhiệm rõ ràng khi có điều gì đó sai, thiên lệch hoặc bị tranh cãi.
Tạo nội dung và đảm bảo
Tạo nội dung
Cách nội dung được tạo ra ở quy mô lớn: tạo nội dung có ràng buộc với gieo mầm và các kiểm soát chống ảo giác. Công thức được giữ bí mật; các cổng chất lượng thì công khai.
Đảm bảo
Cách chúng tôi quyết định nội dung đủ tốt để phát hành, và cách chúng tôi phát hiện lỗi khi nó chưa đủ tốt.
Mô hình chất lượng phân lớp
| Lớp | Cách chất lượng được thực thi |
|---|---|
| Tiêu chuẩn thiết kế | Bộ tiêu chí cho độ khó, cấp độ Bloom, sự mơ hồ, phương án gây nhiễu và tiêu chí chấm điểm |
| Kiểm soát tạo nội dung | Bản thể học chủ đề, gắn kết với nguồn, định dạng ràng buộc, quy tắc chống ảo giác |
| QA tự động | Phát hiện trùng lặp, kiểm tra khả năng trả lời, bộ lọc thiên lệch/độc hại, phương pháp hiệu chỉnh độ khó |
| Rà soát bởi con người ở nơi quan trọng | Chủ đề rủi ro cao, lĩnh vực mới, các mục bị tranh cãi, các gói hướng đến khách hàng |
| Đo lường liên tục | Thống kê hiệu suất từng mục, độ trôi điểm số, tỷ lệ tranh chấp |
| Vòng lặp phản hồi | Các mục kém được loại bỏ hoặc viết lại; quy tắc chấm điểm được siết chặt từ kết quả thực tế |
Phạm vi và mức độ hệ trọng
upSkillScore được xây dựng cho đánh giá quá trình, phân tích khoảng trống kỹ năng và học tập: lặp lại nhanh hơn, độ phủ rộng hơn, và các cổng chất lượng phù hợp với trường hợp sử dụng đó. Chúng tôi cũng đưa ra các đề xuất rõ ràng cho tuyển dụng và bố trí nhân sự dự án. Quản lý vẫn tham gia vào quy trình; nền tảng cung cấp thông tin cho các quyết định. Nó không thay thế chúng.
Cách chấm điểm hoạt động
- Bộ tiêu chí có cấu trúc và tiêu chí bằng chứng
- Hiệu chỉnh dựa trên các câu trả lời chuẩn và các mẫu được chuyên gia chấm điểm khi có sẵn
- Kiểm tra tính nhất quán (chấm điểm lặp lại / tổ hợp)
- Khả năng kiểm toán: vì sao một điểm số được đưa ra và bằng chứng nào đã được trích dẫn
Chúng tôi không tuyên bố rằng một chuyên gia lĩnh vực đã soạn các mục trong mọi ngách chuyên môn. Chúng tôi vận hành một hệ thống tạo nội dung có kiểm soát với các cổng chất lượng đo lường được và hiệu chỉnh liên tục từ hiệu suất đánh giá thực tế. Với các lĩnh vực kỹ năng ưu tiên của bạn, chúng tôi có thể chạy một đợt kiểm định cùng các SME của bạn trước khi triển khai chính thức.
Các LLM cho phép chúng tôi tạo ra chiều sâu và độ rộng. Chất lượng đến từ các bản thiết kế, các cổng tự động và hiệu chỉnh liên tục dựa trên kết quả thực tế, chứ không phải từ việc mặc định cho rằng mô hình luôn đúng.