Thử nghiệm có thể tạo nhiều tin nhắn, bản trình diễn và tác vụ hoàn thành mà vẫn chưa rõ đề nghị có hữu ích không. Với Thora Vietnam, đo lường cần nối tự động hóa AI với quyết định của khách hàng và công sức cung cấp. Bảng dưới đây là điểm bắt đầu được đề xuất, không phải báo cáo kết quả kinh doanh.
Chọn quyết định trước chỉ số
Viết quyết định dự kiến sau thử nghiệm. Ví dụ: phiên bản tiếp theo nên tự động chuyển yêu cầu hay sửa biểu mẫu tiếp nhận trước? Câu hỏi quyết định loại bằng chứng cần có.
Số bản nháp được tạo không cho biết chúng có giảm việc hay không. Cần đo đầu ra được chấp nhận và công sức kiểm tra để đạt đầu ra đó.
Dùng bảng chỉ số nhỏ và cân bằng
Với tự động hóa được đề xuất, ghi số tác vụ hữu ích hoàn thành, số lần sửa mỗi tác vụ, thời gian xử lý gồm cả kiểm tra và ngoại lệ chưa giải quyết. Thêm chi phí vận hành hoặc hỗ trợ khi chúng ảnh hưởng đề nghị. Đặt định nghĩa và mẫu số bên cạnh chỉ số.
Ví dụ minh họa ba bản nháp được chấp nhận trong năm lần thử dễ hiểu hơn tỷ lệ phần trăm thiếu ngữ cảnh. Tuy nhiên, bằng chứng đó vẫn quá ít để tuyên bố hiệu suất chung.
So sánh những trường hợp tương đương
Dùng tác vụ tương tự và ghi độ khó, chất lượng đầu vào cùng người kiểm tra. Nếu đợt sau gồm ví dụ dễ hơn, tốc độ cao hơn có thể không đến từ tự động hóa. Giữ lỗi bất thường trong báo cáo thay vì âm thầm loại bỏ.
Phản hồi định tính cần nằm cạnh số liệu. Người dùng có thể từ chối quy trình nhanh hơn vì khó tin cậy hoặc khó bàn giao đầu ra.
Dùng bảng đo để thay đổi đề nghị
Đầu ra mong muốn là điều chỉnh cụ thể: giới hạn loại dữ liệu, thiết kế lại bước duyệt, đổi phạm vi dịch vụ hoặc dừng phép thử yếu. Chỉ số hữu ích khi nó thay đổi cam kết. Thora Vietnam nên giữ bằng chứng cùng quyết định để đợt thử tiếp kiểm tra được điều đã thay đổi.
Ghi đường cơ sở trước khi nói có cải thiện
Trước khi đổi quy trình, Thora Vietnam cần thống nhất thế nào là trường hợp so sánh được và quan sát cách làm hiện tại. Tính cả duyệt, sửa lỗi và thời gian chờ khi phù hợp. Sau pilot, so sánh trường hợp có độ phức tạp tương tự; ghi khác biệt về khối lượng, mức quen việc và bản ghi thiếu. Với mẫu nhỏ, báo cáo từng quan sát cùng điều chưa chắc chắn thay vì công bố kết quả hiệu suất tổng quát.
Phép tính sau chỉ để minh họa: nếu hiện tại cần 12 phút cho một đầu ra, còn luồng mới cần 4 phút cộng 3 phút duyệt và 2 phút sửa, chênh lệch ròng là 3 phút mỗi trường hợp tương đương. Đây không phải kết quả Thora Vietnam đã đạt.
Kiểm tra kinh tế triển khai cùng kết quả người dùng
Quy trình có thể tiết kiệm thời gian cho khách nhưng tốn quá nhiều công sức triển khai hoặc hỗ trợ. Ghi doanh thu được thống nhất cho kỳ đo cùng chi phí mô hình/API, lưu trữ, công cụ, công duyệt, làm lại và hướng dẫn ban đầu. Tách thiết lập một lần khỏi triển khai lặp lại; chỉ rõ chi phí chung thay vì mặc định miễn phí.
Với đề nghị đang thử, giá niêm yết khác nhu cầu trả phí. Ghi giá mới được trao đổi, đã chấp thuận bằng văn bản hay đã thanh toán. Pilot dựa vào ưu đãi tạm thời vẫn có bài học nhưng cần phép thử khác trước khi thành đề nghị tiêu chuẩn.
Dùng bảng đo gắn với quyết định
Thống nhất ngưỡng với khách trước khi thử, dựa trên rủi ro và đường cơ sở thực tế. Để trống cho đến khi thống nhất; phần trăm tùy ý trên dashboard chưa phải mục tiêu kinh doanh.
Chỉ số | Đường cơ sở | Quan sát pilot | Bằng chứng | Quy tắc quyết định
Trường hợp hoàn tất có ích | | | |
Phút duyệt và sửa lỗi | | | |
Ngoại lệ và lỗi gây hậu quả | | | |
Chi phí trực tiếp và công triển khai | | | |
Sử dụng tiếp và cam kết người mua | | | |Dùng hành vi lặp lại để quyết định đầu tư
Ở giai đoạn tiếp theo, kiểm tra người dùng có quay lại mà không phải nhắc liên tục và người mua có muốn tiếp tục ở phạm vi, mức giá phù hợp không. So sánh nhóm bắt đầu gần thời điểm nhau, tránh cộng mọi lượt sử dụng thành con số tích lũy đẹp mắt. Tìm hiểu lý do rời bỏ hoặc không dùng kỹ như phản hồi tích cực.
Thora Vietnam chỉ nên mở rộng khi đầu ra có ích, hành vi quay lại và kinh tế triển khai cùng hỗ trợ quyết định. Khi chúng mâu thuẫn, xác định điều chưa chắc chắn cần thử tiếp thay vì gộp thành một điểm thành công duy nhất.
Đọc thêm
Nguồn nền tảng cho phương pháp; quy trình Thora Vietnam ở trên là cách áp dụng được đề xuất.
Eric Ries — Why vanity metrics are dangerous
