Đo lường mức độ hiển thị trên AI: Từ phỏng đoán đến Share of Model

Thường là không theo cách giống như người dùng thực tế trải nghiệm. Đối với hầu hết các câu trả lời AI dành cho người tiêu dùng, không có API công khai chính thức nào trả về chính xác những gì một người nhìn thấy. Và ngay cả khi có API dành cho nhà phát triển, chúng vẫn có thể khác với sản phẩm tiêu dùng về phiên bản mô hình, cài đặt retrieval và tính năng cá nhân hóa. Do đó, việc đo lường đáng tin cậy phải phụ thuộc vào việc lấy mẫu một bộ prompt cố định theo lịch trình đều đặn và chấp nhận rằng bạn đang ước tính một bảng phân phối, chứ không phải đang đọc một bảng điểm chính thức.

Bởi vì mỗi công cụ xây dựng các số liệu từ bộ prompt riêng, tần suất lấy mẫu riêng, cũng như các lựa chọn về công cụ và cấu hình để thử nghiệm khác nhau. Đó là những phương pháp hợp lý nhưng khác biệt, nên hai công cụ có thể đưa ra các số liệu khác nhau nhưng cả hai đều có cơ sở hợp lý. Hãy sử dụng chúng để theo dõi xu hướng và so sánh cạnh tranh như mục tiêu thiết kế của chúng, hiểu rõ phương pháp đằng sau bất kỳ con số nào trước khi báo cáo, và không trình bày số liệu ước tính từ một bên thứ ba như một kết quả chính thức từ chính công ty AI đó.

Tần suất đều đặn và nhất quán quan trọng hơn tốc độ lặp lại. Đo lường hàng tháng là một nhịp độ phổ biến giúp loại bỏ các biến động ngẫu nhiên hàng ngày trong khi vẫn bắt kịp những thay đổi thực tế. Chìa khóa ở đây là giữ cho bộ prompt và phương pháp ổn định để đảm bảo việc so sánh luôn đồng nhất, đồng thời đánh giá tiến trình theo quý thay vì phản ứng vội vã trước biến động của một tháng duy nhất, bởi bản thân các nguồn mà công cụ AI trích dẫn cũng có thể tự thay đổi.