Bỏ qua, đến phần nội dung

Đo lường ​

Ryoma đo công việc của dự án, không đo con người. Đọc trang này để biết các con số lấy từ đâu, đọc ra sao, và dùng chúng để cải tiến quy trình mà không biến thành công cụ chấm điểm.

Không dùng để đánh giá từng người

Số liệu tính theo dự án và luồng công việc. Số liệu từng người chỉ phục vụ hạn mức chi phí, và chỉ người đó cùng quản trị xem được. Đừng xếp hạng người với người, hay dự án với dự án.

Bốn nguyên tắc khi đọc số liệu ​

Một dự án chỉ nên so với chính nó theo thời gian. Mỗi dự án có đặc thù riêng nên đặt hai dự án cạnh nhau chẳng nói lên điều gì.

Tốc độ luôn đi kèm chất lượng. Flow time đứng cạnh tỷ lệ đạt nghiệm thu lần đầu và số lần bị trả lại, vì làm nhanh mà bị trả lại hoài thì không phải nhanh.

Tác động của AI chỉ là tương quan, không phải nhân quả. Khi một nhóm so sánh có dưới 10 task, Ryoma không đưa ra kết luận.

Ryoma cũng nói rõ độ phủ dữ liệu: bao nhiêu task có nhãn loại việc, bao nhiêu chi phí AI gắn được vào task. Độ phủ thấp thì báo cáo ghi thẳng ra. Về khung đo, nền tảng chỉ dùng hai thứ là Flow Framework và khung đo AI, không dùng chỉ số DORA và không làm khảo sát trải nghiệm.

Số liệu lấy từ đâu ​

Ryoma đọc task từ issue theo quy trình Bandum, tức các task GH-<số>. Loại việc lấy từ nhãn type: feature, type: bug, type: debt hoặc type: risk, và task không có nhãn thì tính là unknown. Thời gian ở mỗi trạng thái lấy từ lịch sử nhãn status: … cùng lúc đóng, mở issue. Chi phí và mức dùng AI lấy từ telemetry Claude Code qua Phillip, gắn vào task nhờ mã issue trong tên nhánh.

Luồng dữ liệu telemetry. Claude Code gửi qua Phillip bằng OTLP tới Collector. Collector gắn danh tính từ token, xóa trường nhạy cảm như email, rồi chỉ giữ các trường trong danh sách trắng. Dữ liệu đã lọc ghi vào ClickHouse, sau đó Grafana nội bộ và API đọc ra. Mã nguồn, nội dung prompt, câu trả lời và kết quả tool không rời máy bạn.Claude Codequa Phillip,OTLP/HTTPCollectorGắn danh tínhtừ token đã kiểm traXóa trường nhạy cảmemail, mã tài khoản, bodyDanh sách trắngchỉ giữ trường Ryoma đọcClickHousesố đếm vàmetadataGrafananội bộ,cách ly theo dòngAPI Ryomađọc số liệutheo quyềnKhông rời máy bạnMã nguồn của bạnNội dung prompt và câu trả lờiKết quả của toolCollector bỏ trước khi ghiEmail và mã tài khoảnTham số tool và nội dung logMọi trường ngoài danh sách trắng

Vuốt ngang để xem hết sơ đồ.

Collector chạy theo thứ tự này và dừng cả lô nếu một bước lỗi, nên dữ liệu chưa lọc không đi tiếp xuống ClickHouse.

Vì vậy muốn số liệu đúng, bạn gắn đủ nhãn loại việc và đặt tên nhánh có mã task, ví dụ feature/GH-12-dang-nhap. Trạng thái Bandum được quy về luồng như sau.

Trạng tháiTrong luồng
TodoChưa bắt đầu, không tính flow time
In progressActive: dev hoặc agent đang làm
ReviewWait: chờ kiểm thử nghiệm thu
RejectedWait: bị trả lại, chờ nhận sửa
DoneXong

Các chỉ số của Flow Framework ​

Flow velocity là số item xong trong kỳ, tính theo tuần và theo loại việc. Flow time là thời gian từ lần đầu vào In progress đến lúc Done. Ryoma hiện trung vị và p85 chứ không dùng trung bình, vì phân bố này lệch. Flow efficiency bằng thời gian Active chia cho tổng Active và Wait, tính trên các item đã xong. Flow load là số item đang ở Active hoặc Wait, lấy trung bình theo ngày trong kỳ. Flow distribution cho biết tỷ lệ từng loại việc trong số item xong của kỳ.

Đi kèm là tỷ lệ đạt nghiệm thu lần đầu, số lần trả lại, thời gian chờ kiểm thử và số task rủi ro.

Đọc nhanh như sau. Flow efficiency thấp nghĩa là task chờ nhiều hơn làm, và nút cổ chai thường nằm ở khâu kiểm thử hoặc duyệt chứ hiếm khi ở khâu code. Flow load tăng mà velocity không tăng nghĩa là cả nhóm đang làm dở quá nhiều việc cùng lúc. Flow distribution cho thấy nhóm dành bao nhiêu sức cho tính năng, bao nhiêu cho sửa lỗi và nợ kỹ thuật.

Khung đo AI ​

Khung này chia làm ba nhóm.

Nhóm Utilization cho biết AI được dùng đến đâu: số người dùng AI mỗi tuần (số người khác nhau có phiên AI trong repo của dự án), tỷ lệ item xong có ít nhất một phiên gắn mã task, tỷ lệ repo dùng harness, và độ phủ chi phí, tức phần chi phí AI gắn được vào task trên tổng chi phí AI của repo.

Nhóm Impact so sánh item có AI với item không có AI, cùng loại việc và cùng mức S/M/L khi đủ mẫu, trên flow time, flow efficiency, tỷ lệ đạt lần đầu và số lần trả lại. Ryoma cũng vẽ xu hướng theo tháng của chính dự án.

Nhóm Cost tính chi phí trên mỗi item xong theo loại việc, và chi phí làm lại, tức chi phí AI của các phiên sau lần bị trả lại đầu tiên.

Chi phí AI chỉ là ước tính theo giá API quy đổi, không phải số tiền thực trả cho gói thuê bao. Bạn nên đọc nó như thước đo tương đối.

Xem số liệu ở đâu ​

Nơi xemAi xemNội dung
Portal Tara, mục Projects (dự án)PO, PM, BA của tổ chứcPhần Flow (8 tuần gần nhất), phần AI (12 tuần) và độ phủ dữ liệu
Portal Tara, mục ProjectsMọi vai trò trong tổ chức (kể cả PO, PM, BA)Số liệu cả tổ chức ở danh sách project, Flow, AI, task và task rủi ro ở trang từng project, theo khoảng thời gian bạn chọn. Số đếm Guardrails nằm ở Settings → Guardrails policy. Xem Số liệu trong Projects
Portal Tara, mục ProjectsMọi vai trò trong tổ chứcTrang một project với phần Flow và AI
ph insightsMọi vai tròCùng số liệu như các trang Projects, xem trong terminal
Bản tin tuầnPMVelocity, flow time, WIP và chi phí làm lại so với tuần trước
ph ryomaChính bạnMức dùng AI của bạn so với hạn mức

Chi tiết quyền xem nằm ở trang Ai xem được gì.

Hạn mức hoạt động thế nào ​

Hạn mức tính theo chi phí quy đổi, theo tuần và theo tháng, cho từng người và từng dự án. Ryoma cảnh báo khi chạm 80% và 100%, nhưng không chặn công việc. Hạn mức là lý do duy nhất để số liệu từng người tồn tại.

Đọc thêm ​