Giám sát hiệu suất & Phân tích

Theo dõi hiệu suất, chi phí và mức độ tương tác người dùng qua bảng điều khiển phân tích tích hợp của ClickAI Monitor Dashboard

Mục lục

· [Tổng quan](#tổng-quan)

· [Dashboard — Bảng điều khiển](#dashboard--bảng-điều-khiển)

· [Logs — Nhật ký hoạt động](#logs--nhật-ký-hoạt-động)

· [Annotation System — Hệ thống ghi chú](#annotation-system--hệ-thống-ghi-chú)

· [Integrations — Tích hợp bên thứ ba](#integrations--tích-hợp-bên-thứ-ba)

Tổng quan

ClickAI cung cấp bộ công cụ giám sát toàn diện giúp bạn:

· 📈 Theo dõi hiệu suất ứng dụng theo thời gian thực

· 💰 Kiểm soát chi phí token và model usage

· 🐛 Debug các vấn đề trong hội thoại

· ⭐ Thu thập feedback từ người dùng

· ✏️ Cải thiện chất lượng phản hồi AI qua annotation

Dashboard — Bảng điều khiển

Dashboard cung cấp cái nhìn tổng quan về hiệu suất ứng dụng qua các chỉ số chính:

Các chỉ số theo dõi

Chỉ số	Mô tả	Ý nghĩa
Total Messages	Tổng số tin nhắn	Mức độ sử dụng ứng dụng
Active Users	Số người dùng hoạt động	Quy mô người dùng
Avg Response Time	Thời gian phản hồi trung bình	Hiệu suất hệ thống
Token Usage	Số token đã sử dụng	Chi phí vận hành
Token Cost	Chi phí token quy đổi	Ngân sách & ROI
User Satisfaction	Tỷ lệ hài lòng (👍/👎)	Chất lượng phản hồi

Bộ lọc thời gian

Bạn có thể xem dữ liệu theo các khoảng thời gian:

· Last 24 hours — Theo dõi real-time

· Last 7 days — Xu hướng tuần

· Last 30 days — Phân tích tháng

· Custom range — Tùy chỉnh khoảng thời gian

Biểu đồ trực quan

· Line Chart: Xu hướng tin nhắn và người dùng theo thời gian

· Bar Chart: Token usage hàng ngày

· Pie Chart: Phân bổ đánh giá hài lòng (Positive/Neutral/Negative)

💡 TIP: Theo dõi **Token Cost** thường xuyên để tối ưu chi phí. Nếu chi phí tăng đột biến, hãy kiểm tra xem có workflow nào bị loop hoặc prompt quá dài không.

Logs — Nhật ký hoạt động

Logs cho phép bạn xem chi tiết từng cuộc hội thoại, debug vấn đề và thu thập feedback.

Nội dung được ghi lại

Loại log	Chi tiết
Conversation Timeline	Danh sách tương tác theo thứ tự thời gian
Message Details	Toàn bộ ngữ cảnh hội thoại với phản hồi AI
Performance Data	Thời gian phản hồi và token usage mỗi tương tác
User Feedback	Đánh giá và nhận xét từ người dùng & team

Sử dụng Logs Console

Truy cập: Mở ứng dụng → Tab "Logs"

Trong Logs Console, bạn có thể:

1. Xem timeline — Duyệt danh sách các cuộc hội thoại

2. Chi tiết tin nhắn — Click vào hội thoại để xem toàn bộ nội dung

3. Dữ liệu hiệu suất — Thời gian phản hồi, token sử dụng

4. Feedback — Xem đánh giá 👍/👎 và comment

Debug với Logs

Khi ứng dụng AI phản hồi không chính xác:

5. Tìm cuộc hội thoại có vấn đề trong Logs

6. Xem chi tiết — Kiểm tra prompt, context, và phản hồi

7. Phân tích — Xác định nguyên nhân (prompt không rõ, thiếu context, ...)

8. Cải thiện — Điều chỉnh prompt hoặc thêm knowledge

Feedback Collection

ClickAI hỗ trợ thu thập 2 loại feedback:

· End-user feedback: Người dùng đánh giá 👍/👎 trên giao diện Web App

· Team feedback: Thành viên team đánh giá và ghi chú trực tiếp trong Logs

Log Retention — Thời gian lưu trữ

Gói dịch vụ	Thời gian lưu
Sandbox	30 ngày
Professional & Team	Không giới hạn (trong thời gian subscription)
Self-hosted	Không giới hạn (mặc định), có thể cấu hình

Cấu hình log retention (Self-hosted):

Biến môi trường	Mô tả
WORKFLOW_LOG_CLEANUP_ENABLED	Bật/tắt tự động dọn log
WORKFLOW_LOG_RETENTION_DAYS	Số ngày giữ log
WORKFLOW_LOG_CLEANUP_BATCH_SIZE	Số log xóa mỗi batch

Cải thiện ứng dụng từ Logs

📋 Quy trình cải thiện liên tục: ─────────────────────────────── 1. Thu thập feedback từ Logs 2. Xác định pattern lỗi phổ biến 3. Điều chỉnh System Prompt 4. Bổ sung Knowledge Base 5. Tạo Annotation cho câu hỏi thường gặp 6. Theo dõi cải thiện qua Dashboard

Privacy Considerations

🛑 CAUTION: Logs chứa nội dung hội thoại người dùng. Đảm bảo tuân thủ quy định bảo mật dữ liệu: - Hạn chế quyền truy cập Logs cho nhân viên cần thiết - Không chia sẻ dữ liệu logs ra bên ngoài tổ chức - Tuân thủ PDPA / GDPR nếu phục vụ người dùng quốc tế

Annotation System — Hệ thống ghi chú

Xây dựng thư viện câu trả lời chất lượng cao, cải thiện tính nhất quán và bypass AI generation khi cần.

Khi nào nên dùng Annotation?

· 📌 Câu hỏi thường gặp cần câu trả lời chuẩn xác

· 🔒 Thông tin nhạy cảm cần kiểm soát chặt chẽ

· ⚡ Muốn phản hồi nhanh hơn (không cần gọi LLM)

· 🎯 Đảm bảo tính nhất quán cho các câu trả lời quan trọng

Cách Annotation hoạt động

Người dùng hỏi câu hỏi │ ▼ Tìm kiếm semantic match trong Annotations │ ├── ✅ Tìm thấy match (> threshold) │ → Trả về câu trả lời đã ghi chú │ └── ❌ Không tìm thấy → Tiếp tục AI generation bình thường

Thiết lập Annotation

9. Vào ứng dụng → Logs & Annotations → Tab "Annotations"

10. Bật Annotation Reply trong settings

11. Chọn Embedding Model cho semantic matching

12. Cấu hình Similarity Threshold (khuyến nghị: 0.7 - 0.9)

Tạo Annotation

Cách 1: Từ hội thoại có sẵn

13. Trong Debug & Preview hoặc Logs, tìm phản hồi AI tốt

14. Click icon "Add Annotation" trên phản hồi

15. Chỉnh sửa câu trả lời nếu cần → Lưu

Cách 2: Tạo thủ công

16. Vào tab Annotations

17. Nhấn "+ Add"

18. Nhập câu hỏi mẫu và câu trả lời chuẩn

19. Lưu annotation

Cách 3: Import hàng loạt

20. Trong tab Annotations, nhấn "..." → "Bulk Import"

21. Upload file CSV với format: question, answer

22. Xem lại và xác nhận

Quản lý chất lượng Annotation

Hành động	Mục đích
Review hit history	Xem annotation nào đang được sử dụng
Edit annotations	Cập nhật câu trả lời khi thông tin thay đổi
Delete unused	Xóa annotation không còn phù hợp
Bulk export	Sao lưu thư viện annotation

Integrations — Tích hợp bên thứ ba

ClickAI hỗ trợ tích hợp với các nền tảng observability bên ngoài:

Nền tảng	Mô tả
LangSmith	Tracing và debugging LLM applications
LangFuse	Open-source LLM observability
Alibaba Cloud	Tích hợp monitoring Alibaba Cloud

📝 NOTE: Các tích hợp bên thứ ba cho phép bạn theo dõi chi tiết hơn về LLM calls, latency, và token usage ở mức độ sâu hơn Dashboard mặc định.

📖 Trước: [Publish](./02-publish.md) · Tiếp: [Knowledge]