AI bảo mật và có căn cứ, chỉ trả lời từ nguồn tri thức đã được bạn phê duyệt, không phải từ internet mở.
Chúng tôi xây dựng các hệ thống tăng cường truy xuất giúp xác thực các câu trả lời của LLM dựa trên chính tài liệu, chính sách và dữ liệu của bạn, tích hợp sẵn nguồn trích dẫn, kiểm soát quyền truy cập và quy trình đánh giá.
Một hệ thống Custom LLM & RAG là một trợ lý AI riêng tư giúp trả lời các câu hỏi bằng cách sử dụng chính tài liệu và dữ liệu của bạn thay vì Internet công cộng, truy xuất các tài liệu nguồn liên quan tại thời điểm đặt câu hỏi và sử dụng một mô hình ngôn ngữ lớn để viết câu trả lời có cơ sở và được trích dẫn nguồn rõ ràng.
Nội dung, tài liệu, bài viết hướng dẫn, thông số sản phẩm, phiếu yêu cầu hỗ trợ, chính sách của bạn sẽ được chia thành các đoạn văn, chuyển đổi thành các embeddings và lưu trữ trong một vector database; khi ai đó đặt câu hỏi, hệ thống sẽ truy xuất các đoạn văn phù hợp nhất và đưa chúng vào mô hình ngôn ngữ để câu trả lời được dựa trên chính tài liệu của bạn và có thể trích dẫn nguồn rõ ràng.
Dành cho các tổ chức sở hữu kho tri thức nội bộ khổng lồ, các đội ngũ hỗ trợ, công ty dịch vụ chuyên nghiệp, hay các hoạt động kỹ thuật và tuân thủ nghiêm ngặt cần nhân viên cùng khách hàng có được câu trả lời nhanh chóng, chính xác từ những nguồn nội bộ đáng tin cậy. Kết quả mang lại là hiệu suất và sự tiết kiệm thời gian: ít thời gian lục tìm tài liệu hơn, giảm tỷ lệ chuyển cấp yêu cầu hỗ trợ và bớt đi những câu trả lời sai, vì các phản hồi được thiết kế để luôn bám sát vào nội dung đã được bạn phê duyệt.
Một doanh nghiệp kết nối các hướng dẫn sử dụng sản phẩm, chính sách bảo hành và các phiếu yêu cầu hỗ trợ trước đây với một trợ lý riêng tư, nhờ đó nhân viên hỗ trợ có thể hỏi "chính sách bảo hành mở rộng cho mẫu máy này bao gồm những gì?" và nhận được câu trả lời trích dẫn chính xác đoạn chính sách kèm liên kết trực tiếp đến tài liệu nguồn.
Tìm hiểu xem hệ thống Custom LLM & RAG Systems có phải là bước đi phù hợp cho đội ngũ của bạn hay không.
Yêu cầu báo giá miễn phíChúng tôi xây dựng các hệ thống truy xuất trên dữ liệu riêng tư của bạn và vận hành chúng trực tiếp (production) cho các đội ngũ thuộc phân khúc tầm trung và doanh nghiệp lớn. Các kỹ sư cao cấp của chúng tôi thiết kế các lớp ingestion, chunking, embedding và retrieval, sau đó kết nối chúng với Claude, GPT, hoặc các mô hình mở như Llama, Qwen và Mistral tùy thuộc vào nhu cầu của bạn về độ chính xác, bảo mật dữ liệu và chi phí. Chúng tôi quản lý hệ thống từ đầu đến cuối, bao gồm cả các cấu phần giúp giữ cho câu trả lời luôn có cơ sở dữ liệu xác thực và cập nhật mới nhất.
Chúng tôi tiến hành đánh giá liên tục dựa trên các câu hỏi thực tế của bạn và liên tục cập nhật lớp truy xuất để giúp hệ thống duy trì độ chính xác khi kho tri thức của bạn ngày càng mở rộng.
Ví dụ minh họa, được thiết kế để trình bày loại kết quả chúng tôi mang lại.
Biến sự cường điệu về AI thành một kế hoạch được cấp ngân sách và một use case hoạt động đầu tiên.
Kết quả Thay thế các thử nghiệm phân tán bằng một lộ trình được cấp ngân sách và một chương trình thí điểm hoạt động thực tế.
Kết quả Giảm thiểu các ticket phổ biến bằng những câu trả lời có nguồn trích dẫn đáng tin cậy.
Các ví dụ được ẩn danh để tuân thủ NDA của khách hàng và được chỉnh sửa để minh họa phạm vi công việc điển hình, kết quả thực tế sẽ khác nhau tùy theo thị trường, ngân sách và điểm xuất phát.
Hệ thống sẽ truy xuất các đoạn văn bản có liên quan từ tài liệu của bạn và yêu cầu mô hình đối chiếu câu trả lời dựa trên các đoạn văn đó, giúp giảm bớt sự phụ thuộc vào kiến thức đã được huấn luyện trước không được hỗ trợ. Tại thời điểm truy vấn, chúng tôi truy xuất các đoạn văn từ chính nguồn của bạn vốn thực sự giải quyết được câu hỏi và hướng dẫn mô hình trả lời từ các đoạn văn đó, kèm theo trích dẫn cho mỗi khẳng định, nhờ đó câu trả lời được dẫn dắt bởi tài liệu nguồn của bạn, đi kèm các trích dẫn và rào chắn bảo vệ để giảm thiểu các khẳng định không có căn cứ.
Độ chính xác trong các hệ thống này phần lớn được quyết định bởi khâu truy xuất, chứ không chỉ ở việc mô hình lớn hay thông minh như thế nào: nếu đoạn văn chính xác nằm trong prompt, một mô hình khiêm tốn cũng có xu hướng trả lời đúng, còn nếu không, ngay cả một mô hình mạnh cũng dễ phán đoán mò. Đó là lý do tại sao phần lớn đòn bẩy nằm ở việc chia nhỏ phân mảnh (chunking), tìm kiếm hỗn hợp (hybrid search), xếp hạng lại (reranking) và trích dẫn, chứ không chỉ nằm ở cách viết prompt, và tại sao một hệ thống khung đánh giá lại quan trọng, bởi vì nó biến cảm giác "AI hoạt động chính xác" thành một điểm số độ trung thực đo lường được mà bạn có thể bảo vệ, cải thiện một cách chủ động và theo dõi các lỗi hồi quy khi tài liệu và mục đích sử dụng thay đổi.
Việc dán tài liệu vào cửa sổ chat là một quy trình thủ công, nhanh chóng chạm giới hạn ngữ cảnh và quên sạch mọi thứ giữa các phiên làm việc. Một hệ thống RAG lập chỉ mục toàn bộ kho kiến thức của bạn vào kho lưu trữ vector, chỉ truy xuất các đoạn văn bản liên quan nhất cho mỗi câu hỏi và cung cấp chúng cho mô hình để các câu trả lời luôn được xác thực dựa trên tài liệu nguồn của bạn kèm theo trích dẫn. Ví dụ, một đội ngũ hỗ trợ có thể đặt câu hỏi trên hàng ngàn tài liệu sản phẩm và SOP cùng một lúc, đồng thời nhận về câu trả lời có chứa liên kết dẫn tới chính xác trang tài liệu gốc, thay vì một ai đó phải sao chép-dán thủ công từng tệp PDF một.
Chúng tôi cấu hình mô hình để ưu tiên ngữ cảnh được truy xuất và hướng dẫn nó trả lời là không biết khi tài liệu nguồn không đề cập đến câu hỏi, thay vì tự ý phỏng đoán. Chúng tôi thêm các biện pháp kiểm soát chất lượng truy xuất, các yêu cầu trích dẫn để mọi khẳng định đều có thể truy vết lại tài liệu nguồn, và các tập đánh giá để kiểm thử hiện tượng ảo tưởng trước khi ra mắt. Chúng tôi cũng tinh chỉnh chính bước truy xuất, bởi vì phần lớn các câu trả lời sai đều xuất phát từ việc lấy sai đoạn văn chứ không phải do mô hình, vì thế chúng tôi đo lường và cải thiện những gì được truy xuất trước tiên.
Kho kiến thức, các bản nhúng (embeddings) và nhật ký cuộc trò chuyện của bạn luôn nằm trong cơ sở hạ tầng do bạn kiểm soát, cho dù đó là tài khoản đám mây của bạn hay một môi trường biệt lập mà chúng tôi quản lý cho bạn. Nội dung của bạn không bao giờ được sử dụng để huấn luyện các mô hình nền tảng công cộng. Tùy thuộc vào mức độ nhạy cảm, chúng tôi có thể chạy hoàn toàn các mô hình nguồn mở như Llama hoặc Mistral trong môi trường của bạn để không có dữ liệu nào lọt ra ngoài, hoặc sử dụng các mô hình API như Claude hoặc GPT theo các điều khoản doanh nghiệp loại trừ việc huấn luyện trên dữ liệu của bạn; trong trường hợp đó, chỉ prompt và các đoạn văn được truy xuất cho mỗi câu hỏi được gửi đến nhà cung cấp đó tại thời điểm suy luận (inference time), trong khi kho kiến thức được lưu trữ, các bản nhúng và nhật ký của bạn vẫn được giữ nguyên trong môi trường của bạn. Chúng tôi sẽ xác định phạm vi này trong cuộc trao đổi đầu tiên dựa trên nhu cầu tuân thủ của bạn.
Một dự án thí điểm tập trung vào một nguồn kiến thức và một tình huống sử dụng (use case) thường mất vài tuần, trong khi một hệ thống vận hành thực tế trên nhiều nguồn dữ liệu, đi kèm kiểm soát quyền truy cập và các tích hợp sẽ mất nhiều thời gian hơn. Chúng tôi bắt đầu bằng việc xác định phạm vi sử dụng và kiểm kê các nguồn của bạn, sau đó xây dựng một đường ống nạp (ingestion pipeline) và truy xuất dữ liệu, tinh chỉnh nó dựa trên các câu hỏi thực tế từ đội ngũ của bạn, và xác thực độ chính xác trước khi triển khai. Bạn sẽ sớm thấy một bản mẫu thử nghiệm (prototype) hoạt động thực tế để chúng ta tinh chỉnh dựa trên chính nội dung thực tế và các trường hợp biên của bạn, chứ không phải một bản demo chung chung.
Kiến thức liên tục thay đổi, vì vậy hệ thống cần được tái lập chỉ mục (re-indexing) liên tục khi các tài liệu được thêm vào hoặc cập nhật, cộng thêm việc giám sát những gì mọi người hỏi và những chỗ câu trả lời chưa đáp ứng yêu cầu. NYFTY không chỉ bàn giao một sản phẩm đã xây dựng xong, chúng tôi có thể vận hành và quản lý thay bạn, bao gồm cập nhật chỉ mục, xem xét các truy vấn bị lỗi hoặc có độ tin cậy thấp, và tinh chỉnh lại khâu truy xuất khi nhu cầu sử dụng tăng lên. Nếu bạn muốn tự sở hữu hệ thống nội bộ, chúng tôi sẽ xây dựng nó trên cơ sở hạ tầng mà đội ngũ của bạn kiểm soát và ghi chép lại tài liệu đường ống (pipeline) để các kỹ sư của bạn có thể trực tiếp bảo trì.