Như ở phần 1 chúng ta có nhắc đến LLM, bài này chúng ta đi sâu thêm 1 xíu về phần này.

Context​ có giới hạn

Số lượng token (128k) có giới hạn và không đảm bảo rằng thông tin là chính xác tuyệt đối​

Giới hạn số lượng token (128k)

Token là gì? Văn bản khi vào mô hình không đi thẳng dưới dạng chữ, mà được “bẻ nhỏ” thành token (thường là từ hoặc mảnh từ). Một đoạn 100.000 chữ tiếng Anh tương đương 130.000–150.000 token.
128k token (ví dụ như GPT-4 Turbo) nghĩa là mô hình chỉ có thể “nhìn thấy” nhiều nhất 128k token trong một lần xử lý (bao gồm cả input lẫn output).
Hệ quả:
Dù bạn có hàng triệu trang tài liệu, mô hình cũng chỉ tiếp cận được tối đa 128k token tại một thời điểm. Mọi thông tin nằm ngoài context (ngoài cửa sổ 128k token đó) thì mô hình không “nhớ trực tiếp”. Điều này giống như con người chỉ đọc được một cuốn sách mỏng trên bàn; muốn nhớ thêm thì phải tóm tắt hoặc mở sách khác.
Giải pháp thực tế:
  • RAG (Retrieval-Augmented Generation): lấy tài liệu liên quan, nạp đúng phần vào context.
  • Chunk + Indexing: chia nhỏ văn bản, đánh chỉ mục thông minh để đưa vào context vừa đủ.
  • Fine-tuning / Embedding: thay vì cố nhồi toàn bộ, “khắc” kiến thức cốt lõi vào mô hình.

Tính chính xác không tuyệt đối

LLM bản chất là mô hình xác suất: nó “đoán từ tiếp theo có khả năng cao nhất” dựa trên dữ liệu huấn luyện + ngữ cảnh. Vì thế, nó có thể tự tin nói sai → hiện tượng “hallucination” (ảo giác).
Nguyên nhân: Dữ liệu huấn luyện có lỗi hoặc thiếu. Không truy cập tri thức mới ngoài những gì đã học (nếu không có RAG hoặc plugin). Cơ chế sinh xác suất không đảm bảo sự thật, chỉ đảm bảo “câu chữ hợp lý”.
Điều này dẫn đến:
  • Không thể tin tuyệt đối: LLM không phải “Wikipedia chuẩn xác” mà là máy sinh ngôn ngữ hợp lý.
  • Vai trò con người: cần fact-check, gắn nguồn, dùng song song với cơ sở dữ liệu chuẩn.
  • Công nghệ đang tiến hóa: nhiều mô hình mới kết hợp công cụ tra cứu, graph database, knowledge base, cơ chế attribution để giảm lỗi.
Giới hạn 128k token không phải điểm “chết” mà chỉ là giới hạn kỹ thuật. Giống như bộ nhớ RAM của máy tính, nó buộc chúng ta phải thiết kế hệ thống thông minh hơn (RAG, tóm tắt đa tầng). Về độ chính xác, không thể kỳ vọng LLM tuyệt đối đúng. Nhưng nếu biết cách kết hợp với dữ liệu chính thống, nó trở thành công cụ mạnh giúp tăng tốc suy nghĩ, thay vì “người đưa tin tuyệt đối”.

Model collapse​ AI đang tự ăn chính mình​

Đừng phụ thuộc vào nó nếu bạn không muốn bị thối não và bị đào thải​.
ai.jpg

Model Collapse là gì?

Định nghĩa: Model Collapse xảy ra khi mô hình AI được huấn luyện chủ yếu trên dữ liệu do AI sinh ra, thay vì dữ liệu gốc từ con người.
Hệ quả: Mô hình mới dần dần “quên” thế giới thực và chỉ học lại những lỗi, sự thiên lệch, ảo giác của các mô hình trước đó.
Kết quả: nội dung sinh ra ngày càng nghèo nàn, lặp lại, thiếu sáng tạo → mô hình “thoái hóa”. Giống như bạn chép vở từ người chép vở, không còn ai đọc sách gốc, thì sau nhiều vòng sao chép, kiến thức sẽ biến dạng và méo mó.

Tại sao gọi là “AI đang tự ăn chính mình”?

Ban đầu, LLM được huấn luyện trên kho dữ liệu người tạo ra: sách, bài báo, mã nguồn, nghiên cứu, hội thoại. Nhưng càng về sau, phần lớn nội dung trên internet do chính AI tạo ra (bài blog, code, ảnh, video). Nếu dữ liệu huấn luyện mới không lọc kỹ, AI sẽ “ăn lại” sản phẩm của mình.
Kết quả: Nội dung lặp lại, mất độ chính xác, giảm đa dạng biểu đạt. Lan truyền lỗi và ảnh hưởng nhanh chóng. Nói cách khác, AI giống như ăn đồ ăn chế biến từ chính chất thải của mình – một vòng luẩn quẩn dẫn đến suy thoái.

Nguy cơ với người dùng

Nếu con người phụ thuộc hoàn toàn vào AI, tiêu thụ thông tin do AI sinh ra, nhưng không kiểm chứng dẫn đến dễ “thối não” vì hấp thụ sai sự thật hoặc kiến thức méo mó. Lâu dần sẽ mất khả năng tư duy phản biện, vì mọi thứ đều để AI trả lời. Khi thị trường lao động cạnh tranh, người chỉ copy AI sẽ bị đào thải, còn người biết dùng AI như công cụ mới trụ lại. Nỗi lo này không viễn tưởng. Nó đã bắt đầu: nhiều website tràn ngập “AI content rác” → Google, arXiv, Medium… phải siết kiểm duyệt.

Giải pháp để không bị “sụp đổ” cùng AI

Giữ kết nối với tri thức gốc: đọc sách, nghiên cứu học thuật, trải nghiệm thực tế. Dùng AI như trợ lý, không phải thầy giáo để gợi ý, mở rộng góc nhìn, chứ không phải “sự thật tuyệt đối”. Luôn luôn kiểm tra, chỉnh sửa, thêm sáng tạo cá nhân. Với các nhóm phát triển mô hình, phải lọc AI-generated content, kết hợp dữ liệu thực và con người kiểm chứng.
“Model Collapse” nhắc nhở chúng ta: AI không lo lắng, nhưng nếu chúng ta quá lệ thuộc, chúng ta sẽ mất trí tuệ thật và trở thành “bản sao lỗi” của chính mình. AI sinh ra để hỗ trợ con người tăng sức mạnh, không phải thay thế tư duy. Ai biết dùng AI như đòn bẩy, kết hợp với trải nghiệm và tri thức cá nhân, mới là người tồn tại và phát triển trong kỷ nguyên này.