Bản chất của Generative AI

Gần đây,Generative AI ngày càng phát triển và ứng dụng nhiều trong đời sống. Tuy nhiên khi đặt câu hỏi, Generative AI bản chất là gì? tại sao nó lại trả lời được các câu mình đưa ra?thì tương đối ít bạn trả lời được.

Vì vậy, qua bài hôm nay, mình muốn chia sẽ góc nhìn của mình về bản chất của Generative AI từ đó các bạn sẽ hiểu được phần nào điểm mạnh, điểm yếu của nó.

Vậy, Generative AI bản chất là gì? 

Câu trả lời thô sơ dễ hiểu.

Generative AI bản chất là dựa trên câu hỏi và dữ liệu training trong quá khứ, sinh ra  (generate) các token (từ ngữ) một cách tuần tự dựa trên xác suất từ ngữ đó xuất hiện trong câu trả lời.

Tất nhiên, với việc sinh token tuần tự, thì token được sinh ra đầu tiên sẽ tác động rất lớn tới kết quả của câu trả lời. (Do các token sau được generate dựa trên token trước).

Hơi khó hiểu chút, cho ví dụ.

Ví dụ:

Với câu hỏi: Thủ đô của Nhật ở đâu?

Thì dựa vào dữ liệu được training, giả dụ Gen AI nhận thấy 99,99% các câu trả lời trong quá khứ xuất hiện từ Tokyo nên Tokyo sẽ được xác định là token đầu tiên và quan trọng nhất. Dựa vào đây, các token sau sẽ được sinh ra.

Qua việc này, chắc mọi người cũng sẽ hiểu vì sao ChatGPT ko giỏi tính toán cộng trừ nhân chia. Đương nhiên, các phép tính điển hình như 1 + 1 thì xác xuất kết quả trong đúng trong dữ liệu đã được training là cực cao.

Tuy nhiên, với các phép cộng phép nhân 1 số ngẫu nhiên, như [22894 x 11111] chẳng hạn, thì kết quả thống kê thường rất ít và nếu cóthể sai, dẫn tới khả năng ra Gen AI đưa kết quả sai cao hơn nhiều.

Bản chất của Hallucination (ảo giác AI)?

Vì bản chất của Gen AI là sinh ra câu trả lời dựa trên xác xuất thống kê trong quá khứ, nên khi trong tập dữ liệu đã được training, số lượng/xác xuất xuất hiện câu trả lời tương ứng với câu hỏi thấp thậm trí bằng không, Gen AI sẽ vẫn phải trả lời từ đó sinh ra các câu trả lời sai hay bị ngáo.

Các lĩnh vực hay bị trả lời sai thường là toán học (như ví dụ nhân đơn giản ở trên hoặc các bài toán phức tap)

Như mọi người đã thấy, AI thực sự không thần thánh, bản chất thực sự chỉ là một cỗ máy bỏ phiếu dựa trên xác xuất trong quá khứ.

Sẽ còn nhiều câu hỏi như, vậy tại sao Gen AI (ChatGPT) hiểu được câu hỏi mà thống kê xác suất trong câu trả lời?

Nếu nó là 1 cỗ máy tính xác suất thì bản thân nó không có ý thức? 

Nó khác gì Machine Learing(ML) mà tại sao tự dưng lại hot vậy?
RAG, Fine tuning bản chất là gì?
  
Mình sẽ giải đáp trong những bài sau.

Cảm ơn mọi người đã đọc bài