Please enable JavaScript.
Coggle requires JavaScript to display documents.
Introduction to Large Language Models - Coggle Diagram
Introduction to Large Language Models
define LLM
Large language models refer to large general purpose language models that can be pre-trained and then fine-tuned for specific purposes.
LLM đề cập đến các mô hình ngôn ngữ có mục đích chung lớn có thể được đào tạo trước và sau đó được tinh chỉnh cho các mục đích cụ thể
Large
Large training dataset
Tập dữ liệu lớn
Large number of parameters / hyperparameters
Số lượng tham số lớn (còn gọi là các siêu tham số)
Parameters are basically the
memories
and the
knowledge
the machine learned from the model training
Các thông số về cơ bản là những ký ức và kiến thức mà máy học được từ quá trình đào tạo mô hình
Parameters define the skill of a model in solving a problem such as predicting text
Các tham số xác định kỹ năng của mô hình trong việc giải quyết vấn đề, chẳng hạn như dự đoán văn bản
General purpose
Mục đích chung
the commonality of human language regardless of the specific tasks
tính phổ biến của ngôn ngữ con người bất kể nhiệm vụ cụ thể
resource restriction
Hạn chế nguồn lực
Only certain organizations have the capability to train such large language models with huge data sets and a tremendous number of parameters
Chỉ một số tổ chức nhất định mới có khả năng đào tạo các mô hình ngôn ngữ lớn như vậy với bộ dữ liệu khổng lồ và số lượng tham số khổng lồ
Pre-trained and Fine-tuned
Đào tạo trước và tinh chỉnh
Đào tạo trước một mô hình ngôn ngữ lớn cho mục đích chung với một tập dữ liệu lớn, sau đó tinh chỉnh nó cho các mục tiêu cụ thể với một tập dữ liệu nhỏ hơn nhiều
These models are trained for general purposes to solve common language problems
Các mô hình này được đào tạo cho mục đích chung để giải quyết các vấn đề ngôn ngữ phổ biến
text classification
phân loại văn bản
question answering
trả lời câu hỏi
document summarization
tóm tắt tài liệu
text generation across industries
tạo văn bản trong các ngành
LLM use cases
single model can be used for different tasks
một mô hình duy nhất có thể được sử dụng cho nhiều nhiệm vụ khác nhau
language translation
dịch
sentence completion
hoàn thành câu
text classification
phân loại văn bản
question answering
trả lời câu hỏi
And more...
LLM require minimal field training data when you tailor them to solve your specific problem
yêu cầu dữ liệu đào tạo tối thiểu khi bạn điều chỉnh chúng để giải quyết vấn đề cụ thể của mình
few-shot
đào tạo một mô hình với dữ liệu tối thiểu
zero-shot
mô hình có thể nhận ra những thứ chưa được dạy rõ ràng trong quá trình đào tạo trước đó
performance of large language models is continuously growing when you add more data and parameters
hiệu suất của các mô hình ngôn ngữ lớn không ngừng tăng lên khi bạn thêm nhiều dữ liệu và tham số
April, 2022, Google released PaLM
(Pathways Language Model) -> A transformer model
encoder
decoder
prompt tuning
Tools