Mạng nơ-ron nhân tạo
Định nghĩa
gồm nhiều nơ-ron được kết nối với nhau
nơ-ron sau nhận tín hiệu từ nơ-ron trước, tín hiệu được truyền đi là một số thực.
weight: thể hiện tầm quan trọng của kết nối giữa 2 nơ-ron.
các nơ-ron được phân thành các lớp, mỗi lớp thực hiện mỗi biến đổi khác nhau.
tín hiệu được truyền từ layer đầu tiên đến layer thứ 2 -> thứ 3 ... cho đến layer cuối cùng.
layer đầu tiên được gọi là input layer, layer cuối cùng được gọi là output layer, các layer ở giữa được gọi là hidden layer.
Training
mạng nơ-ron sẽ được học bởi các ví dụ (examples). Mỗi example sẽ bao gồm 1 cặp input và output.
các bước liên tiếp lặp đi lặp lại:
- mạng nơ-ron cố gắng chuyển input thành một output nào đó (khởi tạo các trọng số).
- so sánh output mà mạng nơ-ron đưa ra với output mà chúng ta thực sự mong muốn. Output mà mạng nơ-ron đưa ra gọi là actual output, output mà chúng ta mong muốn là target output.
Mục tiêu của quá trình training: thay đổi các trọng số sao cho actual gần với target nhất (giảm loss đến mức tối thiểu).
- quay lại sửa các trọng số sao cho những lần tính toán tiếp theo actual gần hơn với target output. Và đến cuối cùng khi đã đủ gần thì kết thúc quá trình training.
Thành phần
cost = target - actual: hàm số thể hiển sự khác biệt giữa actual output với target output trên một examples.
loss bằng trung bình cộng của cost
Quá trình học mà liên tục kiểm tra loss sau mỗi bước được gọi là học có giám sát.
cách thức học của mạng nơ-ron là trên các ví dụ, không phải là các quy tắc lập trình sẵn.
các neurons
mỗi nơ-ron có thể tiếp nhận input từ output của nhiều nơ-ron khác hoặc dữ liệu đầu vào và đưa ra output cho một nơ-ron khác hoặc output là kết quả cuối cùng của mạng nơ-ron.
tính toán output của một nơ-ron
tại sao cần hàm kích hoạt?
Nếu như không có hàm kích hoạt thì mỗi tính toán trên các nơ-ron đều là tính toán tuyến tính và mạng nơ-ron chỉ giải quyết được các bài toán tuyến tính. Trên thực tế các bài toán là không tuyến tính nên chúng ta cần một hàm phi tuyến để giúp mạng nơ-ron giải quyết được các bài toán phi tuyến.
weight, bias: các tham số của mạng nơ-ron
tổ chức mạng nơ-ron, có 2 kiểu kết nối nơ-ron giữa các lớp:
fully connected: mỗi nơ-ron trong lớp thứ nhất kết nối với tất cả các nơ-ron ở lớp tiếp theo.
pooling: một nhóm các nơ-ron ở lớp thứ nhất kết nối với một nơ-ron ở lớp tiếp theo.
tính toán trên mạng nơ-ron
propagation: quá trình tính toán từ đầu vào đến đầu ra thông qua mạng nơ-ron.
cost function
loss function
back propagation
learning rate: là một siêu tham số sử dụng trong việc training mạng nơ-ron. Tốc độ học kiểm soát tốc độ mô hình thay đổi các trọng số để phù hợp với bài toán. Tốc độ học lớn giúp mạng nơ-ron được training nhanh hơn nhưng cũng có thể làm giảm độ chính xác.