Trong thực tế cuộc sống, chúng ta bắt gặp nhiều bài toán tương tự như dự đoán thị trường chứng khoán, dự đoán lưu lượng nước, dự đoán lượng gas tiêu, dự đoán năng lực sản xuất, định giá tài sản, đánh giá nhân viên, phân loại khách hàng. Đó là các bài toán thuộc lớp bài toán dự đoán và phân loại, có thể xem là các bài toán cơ bản và có nhiều ứng dụng thực tiễn. Đã có nhiều phương pháp được đưa ra để giải các lớp bài toán trên như phương pháp thống kê, phương pháp hồi quy, cây quyết định, mạng nơ-ron nhân tạo…
Mạng nơron khi mới hình thành chưa có tri thức, tri thức của mạng hình thành dần sau mỗi lần học. Mạng nơron được dạy bằng cách đưa vào đầu vào những kích thích và mạng hình thành những đáp ứng tương ứng, những đáp ứng phù hợp với từng loại kích thích sẽ được lưu giữ. Các kỹ thuật học nhằm vào việc hiệu chỉnh các trọng số vì việc điều chỉnh, sửa đổi cấu trúc của mạng như số lớp, số nơron, kiểu và cách mà các lớp liên kết với nhau là cố định trong suốt quá trình huấn luyện… Mạng nơron khi đã hình thành tri thức có thể giải quyết các vấn đề cụ thể một cách đúng đắn. Đó là những vấn đề rất khác nhau, được giải quyết dựa trên sự tổ chức hợp nhất giữa thông tin đầu vào và đáp ứng đầu ra của mạng. Có rất nhiều thuật toán học đã được phát minh để tìm ra tập trọng số tối ưu làm giải pháp cho các bài toán. Các thuật toán đó có thể chia làm ba nhóm chính: Học có giám sát, học không có giám sát và học tăng cường.
1. Học có giám sát
Ở lần học đầu tiên mạng được cung cấp một mẫu học cùng với bộ trọng số tự do, đầu ra thực tế của mạng sẽ được so sánh với đầu ra mong muốn, sai khác giữa hai giá trị này là cơ sở cho việc hiệu chỉnh trọng số của mạng, quá trình huấn luyện diễn ra liên tục cùng với bộ thông số đầu vào cho đến khi mạng đạt được một giá trị sai số như mong muốn. Điển hình cho kỹ thuật này là mạng Nơron lan truyền ngược.
2. Học không giám sát
Trong học không giám sát thì không có bất kỳ một thông tin phản hồi từ môi trường. Mạng phải tự tìm ra các đặc tính, quy luật, tương quan trong dữ liệu đầu vào và tập hợp lại để tạo đầu ra. Khi tự tìm ra các đặc điểm này, mạng đã trải qua các thay đổi về tham số của nó. Quá trình này được gọi là tự tổ chức. Mạng Nơron điển hình được huấn luyện theo kiểu tự tổ chức
3. Học tăng cường
Trong luật học có giám sát, các giá trị đầu ra được biết chính xác đối với mỗi đầu vào. Tuy nhiên, trong thực tế có một số trường hợp chỉ biết ít thông tin chi tiết, chẳng hạn mạng chỉ biết rằng giá trị đầu ra thực sự quá cao hay có thể mạng chỉ có được thông tin phản hồi báo rằng đầu ra đúng hay sai. Thuật học dựa trên thông tin đánh giá này được gọi là thuật học củng cố, thông tin phản hồi được gọi là tín hiệu tăng cường.
