Football Predictions 1.0 – Phiên bản kết hợp mạng Nơron với Thuật giải di truyền

fpp-1.0

Football Predictions 1.0 sử dụng thuật giải di truyền để tối ưu hóa bộ trọng số của mạng nơron thay cho phương pháp leo đồi với đạo hàm hàm lỗi như trong các phiên bản trước đây. Phương pháp đạo hàm có rủi ro đi vào cực tiểu cục bộ của hàm lỗi, dù điều này có thể tránh nhờ qua các vòng xử lý để tạo các điểm xuất phát khác nhau trong không gian trọng số, song cách thức đó chưa thực sự trở thành một công nghệ đủ mạnh để đáp ứng một dải rộng các bài toán. Thuật giải di truyền với khả năng tìm kiếm tối ưu toàn cục được sử dụng để phục vụ mạng nơron trong chương trình.

Điểm thuận lợi thứ nhất là chúng ta có thể tính được hàm mục tiêu một cách rõ ràng. Đó là sai số trung bình bình phương dựa trên độ sai lệch giữa kết xuất của ánh xạ của mạng nơron với kết xuất đích trên tập mẫu. Công thức như sau:

fpp-1.0-formula

trong đó Zkn là kết xuất thứ n của mạng tương ứng với mẫu thứ k, và tkn là giá trị kết xuất thứ n của mẫu thứ k. Mạng có N kết xuất và K mẫu. Thuật giải di truyền có nhiệm vụ tìm bộ trọng số cho mạng nơron sao cho sai số E là nhỏ nhất trên toàn bộ không gian trọng.

Điểm thuận lợi thứ hai là chúng ta tận dụng đạo hàm hàm lỗi để lan truyền ngược sai số có vai trò như một đột biến dựa trên tri thức cho thuật giải di truyền.

Đột biến lan truyền ngược (đột biến heuristic)

Mặc dù đạo hàm hàm lỗi dễ dẫn tới cực tiểu cục bộ nhưng nó rất có hiểu quả khi được sử dụng trong toán tử đột biến heuristic để tăng độ thích nghi của cá thể trong quần thể các mạng nơron của thuật giải di truyền qua mỗi thế hệ. Đạo hàm được sử dụng để cập nhật các trọng số theo hướng dốc xuống nhất của mặt lỗi và làm giảm sai số của mạng. Cá thể đó có còn tiếp tục tồn tại trong quần thể sau này hay không là do phép chọn của thuật giải di truyền quyết định. Nếu cá thể như thế bị rơi vào cực tiểu cục bộ, nó không thể giảm sai số được nữa và sẽ bị loại khỏi quần thể sau một vài thế hệ.

Lai tạo lớp và lai tạo điểm ngẫu nhiên

Xác suất lai tạo được sử dụng trong Football Predictions 1.0 là 0.5. Chương trình có hai kiểu lai. Lai kiểu lớp lấy toàn bộ trọng số các nút ẩn của mạng cha và toàn bộ trọng số các nút xuất mạng mẹ để tạo mạng con thứ nhất. Tương tự, lấy toàn bộ trọng số các nút ẩn của mạng mẹ và toàn bộ trọng số các nút xuất mạng cha để tạo mạng con thứ hai.

Với kiểu lai theo điểm, một điểm ngẫu nhiên sẽ được chọn để cắt các trọng số lớp ẩn thành hai phần đối với cả mạng cha và mạng mẹ. Các phần trọng số được lấy lai từ cha mẹ như trên để tạo lớp ẩn cho hai con. Các lớp xuất cũng được cắt và lai theo cách tương tự.

Các mạng con được đưa vào quần thể để đấu tranh sinh tồn với cha mẹ chúng. Như mục đích chung của thuật giải di truyền, các phép lai có tác dụng trao đổi thông tin giữa các mạng nơron.

Đột biến trọng số nút xuất

Khởi tạo trọng là một vấn đề quan trọng đối với mạng nơron thông thường (mạng sử dụng đạo hàm hàm lỗi để leo đồi). Nói chung, một cách khởi tạo trọng nhất định khó có thể bao quát mọi bài toán, do nảy sinh cực tiểu cục bộ hoặc quá trình cập nhật trọng số không di chuyển được sai số trong không gian trọng xuất phát từ bộ trọng số được khởi tạo. Một cách khởi tạo trọng có thể thích hợp với lớp bài toán này lại không thích hợp với lớp bài toán khác.

Vấn đề này chủ yếu nằm ở trọng số các nút xuất. Phép đột biến trọng số nút xuất nhằm giải quyết tình trạng này. Một khi toán tử đột biến trọng số nút xuất được áp dụng trên một cá thể mạng nơron, sai số có thể nhảy một quãng xa trong không gian trọng của nó. Chỉ xét riêng mục tiêu khởi tạo trọng, toán tử đột biến này có thể ví như phép khởi tạo trọng vạn năng.

Đột biến trọng số ngẫu nhiên

Toán tử này được áp dụng không phân biệt trên tất cả các trọng số của mạng nơron nhưng với xác suất rất nhỏ (0.01). Nếu một quần thể tiến hóa khó khăn thì toán tử đột biến trọng số ngẫu nhiên sẽ phát huy tác dụng, nó hứa hẹn phát sinh một lời giải mới.

Thực nghiệm từ Football Predictions 1.0 cho thấy thuật giải di truyền là giải pháp tốt nhất để tối ưu mạng nơron trong vai trò phục vụ các lớp bài toán tìm ánh xạ xấp xỉ hàm đích được cho qua một số mẫu trong tập mẫu.

Giải nén tệp chương trình

Sau khi tải về tệp fpp-1.0.tar.xz, bạn giải nén tệp bằng lệnh dưới đây

tar xf fpp-1.0.tar.xz

Kết quả được tệp chương trình fpp và tệp mẫu fppdata.txt.

 

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.