Orthogonal Super Greedy Learning for Sparse

Feedforward Neural Networks

Nhóm 15:
GV: Trần Thái Sơn
     21C11029 - Hoàng Minh Thanh 
Máy học nâng cao
     21C12005 - Trần Hữu Nghĩa 
     21C11026 - Nguyễn Thành Thái 
 • Giới thiệu
Nội dung trình bày • Tổng quan
• Các mô hình cơ bản
• Nền tảng lý thuyết
• Mô hình OGA
• Mô hình OSGA
• Kết quả thực nghiệm
• Demo thuật toán
• Q&A
 Nhóm tác giả

Orthogonal Super Greedy Learning for Sparse Feedforward

Neural Networks
 Tổng quan
• Feedforward neural network (multilayer perceptrons
(MLPs)
• Radial Basis Function (RBF)
• Extreme Learning Machine (ELM)
 Đặc trưng của các feed forward network
• Ánh xạ các vector đầu vào lên trên các không gian có số chiều
lớn hơn để tính toán và phân tích, và sau đó ánh xạ ngược trở
lại không gian đầu ra mong muốn
• Minh hoạt : 
Minh họa
Minh họa
Minh họa
Minh họa
Minh họa
 Radial Basic Function
• Thuật toán:
 Extreme Learning Machine
• Thuật toán:
 Tổng quan
• Orthogonal Super Greedy Learning(OSGL)
 Dictionary collection
 Greedy principle
 Iterative formate 
 Termination control
 Orthogonal Super Greedy Learning for Sparse
Feedforward Neural Networks
Greedy Learning? Sparse? Orthogonal?
Feedforward Neural Networks?

Mô hình học trực giao siêu tham lam​ trên không gian thưa cho mạng neural network truyền thẳng

14
Thuật toán Greedy

36

• Tìm số lớn nhất của các loại đồng xu sao

cho tổng của chúng bằng 36
Mạng feed forward network
Không gian Hilbert

David Hilbert

Không gian Hilbert (Hilbert Space) là một

dạng tổng quát hóa của không gian Euclid
mà không bị giới hạn về vấn đề hữu hạn
chiều.
Không gian Euclid
Không gian Hilbert
Span
Phép chiều vuông góc của vector
Thuật toán OGA

0.8 0.2 0.1 0.7

Thuật toán OGA
25
26
27
Thuật toán OSGA
Thuật toán OSGA
So sánh OGA và OSGA
 Nhận xét
 Đầu vào

 Đầu ra :
 Nhận xét
 Thuật toán OSGA là cải tiến của thuật toán OGA là thay
vì chiến lược tham lam chỉ chọn 1vector thì họ chọn s
vector.
 Ngoài ra họ chứng minh được là chiến lược chọn nhiều
vector hơn thì sẽ nhanh hơn mà đồng thời vẫn giữ được
độ chính xác.
 Phép chiều vuông góc
Experiment  /
Evaluate

38
Experiment  - Dataset
• What mean sparse data? [−2, 2]d with d ∈ {1, 2, 10}

39
41
Experiment  - Dataset
• What mean sparse data?
• Fact data with many measure losing/nan or empty/null
• Reason loss of data during storage or collection data missing/not full
• Many data loss/null will --> low accuracy / noise data

• How to resolve?
• Remove record measure has NULL --> importance measure -> Reduce the
amount of serious way of data
• Assign a value default or mean for nan/null value
• Paper -> find solution only selection importance node neurons / weight
42
Experiment  - Dataset real
• Servo
• Body Fat
• Diabetes
• Boston Housing
• Abalone
• Bupa https://relational.fit.cvut.cz/dataset/Bupa
• Prostate Cacer https://www.kaggle.com/datasets/sajidsaifi/prostate-cancer
• Pima Indians Diabetes https://github.com/Rajat2712/Diabetes-Dataset
• Concrete Compressive Strength 

43
Experiment  - Dataset real
• Prostate Cancer
• Servo
• Body Fat
• Diabetes
• Boston Housing
• Concrete Compressive Strength
• Abalone
• Bupa https://relational.fit.cvut.cz/dataset/Bupa
• Prostate Cacer https://www.kaggle.com/datasets/sajidsaifi/prostate-cancer
• Pima Indians Diabetes https://github.com/Rajat2712/Diabetes-Dataset
44
Experiment - Assess model
• Base art compare model on RBF and ELM:
• RLS Regularized Least Square algorithm,
• FISTA Fast Iterative Shrinkage-Thresholding Algorithm

45
Assess model  - RMSE
• RMSE denotes the generalization performance (sparsity and
complexity) 

• fi is the learned estimator,

• yt = fρ(xit) is the ground truth labels from the test dataset.

47
48
Experiment  - Result
• OSGA not only can keep the advantage of extremely fast learning
speed, 
• But also can effectively prune the irrelevant hidden neurons for
feedforward neural network.
• Paper proposed a comparison method based on commons neural
network RBF and ELM
• Baseline with state-of-the-art RLS and FISTA

49
50