본문 바로가기

Deep Learning/NAS

 (12)
[2019.05] NAS-Bench-101: Towards Reproducible Neural Architecture Search The paper introduces NAS-Bench-101, the first public architecture dataset for NAS research. 423k unique convolutional architectures were trained and evaluated three times on CIFAR-10 and saved as tabular data. This allows querying the precomputed dataset of a diverse range of models in milliseconds. Because NAS-Bench-101 exhaustively evaluates a search space, it permits, for the first time, a co..
[2018.06] DARTS: Differentiable Architecture Search When it comes to NAS(Neural Architecture Search), obtaining a state-of-the-art architecture requires 2000 GPU days of reinforcement learning (RL) (Zoph et al., 2018) or 3150 GPU days of evolution (Real et al., 2018). An inherent cause of inefficiency is the fact that architecture search is treated as a black-box optimization problem over a discrete domain, which leads to a large number of archit..
[2018.02] AMC: AutoML for Model Compression and Acceleration on Mobile Devices 이 논문은 기존의 Heuristic한 방법의 Model Compression 방법 대신, 강화학습을 사용하여 자동화 되었지만 더 좋은 성능의 Model Compression을 달성하였다고 합니다. 해당 논문은 PostTraining 방법으로, 먼저 Pretrained된 network(i.e. MobileNet)가 필요합니다. 강화학습 모델로는 DDPG Agent를 사용하는데, 이 Agent는 각 Layer마다 State(Weight크기, Input크기, 등) → Action(pruning비율)을 구하게 됩니다. Action Value(Pruning Ratio)를 discrete하게 가져갈 수도 있지만 {64,128,256,512}, 특정 Layer는 Pruning 비율에 굉장히 민감할 수 있기 때문에, ..
[2017.07] Channel Pruning for Accelerating Very Deep Neural Networks 이 논문은 이미 학습한 Model을 가져와서, 후처리로 손실을 최소화 하는 선에서 Channel Pruning을 하는 방법입니다. 코드는 Caffe로 되어 있어서, 지금 보기에는 쉽지 않고, 실험 결과 역시 지금 상황에서는 큰 의미 없어 보입니다. 그렇지만, 뒤에서 다룰 AMC: AutoML for Model Compression and Acceleration on Mobile Devices 논문에 1저자의 논문이여서 읽어보게 되었습니다. URL: https://arxiv.org/abs/1707.06168 Code: https://github.com/yihui-he/channel-pruning 1. Algorithm 점선의 박스에서, Feature Map "B"에서 두개의 Channel이 Pruning될..

티스토리툴바