Deep Learning/NAS (12) 썸네일형 리스트형 [2020.06] FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining 기존에 제안된 Neural Architecture Search (NAS) 방법들은 주로 좋은 성능을 내는 Architecture를 찾는 것에 집중합니다. 또한 Hyperparameter Optimization (HPO) 에서는 좋은 성능을 내는 Learning Rate, Weight Decay와 같은 Hyperparameter들을 자동으로 찾는 문제를 풉니다. 본 논문에서는 (최초인지는 잘 모르겠지만), NAS와 HPO 두 가지를 동시에 찾는 방법을 제시한다는 점에서 기존 방법들과는 큰 차이가 있습니다. 참고로 본 논문에서는 Hyperparameter를 Train Recipe 라고 명칭하고 있습니다. 더 넓은 Search Space에서 Architecture-Recipe를 잘 찾을 수만 있다면, 당연히 .. [2020.11] AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2011.09011 Code: https://github.com/facebookresearch/AttentiveNAS [2020.11] FP-NAS: Fast Probabilistic Neural Architecture Search To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2011.10949 [2019.09] ReNAS: Relativistic Evaluation of Neural Architecture Search To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/1910.01523 [2020.03] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2005.14446 [2021.03] Searching by Generating: Flexible and Efficient One-Shot NAS With Architecture Generator 최근에 가장 유행하는 One-shot NAS는 Over-parameterized된 Supernet을 학습한 후에, Supernet의 Weight을 재사용하여 (e.g, 추가적인 학습을 하거나 그냥 사용하거나) Resource Constraint를 만족하는 또는 최적의 성능을 내는, Subnet을 찾는 과정을 의미합니다. 본 논문에서는 기존의 One-shot NAS SOTA 방법들과 성능은 비슷하면서도, 더 적은 Search Cost를 사용하는, 특히 여러개의 Constraint를 만족하는 N개의 모델은 Constant Search Cost로 찾는 방법을 제안하였습니다. 제안된 방법은 크게 1) Architecture Generator를 학습해 Resource Constraint를 만족하는 Architec.. [2021.06] HR-NAS: Searching Efficient High-Resolution Neural Architectures With Lightweight Transformers Image 단위의 Prediction을 하는 Classification Task와는 달리, Pixel 단위로 더 Finer한 Prediction을 하는 문제를 Dense Prediction이라고 합니다. Dense Prediction의 대표적인 예로는 Image Segmentation과 Pose Estimation 등이 있습니다. 본 논문은 Dense Prediction 문제를 푸는 Neural Architecture Search (NAS) 접근이 많이 없다는 문제 의식에서 시작을 합니다. Image Segmentation과 같은 Dense Prediction Task들은 Fine Detail의 정보를 담을 수 있는 High-Resolution (HR) Representation과 함께 Local Fea.. [2021.03] A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions Previously related surveys have begun to classify existing work mainly based on the key components of NAS: search space, search strategy, and evaluation strategy. While this classification method is more intuitive, it is difficult for readers to grasp the challenges and the landmark work involved. Therefore, in this survey, we provide a new perspective: beginning with an overview of the characte.. 이전 1 2 다음
