전체 글 (40) 썸네일형 리스트형 [2020.06] FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining 기존에 제안된 Neural Architecture Search (NAS) 방법들은 주로 좋은 성능을 내는 Architecture를 찾는 것에 집중합니다. 또한 Hyperparameter Optimization (HPO) 에서는 좋은 성능을 내는 Learning Rate, Weight Decay와 같은 Hyperparameter들을 자동으로 찾는 문제를 풉니다. 본 논문에서는 (최초인지는 잘 모르겠지만), NAS와 HPO 두 가지를 동시에 찾는 방법을 제시한다는 점에서 기존 방법들과는 큰 차이가 있습니다. 참고로 본 논문에서는 Hyperparameter를 Train Recipe 라고 명칭하고 있습니다. 더 넓은 Search Space에서 Architecture-Recipe를 잘 찾을 수만 있다면, 당연히 .. [2020.11] AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2011.09011 Code: https://github.com/facebookresearch/AttentiveNAS [2020.11] FP-NAS: Fast Probabilistic Neural Architecture Search To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2011.10949 [2019.09] ReNAS: Relativistic Evaluation of Neural Architecture Search To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/1910.01523 [2020.03] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2005.14446 [2021.01] Exponential Moving Average Normalization for Self-Supervised and Semi-Supervised Learning To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2101.08482 Code: https://github.com/amazon-research/exponential-moving-average-normalization [2021.03] Searching by Generating: Flexible and Efficient One-Shot NAS With Architecture Generator 최근에 가장 유행하는 One-shot NAS는 Over-parameterized된 Supernet을 학습한 후에, Supernet의 Weight을 재사용하여 (e.g, 추가적인 학습을 하거나 그냥 사용하거나) Resource Constraint를 만족하는 또는 최적의 성능을 내는, Subnet을 찾는 과정을 의미합니다. 본 논문에서는 기존의 One-shot NAS SOTA 방법들과 성능은 비슷하면서도, 더 적은 Search Cost를 사용하는, 특히 여러개의 Constraint를 만족하는 N개의 모델은 Constant Search Cost로 찾는 방법을 제안하였습니다. 제안된 방법은 크게 1) Architecture Generator를 학습해 Resource Constraint를 만족하는 Architec.. [2021.03] Spatially Consistent Representation Learning To be updated Conference: CVPR 2021 URL: https://arxiv.org/abs/2103.06122 Code: https://github.com/kakaobrain/scrl. 이전 1 2 3 4 5 다음
