هذه هي أحدث مجموعة مختارة من المنشورات وبراءات الاختراع العالمية باللغة الإنجليزية حول أمثلة على تحويل فورييه السريع (FFT)، بين العديد من المجلات العلمية على الإنترنت، مصنفة ومركزة على فورييه السريع، وFFT، وفورييه المنفصل وكولي-توكي.
براءات الاختراع: لا يوجد حديثاً براءة اختراع حول هذا الموضوع بالتحديد. يُرجى تجربة البحث اليدوي الشامل في قاعدة بيانات براءات الاختراع المرتبطة أعلاه.
Automatic Configuration Search for Parameter-Efficient Fine-Tuning
Published on 2024-05-25 by Han Zhou, Xingchen Wan, Ivan Vuli?, Anna Korhonen @MIT
Abstract: Large pretrained language models are widely used in downstream NLP tasks via task-specific fine-tuning, but such procedures can be costly. Recently, Parameter-Efficient Fine-Tuning (PEFT) methods have achieved strong task performance while updating much fewer parameters than full model fine-tuning (FFT). However, it is non-trivial to make informed design choices on the PEFT configurations, such as their architecture, the number of tunable parameters, and even the layers in which the PEFT modules[...]
Our summary: Efficient fine-tuning method achieved with fewer parameters. AutoPEFT uses Bayesian optimization to discover optimal configurations. Outperforms existing methods on GLUE and SuperGLUE tasks. Pareto-optimal set balances performance and cost.
automatic configuration search, parameter-efficient fine-tuning, neural architecture search, pretrained language models, task-specific fine-tuning
Publication
هل هناك شخص آخر مندهش من الثورة التي أحدثتها FFT في مجال التكنولوجيا؟ ولكن ما مدى سهولة الوصول إليها بالنسبة للشركات الناشئة الصغيرة؟
قراءة مثيرة للاهتمام! ولكن أليست خوارزمية راديكس 2 كولي-توكي FFT أكثر كفاءة من خوارزمية الجذور المختلطة المذكورة هنا؟ أشعر بالفضول لمعرفة رأيك.
التعليقات مغلقة