Moteur pompe piscine : soldes – promo – top 5 – Top 10 des meilleurs nettoyeurs haute pression à usage intensif 2020

Dans une étude de pré-impression, des chercheurs de Microsoft, du Peking College et du Nankai College disent avoir développé une stratégie – Prendre des notes à la volée (TNF) – qui rend le pré-entraînement de mannequin de langage non supervisé plus respectueux de l’environnement en notant des phrases inhabituelles pour aider les modes à percevoir quand (et l’endroit) ils se produisent. Ils déclarent que les résultats expérimentaux présentent le TNF «considérablement» renforce le pré-entraînement du BERT de Google tout en améliorant l’efficacité du mannequin, conduisant à une réduction de 60% du temps de coaching.

L’un des nombreux avantages du pré-entraînement non supervisé est qu’il ne nécessite pas d’unités d’information annotées. Au lieu de cela, les modes s’exercent sur d’énormes corpus en ligne, ce qui améliore l’efficacité sur diverses tâches de langage pur, mais a tendance à être coûteux en calcul. Le coaching d’un mannequin basé sur BERT sur les informations Wikipédia nécessite plus de 5 jours en utilisant 16 cartes à jouer graphiques Nvidia Tesla V100; même les petits modèles comme ELECTRA prennent plus de 4 jours sur une seule carte.

Les objectifs de travail des chercheurs sont d’améliorer l’efficacité grâce à une meilleure utilisation de l’information, en tirant parti du fait que de nombreuses phrases n’apparaissent qu’à quelques occasions (environ 20% des phrases, en réponse à l’équipe) dans les corpus de coaching. Les incorporations de ces phrases – c’est-à-dire les représentations numériques à partir desquelles les modes étudient – sont souvent mal optimisées, et les chercheurs affirment que ces phrases pourraient ralentir la technique de coaching de différents paramètres de mannequin car elles ne transportent pas suffisamment de données sémantiques pour faire percevoir aux modes ce qu’elles impliquent.

TNF a été impressionné par la manière dont les gens saisissent les données. La prise d’avis est une capacité utile qui peut aider à rappeler des informations qui pourraient dans tout autre cas être égarées; si les gens prennent des notes après avoir rencontré une phrase inhabituelle qu’ils ne connaissent pas, la fois suivante la phrase inhabituelle paraîtra, ils discuteront avec les notes pour mieux percevoir la phrase. De même, TNF tient à jour un dictionnaire Soyez conscient et enregistre les données de contexte d’une phrase inhabituelle lorsque la phrase inhabituelle se produit. Si la même phrase inhabituelle se reproduit dans le coaching, TNF utilise les données be aware pour renforcer la sémantique de la présente phrase.

Les chercheurs affirment que le TNF introduit peu de frais généraux de calcul lors du pré-entraînement, car sachez que le dictionnaire est à jour à la volée. En outre, ils affirment qu’il est uniquement utilisé pour améliorer l’efficacité du coaching du mannequin et qu’il n’est pas servi comme partie du mannequin; lorsque le pré-apprentissage est terminé, le dictionnaire attention est ignoré.

Pour mesurer l’efficacité de TNF, les co-auteurs ont concaténé un corpus Wikipédia et le livre ouvert BookCorpus en un seul ensemble d’informations de 16 Go, qu’ils ont prétraité, segmenté et normalisé. Ils l’ont utilisé pour pré-former un certain nombre de modes basées sur BERT, qu’ils ont ensuite affinées sur le point de référence préféré de l’analyse de la perception du langage commun (GLUE).

Les chercheurs rapportent que le TNF accélère les modes à base de BERT tout au long du cours de pré-formation de. Les scores GLUE communs ont été plus grands que la ligne de base via de nombreux pré-formations, avec un mannequin atteignant l’efficacité de BERT en deux jours alors qu’il a fallu pratiquement six jours à un mannequin BERT sans TNF. Et les modes basées sur BERT avec TNF ont surpassé le mannequin de base sur la grande majorité des sous-tâches (huit tâches au total) de «marges appréciables» sur GLUE.

«Le TNF atténue l’inconvénient de la distribution des phrases à queue lourde en prenant des notes à court terme pour des phrases inhabituelles tout au long de la pré-formation», ont écrit les coauteurs. «S’il est formé avec la même variété de mises à jour, TNF surpasse de loin la pré-formation BERT authentique dans les tâches en aval. De cette façon, lorsque des phrases inhabituelles apparaissent à nouveau, nous sommes en mesure de tirer parti des indicateurs de phrases croisées sauvegardés de leurs notes pour renforcer la sémantique et faciliter la pré-formation. »