+ Rispondi alla Discussione
Risultati da 1 a 2 di 2

Google va già oltre BERT e presenta ELECTRA

Ultimo Messaggio di Giorgiotave il:
  1. #1
    Esperto L'avatar di alepom
    Data Registrazione
    Dec 2012
    Località
    Padova
    Messaggi
    85
    Segui alepom su Twitter Aggiungi alepom su Facebook Aggiungi alepom su Linkedin

    Google va già oltre BERT e presenta ELECTRA

    I recenti miglioramenti nella fase di pre-training hanno portato ad un grande miglioramento in ambito NLP (Natural Language Processing) con modelli come BERT e T5.


    Questi metodi sfruttano una grande quantità di testo per creare un modello generale di comprensione del linguaggio che poi viene utilizzato in attività come la sentiment analysis e sistemi di Q&A.


    Oggi Google presenta ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately), che adotta un approccio diverso al pre-training riuscendo ad ottenere le capacità di BERT ma con una fase di apprendimento più efficiente!


    Ad esempio, ELECTRA corrisponde alle prestazioni di RoBERTa e XLNet sul benchmark GLUE per la comprensione del linguaggio naturale, ma utilizza meno di ¼ della potenza di calcolo e ottiene risultati all'avanguardia sullo SQuAD benchmark di risposta alle domande.


    Il post di Google: https://ai.googleblog.com/2020/03/mo...-training.html


    Quello della comprensione del linguaggio naturale è un settore in fermento continuo, che sta facendo davvero passi da gigante in brevissimo tempo!
    Alessio Pomaro - SEO Manager // Head of Voice Technology @ Site by Site
    Una nuova guida per approfondire la Voice Search

  2. #2
    L'avatar di Giorgiotave
    Data Registrazione
    Oct 2004
    Località
    Monasterace
    Messaggi
    44,418
    Visita il canale Youtube di Giorgiotave
    Sembra interessante, ma si può già provare concretamente?
    Condividiamo insieme quel poco che sappiamo, tramite un forum, per lasciare traccia del sapere a chi vuole imparare!

+ Rispondi alla Discussione

Tag per Questa Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.