EVALITA Best System

Il premio “EVALITA Best System” è stato istituito con il duplice scopo di stimolare la partecipazione di giovani ricercatori e ricercatrici alla campagna di valutazione EVALITA e di contribuire all’open science.

Tutti i sistemi partecipanti a EVALITA sono ammissibili purché soddisfino i seguenti criteri: (i) deve figurare almeno un giovane ricercatore o ricercatrice (studente di dottorato o della magistrale) tra gli autori e (ii) gli autori devono aver reso disponibile il proprio software open-source.

I sistemi partecipanti vengono valutati sulla base dei seguenti criteri:

  • Aspetti innovativi rispetto allo stato dell’arte
  • Originalità (in termini di identificazione di nuove risorse linguistiche, identificazione di features di matrice linguistica e implementazione di uno schema teorico ancorato alla linguistica)
  • Approfondimento critico tale da preparare il terreno per sfide future (deep error analysis, discussione dei limiti del sistema proposto, discussione delle problematiche inerenti al task)
  • Correttezza dal punto di vista tecnico e rigore metodologico

L’ammontare del premio per il miglior sistema è di 500 euro.

Elenco premiati per l’anno 2023:

  • EVALITA best system: ExtremITA at EVALITA 2023: Multi-Task Sustainable Scaling to Large Language Models at its Extreme (tutti i task): Claudiu D. Hromei, Danilo Croce, Valerio Basile e Roberto Basili
  • Menzione speciale: DH-FBK at HODI: Multi-Task Learning with Classifier Ensemble Agreement, Oversampling and Synthetic Data: Elisa Leonardelli e Camilla Casula
  • Menzione speciale: IUSS-NeTS at LangLearn: The role of morphosyntactic features in language development assessment: Matilde Barbini, Emma Zanoli e Cristiano Chesi

Elenco premiati per l’anno 2020:

  • EVALITA best system: UNITOR@Sardistance2020: Combining Transformer-based architectures and Transfer Learning for robust Stance Detection (HaSpeeDe, IronITA, ABSITA, and GxG Tasks): Simone Giorgioni, Marcello Politi, Samir Salman, Roberto Basili e Danilo Croce
  • Menzione speciale: UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability Prediction with Multi-task Learning on Self-Supervised Annotations: Gabriele Sarti
  • Menzione speciale: rmassidda @ DaDoEval: Document Dating Using Sentence Embeddings at EVALITA 2020: Riccardo Massidda

Elenco premiati per l’anno 2018:

  • EVALITA best system: Multi-task learning in Deep Neural Networks (HaSpeeDe, IronITA, ABSITA, and GxG Tasks): Lorenzo De Mattei, Andrea Cimino e Felice Dell’Orletta
  • Menzione speciale: Automatic Identification of Misogyny in English and Italian Tweets with a Multilingual Hate (AMI Task): Endang Wahyu Pamungkas, Alessandra Teresa Cignarella, Valerio Basile e Viviana Patti
  • Menzione speciale: Bidirectional Attentional LSTM for Aspect Based Sentiment Analysis on Italian (ABSITA Task): Giancarlo Nicola