Wiele osób pyta skąd ten wpis, pragnę więc wyjaśnić - bo może być to ciekawe dla wszystkich komentujących stan #ai w Polsce. Da się u nas budować potężne rzeczy. Tak po prostu 🇵🇱 Warto sherowac Polacy. Nasi inżynierzy są wybitni. 

W 2021 Twitter był organizatorem wybitnego konkursu #AI o nazwie RecSys Challenge przy ACM, tego samego, który w tym roku organizujemy my w @Synerise. Wówczas zwyciężyła @nvidia pokonując nieznacznie @Synerise z 🇵🇱 głównie dzięki zdecydowanie większym zasobom. Z naukowego punktu widzenia Polacy zdetronizowali wszystkich. 

Rozwiązanie jest opublikowane w koncepcji jako OpenSource:Zarówno nasze jak i rozwiązania NVidia nigdy nie trafiły na produkcję Twittera/x.com - dlatego te systemy rekomendacji Twittera są po prostu gówniane i nieprzejrzyste. Nie są oparte na nowoczesnych rozwiązaniach. 

Zadanie postawione w ramach rywalizacji podczas międzynarodowej konferencji RecSys2021, organizowanej przez ACM (Association for Computing Machinery) polegało na przewidywaniu reakcji użytkownika na dany tweet, na podstawie treści i metadanych tweeta oraz grafu historycznych interakcji użytkowników. Należało przewidzieć prawdopodobieństwo każdej z 4 możliwych interakcji:

- like
- retweet
- komentarz
- retweet z komentarzem

Dodatkowym utrudnieniem zadania były ograniczenia nałożone na fazę ewaluacji modeli Modele dysponowały jedynie 1 rdzeniem CPU z limitem czasu 24h na dokonanie predykcji. Akceleratory GPU nie były dostępne w środowisku testowym. Reguły ustalone przez firmę Twitter miały na celu eliminację rozwiązań wymagających gigantycznej mocy obliczeniowej, często zbyt drogich dla produkcyjnych zastosowań. 

Zbiór danych zawierał 1 mld tweetów wybranych przez firmę Twitter w sposób gwarantujący sprawiedliwe działanie modeli. Obejmował tweety w kilkudziesięciu różnych językach (japońskim, tajskim, tagalog) i reprezentatywny przekrój użytkowników - od bardzo popularnych autorów po zupełnie nowych użytkowników. 

Więcej o przygodzie: