W Polsce doszło do przełomowego wydarzenia w dziedzinie sztucznej inteligencji i przetwarzania języka naturalnego. Zespół badaczy związanych z Uniwersytetem Warszawskim (UW), Polską Akademią Nauk (PAN) oraz Narodowym Centrum Badań i Rozwoju (IDEAS NCBR) ogłosił stworzenie nowego, potężnego modelu językowego nazwanego LongLLaMA. Ten innowacyjny model może obsługiwać teksty o długości nawet 64 razy większej niż znany ChatGPT. To wydarzenie jest nie tylko ważnym osiągnięciem naukowym, ale także ma potencjał rewolucyjny dla wielu dziedzin związanych z przetwarzaniem języka naturalnego.
LongLLaMA z ogromnym potencjałem
LongLLaMA jest oparty na oprogramowaniu OpenLLaMA, które zostało stworzone przez Meta, właściciela Facebooka. Model ten znacząco przewyższa swojego konkurenta, ChatGPT, pod względem możliwości przetwarzania tekstu. Warto podkreślić, że badacze polscy mają zasługę w modyfikacji tego oprogramowania, co pozwoliło na stworzenie LongLLaMA.
Według dr hab. Piotra Miłośa, profesora Polskiej Akademii Nauk i lidera zespołu badawczego w IDEAS NCBR, LongLLaMA może przetwarzać jednorazowo nawet 8 tysięcy tokenów, co odpowiada około 30-50 stronom tekstu. W niektórych przypadkach model ten jest w stanie obsłużyć aż 256 tysięcy tokenów, co stanowi znaczący skok w porównaniu do istniejących modeli. Co więcej, LongLLaMA działa wyjątkowo efektywnie i zużywa niewielką ilość energii, co jest ważne z punktu widzenia zrównoważonego rozwoju technologii.
Co wyróżnia model językowy stworzony prze Polaków?
Co wyróżnia model językowy stworzony przez Polaków?
Jedną z najważniejszych zalet LongLLaMA jest jego zdolność do przetwarzania bardzo długich danych wejściowych. Model ten może pracować z dowolną ilością kontekstu, nie ograniczając się do określonego limitu tokenów. W przeprowadzonych testach, gdzie badano zdolność modelu do przypomnienia sobie hasła podanego na początku długiego tekstu, LongLLaMA osiągnęła znakomitą dokładność. Podczas gdy konkurencyjny model OpenLLaMA radził sobie jedynie z promptem o długości 2 tysięcy tokenów, LongLLaMA zachowywała 94,5% dokładności po otrzymaniu promptu o długości 100 tysięcy tokenów i 73% dokładności po otrzymaniu 256 tysięcy tokenów.