Nowe AI od Apple. Szybciej, mądrzej i bezpieczniej

Apple ujawnił kulisy rozwoju swoich najnowszych modeli AI. W opublikowanym raporcie firma pokazała, jak trenuje sztuczną inteligencję na urządzeniach i w chmurze – a to wszystko z myślą o prywatności.

Apple podzielił lokalny model AI na dwa bloki: pierwszy zawiera 62,5% warstw transformera, drugi – drugi 37,5%. Dzięki temu urządzenia potrzebują mniej pamięci, a generowanie tekstu jest szybsze, bez utraty jakości.

W modelu chmurowym Apple zastosował architekturę Parallel-Track Mixture-of-Experts (PT-MoE). Model dzieli się na niezależne ścieżki i aktywuje tylko wybrane „eksperckie” podzespoły, co znacząco przyspiesza i usprawnia odpowiedzi na zapytania użytkowników.

Firma zwiększyła udział danych wielojęzycznych z 8% do 30% oraz powiększyła słownik tokenów do 150 tysięcy, co daje aż 275% wzrost języków innych niż angielski. Testy prowadzone były przez native speakerów, co poprawiło naturalność odpowiedzi.

Dane do trenowania modeli pochodziły głównie z publicznych stron internetowych, ale też z licencjonowanych źródeł oraz ponad 10 miliardów multimediów, w tym zdjęć, filmów i notatek odręcznych.

Apple wciąż nadrabia dystans do konkurencji w AI, jednak raport pokazuje, że firma stawia na innowacje, wydajność i ochronę prywatności użytkowników.