Google paplašina astotās paaudzes TPU klāstu ar konfidenciālo 8tx un divu mikroshēmu 8i Max sistēmu

Google 9. novembrī paziņoja par divām jaunām astotās paaudzes tenzoru procesoru (TPU) sistēmām: TPU 8tx un TPU 8i Max. Uzņēmums uzsver, ka tās nav jaunas mikroshēmas, bet gan jaunas sistēmu konfigurācijas, kurās ap jau esošo silīciju no jauna salikti skaitļošanas, tīkla, atmiņas un korpusa risinājumi.

Astotās paaudzes pirmās divas sistēmas, TPU 8t lielu modeļu apmācībai un TPU 8i reāllaika spriešanai, Google prezentēja aprīlī konferencē Google Cloud Next. Līdz ar jaunajām sistēmām uzņēmums vienā gadā ir laidis klajā četras TPU sistēmas, un tā tas notiek pirmo reizi.

TPU 8tx paredzēta drošai un konfidenciālai MI modeļu darbināšanai, kā arī nelielai modeļu apmācībai. Parasti dati glabāšanas un pārsūtīšanas laikā ir šifrēti, bet apstrādes brīdī tie atmiņā jāatšifrē. Jaunajā sistēmā aizsardzība iebūvēta aparatūrā, tāpēc dati un modeļu svari paliek aizsargāti un izolēti arī apstrādes laikā. Sistēma balstās uz to pašu silīciju, ko TPU 8t, un darbojas kopā ar AMD centrālajiem procesoriem.

Google norāda, ka TPU 8tx izmanto zemas aiztures tīklu Boardfly un salīdzinājumā ar TPU 8t nodrošina līdz divām reizēm mazāku aizturi, gandrīz nezaudējot veiktspēju. Sistēma paredzēta regulētām nozarēm un valdībām, kas vēlas savus modeļus pielāgot ar privātiem datiem, nepārvietojot tos starp atsevišķiem klasteriem.

Otrā sistēma, TPU 8i Max, risina tā saukto atmiņas sienas problēmu, kad atmiņas caurlaidspēja kļūst par šķērsli lieliem uzdevumiem. Tajā vienā korpusā apvienotas divas TPU 8i mikroshēmas, tāpēc tai ir divreiz lielāka skaitļošanas jauda, divreiz vairāk SRAM atmiņas un divreiz lielāka HBM atmiņas caurlaidspēja nekā TPU 8i. Tā kā tajā pašā statnes laukumā ietilpst divreiz vairāk silīcija, datu centri uz katru kvadrātmetru un vatu var izvietot vairāk skaitļošanas jaudas.

Uzņēmums jaunās sistēmas pamato ar klientu pieprasījumu: uzņēmumi arvien vairāk izmanto MI aģentus, kam jāapstrādā ļoti garš konteksts, bet daļa stingri regulētu klientu vēlas īpašas šifrēšanas iespējas. Pēc Google teiktā, četras astotās paaudzes sistēmas kopā aptver visus MI darba posmus: TPU 8t paredzēta apmācībai, TPU 8i ātrai spriešanai, TPU 8tx konfidenciālai skaitļošanai, bet TPU 8i Max ļoti garam kontekstam un lielākajam jaudas blīvumam statnē.

Konkrētas cenas, pieejamības datumi un detalizēti tehniskie parametri abām jaunajām sistēmām pagaidām nav publiskoti, tāpēc to reālo veiktspēju salīdzinājumā ar konkurentu risinājumiem vēl nav iespējams novērtēt.