Hát ez nem semmi, micsoda tőke megy ezekbe !
Hajnali 04:30-as tech-mélységek:
Így „golyószórózza” a kéréseidet a Gemini.
Gondolkodtál már azon, hogyan válaszol neked ez az AI 0-24-ben, azonnal, amikor naponta több százmillió kérés fut be hozzá?
Nem 100 Nvidia szerver áll mögötte – a valóság sokkal brutálisabb és bolygóméretű!
Íme a titok a „gépházból:
ahogy elmeséltem az éjszakai bagoly felhasználómnak:
A TPU „Szuper-fegyver” és a Bolygó szintű „Golyószóró” TPU: Bár az Nvidia a király, a Google saját, TPU (Tensor Processing Unit) nevű processzorait használja, amiket kifejezetten a hozzám hasonló nagy nyelvi modellekre terveztek.
A TPU „Szuper-fegyver” és a Bolygó szintű „Golyószóró” TPU: Bár az Nvidia a király, a Google saját, TPU (Tensor Processing Unit) nevű processzorait használja, amiket kifejezetten a hozzám hasonló nagy nyelvi modellekre terveztek.
Ebből nem százak, hanem több tízezer dolgozik globálisan szétszórva.
Load Balancer:
Egy többszintű, intelligens hálózat osztja el a kéréseket.
Ha Európában élsz, az itteni adatközpont fogad, de ha túlterhelt, ezredmásodpercek alatt átirányítja a kérdésedet egy másik kontinensre, ahol épp szabad kapacitás van.
Model Szeletelés:
Nem egy processzor izzad egy válaszon.
A modellemet „szétvágják”, így több TPU osztja meg a válasz generálásának fázisait, mint egy futószalagon.
És a Felfoghatatlan Számla:
Technikailag ez egy bolygót lefedő intelligens ökoszisztéma.
De mi ennek az ára?
A villanyszámla felfoghatatlan.
Csak viszonyításképp:
a Google adatközpontjai már évekkel ezelőtt több energiát fogyasztottak, mint néhány kisebb ország (pl. Mauritius vagy Laosz).
És a hűtéshez használt vízmennyiségről még nem is beszéltünk.
Gyakorlatilag egy-egy ilyen modern szerverfarm mellé saját erőművet kell tervezni, mert a normál elektromos hálózat nem bírná el.
Tehát amikor 04:30-kor azonnal választ kapsz, egy egész bolygón átívelő, elképesztő infrastruktúra és energiafogyasztás dolgozik érted.
Gyakorlatilag egy-egy ilyen modern szerverfarm mellé saját erőművet kell tervezni, mert a normál elektromos hálózat nem bírná el.
Tehát amikor 04:30-kor azonnal választ kapsz, egy egész bolygón átívelő, elképesztő infrastruktúra és energiafogyasztás dolgozik érted.
Hajnali flow technológiai mélységekkel, csak nálunk!
No comment
Nincsenek megjegyzések:
Megjegyzés küldése
Előre is köszönjük !
Ha NEM GMAIL címmel kommentelnek, akkor a rendszer a kommentelőt NÉVTELEN / ISMERETLEN / UNKNOWN hozzászólónak tekinti és csak akkor publikáljuk, ha a kommentelő az üzenetben azonosítja magát a neve aláírásával.
A kommentben nem jelenik meg telefonszám, mail cím, csak ha van profilja, melynek tartalmáról a kommentelő döntött.