Když se řekne KEŠ....
... tak se každému vybaví něco jiného. Platba v hotovosti, goecaching či třeba říše Velká Kesh.




O tom všem ale tento článek nebude.

1. Co je to keš v tomto článku

CPU cache [keš] je vyrovnávací paměť procesoru, též nazývána mezipaměť. Mezipaměť proto, že je umístěna mezi jádrem CPU a RAM.
Byť mám český jazyk velmi ráda, osobně u počítačů používám raději anglické názvy a proto budu používat slovo cache nejčastěji.

Cache je rychlejší než operační paměť počítače ( RAM ), je ale dražší a proto bývá výrazně menší. Cache nebývá jen jedna, ale je poskládána ve vrstvách ( layers ). Vrstvy bývají nejčastěji dvě až tři a jsou značeny L1, L2, L3 a někdy i L4 dle vzdálenosti od jádra CPU. Čím větší je číslo, tím je cache vzdálenější, větší a méně rychlá.

Zatím jsme se při pohledu na powerpc procesory v NG Amigách zabývali zejména frekvencí. Ale protože hned po rychlosti CPU je v každém systému nejdůležitější rychlost přenosu dat z periferií a zejména z paměti, podíváme se blíže i na CPU cache.

2. vrstvy cache

L1 je první cache, nejbližší k registrům CPU. L1 cache jsou již od časů Motoroly 68040 ( první 68k s Harvardskou architekturou ) ve skutečnosti cache dvě - L1i pro instrukce a L1d pro data. L1 cache je vždy součástí jádra a je propojena nejrychlejší sběrnicí.
L1i a L1d cache nemusí mít stejnou velikost. U vícejádrových CPU má nejčastěji každé jádro svoji L1 cache. Pouze u CPU s mnoha jádry je někdy L1i společná pro dvě jádra.
Velikosti L1 se u dnešních CPU pohybují kolem 64 - 256 kB a rychlost až do 100 násobku rychlosti RAM.





L2 cache již nemají všechna CPU, například u NG Amig ji neměly procesory generace G2 - PPC 603, PPC 604, MPC 5200b a ani modernější AMCC 440ep.
Z dnešních moderních CPU nemají L2 například některé úsporné verze ARM.
Ovšem všechna výkonná CPU, tedy i PPC procesory G3, G4 a G5 a samozřejmě moderní procesory Intel, AMD, IBM Power i výkonné verze ARM již L2 cache mají. Pokud je CPU vícejádrové, L2 bývá někdy společná pro několik jader.
L2 je dnes také součást procesoru, ale u nejstarších CPU ( G3 PPC 750, MPC 755 a G4 MPC 7400, MPC 7410 ) byla L2 cache off-die, tedy mimo CPU a byla s procesorem propojena vlastní sběrnicí, nikoli přes Northbridge jako RAM.
Velikosti L2 se u dnešních CPU pohybují nejčastěji v jednotkách MB, ale mohou dosáhnout i 32 MB, rychlost dosahuje až 25 násobku rychlosti RAM.





L3 cache měly pouze procesory G4 řady 745x. G3, G4 744x a G5 nikoli. Cache byla off-die, propojena s CPU vlastní rychlou sběrnicí, velikost byla až 4 MB.
A opět, pokud má dnešní procesor L3 cache, tak je již integrována na čipu a je společná pro více jader či všechna jádra procesoru.
Konstrukce dnešních čipů je ovšem velmi variabilní. Některá CPU nemají L3 vůbec a mají zase větší L2 cache. L3 cache také může být sdílena mezi CPU a GPU na čipu.
Velikosti L3 se u dnešních CPU pohybují nejčastěji v rozmezí 16 až 256 MB a rychlost je dvojnásobek rychlosti RAM.






L4 cache existuje ale není příliš častá. Nalezneme ji ve velmi výkonných serverech či grafických stanicích. Implementace L4 se ale velmi různí. Může být klasická:
- CPU Haswell - Crystalwell má L4 cache na čipu, společnou pro CPU a GPU.
- AMD Zen4 může mít L4 na čipu společnou pro všechna jádra.
Nebo konstruována nekonvenčně:
- AMD 3D V-cache u Ryzen 7 CPU je velmi zajímavá implementace - např. CPU 5800X3D má 96 MB L3 cache, z toho je 32 MB on-die a 64 MB on-top-of-die. Tedy sice v rámci čipu, ale "nad čipem" - od toho je název procesoru 3D. CPU core má přístup k celým 96 MB L3, ale všechny 64 MB on-top-of-die části L3 cache od všech jader jsou dále virtualizovány do společné L4 cache.
- IBM Z systém má čtyři výpočtové procesory ( 256 MB L3 ) a jeden systémový procesor ( + 960 MB L4 cache ) a vše včetně RAM u jednotlivých procesorů je sdíleno interconnectem, takže každý procesor má přístup až ke 40 TB fyzické RAM se čtyřmi úrovněmi mezipaměti.
- IBM Telum má L4 virtuální - sdílením L2 a L3 cache všech čipů pro ostatní.
Dá se říci, co L4 to unikát. V žádném z našich powerpc Gx procesorů ale L4 cache nebyla, tak se jim dále věnovat nebudeme.

Další úrovně cache

Nikdy jsem se nesetkala s více než čtyřmi úrovněmi cache. Myslím opravdové cache, v hierarchii mezi registry procesoru a operační pamětí. Můžete se ovšem setkat také s těmito:
L0 cache - vnitřní cache CPU pro mikrooperace.
L5, L6,... cache - pokud na ně někde narazíte, tak nejspíš nepůjde o standardní cache, ale spíše o jinak nazvané buffery, většinou pro pomalé periferie.

3. Proč to všechno

Proč vznikl tento článek se netradičně dovídáte až ve třetí kapitole. Žádný článek o cache jsem totiž napsat původně nechtěla, nebylo proč. Normálně se o porovnání cache u jednotlivých procesorů moc nezajímám. Tak nějak jsem chápala, že čím větší cache tím lepší, ale blíže jsem se o to nezajímala. Zajímaly mě spíše celkové výkony CPU.
Ale v dubnu 2023 jsem získala Powermac G4 1.42 DP a tak jsem se přihlásila na fórum macrumors.com, abych zjistila, jak počítač co nejlépe upgradovat.
A tam mě zaujalo jedno měření výkonu, které provedl uživatel ervus.
Změřil, že G4 7457 / 1.6 GHz s 2 MB L3 cache je rychlejší než G4 7447 / 2.0 GHz bez L3 cache. Takže jsem se podívala na další procesory a jejich cache a vznikl z toho tenhle článek.

4. cache v procesorech G4

Protože první, kde mi padla do oka důležitost velikosti cache byl ervusův CPU generace G4, tak začneme zde. Pro značení G4 procesorů platí, že 745x je čip konstruovaný zcela identicky jako 744x a liší se pouze přidaným L3 interfacem u 745x verze.

V NG Amigách - a do toho počítám také všechny Powermacy schopné spustit MorphOS - lze najít CPU G4 v těchto verzích:

bez L3 cache:
7400: Cube, Powermac
7410: Powerbook, Cube, Powermac
7440: Powerbook
7447: Pegasos 2, eMac, iBook, MacMini, Powerbook
7448: Powermac module upgrades

s L3 cache:
7450: Powermac
7451: AmigaOne XE* / Micro A1-C*, Powerbook
7455: AmigaOne XE* / Micro A1-C*, Powerbook, Powermac
7457: AmigaOne XE* / Micro A1-C* module upgrades by ACube, iBook, Powermac module upgrades

* u těchto počítačů byla L3 cache sice osazena, ale nebyla aktivována z důvodu špatně fungující cache coherency u Northbridge. Jak uvidíme níže, je to pro výkon docela škoda.

Základní parametry procesorů G4

Je vidět, že s rostoucí řadou CPU roste i velikost L2 a L3 cache.
U prvních procesorů 7400 a 7410 byla L2 cache off-die, o maximální velikosti do 2 MB, se samostatnou sběrnicí pracující na stejné frekvenci jako CPU. V praxi ale Apple používal pouze 1 MB off-die L2 cache na poloviční frekvenci CPU. U novějších typů již byla L2 vždy integrována na čipu.
L3 byla u G4 745x vždy off-die a dedikovaná sběrnice byla taktována v poměru k frekvenci CPU v poměru 1:4 až 1:6. L3 cache byla o velikosti až 2 MB, ale v některých starších Powermacích byl osazen jen 1 MB.
U procesoru 7457 je navíc možné mít připojeno až 4 MB SRAM, z čehož až 2 MB lze konfigurovat jako L3 cache a zbytek jako private memory. Pokud vím, tato konfigurace nebyla u žádného počítače použita.

Poznámky k upgradu CPU G4

Pro případnou náhradu CPU v našich počítačích platí, že procesory bez L3 ( s paticí 360 BGA ) 7440, 7441, 7445, 7455, 7447 a za určitých okolností i 7448, lze navzájem zaměnit a tedy vyměnit za rychlejší.
Analogicky lze upgradovat CPU s L3 cache ( paticí 483 BGA ) 7450, 7451, 7455 a 7457. To že frekvence L3 je odvozena od frekvence CPU mimo jiné znamená, že když chceme přetaktovat CPU s L3, je nutné brát ohled i na rychlost osazených cache čipů a v případě potřeby je vyměnit za rychlejší, nebo vyměnit EPROM na CPU modulu za verzi s nastaveným jiným poměrem frekvencí.

5. Vliv velikosti L2 a L3 cache na rychlost CPU G4

A jak je to tedy s tím vlivem cache na rychlost?
Podotýkám, že toto nejsou mé výsledky, ale právě výše zmíněný graf od ervuse. Tímto posílám @ervus velké poděkování za svolení výsledky použít.
Pokud Vás to zajímá, zde je odkaz na příspěvek: https://forums.macrumors.com/threads.../post-30746990. Zajímavé je ovšem celé vlákno.




Jedná se o rychlost kompilace zdrojového kódu, výsledek je v počtu buildů za den, tedy "higher is better". Testy jsou o to zajímavější, že testy s CPU 7448, 7457, 7447 a 7455 byly dělány na identickém počítači. Pouze 7400 bylo testováno na počítači s pomalejší sběrnicí.

Hezké že? Podíváme se na první tři procesory, tedy tři poslední verze CPU G4:
7447 má L2 512 KB
7457 má L2 512 KB a L3 2 MB
7448 má L2 1024 KB

Sice nemáme všude testy na stejných frekvencích, což by bylo nejprůkaznější, ale i tak si dovolím tvrdit že 7457 s L3 je na stejné frekvenci rychlejší než novější typ 7448. A typ stejného designu ale bez L3 ( 7447 ) zaostává opravdu hodně.
Rozdíl ve výkonu CPU se stejnou frekvencí 2.0 GHz a rozdílnou L2 cache ( 7447 vs. 7448, 512 vs. 1024 KB ) je 20%. Část jde jistě na vrub toho, že 7448 je novější konstrukce než 7447, ale myslím že největší roli zde hraje rozdílná velikost L2.

Aniž bychom to museli přesněji kvantifikovat, vidíme že celkový vliv velikosti L2 a L3 na rychlost je velký.
Toto měření samozřejmě nelze zobecnit na všechny úlohy, každá úloha se chová při práci s pamětí trochu jinak, ale je to dost zajímavé pro ty, kdo přemýšlejí o upgradu CPU.

Původně jsem totiž uvažovala o tom, že si seženu dva interposery ( ne, nejsou to žádní poserové, jedná se o redukce patice CPU ) a osadím svůj Powermac nejrychlejšími CPU z rodu G4 - 7448 na 2.0 GHz. Ale tyto výsledky mě přesvědčily, že bude lepší osadit typ 7457 na frekvenci 1.6 - 1.7 Ghz. A navíc to bude jednodušší, stačí prostá výměna.

6. cache v procesorech G5

A jak vypadaly cache v další vývojové generaci Powerpc?

MorphOS spustíte na všech vyráběných verzích G5:
970: Powermac
970FX: Powermac, iMac
970MP: Powermac

Základní parametry procesorů G5

L1i nám narostla na dvojnásobnou velikost 64 KB, L1d zůstala 32 KB.
L2 je 512 KB u typů 970 a 970FX nebo 1024 KB per core u typu 970MP, tedy stejně velká jako u posledních typů G3 a G4.
L3 zcela chybí. Možná to tolik nevadí, propustnost sběrnice je u G5 totiž přibližně třikrát vyšší než u G4. Nicméně procesor POWER4, z nějž je G5 odvozen jako CPU pro workstationy a entry-level servery, má L3 cache docela velkou: 32 MB off-die, takže je to nejspíš trochu škoda.

Pozn:
pokud srovnáváte rychlosti sběrnic, vězte že procesory G5 mají jinou logiku taktování než G3 a G4. U G5 se frekvence sběrnice odvíjí v daném poměru od nastavené frekvence procesoru. Poměr lze konfigurovat 2:1, 3:1 nebo 4:1. Maximální frekvence sběrnice a tedy i propustnost záleží na rychlosti CPU.
Procesory G3 a G4 mají logiku časování opačnou: sběrnice má pevně nastavenou frekvenci a od ní se násobením odvozuje frekvence procesoru.

Vliv velikosti cache v G5 na rychlost zde nenajdete. Nemám jak výkony porovnat na stejném počítači.

7. cache v procesorech G3

V NG amigách lze najít CPU G3 pouze v těchto verzích:

750CX(e): AmigaOne SE, Pegasos 1/2
750FX: AmigaOne XE / Micro A1-C
750GX: AmigaOne XE / Micro A1-C

G3 se samozřejmě vyskytuje i v Powermacích, zejména noteboocích, ale protože na nich MorphOS nespustíte, neuvádím je zde.

Základní parametry procesorů G3

G3 má L1 cache vždy 32 kB
L2 cache zde prošla celým vývojem od žádné cache, přes 1024 KB off-die ( sběrnice je na poloviční frekvenci CPU ) až po 1024 KB na čipu. Takže L2 cache u G3 může sloužit jako učebnicový příklad vývoje velikosti cache.
L3 cache naše desktopové G3 nemají, pravděpodobně byla pouze v G3 custom chipu Espresso.

Poznámky k upgradu CPU G3

A co to znamená pro nás a pro případný upgrade CPU?

750CX má v NG Amigách pouhých 600 MHz ale bohužel nejde jednoduše upgradovat na jiné CPU. Má totiž patici 256 BGA a ta je s následníky nekompatibilní. A zrovna Pegasu G3 by to prospělo.

Procesory 750FX a GX již mají patici identickou ( 292 BGA ) a lze je zaměnit. Procesory se liší v maximální frekvenci FSB, 167 a 200 MHz, ale protože AmigaOne má maximum jen 133 MHz ( a nejrychlejší Apple G3 iBook s FX jen 100 MHz ), tuto výhodu GX v praxi využít nelze.
750GX lze ale taktovat na vyšší frekvence a také má dvojnásobnou L2 cache.
Samotná vyšší frekvence GX by asi nestačila na to, abych vyměnila CPU u své Micro - zrychlení z 866 na cca 1000 MHz ( o 15% ) zas není tak moc abych sahala na funkční CPU modul. Ale výsledky ervuse s G4 cache mě navnadily a řekla jsem si že by zrychlení mohlo být ve skutečnosti výrazně větší než je rozdíl frekvencí. A tedy to zkusím.

Odbočka - který stolní počítač s G3 je vlastně nejrychlejší?

Při testování se mi procesor 750FX v Micro natolik zalíbil, že jsem chtěla získat nejvýkonnější počítač s procesorem 750FX nebo GX.
U G4 a G5 je to jednoduché, je to vždy Powermac. U G5 originál Quad, a u G4 XServe nebo MDD DP s CPU upgradovanými na 2x 7457 nebo 2x 7448.
Jenže Apple používal procesory G3 jen starších verzí ( PPC 750, 750CX, 750CXe ) a v dobách 750FX a GX ( kromě již zmíněného iBooku ) používal již všude pouze procesory G4.
Nejrychlejší G3 čip byl sice Espresso z roku 2012, se třemi jádry a GPU na čipu a frekvencí 1.24 GHz, jenže tento procesor najdeme pouze v konzolích Nintendo. Jiný výrobce G3 desktopů kromě Apple, bPlan/Genesi a MaiLogic/Eyetech zřejmě neexistoval. Škoda, chtěla jsem vyzkoušet jak by se choval CPU 750GX s frekvencí sběrnice 200 MHz.
AmigaOne XE končí s frekvencí FSB na 133 MHz a projektovaný následník jejího Northbridge ( Articia Sa ) měl umět až 166 MHz FSB a 333 MHz DDR, jenže do produkce se nedostal.
Tak jsem pátrala dál, a zjistila jsem že nejspíš nejrychlejší G3 desktop už mám - přes všechny nedokonalosti v designu je to AmigaOne XE.
Naše AmigaOne XE s G3 tím získala jedno sice naprosto nevýznamné, ale zato světové prvenství.

8. Vliv velikosti L2 cache na rychlost CPU G3

CPU jsem nechala vyměnit ( opět u Megafix.cz ) za verzi 750GX s L2 cache 1024 kB. Zde je video z výměny https://www.youtube.com/watch?v=_2apUld6xd4. Vypadá to vlastně dost jednoduše že?

A teď tedy praktická zkouška. Abychom se podívali na vliv velikosti cache, provedla jsem srovnání pro frekvenci původního procesoru 750FX, 866 MHz. Všechny testy byly provedeny na Micro A1-C. Přeci jen, na mou AmiguOne XE se mi již nechce sahat, je vymazlená.




K testování úloh jsem použila moji standardní testovací sadu benchmarků, programů a her, stejnou jako v článcích "AmigaOne XE - s novým srdcem" a "Malé AmigyNG - díl IV, závěrečné porovnání".

8.1 Kde se vliv větší L2 cache neprojevil:

Dhrystone MIPS
Lame
Stream
WritePixelArray - zápis do VRAM s DMA
DiskSpeed
SCSISpeed
TCPSpeed - zde se ani projevit nemohl, protože omezující faktor je 100 MbE NIC
Blender - to je zajímavé, zrovna zde bych zrychlení čekala. Možná je to má chyba, již jsem nenašla přesné podmínky ( zejména rozlišení gfx ) za kterých jsem měřila test.blend u původního CPU 750FX.

8.2 Kde se vliv větší L2 cache projevil jen trochu:

Copy to VRAM - zápis do VRAM bez DMA: +3.3%
SDLBench: +2.6%
E-UAE: SysInfo DMIPS +4%, ChipSpeed vs A600 +30%, ADoom FPS +2.8%
DOSBox: rychlost vs. PC/XT +2.5%, FPS Quake se nezměnilo

8.3 Kde se vliv L2 cache projevil citelně:

MPlayer
Testováno opět pomocí Serenity-HDDVDTrailer.mp4, rozlišení HD 1280x720, kodek H.264.


U přehrávání videa zrychlení o 10% na stejné frekvenci.

HTML gfx benchmark
Testováno pomocí wirple.com/bmark, jedná se o test grafiky a údaj zobrazuje FPS na začátku testu.


Rychlost grafiky na webu je rychlejší o úctyhodných 19%.

FPS hry


Dvojnásobná L2 cache se projevila docela zajímavě: GLQuake a ioQuake3 rychlejší o 6% a Tower57 dokonce o 22%. To je výborný výsledek. WingsBattlefield zůstalo na stejné rychlosti, ale zde je hlavní problém s integrovanou grafickou kartou generace R100 - ta tuhle hru nezvládá, i grafika je příšerná.

Na výsledcích je zřetelně vidět, že větší L2 cache pomůže ve výkonu pouze u některých úloh. Nicméně zrovna u těch náročných, kde to potřebujeme nejvíce. Tedy u přehrávání videa, prohlížení internetu a hraní FPS her.

9. Další odbočka - trochu zbytečná kapitola o designu počítačů s Powerpc G3-G5

Tahle kapitola je tu proto, že když jsem porovnávala schopnosti powerpc CPU s jejich skutečnou aplikací v počítačích, narazila jsem na to, že nebyly využity na maximum.

Powerpc procesory byly na začátku výkonnější a měly nižší spotřebu než i86 svět a slušný náskok držely ještě v dobách uvedení MPC7440/7450. Pak se vývoj i86 platformy velmi zrychlil a nakonec v dobách MPC7447/7457 a PPC970 již počítače s powerpc procesory v mnoha parametrech zaostávaly.

Mohl za to samozřejmě hlavně design CPU. G3 a G4 měly pro nové tisíciletí již pomalou sběrnici a G3 byl navíc bez SIMD. G5 byl sice teoreticky velmi výkonný, a kdyby uváděné teoretické ukazatele byly stejné i v praxi, jistě by na i86 konkurenci stačil. Bohužel reálné výsledky ukázaly, že na stejné frekvenci není rychlejší než G4. Nedokážu posoudit nakolik za to mohl CPU, nakolik Northbridge a nakolik třeba špatně optimalizovaný software, ale dnes na tom již nezáleží.

Co je ale také důležité a obvykle se to nezmiňuje, ke stagnaci výkonů počítačů s G3 a G4 značně napomohli i designéři tehdejších počítačů, tedy přesněji použité Northbridge.
Například poslední G3 použité v iBooku ( PPC 750FX ) byly sice taktovány na maximum, tedy 900 MHz, ale iBook měl FSB ( a tedy i rychlost RAM ) pouhých 100 MHz. Procesor by zvládl i 166 MHz. A když se podíváme do tabulek výše, tak vidíme že maximální propustnost sběrnice iBooku byla pouze 640 MiB/s, namísto možných 1062 MiB/s. To už musí být znát.
A procesory G4 již od typu 7440 obsahují 36-bitovou adresovou sběrnici, tedy jsou schopny adresovat až 64 GiB fyzické paměti. I když ponecháme prostor pro přímé mapování paměti periferií, pořád by bylo možné osadit až 32 GB RAM. A virtuální RAM mohla být až 4 PiB. Takže při vhodné konstrukci počítače bychom 64-bitové verze CPU ještě dlouho nepotřebovali.
Žádný z Northbridgů použitých u Apple neuměl více než 4 GB fyzické paměti, tedy 2 GB pro RAM. Pegasos 2 měl sice Northbidge MV64361 který má 8 GB fyzický adresový prostor a 183 MHz maximální frekvenci FSB, ale ani Pegasos 2 nic z toho naplno nevyužil. Škoda. A o AmigaOne XE ani nemluvím, tam je Northbridge učebnicovým příkladem pro ty, co se chtějí podívat jak se to nemá dělat.




Takže ke konci desktopové powerpc éry v roce 2005 na tom byly naše počítače podobně jako toto krásné auto. Stále měly špičkový výkon, ale jen v některých parametrech. Pro univerzální použití tu již byli jiné, lepší.

10. závěr

Je mi jasné, že při výběru CPU si nelze vybrat libovolnou velikost cache. Takže bereme tu, kterou navrhl vývojář CPU. Ale je vidět že cache má přesto velký vliv na rychlost úloh určitého typu, zejména ty výpočtově náročné. V dnešní době je samozřejmě výkon potřebný při přehrávání videa i při hrách z velké části dedikován na GPU a to tento článek nezohledňuje.




Přesto ale, když budeme například navrhovat server nebo workstation pro matematické modely či kompilaci zdrojových kódů, vyplatí se sáhnout pro CPU s velkou L3, případně i L4 cache, i kdyby měl mít nižší frekvenci.

Poděkování:
ervus@macrumors.com za inspiraci a měření
megafix.cz zavýměnu CPU

Použité obrázky:
graf TFF builds/day: macrumors.com se svolením ervuse
mapa Midkemie s říší Velká Kesh: mischief-in-midkemia.obsidianportal.com/wikis/
The Beast Of Turin: hotcars.com

​