Apple Intelligence

[MonkY]

Functiile care ruleaza local cam cat pot consuma din baterie?

Teoretic, mult mai putin decat daca aceleasi operatiuni ar rula direct pe CPU sau GPU, asta e clar. Gandeste-te ca sunt niste unitati care seamana un pic cu vechile acceleratoare de calcul, dar care spre deosebire de acelea, nu vor prelua din CPU sau GPU datele, ci vor primi un set de LLM-uri (Large language models), pe baza carora vor genera un raspuns. Cu alte cuvinte, ai putea spune ca ele sunt niste CPU-uri mult mai dumb, dar care stiu sa execute perfect instructiunile pe baza acelor LLM-uri.

Banuiesc ca te-ai jucat un pic cu AI-ul (daca nu, give it a try, cu ceva local, nu server based). Daca incarci un model, pe baza caruia AI-ul sa-ti randeze ceva, si il executi pe CPU, s-ar putea sa stai cateva ore pt. o amarata de imagine generata. Faci acelasi lucru pe un GPU serios, acele ore se transforma in minute. Well, acum ca au intrat NPU-urile in actiune, se transforma totul in secunde.

Si acum, sa revenim la intrebarea ta, translatand la exemplul dat de mine pe PC: Deci, via CPU, care consuma 100-150W, stai cateva ore. Via GPU, care consuma 200-300W, stai cateva minute. Via NPU, care consuma 20-30W, stai cateva secunde. Deci da, in mod normal consuma mult mai putin decat ar fi consumat daca se executa via CPU/GPU.

Singura belea, despre care am discutat mai sus, este resursa principala, unde vor sta acele LLM-uri: in cazul de fata RAM-ul! Pe un PC, in exemplul de mai sus, cel mai mult conteaza RAM-ul de pe GPU (nu am NPU sa ma joc). Cand aveam 3070 Ti cu 8GB RAM, daca incercam modele mai mari, imi dadea pe-afara, si crasha. Am trecut la 4070 Ti si cu 12GB RAM diferenta este enorma. De fapt, citisem un articol recent, cum ca o sa vedem din ce in ce mai multe device-uri cu Android care vor depasi 16GB RAM, tocmai din acest motiv: vor fi rezervati 8GB RAM pt. AI.

Totodata, vazusem un patent de la Apple, prin care voiau sa foloseasca storage-ul (care in zilele noastre nu e suficient de rapid pt. a se compara cu DRAM-ul, dar e aproape) ca suplement pt. RAM-ul fizic. Un fel de swap. Sau aceeasi idee pe care o folosesc device-uri cu Android, care au 8GB RAM, si apesi pe un buton si iti "face" 12GB RAM (8 GB fizici si 4 virtuali, pe memoria flash). Asta ar permite si unor device-uri mai vechi sa ruleze LLM-uri mai mari... dar problema cu viteza de procesare ramane. Acolo nu cred ca are Apple (sau oricine altcineva) ce minuni sa faca. Si sunt sigur ca au facut teste si a mers prea prost pe A16 Bionic. Ma indoiesc ca e marketing, nu prea vad de ce si-ar "renega" Apple propriile device-uri. Pur si simplu nu fac fata. Parerea mea, hac...