Introducing Apple Intelligence for iPhone, iPad, and Mac - AppleOriginally Posted by Apple
Privacy:
Apple Intelligence in 5 minutes:
Introducing Apple Intelligence for iPhone, iPad, and Mac - AppleOriginally Posted by Apple
Privacy:
Apple Intelligence in 5 minutes:
Desigur ca este interesant si bine implementat acest AI in sistemele lor, dar limitarile lor penibile de hardware sunt...
Cum poti sa zici ca nu va merge pe iPhone 15 sau iPhone 14 Pro? Astea sunt telefoane aparute de mai putin de 1 an sau mai putin de 2 ani
Asta este ceva absolut inadmisibil
Apple Intelligence will be available on iPhone 15 Pro, iPhone 15 Pro Max, and iPad and Mac with M1 and later, with Siri and device language set to U.S. English
Sa zici merci ca va merge si pe 15 Pro si 15 Pro Max. Eu ma asteptam sa vina sa spuna ca doar de la iPhone 16 Pro incolo e AI, plus tot ce e cu minim M1. Si chiar si asa, ce vor sa faca ei cu "AI on device", e al naibii de greu. Nu conteaza ca iPhone 15 este aparut de un an. E totusi gama lor "low end", care e prea slaba pentru AI on device (iar procesorul e de fapt de acum 2 ani). Numai faptul ca are doar 6GB RAM si deja il descalifica (tbh, eu nu stiu cum o sa faca Apple cu doar 8GB RAM, dar in fine)...
De fapt, cred ca in afara de limitarea de RAM, e mult mai simplu: au facut un calcul pentru necesarul de a rula AI-ul "on device", si le-a dat ca sub 30 mii de miliarde de operatiuni pe secunda, nu va merge. Iar singurul lor SoC mobil (exceptand M-urile, desigur) care sare de 30 mii de miliarde (35 mai exact), este A17 Pro. Therefore, 15 Pro si 15 Pro Max is the minimum. Apple A16 Bionic din cate stiu se ducea la vreo 17 mii de miliarde. A18 Pro ma astept sa sara de 50 mii de miliarde. Yup, AI is costly...
P.S. Ar fi putut face ca multi altii, si sa ruleze AI-ul pe serverele lor. Ma bucur ca n-au facut-o. Sau cel putin, nu pt. toate task-urile.
Teoretic, mult mai putin decat daca aceleasi operatiuni ar rula direct pe CPU sau GPU, asta e clar. Gandeste-te ca sunt niste unitati care seamana un pic cu vechile acceleratoare de calcul, dar care spre deosebire de acelea, nu vor prelua din CPU sau GPU datele, ci vor primi un set de LLM-uri (Large language models), pe baza carora vor genera un raspuns. Cu alte cuvinte, ai putea spune ca ele sunt niste CPU-uri mult mai dumb, dar care stiu sa execute perfect instructiunile pe baza acelor LLM-uri.
Banuiesc ca te-ai jucat un pic cu AI-ul (daca nu, give it a try, cu ceva local, nu server based). Daca incarci un model, pe baza caruia AI-ul sa-ti randeze ceva, si il executi pe CPU, s-ar putea sa stai cateva ore pt. o amarata de imagine generata. Faci acelasi lucru pe un GPU serios, acele ore se transforma in minute. Well, acum ca au intrat NPU-urile in actiune, se transforma totul in secunde.
Si acum, sa revenim la intrebarea ta, translatand la exemplul dat de mine pe PC: Deci, via CPU, care consuma 100-150W, stai cateva ore. Via GPU, care consuma 200-300W, stai cateva minute. Via NPU, care consuma 20-30W, stai cateva secunde. Deci da, in mod normal consuma mult mai putin decat ar fi consumat daca se executa via CPU/GPU.
Singura belea, despre care am discutat mai sus, este resursa principala, unde vor sta acele LLM-uri: in cazul de fata RAM-ul! Pe un PC, in exemplul de mai sus, cel mai mult conteaza RAM-ul de pe GPU (nu am NPU sa ma joc). Cand aveam 3070 Ti cu 8GB RAM, daca incercam modele mai mari, imi dadea pe-afara, si crasha. Am trecut la 4070 Ti si cu 12GB RAM diferenta este enorma. De fapt, citisem un articol recent, cum ca o sa vedem din ce in ce mai multe device-uri cu Android care vor depasi 16GB RAM, tocmai din acest motiv: vor fi rezervati 8GB RAM pt. AI.
Totodata, vazusem un patent de la Apple, prin care voiau sa foloseasca storage-ul (care in zilele noastre nu e suficient de rapid pt. a se compara cu DRAM-ul, dar e aproape) ca suplement pt. RAM-ul fizic. Un fel de swap. Sau aceeasi idee pe care o folosesc device-uri cu Android, care au 8GB RAM, si apesi pe un buton si iti "face" 12GB RAM (8 GB fizici si 4 virtuali, pe memoria flash). Asta ar permite si unor device-uri mai vechi sa ruleze LLM-uri mai mari... dar problema cu viteza de procesare ramane. Acolo nu cred ca are Apple (sau oricine altcineva) ce minuni sa faca. Si sunt sigur ca au facut teste si a mers prea prost pe A16 Bionic. Ma indoiesc ca e marketing, nu prea vad de ce si-ar "renega" Apple propriile device-uri. Pur si simplu nu fac fata. Parerea mea, hac...
Well, that kinda sums it all up: Why the iPhone 15 won’t support Apple AI in iOS 18, and why that’s OK.
Bookmarks