Użycie lokalnych modeli AI z poziomu C++ - początki i podstawy - zapytanie o rady

Zastanawiam się nad napisaniem kolejnego artykułu, aby zgłębić jeden z tematów, który mnie interesuje.
Tym o czym chciałem napisać jest używanie sztucznej inteligencji z poziomu C++, głównie chciałem się skupić na tym jak użyć istniejącego modelu (np.  ), jak go pobrać. Coś o hugging Face, tokenach, formatach do trzymania modeli (ONNX), wagach, prawach autorskich przy modelach (bo to trochę szara strefa), CPU, GPU.
Ogólnie o tym jak we własnej aplikacji, napisanej w C++ używać jakiegoś modelu.

Artykuł na taki temat chce zrobić, gdyż .... nie mam w tym doświadczenia, więc chce motywacje aby zgłębić temat.
Widziałem, że Administrator forum prowadzi stronę o AI, więc może możecie podrzucić modele na start jakie warto ogarnąć?

Trochę bawiłem się używaniem polskiego modelu bielik, ale przyznaje, że mi to ogarnął bezpłatny Claude, więc jeszcze dokładnie szczegółów nie znam, ale przez llama.cpp.

Właśnie dlatego trzeba uważać z AI, bo coraz mniej ma człowiek motywacji do dogłębnego zrozumienia.
W jednej z moich aplikacji jest zaprzęgnięty też whisper.cpp  do zamiany mowy na tekst, niby fajna zabawka no ale chyba lepiej zacząć od podstaw.

Co radzicie?

Ile masz RAM i czy interesuje Ciebie uruchamianie modeli via API (płatnych API) czy chcesz sobie hostować lokalnie? Bo... ogólnie jak zobaczysz sobie ranking modeli (ranking zainteresowania) w ostatnim czasie, to tam wyłonią Ci się kandydaci ale... to trzeba mieć realnie ze 24GB VRAM aby działało to szybko i z jakością good enough. Natomiast jeżeli interesuje Ciebie API usage to pewnie bym się rozejrzał za jakąś subskrypcją np. od GLM lub Qwen, bo powinny być tanie w użyciu. Ja mam subskrypcję roczną na GLM ale po miesiącu/dwóch eksperymentowania przestałem ją używać bo często były problemy z używaniem przez timeouty. Qwena nie mam bo rok temu nie było jak go kupić (może sytuacja się zmieniła). GPT jest w ch... drogie, więc nawet się tym nie interesowałem (aby móc się integrować via API).

Bielik to szrot - nawet Sapera nie potrafi w HTML zaimplementować ani innych prostszych gier typu Memory.

llama.cpp/ollama mają REST-owe API więc można za pomocą HTTP POST wysłać curlem albo z poziomu C++ requesta i dostaniesz odpowiedź od AI. Można albo bawić się w streaming (więcej roboty implementacyjnej) albo robić request/response tj. czekasz aż będzie pełna odpowiedź i ją wykorzystujesz.

Zwykłego RAMu mam 48 G (więcej niż max producenta do laptopa:D), natomiast mam starą kartę graficzną (GFORCE GTX 1050 Mobile o 4G VRAM) i nie bardzo się nadaje do czegokolwiek. Natomiast chciałem artykuł napisać nie tyle o konkretnym użyciu na słabym/mocnym sprzęcie. Tylko bardziej jak zacząć AI z C++. Myślałem aby to były bezpłatne modele, które stawiasz u siebie, bez płatnych API.

To pewnie musisz celować w modele Qwen. Pewnie Qwen3 8b może być ciekawy (ale wolny). Z mocnych modeli to pewnie Qwen 3.6 35B-a3B z kwantyzacją np. Q4. Powinno działać good enough.

https://ai4users.com/Models/5/Qwen-3.6-35B

Natomiast jeżeli chcesz testować 'hello world' to pewnie warto celować w Qwen 3 poniżej 4b, bo też od tego zaczynałem, aby zobaczyć o co biega.

/edit:
Nie testowałem tego modelu nigdy, ale może warto jego spróbować bo powinien być szybki nawet bez GPU: https://ai4users.com/Models/30/Ling-3.0-Tiny