Hugging Face gör 2-, 4- och 8-bitars AI enklare på Apple Silicon
Transformers har stöd för Metal-baserad 2-, 4- och 8-bitars quantization på Apple Silicon och Metal flash attention för snabbare lokal AI.
Alla artiklar om lokal ai på AIpost.se. 1 publicerade nyheter.
Transformers har stöd för Metal-baserad 2-, 4- och 8-bitars quantization på Apple Silicon och Metal flash attention för snabbare lokal AI.