Baidu veröffentlicht ERNIE 5.5 Flash Base mit 280 Milliarden Parametern als Open-Source-Basismodell

Baidu veröffentlicht ERNIE 5.5 Flash Base, ein Mixture-of-Experts-Sprachmodell mit 280 Milliarden Parametern, von denen nur 14 Milliarden pro Token aktiv sind. Das auf 33,5 Billionen Token vortrainierte Modell wird ohne Feintuning freigegeben – als Ausgangspunkt für eigene Anpassungen der Community