Illustration : Flock
Des chercheurs de Google ont publié un ensemble d’algorithmes de quantification, nommé TurboQuant. Ils permettent une compression massive réduisant l’utilisation de la mémoire, notamment pour l’IA générative, alors que le prix de la RAM est dans toutes les têtes.
Le nombre de paramètres et la taille de la fenêtre contextuelle des modèles de langage (LLM) prennent une place de plus en plus importante dans leur utilisation, notamment pour traiter des quantités énormes de documents et leur permettre d’augmenter leur acuité. Mais son utilisation intensive demande une quantité importante de mémoire. L’optimisation de la compression de ces informations devient primordiale.
On vous explique...
Envie de lire la suite ?
Cet article est réservé aux abonné·es. Rejoignez-les et (re)découvrez huit titres de la presse indépendante.
Profitez de la sélection de La Presse libre
Lisez tout ce que voulez
Soutenez la presse indépendante
Déjà abonné·e ? Connectez-vous
Profitez de la sélection de La Presse libre
Lisez tout ce que voulez
Soutenez la presse indépendante
Déjà abonné·e ? Connectez-vous
'%3e%3cpath%20d='M72.6964%200.0625H38.5564L10.9388%2019.9971L0.383789%2052.2715L10.9388%2084.5314L38.5564%20104.466H72.6964L100.314%2084.5314L110.869%2052.2715L100.314%2019.9971L72.6964%200.0625Z'%20fill='white'/%3e%3cpath%20d='M68.7509%2062.065C73.4679%2061.5587%2077.9957%2059.7938%2081.6644%2056.7993C84.9983%2054.0941%2087.5461%2050.5209%2088.2304%2046.2099C89.1621%2040.6549%2086.2941%2034.7671%2081.446%2031.8449C79.7572%2030.7599%2077.8646%2030.1234%2075.9138%2029.7183C74.2395%2029.3711%2072.5216%2029.2265%2070.8183%2029.2265H58.8802L48.6746%2052.5462C44.9039%2052.7053%2041.2206%2053.0959%2038.0468%2053.5154L55.5172%2015.4111H44.307L20.4746%2067.3597L30.4909%2065.1174C30.5783%2065.103%2036.722%2063.7431%2044.0595%2063.0343L32.6456%2089.1171L44.0013%2084.7772C63.5244%2077.327%2074.487%2080.553%2081.7518%2082.694C81.9993%2082.7663%2082.2468%2082.8387%2082.4797%2082.911L85.3769%2073.1896C85.1294%2073.1173%2084.8819%2073.045%2084.6489%2072.9726C78.4033%2071.1354%2067.7173%2067.9818%2051.3097%2071.9021L55.3716%2062.6292C60.3215%2062.528%2064.8783%2062.4846%2068.7509%2062.065ZM65.548%2039.3674H69.2023C71.0803%2039.4108%2073.3223%2039.1938%2075.0694%2039.8737C77.8355%2040.9297%2078.9565%2043.7507%2077.4715%2046.4125C76.336%2048.5535%2073.9484%2050.246%2071.8519%2051.0851C68.0521%2052.4015%2063.8884%2052.199%2059.812%2052.4739L65.548%2039.3674Z'%20fill='%2300CFB3'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_206_9747'%3e%3crect%20width='110.485'%20height='104.403'%20fill='white'%20transform='translate(0.383789%200.0625)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)