{"id":22883,"date":"2023-10-27T18:16:06","date_gmt":"2023-10-27T16:16:06","guid":{"rendered":"https:\/\/golem.ai\/?p=22883"},"modified":"2026-02-17T16:46:00","modified_gmt":"2026-02-17T15:46:00","slug":"optimisation-llm-scaleway","status":"publish","type":"post","link":"https:\/\/miralia.ai\/fr\/blog\/optimisation-llm-scaleway","title":{"rendered":"Optimisation de performance LLM avec GPUs Nvidia de Scaleway : une \u00e9tude technique"},"content":{"rendered":"\n

Pourquoi Miralia<\/a> a d\u00e9cid\u00e9 d\u2019exp\u00e9rimenter les LLMs ?<\/h3>\n\n\n\n

Chez Miralia<\/a>, nous croyons \u00e0 la compl\u00e9mentarit\u00e9 des approches Symbolique et G\u00e9n\u00e9rative de l\u2019IA.<\/p>\n\n\n\n

Le premier \u00e9pisode<\/a> de cette s\u00e9rie d\u2019articles l\u2019explique.<\/p>\n\n\n\n

Nous vous invitons \u00e0 y jeter un coup d\u2019oeil si vous ne l\u2019avez pas encore fait.<\/p>\n\n\n\n

Pourquoi choisir LlaMA-2 ?<\/strong><\/h3>\n\n\n\n

Meta, la soci\u00e9t\u00e9 m\u00e8re de Facebook, a fait sensation dans le secteur de l’intelligence artificielle (IA) en juillet dernier avec le lancement de LLaMA 2, un mod\u00e8le de langage \u00e0 grande \u00e9chelle (LLM) open-source con\u00e7u pour d\u00e9fier les pratiques restrictives de ses principaux concurrents technologiques.<\/p>\n\n\n\n

Contrairement aux syst\u00e8mes d’IA lanc\u00e9s par Google, OpenAI et d’autres (comme Apple avec Apple GPT ?), qui sont \u00e9troitement prot\u00e9g\u00e9s par des mod\u00e8les propri\u00e9taires, Meta publie gratuitement le code et les donn\u00e9es de LlaMA 2 pour permettre aux chercheurs du monde entier de construire et d’am\u00e9liorer la technologie !<\/p>\n\n\n\n

Voici les cinq principales caract\u00e9ristiques de LlaMA 2 :<\/p>\n\n\n\n

    \n
  1. LlaMA 2 surpasse les autres LLM open-source dans les tests de raisonnement, de comp\u00e9tence en codage et de connaissances.<\/li>\n\n\n\n
  2. Le mod\u00e8le a \u00e9t\u00e9 entra\u00een\u00e9 sur pr\u00e8s de deux fois plus de donn\u00e9es que la version 1, soit un total de 2 billions de jetons. En outre, l’entra\u00eenement a inclus plus d’un million de nouvelles annotations humaines et un r\u00e9glage fin pour les compl\u00e9ments de conversation.<\/li>\n\n\n\n
  3. Le mod\u00e8le existe en trois tailles, chacune entra\u00een\u00e9e avec 7, 13 et 70 milliards de param\u00e8tres.<\/li>\n\n\n\n
  4. LlaMA 2 prend en charge des contextes plus longs, jusqu’\u00e0 4096 tokens.<\/li>\n\n\n\n
  5. La version 2 a une licence plus permissive que la version 1, autorisant une utilisation commerciale.<\/li>\n<\/ol>\n\n\n\n

    Premiers tests en mode \u201cTest and learn<\/strong>\u201d avec Replicate.com<\/a><\/h3>\n\n\n\n

    Pour tester LlaMA-2, nous avons d’abord opt\u00e9 pour le SaaS Replicate.com<\/a><\/p>\n\n\n\n

    Cela vous permet de payer au fur et \u00e0 mesure, sans avoir besoin d’installer de logiciel sur du mat\u00e9riel existant.<\/p>\n\n\n\n

    Une premi\u00e8re approche parfaite pour exp\u00e9rimenter !<\/p>\n\n\n\n

    Cependant, pour des raisons de confidentialit\u00e9 et d’intelligence \u00e9conomique, nous avons opt\u00e9 pour une deuxi\u00e8me approche, expliqu\u00e9e ci-dessous.<\/p>\n\n\n\n

    Pourquoi LlaMA-2 sur des GPUs internes apr\u00e8s le SaaS Replicate.com<\/a> ?<\/h3>\n\n\n\n

    Chez Miralia<\/a>, l’intelligence artificielle de confiance, la souverainet\u00e9 des donn\u00e9es, la s\u00e9curit\u00e9 et le contr\u00f4le de l’ensemble de la cha\u00eene de valeur sont les choses les plus importantes.<\/p>\n\n\n\n

    Pour cette raison, nous avons d\u00e9cid\u00e9 de r\u00e9aliser notre propre benchmark en utilisant les ressources mat\u00e9rielles de notre fournisseur de cloud fran\u00e7ais Scaleway<\/a>.<\/p>\n\n\n\n

    Bien que le mod\u00e8le LlaMA-2 soit gratuit \u00e0 t\u00e9l\u00e9charger et \u00e0 utiliser, il convient de noter que l’auto-h\u00e9bergement de ce mod\u00e8le n\u00e9cessite une puissance GPU importante pour un traitement optimal.<\/p>\n\n\n\n

    LlaMA 2 est disponible en trois tailles : 7 milliards, 13 milliards et 70 milliards de param\u00e8tres, selon le mod\u00e8le choisi.<\/p>\n\n\n\n

    Pour les besoins de cette d\u00e9monstration, nous utiliserons le mod\u00e8le 70b pour obtenir la meilleure pertinence !<\/p>\n\n\n\n

    Mise en place de la solution GPU interne<\/h3>\n\n\n\n

    Entrons dans le vif du sujet \ud83d\ude08<\/p>\n\n\n\n

    Vue d’ensemble de l’int\u00e9gration<\/p>\n\n\n\n

      \n
    1. L’utilisateur fournit une entr\u00e9e : une invite de commande (c’est-\u00e0-dire qu’il pose une question).<\/li>\n\n\n\n
    2. Un appel API est effectu\u00e9 vers le serveur Llama.cpp, o\u00f9 l\u2019invite de commande est soumise et la r\u00e9ponse g\u00e9n\u00e9r\u00e9e par Llama-2 est obtenue et affich\u00e9e \u00e0 l’utilisateur.<\/li>\n<\/ol>\n\n\n\n
      <\/div>\n\n\n\n
      \"\"<\/figure>\n\n\n\n
      <\/div>\n\n\n\n

      Nous ex\u00e9cutons le mod\u00e8le LlaMA-2 70B \u00e0 l’aide de Llama.cpp, avec le pilote NVIDIA CUDA 12.2 sur une Ubuntu 22.04.<\/p>\n\n\n\n

      Llama.cpp<\/a> est une biblioth\u00e8que C\/C++ pour l’inf\u00e9rence des mod\u00e8les LlaMA\/LlaMA-2<\/a>.<\/p>\n\n\n\n

      Pour ce sc\u00e9nario, nous utiliserons le H100<\/a>-1-80G, le mat\u00e9riel le plus puissant de leur gamme de GPU \u00e9tant H100-2-80G, de notre fournisseur fran\u00e7ais Cloud Scaleway<\/a>.<\/p>\n\n\n\n

      La gamme de GPU de Scaleway comprend quatre produits d\u00e9di\u00e9s \u00e0 des utilisations diff\u00e9rentes \ud83d\ude80<\/p>\n\n\n\n

      Machine<\/th>GPU<\/th>M\u00e9moire GPU (VRAM)<\/th>Processeur<\/th>Coeurs physiques (vCPU)<\/th>RAM<\/th><\/tr><\/thead>
      Render-S<\/td>Dedicated NVIDIA Tesla P100 16GB PCIe<\/td>16GB CoWoS HBM2<\/td>Intel Xeon Gold 6148 cores<\/td>10<\/td>42 GB<\/td><\/tr>
      H100-1-80G<\/td>H100 PCIe Tensor Core GPU<\/td>80GB(HBM2e)<\/td>AMD EPYC\u2122 9334<\/td>24<\/td>240 GB<\/td><\/tr>
      H100-2-80G<\/td>2x H100 PCIe Tensor Core GPU<\/td>2x 80GB(HBM2e)<\/td>AMD EPYC\u2122 9334<\/td>48<\/td>480 GB<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

      La m\u00e9thode de mise en \u0153uvre de la solution est pr\u00e9cis\u00e9e dans les lignes suivantes.<\/p>\n\n\n\n

      Nous estimons qu’il faut environ 30mn pour la mettre en place, sous r\u00e9serve que vous r\u00e9pondiez \u00e0 nos exigences OS, logicielles, mat\u00e9rielles et que vous ne rencontriez pas d’erreurs \ud83d\ude42 .<\/p>\n\n\n\n

      <\/div>\n\n\n\n

      A. Installation<\/strong><\/p>\n\n\n\n

      Deux voies possibles :<\/p>\n\n\n\n

      1. La m\u00e9thode officielle d\u2019ex\u00e9cuter LlaMA-2 est de passer par leur d\u00e9p\u00f4ts.<\/p>\n\n\n\n