Usages : LLamasté, ChatGPT sur ton PC


Episode Artwork
1.0x
0% played 00:00 00:00
Sep 16 2023 115 mins   769 13 1

On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée.


❤️ Patreon

💬 Discord

💻 techcafe.fr


Niveau bébé



  • Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun.

  • LLM ça : C’est quoi un modèle de langage ?

  • Section kézako : tokens, contexte, vecteurs et samplers.

  • Niveau facile : les logiciels qui font tout (ou presque) Faraday.dev et LM Studio.

  • Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ?


Niveau bambin



  • GGML et GPTQ : du JPEG pour les IA ? C’est flou…

  • Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne question !

  • Niveau moyen : KoboldCpp et l’embarras du choix des IA…

  • Les samplers en détails : top_k, top_p, tfs, mirostat et on en passe (rassurez-vous).


Niveau barbu



  • Niveau difficile : Oobabooga, lora et plugins, llamacpp et ses grammaires.

  • Sampling spéculatif : de l’art de gagner du temps en travaillant pour rien.

  • PrivateGPT, et pourquoi je ne discuterais pas avec mes PDF ?

  • Odyssée de la barre d’espace : avec Open-interpreter, met Hal 9000 dans ton PC.

  • Llama, des licences peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc.


Liens bonus



  • Quelques liens pour se tenir au courant:


  • Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2.

  • Le modèle “fine-tuné” en français : Vigogne-2.

  • Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2.

  • Les modèles qui codent : codellama-instruct, wizardlm-codellama.

  • À retrouver dans la taille et la saveur de votre choix grâce à TheBloke (Tim Jobbins).

  • Et pour tester le GROS Llama et le TRES GROS Falcon gratuit…


Participants



  • Une émission préparée par Guillaume Poggiaspalla

  • Présenté par Guillaume Vendé

Distribué par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.