Vida com IA

Fala galera, nesse episódio do podcast eu falo sobre o dataset FineWeb, o melhor dataset open source de pre-treinamento existente até hoje. No episódio eu explico como eles fizeram a curadoria do dataset e um pouco dos resultados. Link pro grupo do whatsapp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP Link do blog da huggingface: https://huggingface.co/spaces/HuggingFaceFW

Fala galera, nesse episódio eu falo com o João Batista, Technical Product Manager da Stackspot AI. No episódio a gente falou bastante sobre o uso de LLMs como um copilot usando os próprios documentos da empresa para dar as respostas usando RAG. A gente falou tanto de aspectos técnicos como de produto, como qual métrica de similaridade pro RAG, quantos documentos usar, como m

Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia. BitNet paper: https://arxiv.org/pdf/2310.11453 1.58 bit paper: https://arxiv.org/pdf/2402.17764 Instagram do podcast:

Episódio extra falando sobre o lançamento do Llama 3!!!

Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs. Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo. Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routin

Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance. Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8 LoRA

Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs. Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma

Fala galera, nesse episódio eu explico como a gente consegue escalar a janela de contexto de um LLM pra mais de 1 milhão de tokens usando Ring Attention. Além disso eu discuto se a abordagem usando RAG está morta com esses avanços na janela de contexto. Paper Lost in the Middle: https://arxiv.org/pdf/2307.03172.pdf Gemini technical report: https://storage.googleapis.com/deepm

Fala galera, nesse episódio eu recebi o André, ele é AI expert na IBM e a gente falou bastante sobre como usar IA pra resolver diversos problemas na industria. Site da Brains: https://brains.dev/ Linkedin do Andre: https://www.linkedin.com/in/andrefelipelopes/ Linkedin da Brains: https://www.linkedin.com/company/brains-brazilian-ai-networks/ Instagram do podcast: https://www.in

Fala galera, nesse episódio eu falo sobre Mixture Of Experts e mais espeicificamente sobre o Mixtral, que hoje é o melhor LLM open source disponível e ele também é melhor que ChatGPT 3.5 e o Gemini Pro. Mixtral paper: https://arxiv.org/pdf/2401.04088.pdf Mixtral model: https://huggingface.co/mistralai/Mixtral-8x7B-v0.1 Mixtral YouTube: https://www.youtube.com/watch?v=mwO6v4Bl