• NoFinn
  • Posts
  • Novo LLM da AMD 🤖

Novo LLM da AMD 🤖

OpenAI enfrenta ganhos de desempenho menores para seu próximo modelo em meio à saída de mais um de seus grandes nomes da equipe & mais

Author

Finn Puklowski
November 11, 2024

E aí, curioso, seja bem-vindo novamente!

Para começar a semana, aqui estão as principais novidades do setor de IA ao redor do mundo. Caso você prefira escutar os conteúdos do NoFinn. É simples:

🌐 Se você está na versão web ou no aplicativo basta dar clicar no player no topo da página, logo abaixo do título da postagem.

📧 Caso você esteja no e-mail é só clicar aqui, ou no banner no topo do e-mail e você será direcionado para a postagem na web, após isso é só dar play no topo da página.

🎧 E pra você que já está escutando o conteúdo, maravilha! Bora lá para o resumo de hoje.

🏃TLDR⌚

🧠 A AMD lançou o Olmo, seu primeiro modelo de LLM totalmente aberto, que pode ser executado em GPUs Instinct MI250 e em PCs com chips Ryzen dotados de unidades de processamento neural (NPUs). O Olmo foi treinado em uma ampla infraestrutura de GPUs Instinct, usando 1,3 trilhões de tokens e passando por fases de ajuste fino, como a supervisão para tarefas de ciência e matemática e a adaptação para alinhamento com preferências humanas, tornando-o apto para interações éticas e seguras.

🤔 A OpenAI está prestes a lançar seu novo modelo de IA, o Orion, que, segundo relatórios, apresenta ganhos de desempenho menores do que o esperado em relação ao GPT-4. Embora tenha mostrado avanços leves em compreensão de linguagem, o Orion não é consistentemente superior ao GPT-4 em programação e outras tarefas especializadas. A limitação foi atribuída à escassez de dados de alta qualidade, uma vez que grande parte dos dados públicos disponíveis já foi utilizada.

❌ A OpenAI anunciou a saída de Lilian Weng, vice-presidente de pesquisa e segurança, que trabalhou por sete anos na empresa. Weng liderava a equipe de sistemas de segurança, composta por mais de 80 cientistas e especialistas, sendo uma das responsáveis por desenvolver salvaguardas técnicas em IA desde o lançamento do GPT-4.

💸 Os agentes de IA estão se destacando no cenário tecnológico como um campo promissor para investidores. Diferente da IA tradicional, que responde a comandos específicos, os agentes de IA tem autonomia para executar tarefas complexas e tomar decisões de maneira independente, sem a necessidade de supervisão constante. Os fundos de capital de risco estão investindo em startups que desenvolvem plataformas colaborativas de IA, sistemas multiagentes e ferramentas de design alimentadas por IA. Exemplos incluem a Crew AI, que permite a colaboração entre agentes para tarefas especializadas, e a Harvey AI, que atua na área jurídica para gerenciar fluxos de trabalho legais complexos.

O que aconteceu na semana passada

Segunda-Feira: ChatGPT Search vs Google. Microsoft e a16z contra SB-1047, Nova atualização do Claude & mais.

Terça-Feira: Claude 3.5 Haiku chegou! Meta vai liberar seus modelos para o governo dos EUA, Vazamentos do Projeto Jarvis do Google & mais.

Quarta-Feira: Vazamento do ‘o1’ completo. Nvidia se torna a empresa mais valiosa do mundo, A nova rodada de investimento da Perplexity & mais.

Quinta-Feira: Trump eleito e o futuro da IA nos EUA. Anthropic e novas parcerias para defesa, Novo domínio da OpenAI & mais.

Sexta-Feira: Amazon quer investir ainda mais na Anthropic. Nova API de moderação é lançada pela Mistral, Google anuncia investimento para acelerar o desenvolvimento de IA na África & mais.

Além disso, olha o que você verá hoje:

Bora lá?

🛠 Caixa de Ferramentas 🛠

Algumas das ferramentas que encontrei hoje para você começar a semana:

  • Invofox - Ferramenta que verifica e processa documentos e os transforma em dados estruturados.

  • UnifyApps - Agentes de IA personalizados que se conectam aos seus dados corporativos e automatizam os fluxos de trabalho.

  • TeamPal - Montagem de equipes de IA sem ser necessário códigos.

  • SpikyAI - Insights em tempo real para ajudar seus vendedores a melhorar sua performance.

AMD anuncia OLMo, seu primeiro LLM aberto

A AMD lançou o Olmo, seu primeiro modelo de LLM totalmente aberto, que pode ser executado em GPUs Instinct MI250 e em PCs com chips Ryzen dotados de unidades de processamento neural (NPUs). O Olmo foi treinado em uma ampla infraestrutura de GPUs Instinct, usando 1,3 trilhões de tokens e passando por fases de ajuste fino, como a supervisão para tarefas de ciência e matemática e a adaptação para alinhamento com preferências humanas, tornando-o apto para interações éticas e seguras. Além disso, a AMD disponibilizou o Olmo gratuitamente para desenvolvedores, incentivando o uso e a customização do modelo.

O modelo Olmo é adequado para data centers e pequenas empresas que buscam soluções de IA acessíveis e ajustáveis, permitindo o desenvolvimento de modelos personalizados para necessidades específicas. Sua arquitetura de código aberto coloca a AMD em competição direta com outras grandes tecnologias de IA, promovendo uma alternativa poderosa e acessível para empresas que buscam maior controle sobre suas soluções de IA.

O novo modelo "Orion" da OpenAI mostra pequenos ganhos em relação ao GPT-4

A OpenAI está prestes a lançar seu novo modelo de IA, o Orion, que, segundo relatórios, apresenta ganhos de desempenho menores do que o esperado em relação ao GPT-4. Embora tenha mostrado avanços leves em compreensão de linguagem, o Orion não é consistentemente superior ao GPT-4 em programação e outras tarefas especializadas. A limitação foi atribuída à escassez de dados de alta qualidade, uma vez que grande parte dos dados públicos disponíveis já foi utilizada. Em resposta, a OpenAI formou uma equipe focada em estratégias que otimizem o aprendizado com menos dados e está treinando o Orion parcialmente com dados sintéticos gerados por modelos anteriores, incluindo o modelo de raciocínio o1.

Esse cenário reflete um “teto” na evolução dos modelos de linguagem de grande escala em todo o setor, afetando também empresas como Google e Anthropic, cujos modelos recentes não atingiram as expectativas internas. O CEO da OpenAI, Sam Altman, permanece otimista, argumentando que a inovação pode vir da eficiência no uso dos modelos existentes. A OpenAI agora explora formas de otimizar o tempo de inferência, reduzindo a dependência de novos dados e ampliando a aplicação em tarefas práticas, mesmo que isso implique maiores custos energéticos e financeiros.

OpenAI perde outro nome importante, Lilian Weng

A OpenAI anunciou a saída de Lilian Weng, vice-presidente de pesquisa e segurança, que trabalhou por sete anos na empresa. Weng liderava a equipe de sistemas de segurança, composta por mais de 80 cientistas e especialistas, sendo uma das responsáveis por desenvolver salvaguardas técnicas em IA desde o lançamento do GPT-4.

Ela segue uma série de saídas recentes de líderes e especialistas em segurança da OpenAI, como Ilya Sutskever e Jan Leike, anteriormente da equipe de Superalignment, que também deixaram a empresa devido a preocupações sobre o foco da OpenAI em produtos comerciais sobre a segurança da IA.

Em resposta à saída, a OpenAI declarou que está trabalhando para encontrar um sucessor e que o time de segurança continuará comprometido em garantir a confiabilidade de seus sistemas. A onda de saídas, que inclui executivos como a CTO Mira Murati e o pesquisador Andrej Karpathy, reflete uma percepção crescente de que a empresa prioriza o desenvolvimento de IA avançada, deixando de lado práticas de segurança fundamentais.

Mais notícias ao redor do mercado de IAs

A aposta dos VCs nos agentes de IA

Os agentes de IA estão se destacando no cenário tecnológico como um campo promissor para investidores. Diferente da IA tradicional, que responde a comandos específicos, os agentes de IA tem autonomia para executar tarefas complexas e tomar decisões de maneira independente, sem a necessidade de supervisão constante. Esses agentes podem lidar com fluxos de trabalho completos, como gerenciar processos financeiros ou manter diálogos completos de atendimento ao cliente, representando uma oportunidade de US$ 4 trilhões para o setor, segundo a Battery Ventures. A previsão de crescimento anual composto é de 44,8%, passando de US$ 5,1 bilhões em 2024 para US$ 47,1 bilhões até 2030.

Os fundos de capital de risco estão investindo em startups que desenvolvem plataformas colaborativas de IA, sistemas multiagentes e ferramentas de design alimentadas por IA. Exemplos incluem a Crew AI, que permite a colaboração entre agentes para tarefas especializadas, e a Harvey AI, que atua na área jurídica para gerenciar fluxos de trabalho legais complexos. O cenário atual sugere uma reimaginação de aplicativos de SaaS para se tornarem “inteligentes”, redefinindo as formas de trabalho em áreas como saúde, jurídico e serviços profissionais.

Conteúdos extras para você

Isso é tudo por hoje, pessoal!

Me conta: o que você achou do conteúdo de hoje?

Faça Login ou Inscrever-se para participar de pesquisas.

Não perca nada!

Para mais notícias sobre IA, fique atento aos próximos conteúdos!

Caso tenha interesse, possuo alguns conteúdos já publicados em meu site. Dê uma olhada:

Confira mais conteúdos!

Reply

or to participate.