Ensino Superior e Pesquisa
A Universidade Estadual de Ohio transforma a ciência da conservação com modelos de fundação para biologia
Objetivo
Pesquisadores da Universidade Estadual de Ohio estão digitalizando organismos vivos para amplos esforços científicos e de conservação por meio do BioCLIP 2 — um modelo básico da Árvore da Vida para metade das espécies descritas do mundo. Esse modelo é treinado no maior e mais diverso conjunto de dados até o momento, que a equipe também montou, o TreeOfLife-200M.
Enfrentando lacunas globais de dados de espécies, os pesquisadores usaram GPUs NVIDIA A100 e H100 para criar o BioCLIP 2, alcançando consistentemente o melhor ou os dois melhores desempenhos para identificação de espécies e reconhecimento zero-shot em quase um milhão de táxons. O modelo desbloqueia insights ecológicos e evolutivos emergentes. O BioCLIP 2 foi recentemente apresentado na conferência anual de pesquisa de IA da NeurIPS.
Cliente
Universidade Estadual de Ohio
Tópico
Simulação/Modelagem/Design
Produtos
Principais Resultados
- O BioCLIP 2 alcançou o desempenho máximo para identificação de espécies em mais de 900 mil táxons com a computação acelerada da NVIDIA.
- O modelo preservou e identificou variações dentro da espécie sem treinamento explícito.
- Treinado no maior conjunto de dados de biologia do mundo, compreendendo 214 milhões de imagens, usando GPUs NVIDIA.
Muitas Espécies, Não Há Dados Suficientes
A biodiversidade fornece serviços essenciais aos ecossistemas, incluindo água limpa, ar respirável e solo produtivo. Para estudar, entender e gerenciar adequadamente os ecossistemas para monitorar e proteger a biodiversidade do mundo, os pesquisadores exigem bons dados.
No entanto, a comunidade científica enfrenta um problema significativo de dados de biodiversidade: dados ausentes e distorcidos. A qualidade e a profundidade dos dados biológicos geralmente estão vinculadas à presença e à riqueza de populações humanas locais, levando a dados fortemente concentrados em áreas urbanas e parques nacionais. Locais importantes, como os trópicos, foram sub-representados.
De uma perspectiva taxonômica, os vertebrados — especialmente mamíferos e aves — têm dados abundantes, mas invertebrados e fungos carecem de informações abrangentes. Por exemplo, metade das 160 mil espécies monitoradas pela Lista Vermelha da União Internacional para a Conservação da Natureza (IUCN) apresenta deficiência de dados, incluindo espécies importantes, como as orcas.
A falta de dados abrangentes e equilibrados dificultou a compreensão dos impactos ambientais de longo prazo, do parentesco evolutivo e das interações ecológicas.
Os gráficos de dispersão mostram as espécies de plantas melhor separadas à medida que o modelo é treinado. As variações intraespecíficas também formam agrupamentos, tornando-as mais fáceis de separar.
Criação de um Modelo de Base para Preencher Lacunas de Dados Críticas
Tanya Berger-Wolf, diretora do Translational Data Analytics Institute e professora da Ohio State University, liderou uma equipe no Imageomics Institute, financiado pela National Science Foundation dos EUA, para abordar a lacuna de dados. A equipe criou o maior e mais abrangente conjunto de dados de biologia disponível e treinou um modelo de base usando esses dados.
Os esforços iniciais da equipe, aproveitando rótulos taxonômicos hierárquicos e treinamento contrastivo no estilo CLIP, alcançaram uma elevada precisão na classificação de espécies em cerca de um quarto das espécies nomeadas do mundo. No entanto, não estava claro quais propriedades surgiriam se esses métodos fossem ampliados. Os conjuntos de dados biológicos existentes em larga escala, como TreeOfLife-10M e BioTrove, também tinham limitações em termos de escala e diversidade, impactando a generalizabilidade do modelo.
Os modelos de AI anteriores desenvolvidos geralmente eram restritos a objetivos limitados, como a classificação de espécies, e não podiam enfrentar tarefas visuais biológicas mais amplas, como classificação de habitats ou previsão de características, sem treinamento explícito. Além disso, a equipe estava preocupada com o fato de o treinamento extensivo causar o colapso de variações dentro da espécie — como estágios de vida ou sexos —, dificultando distinções detalhadas.
Os pesquisadores precisavam aumentar maciçamente o tamanho de seu conjunto de dados e treinar um novo modelo em um ambiente estabilizado que ainda seria capaz de fazer distinções granulares nos dados biológicos.
Escalando o Treinamento de Modelos com a Computação Acelerada da NVIDIA
As GPUs de alto desempenho da NVIDIA forneceram a potência de processamento paralelo necessária para todas as etapas da curadoria de conjuntos de dados TreeOfLife-200M e do treinamento de modelos BioCLIP 2.
Antes que o treinamento pudesse começar, o TreeOfLife-200M precisava ser desenvolvido. A curadoria desse conjunto de dados envolveu a combinação de vastas e diferentes fontes, como Global Biodiversity Information Facility (GBIF), Encyclopedia of Life (EOL), BIOSCAN-5M e FathomNet, e o desenvolvimento de um pacote de alinhamento taxonômico personalizado, o TaxonoPy, para padronizar 1,36 milhão de hierarquias taxonômicas ruidosas para 952 mil taxa únicos. Esse conjunto de dados foi recuperado e organizado usando ferramentas de download distribuído, que foram armazenadas em sistemas de arquivos de computação de alto desempenho (HPC), indicando um pipeline de dados robusto projetado para alimentar as GPUs com eficiência.
Uma vez que o conjunto de dados foi concluído, o treinamento começou a utilizar uma variedade de GPUs NVIDIA para desenvolver o BioCLIP 2:
- Treinamento amplo em NVIDIA A100s: como parte do programa-piloto National AI Research Resource (NAIRR) da National Science Foundation dos EUA, a equipe usou uma alocação combinada no Ohio Supercomputer Center e no Pittsburgh Supercomputing Center, executando 64 GPUs NVIDIA A100 por 290 horas.
- Treinamento da BioCLIP 2 em H100s: a principal execução de treinamento para o modelo BioCLIP 2 final foi conduzida em 32 NVIDIA H100 GPUs por 10 dias.
- Estudos de Ablação em H100s: para testar diferentes decisões de modelagem, os estudos de ablação foram executados no conjunto de dados menor TreeOfLife-10M usando 8 GPUs NVIDIA H100 para 100 épocas.
- Avaliação e Análise em um Único A100: esses experimentos envolveram o congelamento dos modelos treinados e a extração de incorporações visuais para testar o desempenho em tarefas como classificação de habitats, previsão de características e detecção de doenças agrícolas.
"As GPUs NVIDIA, conhecidas por suas capacidades em acelerar a AI e a pesquisa científica, foram integrais para tornar essas descobertas possíveis, fornecendo o backbone computacional necessário."
Tanya Berger-Wolf
Diretora do Translational Data Analytics Institute da Universidade Estadual de Ohio
Descoberta de Relacionamentos Ecológicos Inesperados por Meio de AI
Os pesquisadores descobriram um profundo potencial científico por meio do treinamento e do desenvolvimento do BioCLIP 2. Os modelos fundamentais treinados em escala exibem comportamentos emergentes notáveis, aprendendo novas capacidades além de seus objetivos iniciais de treinamento.
Ao contrário da expectativa de que as diferenças granulares poderiam desaparecer após um treinamento extensivo, o BioCLIP 2 preservou as variações intraespecíficas. Isso permite que o modelo diferencie e alinhe essas variantes. Por exemplo, ele pode agrupar diferentes doenças de plantas em folhas da mesma espécie de plantas e distinguir entre juvenis e adultos ou machos e fêmeas em uma única espécie animal.
A distribuição de incorporação de diferentes espécies alinhou-se espontaneamente com seus relacionamentos ecológicos, sem treinamento explícito. Por exemplo, o modelo capturou variações no tamanho do bico entre os tentilhões de Darwin e distinguiu entre espécies de peixes de água doce e de água salgada.
Além disso, o BioCLIP 2 — treinado usando GPUs NVIDIA — superou seus antecessores em inúmeras categorias, incluindo:
- Melhoria média de 18,0% na precisão da classificação de espécies em relação ao BioCLIP
- Melhoria média de desempenho de 10,9% em relação a linhas de base fortes de linguagem visual e apenas visão em diversas tarefas visuais biológicas
- Melhoria de 30,1% em relação ao modelo CLIP original na classificação de espécies
- Diferença de desempenho de 22,8% em relação ao BioCLIP em imagens de armadilha fotográfica, demonstrando robustez aprimorada
- Melhoria zero-shot de mais de 20% nas classificações de conjuntos de dados de teste CameraTrap, Fungi e Rare Species
Os recursos do BioCLIP 2 apresentam oportunidades significativas para mais descobertas científicas, pesquisas de biodiversidade e tomada de decisões de conservação usando AI. O modelo permite workflows científicos mais eficientes e automatizados, abrindo novos caminhos para a compreensão das relações funcionais e ecológicas entre as espécies.
Saiba Mais sobre como a computação acelerada da NVIDIA pode ajudar em avanços científicos em velocidades sem precedentes.