Exame de Certificação em IA Generativa Multimodal da NVIDIA

Conhecimento de algoritmos, convenções e técnicas que permitem que os computadores aprendam e façam previsões ou tomem decisões

• Controlar a estabilidade do treinamento em configurações multimodais.
• Desenvolver conteúdo introduzindo funções de perda multimodal.
• Aplicar os fundamentos de Machine Learning (engenharia de recursos, comparação de modelos, validação cruzada).
• Explicar as redes neurais não sequenciais e as conexões residuais.
• Projetar análises estatísticas para avaliar pipelines multimodais.
• Desenvolver conteúdo para aprendizado por transferência multimodal.
• Acompanhar as tendências e tecnologias multimodais emergentes.
• Contribuir para o design, o desenvolvimento e a implantação de modelos de IA multimodais confiáveis e com eficiência energética.
• Aplicar os princípios de engenharia de prompt para criar prompts que alcancem os resultados desejados.
• Trabalhar com frameworks de deep learning, como o TensorFlow ou o PyTorch.

20%
Peso do exame

Inspeção, limpeza, transformação e modelagem de dados com o objetivo de descobrir informações úteis, fundamentar conclusões e apoiar a tomada de decisões.

• Conhecimento do processo de extração de informações de grandes conjuntos de dados usando mineração de dados, visualização de dados e técnicas semelhantes.
• Desenvolver conteúdo para mapas de atenção em configurações multimodais.
• Criar gráficos, tabelas ou outras visualizações para transmitir os resultados da análise de dados usando software especializado.
• Identificar relacionamentos e tendências ou quaisquer fatores que possam afetar os resultados da pesquisa.

10%
Peso do exame

O estudo de como realizar, avaliar e interpretar experimentos, incluindo a avaliação de modelos de IA e a avaliação de várias arquiteturas de modelos.

• Auxiliar no desenvolvimento e no teste de modelos de IA multimodais.
• Gerenciar e pré-processar dados de várias fontes.
• Usar modelos multimodais para melhorar a explicabilidade.
• Testar a qualidade e a consistência dos dados em um ambiente multimodal.
• Testar modelos de IA para garantir sua precisão e eficácia.

25%
Peso do exame

Os dados multimodais envolvem a integração, a curadoria e a avaliação de qualidade de diversos tipos de dados, como texto, imagens, áudio, séries temporais e informações geoespaciais, ao mesmo tempo em que abordam desafios relacionados à falta de informações ou informações incompletas nessas diferentes modalidades.

• Auxiliar na implantação e nas avaliações de escalabilidade, desempenho e confiabilidade de modelos sob a supervisão de um membro sênior da equipe.
• Desenvolver casos de uso de LLM, como geração aumentada por recuperação (RAG), chatbots e ferramentas de resumo.
• Familiaridade com os recursos dos pacotes de linguagem natural do Python (spaCy, NumPy, bancos de dados vetoriais etc.).
• Identificar dados do sistema, hardware ou componentes de software necessários para atender às necessidades do usuário.
• Monitorar o funcionamento da coleta de dados, experimentos e outros processos de software.
• Usar pacotes Python (spaCy, NumPy, Keras, etc.) para implementar análises específicas de Machine Learning tradicionais.
• Escrever componentes de software ou scripts sob a supervisão de um membro sênior da equipe.

15%
Peso do exame

A otimização de desempenho em IA envolve o refinamento de modelos de IA multimodais para eficiência energética, confiabilidade e precisão por meio de contribuições de design, desenvolvimento de conteúdo de aprendizagem de transferência, aprimoramentos de treinamento supervisionado, ajuste de hiperparâmetros, testes rigorosos e avanços computacionais.

• Aprimore a eficiência computacional e melhore a precisão dos resultados em modelos de IA.
• Otimizar o desempenho de modelos de IA, incluindo o ajuste de hiperparâmetros.
• Desenvolver conteúdo para aprendizado por transferência multimodal.
• Auxiliar no treinamento de modelos e na otimização do treinamento sob a supervisão de um membro sênior da equipe.

10%
Peso do exame

Projetar e implementar arquiteturas de rede neural, como U-Nets para tarefas de imagem generativa, integrar modelos de IA de texto para imagem, como o CLIP, e aplicar a engenharia de prompt para refinar e direcionar os recursos generativos desses sistemas. Inclui familiaridade com os SDKs da NVIDIA, como NVIDIA NeMo™ e NVIDIA Triton™ Inference Server.

• Colaborar com o cliente durante a aquisição de requisitos, coleta de dados, relatórios de progresso, implantação e integração.
• Garantir a adesão às melhores práticas e manter altos padrões de qualidade e confiabilidade do software.
• Usar engenharia de prompt para influenciar melhor a saída de modelos de IA Generativa.
• Criar uma U-Net para gerar imagens a partir de ruído puro e como um tipo de autocodificador.
• Gerar imagens a partir de prompts de texto em inglês usando o CLIP e usar o CLIP para treinar um modelo de difusão de texto para imagem.

15%
Peso do exame

Criar e avaliar sistemas de inteligência artificial éticos, com consciência de energia e confiáveis, capazes de interpretar e integrar várias formas de dados, garantindo que eles sejam projetados e aplicados de maneira transparente, justa e verificável.

• Descrever os princípios éticos da IA confiável.
• Descrever o equilíbrio entre a privacidade de dados e a importância do consentimento de dados.
• Descrever como usar a NVIDIA e outras tecnologias para melhorar a confiabilidade da IA.
• Descrever como minimizar o viés em sistemas de IA.

5%
Peso do exame