Introdução a Modelos de Linguagem Natural, Aprendizado por Máquina e Inteligência Artificial

Marcelo Cunha Medeiros

Professor do Departamento de Economia

Universidade de Illinois em Urbana-Champaign

Objetivo:
Apresentar de forma introdutória os principais avanços em técnicas de processamento natural de linguagem, inteligência artificial generativa e modelos de linguagem. Ao longo dos encontros os participantes terão a oportunidade de conhecerem e utilizarem diferentes ferramentas disponíveis online.

Formato:
Cinco sessões online, de 90 minutos, das 18h às 19h30, nas 4as. feiras, dias 26 de março, 2, 9, 16 e 23 de abril de 2025.

Pré-requisitos:
As duas primeiras aulas são introdutórias. As três seguintes pressupõem conhecimentos básicos de estatística e economia.

Público-alvo:
Sócios e convidados do IEPE/Casa das Garças, CDPP e CEBRI, e alunos e professores do Departamento de Economia da PUC-Rio.

Aula 1: Introdução aos modelos de linguagem natural

O que é IA? Como IA e Aprendizado por Máquina estão relacionados?
Introdução às ferramentas de Large Language Models (LLM) – GPT e BERT – e Natural Language Processing (NLP)
Guia prático para o uso de GPT e BERT
Modelos pré-treinados
Aplicações

Aula 2: Conceitos básicos em Natural Language Processing (NLP)

Métodos de contagem
Modelos de tópicos
Análise de sentimentos
Aplicações

Aula 3: Conceitos básicos em Large Language Models (LLM): Redes neurais

O que são redes neurais?
Redes neurais profundas
Redes por convolução e “long-short memory”
Aplicações

Aula 4: Outros Conceitos básicos em LLM

LLM e modelos de atenção
NLP versus LLM, Word2Vec, GloVe, e outros métodos de representação textual
Representação contextual
Aplicações

Aula 5: Transformers (uma arquitetura de aprendizado profundo)

Introdução aos modelos de transformers
Mecanismo de auto-atenção
Aplicações