[ABE-L] GPT's no R

[Alexandre Galvão Patriota]

Prezados redistas, alunos e colegas,

Desejo-lhes um bom sábado. Apresento abaixo algumas novidades sobre os
modelos gerativos pré-treinados transformers (GPT). Já temos algumas
implementações do GPT no R disponíveis no Github. A principal motivação de
ter esses modelos implementados em R é para a comunidade estatística usar,
propor modificações nas arquiteturas, continuar os treinamentos, fazer
refinamentos, finetunning em textos específicos, etc.


*GPT2*: https://github.com/AGPatriota/GPT-2-for-R
Para rodar o modelo, basta clonar o repositório, abrir o R na pasta
principal e digitar:

   - source('main.R')

para rodar todas as funções necessárias. Há um arquivo de 600MB que deve
ser baixado no diretório principal. Exemplo no vídeo anexado.


*GPTNEOX*: https://github.com/dfalbel/gptneox
Para rodar, basta instalar os pacotes:

   - remotes::install_github("dfalbel/tok")
   - remotes::install_github("dfalbel/gptneox")

Vale mencionar que o pacote *gptneox* foi escrito pelo nosso egresso do
IME-USP Daniel Falbel. Exemplo de como usar no vídeo abaixo. Você pode
testar modelos maiores com mais de 3 bilhões de parâmetros, se tiver
memória suficiente.

Ainda faltam alguns detalhes para rodar os modelos maiores de maneira
eficiente. Por exemplo, a quantização ainda não foi implementada no torch e
o uso da GPU não é ainda tão eficiente, mas provavelmente isso será
implementado. Em breve, teremos o *Open LlaMa* rodando no R.

O modelo estatístico por trás do GPT é basicamente um modelo de regressão
multinomial em que o vetor de parâmetros é estimado via máxima
verossimilhança. É o poder da estatística clássica sendo empregado em
modelos linguísticos autorregressivos.

Vale lembrar que os GPT são treinados para continuar um texto e não é
treinado para responder perguntas. Portanto, a entrada deve ser escrita
levando isso em conta. Os modelos maiores (com mais de 3bi de parâmetros)
também conseguem continuar textos em português.

Espero que a comunidade estatística comece a entrar nessa área que está
pegando fogo.

Atenciosamente,

Prof. Dr. Alexandre G. Patriota,
Department of Statistics,
Institute of Mathematics and Statistics,
University of São Paulo, Brazil.
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.ime.usp.br/pipermail/abe/attachments/20230513/9f917401/attachment-0001.htm>
-------------- Próxima Parte ----------
Um anexo não-texto foi limpo...
Nome: GPT2-Testing.mp4
Tipo: video/mp4
Tamanho: 965173 bytes
Descrição: não disponível
URL: <http://lists.ime.usp.br/pipermail/abe/attachments/20230513/9f917401/attachment-0002.mp4>
-------------- Próxima Parte ----------
Um anexo não-texto foi limpo...
Nome: gptgeoxPythia410.mp4
Tipo: video/mp4
Tamanho: 1178134 bytes
Descrição: não disponível
URL: <http://lists.ime.usp.br/pipermail/abe/attachments/20230513/9f917401/attachment-0003.mp4>