<div dir="ltr">Prezados redistas, alunos e colegas,<div><br></div><div>Desejo-lhes um bom sábado. Apresento abaixo algumas novidades sobre os modelos gerativos pré-treinados transformers (GPT). Já temos algumas implementações do GPT no R disponíveis no Github. A principal motivação de ter esses modelos implementados em R é para a comunidade estatística usar, propor modificações nas arquiteturas, continuar os treinamentos, fazer refinamentos, finetunning em textos específicos, etc. <br><br></div><div><br></div><div><b>GPT2</b>: <a href="https://github.com/AGPatriota/GPT-2-for-R">https://github.com/AGPatriota/GPT-2-for-R</a></div><div>Para rodar o modelo, basta clonar o repositório, abrir o R na pasta principal e digitar:</div><div><ul><li>source('main.R') </li></ul></div><div>para rodar todas as funções necessárias. Há um arquivo de 600MB que deve ser baixado no diretório principal. Exemplo no vídeo anexado.</div><div><br></div><div><br></div><div><b>GPTNEOX</b>: <a href="https://github.com/dfalbel/gptneox">https://github.com/dfalbel/gptneox</a></div><div>Para rodar, basta instalar os pacotes: </div><div><ul><li>remotes::install_github("dfalbel/tok")</li><li>remotes::install_github("dfalbel/gptneox")</li></ul></div><div>Vale mencionar que o pacote <i>gptneox</i> foi escrito pelo nosso egresso do IME-USP Daniel Falbel. Exemplo de como usar no vídeo abaixo. Você pode testar modelos maiores com mais de 3 bilhões de parâmetros, se tiver memória suficiente.</div><div><br></div><div>Ainda faltam alguns detalhes para rodar os modelos maiores de maneira eficiente. Por exemplo, a quantização ainda não foi implementada no torch e o uso da GPU não é ainda tão eficiente, mas provavelmente isso será implementado. Em breve, teremos o <b>Open LlaMa</b> rodando no R.</div><div><br></div><div>O modelo estatístico por trás do GPT é basicamente um modelo de regressão multinomial em que o vetor de parâmetros é estimado via máxima verossimilhança. É o poder da estatística clássica sendo empregado em modelos linguísticos autorregressivos.</div><div><br></div><div>Vale lembrar que os GPT são treinados para continuar um texto e não é treinado para responder perguntas. Portanto, a entrada deve ser escrita levando isso em conta. Os modelos maiores (com mais de 3bi de parâmetros) também conseguem continuar textos em português.</div><div><br></div><div>Espero que a comunidade estatística comece a entrar nessa área que está pegando fogo.</div><div><br></div><div>Atenciosamente,</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Prof. Dr. Alexandre G. Patriota,<br>Department of Statistics,<br>Institute of Mathematics and Statistics,<br>University of São Paulo, Brazil.</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>