ChatGPT aprovado em prova do MBA da prestigiosa Wharton School

Um marco importante para o estágio atual da IA foi identificado na Wharton School, da Universidade da Pennsylvania – uma das mais prestigiosas faculdades de Administração no mundo.

Submetido a um exame da cadeira de Gerenciamento de Operações, o irmão mais velho do Chatgpt pontuou entre um B- e B, nota suficiente para aprovação, segundo a pesquisa conduzida por Christian Terwiesch, conforme descrito no paper "O Chat GPT3 passaria no MBA de Wharton? Uma previsão baseada em seu desempenho no curso de Gerenciamento de Operações".

Não surpreendentemente, o pesquisador acredita que o desempenho do bot no teste tem "implicações importantes para a educação das faculdades de Administração".

Um porta-voz da startup de inteligência artificial OpenAI, que criou o bot, se recusou a comentar.

Transcrevi abaixo o longo artigo da NBC (com tradução automatizada), mas penso que a parte mais importante está no final: o pesquisador acredita que há uma maneira de combinar educação e IA para melhorar o aprendizado dos alunos: "Eu acho que a tecnologia pode envolver os alunos em outras formas que não o bom e velho 'escreva um texto de cinco páginas'", disse ele. "Mas isso cabe a nós, como educadores, reimaginar a educação e encontrar outras maneiras de envolver os alunos".

Por outro lado, a parte que mais demonstra como o mercado de trabalho tende a ser sacudido pela disponibilidade desse tipo de ferramenta está em outra declaração do professor: "A nota alcançada pelo bot mostra sua notável capacidade de automatizar algumas das habilidades dos trabalhadores do conhecimento altamente remunerados em geral e, especificamente, os trabalhadores do conhecimento nos empregos ocupados por graduados em Administração, incluindo analistas, gerentes e consultores".

Uma nova pesquisa conduzida por um professor da Wharton School da Universidade da Pensilvânia descobriu que o chatbot GPT-3, impulsionado por inteligência artificial, conseguiu passar no exame final do programa de Mestrado em Administração de Empresas (MBA) da escola.

O professor Christian Terwiesch, autor do trabalho de pesquisa "Would Chat GPT3 Get a Wharton MBA? Uma previsão baseada em seu desempenho no curso de Gerenciamento de Operações", disse que o bot pontuou entre um B- e B no exame.

A nota alcançada pelo bot, escreveu Terwiesch, mostra sua "notável capacidade de automatizar algumas das habilidades dos trabalhadores do conhecimento altamente remunerados em geral e, especificamente, os trabalhadores do conhecimento nos empregos ocupados por graduados em MBA, incluindo analistas, gerentes e consultores".

“Trabalho incrível em questões básicas de gerenciamento de operações e análise de processos, incluindo aquelas baseadas em estudos de caso”

O bot fez um "trabalho incrível em questões básicas de gerenciamento de operações e análise de processos, incluindo aquelas baseadas em estudos de caso", escreveu Terwiesch no artigo, publicado em 17 de janeiro. Ele também disse que as explicações do bot eram "excelentes".

O bot também é "notavelmente bom em modificar suas respostas em resposta a dicas humanas", concluiu.

As descobertas de Terwiesch surgem quando os educadores se tornam cada vez mais preocupados que os chatbots de IA possam inspirar trapaças. Embora os chatbots não sejam uma tecnologia nova, o ChatGPT explodiu nas mídias sociais no final de 2022. No início deste mês, o Departamento de Educação da cidade de Nova York anunciou uma proibição do ChatGPT dos dispositivos e redes de suas escolas.

Grande parte do debate é centrado em torno do estilo de fala conversacional do ChatGPT e do estilo de resposta coerente e tópico, o que dificulta a distinção das respostas humanas.

Especialistas que trabalham com inteligência artificial e educação reconheceram que bots como o ChatGPT podem ser um prejuízo para a educação no futuro. Mas em entrevistas recentes, alguns educadores e especialistas não estavam preocupados – ainda.

Um porta-voz da startup de inteligência artificial OpenAI, que criou o bot, se recusou a comentar.

O modelo GPT-3 usado no experimento parece ser um irmão mais velho do mais recente bot ChatGPT que se tornou um tópico controverso entre educadores e aqueles que trabalham no campo da IA. O ChatGPT, a versão mais recente, "é ajustado a partir de um modelo da série GPT-3.5", de acordo com o site da OpenAI.

Embora os resultados do Chat GPT3 tenham sido impressionantes, Terwiesch observou que o Chat GPT3 "às vezes comete erros surpreendentes em cálculos relativamente simples no nível da Matemática da 6ª série".

A versão atual do Chat GPT "não é capaz de lidar com questões de análise de processos mais avançadas, mesmo quando são baseadas em modelos bastante padrão", acrescentou Terwiesch. "Isso inclui fluxos de processo com vários produtos e problemas com efeitos estocásticos, como a variabilidade da demanda."

Ainda assim, Terwiesch disse que o desempenho do ChatGPT3 no teste tem "implicações importantes para a educação das escolas de negócios, incluindo a necessidade de políticas de exames, design de currículo com foco na colaboração entre humanos e IA, oportunidades para simular processos de tomada de decisão do mundo real, a necessidade de ensinar a resolução criativa de problemas, maior produtividade do ensino e muito mais".

Depois de publicar seu artigo, Terwiesch disse à NBC News que se tornou mais consciente do debate em torno do bot de bate-papo e da conversa subsequente em torno de se ele deve ser banido.

Ele acredita que há uma maneira de casar educação e IA para melhorar o aprendizado de seus alunos.

"Eu acho que a tecnologia pode envolver os alunos em outras formas que não o bom e velho 'escreva um ensaio de cinco páginas'", disse ele. "Mas isso cabe a nós, como educadores, reimaginar a educação e encontrar outras maneiras de envolver os alunos."

Alfabetização em mídia: Finlândia incluiu o combate a desinformação nos currículos a partir da pré-escola

Recuperar a geração que já está caindo em tudo que é fake news é um desafio enorme, mas a Finlândia encontrou um bom caminho pra evitar que isso se repita com as próximas: estimular o senso crítico.

O papel que a desinformação e as fake news desempenham na realidade das sociedades vem crescendo ao redor do mundo, fato que é ao mesmo tempo causa e efeito da queda da confiança nas instituições e nos meios de comunicação.

Com o desenvolvimento da capacidade automatizada de gerar imagens, áudios e vídeos de situações artificiais, inserindo nelas personagens reais (deep fakes e similares), a tendência é essa situação de desequilíbrio aumentar.

Nos Estados Unidos, uma pesquisa de outubro concluiu que apenas 34% das pessoas confiavam nos meios de comunicação de massa para relatar as notícias de forma completa, precisa e justa, um pouco maior do que o menor número que a organização registrou em 2016.

Na Finlândia a situação é diferente: 76% dos finlandeses consideram os jornais impressos e digitais confiáveis, de acordo com uma pesquisa de agosto. E eles investem para poder continuar assim, e o fazem por meio de uma matéria incluída no currículo escolar em todas as séries, a partir da pré-escola, voltada a desenvolver o senso crítico.

A longa e informativa matéria do NYT apresenta os detalhes, e começa assim:

Uma lição típica que Saara Martikka, professora em Hameenlinna, Finlândia, apresenta a seus alunos da 8ª série é a seguinte: ela entrega vários artigos de notícias e, juntos, eles discutem: qual é o objetivo do artigo? como e quando foi escrito? quais são as posições centrais do autor?

"Só porque é uma coisa boa ou é uma coisa agradável não significa que é verdade ou é válido", disse ela. Em uma aula no mês passado, ela mostrou aos alunos três vídeos do TikTok e eles discutiram as motivações dos criadores e o efeito que os vídeos tiveram sobre eles.

Seu objetivo, como o dos professores em toda a Finlândia, é ajudar os alunos a aprender a identificar informações falsas.

A Finlândia ficou em 1º lugar entre 41 países europeus em resiliência contra a desinformação pela quinta vez consecutiva em uma pesquisa publicada em outubro pelo Open Society Institute. Autoridades dizem que o sucesso da Finlândia não é apenas o resultado de seu forte sistema educacional, que é um dos melhores do mundo, mas também por causa de um esforço conjunto para ensinar os alunos sobre notícias falsas. A alfabetização midiática faz parte do currículo básico nacional a partir da pré-escola.

"Não importa o que o professor esteja ensinando, seja educação física, matemática ou linguagem, você tem que pensar: 'OK, como faço para incluir esses elementos no meu trabalho com crianças e jovens?'", disse Leo Pekkala, diretor do Instituto Nacional do Audiovisual da Finlândia, que supervisiona a educação midiática.

Isso não resolve o problema dos países que já se encontram em situação falimentar, de parte considerável de suas populações, quanto à capacidade de selecionar e interpretar o conteúdo de fontes de informações diversas.

Mas é um exemplo de ação propositiva, e da existência de situações em que não se formou a mesma cultura corrosiva sobre o valor dos fatos e o conceito de verdade.

Olhos nos olhos: Inteligência Artificial vai ajudar você a manter contato visual

Ou ao menos nas transmissões usando o NVIDIA Broadcast, com o novo recurso que faz você parecer estar olhando pra câmera mesmo quando está lendo mensagens no celular.

A atualização do NVIDIA Broadcast trouxe o novo recurso Eye Contact que, como você pode ver nas infinitas demonstrações publicadas nas redes sociais por usuários entusiasmados, funciona mesmo.

A necessidade de um apresentador on-line conferir suas anotações, interagir com o chat que aparece na sua tela, ou de outras formas deixar de olhar para a câmera, é real, e esse recurso – disponível mas ainda em teste – ajudará a prejudicar a quebra de contato visual, do ponto de vista de quem assiste.

Não é algo inédito – a Apple incluiu recurso similar, chamado FaceTime Attention Correction, na versão 14 do iOS –, mas me chama a atenção por ser um uso de IA que não assusta tanto quanto os outros, embora seja mais um passinho na erosão do conceito de realidade, no que diz respeito a imagens transmitidas, e certamente possa ser mal empregado, também.

Inteligência Artificial e as stock photos genéricas para ilustração e publicidade

A geração de imagens pela IA do serviço Midjourney continua a impressionar: nenhuma dessas 4 fotos, e nenhuma dessas 10 pessoas, existe de verdade.

A expressividade, fotogenia e atmosfera já estão em um nível bastante avançado, como se pode ver.

Outros aspectos, como a representatividade, diversidade, e detalhes anatômicos (incluindo quantidade de dedos e de dentes) ainda precisam avançar bastante.

Quem produziu e observou esses resultados foi o Miles, nesta thread em que inclui mais algumas ~fotos como essas acima, e seus comentários.

E eu acrescento: entre as várias consequências da IA (incluindo a dificuldade de distinguir imagens de cenários reais), toda a cadeia de produção e comercialização de stock fotos genéricas, despersonalizadas, para publicidade e jornalismo vai precisar ser reinventada.

Porta da rua é serventia da casa do pássaro

Nesse lance do Twitter bloquear os maiores apps clientes, uma coisa a notar é que esses grandes apps – como o Twiterrific e o Tweetbot – são pagantes (2ª maior fonte de receita da empresa, perdendo só pros anúncios).

E são tratados assim, já há mais de 24h sem acesso, sem resposta, só KTHXBYE.

Esse descaso (que se soma a uma arbitrariedade que a empresa poderia não ter, mas também é direito dela) vale como exemplo pra todo mundo que poderia vir a considerar pagar algo pro Elno, somando a todo um histórico recente de outros exemplos.

Boa parte dos usuários desses apps bloqueados é pagante também - paga ao app, que paga ao Elno. E eles oferecem vários recursos que o Twitter não oferece em seus próprios apps (por exemplo, filtragem e consulta por regex).


Ficar sem o app inviabiliza o meu workflow, que usa recursos pelos quais eu topava pagar US$ 6 por ano ao app que melhor me atende (atendia?). Com 2 telas de Python (graças à excelente documentação da Tweepy), ontem à noite eu já consegui reimplementar os mesmos filtros e dar sobrevida meu workflow, mas tem muito usuário sem a mesma sorte.

Parte do conteúdo que eu leio ainda está no Twitter, mas felizmente está migrando, e meu workflow já está se adequando pra encontrá-lo crescentemente no Mastodon e no RSS. Imagino que seja algo que mais gente esteja passando também (dependendo de cada perfil de uso, claro).

Meu remendo com Python vai me dar alguma sobrevida no site do Elno mesmo se os apps bons não voltarem, mas é mais um impulso (para o meu próprio conteúdo, inclusive – que individualmente não lhe fará falta) pra porta da rua, que o Twitter vive me indicando que é serventia da casa.

O que o fim da União Soviética tem com o precursor dos palmtops

O fim da União Soviética complicou o Almanaque Abril, a Barsa, as transmissões de futebol… Mas você sabia que o precursor dos palmtops também sofreu?

O Psion tinha uma base de dados geográfica invejável, que ficou desatualizada sobre destinos que acabavam de ficar relevantes!

Colecionando as notícias da “onda IA”

2023 é o ano da Inteligência Artificial na pauta do botequim, e vou começar a registrar aqui no meu blog esses avanços (com e sem aspas) e reações (fundamentadas ou histéricas) às aplicações de IA, porque parece que vai ser divertido.

Vai ficar tudo na tag #IA do blog, pra facilitar a referência.

Apple começa a vender audiolivros narrados por inteligência artificial

Narração automatizada a partir do texto de livros não é novidade, mas uma grande editora levar ao mercado audiolivros produzidos por esse método pode abrir novos cenários.

A Apple lançou discretamente audiolivros narrados por IA:

A Apple acaba de lançar um novo recurso para seu aplicativo Livros que permitirá que você ouça títulos escritos, como audiolivros narrados por inteligência artificial. 

O recurso, adiado de novembro do ano passado, permite que os usuários escolham livros que apresentam narração de IA e apresenta uma série de novos livros que são "narrados por voz digital com base em um narrador humano".

Como observado pelo The Guardian, a nova iniciativa "marca uma tentativa de disrupção no lucrativo e crescente mercado de audiolivros".

Eu – hoje já feliz da vida, habituado a pedir pra voz mecânica da Alexa (da Amazon) narrar ebooks para mim com sua voz mecânica – comemoro, porque vejo grande oportunidade para a inclusão das pessoas que não podem ou têm dificuldades para ler.

Inclusive no sentido internacional: o período entre a obra ser traduzida e ficar disponível como áudio pode encurtar muito.

Quem sai perdendo: o tamanho do mercado que continuará disponível aos atores e demais artistas e profissionais envolvidos na locução e demais artes e técnicas da elaboração de versões sonoras dos livros.

Secretaria da Educação de NY bane acesso ao ChatGPT nas escolas nova-iorquinas

Resposta histérica de educadores é similar à que já vimos acontecer contra a Wikipedia, o Google e as calculadoras.

Em dezembro eu perguntei o que veríamos antes nas notícias:

  • um estudante pego entregando trabalho acadêmico gerado por IA (ChatGPT e afins), ou
  • uma instituição acadêmica renomada revisando seus códigos de ética e integridade pra deixar explícito que isso especificamente não conta como autoria?

Ainda não vimos nenhum dos dois, mas a Secretaria da Educação da cidade de Nova York queimou etapas e já foi além da opção 2: baniu o acesso ao ChatGPT nos computadores da rede pública de ensino, como nos conta o Chalkbeat:

Estudantes e professores da cidade de Nova York não podem mais acessar o ChatGPT - o novo chatbot alimentado por inteligência artificial que gera textos incrivelmente convincentes e realistas - em dispositivos ou redes do departamento de educação, confirmaram funcionários da agência na terça-feira.

O departamento de educação bloqueou o acesso ao programa, citando "impactos negativos na aprendizagem dos alunos e preocupações com a segurança e precisão do conteúdo", disse um porta-voz. A mudança do maior sistema escolar do país pode ter efeitos em cascata, à medida que distritos e escolas em todo o país lidam com a forma de responder à chegada da nova tecnologia dinâmica.

A capacidade do chatbot de produzir redações perfeitas para enunciados que abrangem uma ampla gama de assuntos provocou temores entre algumas escolas e educadores de que suas tarefas de redação poderiam em breve se tornar obsoletas - e que o programa poderia incentivar trapaças e plágio. (...)

Mas será que o que vai ficar obsoleto são só as tarefas de redação? Parece algo mais profundo.

Afinal – e aqui a opinião é minha e não do artigo – se um chatbot de 2023 já consegue gerar instantaneamente redações que passam como perfeitas na avaliação pelos professores, cabe questionar a razão de continuar avaliando hoje os alunos pela capacidade de gerá-las também, já que as ferramentas estarão no mercado e na academia quando esses alunos se formarem.

Não estou aqui afirmando que a nova ferramenta é virtuosa (o ChatGPT em si tem vícios importantes a serem cuidadosamente evitados).

Mas a disponibilidade do ChatGPT é um fato concreto, e penso que a solução educacional que melhor atende o aluno, o mercado e a sociedade será melhor construída a partir do questionamento acima, e não de uma tentativa fadada ao fracasso de tentar bloquear o uso de uma ferramenta tecnológica já amplamente disponível.

Os comentários de educadores mencionados na matéria acima são bons, lembrando de quando as escolas queriam banir o Google e a Wikipedia, por razões parecidas e também infundadas.

A rejeição à tecnologia no ensino não é novidade. No meu tempo de estudante, ainda não havia a WWW, mas ainda se rejeitava as calculadoras, embora estivessem começando a serem aceitas, e não precisassem mais ficar escondidas.

A imagem acima, com professores em uma manifestação contra as calculadoras, parece fake ou um exagero, mas esse protesto de professores contra a permissão de uso de calculadoras aconteceu mesmo, e era voltado a repelir uma mudança de norma que tornaria permitido o uso de calculadoras no ensino fundamental.

Em décadas mais recentes, vimos as mesmas preocupações (e as mesmas reações) contra pesquisas no Google, ou contra a Wikipedia, ou até contra o rádio.

Tudo passa, tudo passará – e não quer dizer que isso gera um ensino de melhor qualidade: a questão é que negar a existência dessas tecnologias também não gera.

'Advogado robô' com Inteligência Artificial promete conduzir a primeira defesa de um réu no tribunal [atualizado]

Acho que vou começar a manter um registro desses “avanços” da IA nos variados campos profissionais – afinal, o que poderia dar errado, não é mesmo?

Atualização em 28.1.2023: os planos foram cancelados, após múltiplas ameaças de processo e de sanções por parte de entidades da classe jurídica. O texto abaixo, publicado originalmente em 9/1/2023, não foi modificado, para fins de histórico.


Segue a cobertura do New York Post sobre o caso da vez, com destaques meus:

'Advogado robô' com IA ajudará a combater a multa por excesso de velocidade ao levar seu primeiro caso no tribunal

O "primeiro advogado robô do mundo" levará um caso ao tribunal no próximo mês - com uma inteligência artificial (IA) atuando como assistência jurídica ajudando um réu a contestar uma multa de trânsito.

A IA, anunciada como "a primeira advogada robô do mundo" pela startup que a criou, DoNotPay, vai rodar em um smartphone e ouvirá os argumentos do tribunal em tempo real antes de dizer ao réu o que dizer por meio de fones de ouvido.

A audiência sem precedentes está programada para ocorrer em algum momento do próximo mês, mas os fabricantes do advogado robô não estão divulgando a localização do tribunal ou o nome do réu.

A publicação de ciência e tecnologia New Scientist informou que a multa que é objeto desse caso pioneiro foi emitida por excesso de velocidade, e o réu só dirá no tribunal o que a IA o instruir a dizer.

Caso percam o caso, a DoNoPay concordou em cobrir quaisquer multas, de acordo com o fundador e CEO da empresa, Joshua Browder.   

Browder, um cientista da computação formado na Universidade de Stanford, lançou o DoNotPay em 2015 como um chatbot que fornece consultoria jurídica aos consumidores que lidam com taxas ou multas atrasadas, mas a empresa redirecionou seu negócio para a IA em 2020.

Browder disse que levou muito tempo para treinar o assistente de IA da DoNotPay sobre jurisprudência que abrange uma ampla gama de tópicos - e para garantir que o aplicativo se atenha à verdade.  

"Estamos tentando minimizar nossa responsabilidade legal", disse Browder ao veículo. "E não é bom se realmente distorcer os fatos e for muito manipulador."

O software do aplicativo AI foi ajustado para que ele não reaja automaticamente a tudo o que ouve no tribunal. Em vez disso, ouvirá os argumentos e os analisará antes de instruir o réu sobre como responder.

Browder explicou que seu objetivo final é fazer com que seu aplicativo substitua alguns advogados por completo, a fim de economizar dinheiro dos réus.

"É tudo uma questão de linguagem, e é isso que os advogados cobram centenas ou milhares de dólares por hora para fazer", disse ele.

"Ainda haverá muitos bons advogados por aí que podem estar discutindo no Tribunal Europeu de Direitos Humanos, mas muitos advogados estão apenas cobrando muito dinheiro para copiar e colar documentos e acho que eles definitivamente serão substituídos, e eles devem ser substituídos."

Além de atuar como assistente jurídico em um tribunal, a DoNoPay promete aos usuários "lutar contra corporações, vencer a burocracia e processar qualquer um com o apertar de um botão".