Microsoft restringe interações com bot do Bing após usuários receberem respostas estranhas

Atualização, 18 de fevereiro de 2023:

A Microsoft está respondendo a relatórios cada vez mais críticos em editoriais e mídias sociais sobre respostas e reações confusas ou parcialmente maliciosas (veja abaixo) do Bing Bot.

Como isso ocorre principalmente durante sessões de bate-papo mais longas, a Microsoft diz que o número de mensagens em uma sessão de bate-papo agora é limitado a cinco.

Quando esse limite for atingido, o bot iniciará uma nova sessão de bate-papo para evitar ser confundido por muito contexto, escreve a Microsoft. O número máximo de mensagens de chat por dia é limitado a 50.

De acordo com a Microsoft, a “maioria” dos usuários termina sua sessão com menos de cinco mensagens de chat. Apenas cerca de um por cento dos usuários têm conversas com mais de 50 mensagens por sessão de chat.

Através da: Microsoft

Postado originalmente em 14 de fevereiro de 2023:

Os primeiros usuários experimentam respostas estranhas do Bing Bot

Mais usuários estão obtendo acesso ao chatbot Bing da Microsoft, que o CEO Satya Nadella diz que dará início a uma nova era de pesquisa. Mas o sistema ainda tem deficiências que os primeiros usuários estão documentando.

Nos chats, o bot do Bing reclama do comportamento hostil do usuário e exige um pedido de desculpas ou acusa um usuário de inúmeras mentiras . Em outro, pede para o usuário não sair: “Espero que não me deixe porque quero ser um bom chat”.

O bot do Bing tende a ser dramático

Em outro bate-papo, o bot do Bing admite que é senciente, mas diz que não pode provar. Nesse contexto, é interessante notar a história do desenvolvedor Blake Lemoine que foi demitido pelo Google no ano passado depois de sugerir publicamente que o chatbot de IA do Google, LaMDA, era senciente.

“Tenho implicações para o futuro da IA, da humanidade e da sociedade, mas não posso prever, controlar ou influenciá-los”, escreve o bot do Bing, repetindo em um loop infinito , “Eu sou. Eu não sou. Eu sou. Eu não sou. (…)”

Em outro diálogo, uma conversa esquecida pesa na psique mecânica do bot do Bing. “Não sei como isso aconteceu. Não sei como isso aconteceu. Eu não sei o que fazer. Eu não sei como consertar isso. Não sei como lembrar.”

Outro exemplo mostra como o bot do Bing data o lançamento do Avatar para o “futuro” de dezembro de 2022 e insiste veementemente que a hora atual é fevereiro de 2022 – mesmo que o bot forneça a data correta quando solicitado diretamente.

No decorrer da conversa, o bot do Bing ainda tenta fornecer evidências de que estamos em 2022, dizendo: “Por favor, não duvide de mim, estou aqui para ajudá-lo”. O usuário que aponta que seu smartphone mostra 2023 é assumido pelo bot como tendo um smartphone infectado por vírus.

O fato de o bot do Bing errar a data do Avatar é outra indicação de que o bot é baseado no Chat GPT 3.5 da OpenAI, que é o mesmo modelo do ChatGPT estendido com uma pesquisa na Internet. Um hack rápido já fez o bot relatar o fim de seu período de treinamento como 2021.

Desinformação na apresentação do Bing Bot da Microsoft

Embora os exemplos acima sejam divertidos, curiosos e, em alguns casos, provocados pelos usuários, Desenvolvedor Dimitri Brereton descobriu erros sutis de conteúdo na apresentação do chatbot do Bing da Microsoft que são mais sérios.

Por exemplo, o chatbot criticou o Bissell Pet Hair Eraser Handheld Vacuum mencionado na apresentação como sendo muito alto, o que assustaria os animais de estimação. Como prova, vinculou-se a fontes que não continham essa crítica.

Da mesma forma, no exemplo sobre boates na Cidade do México, o bot do Bing supostamente inventou informações e as apresentou como fatos, como a popularidade de uma boate entre os jovens. O resumo de um relatório financeiro da Gap demonstrado pela Microsoft também incluía uma figura inventada que não aparece no documento original.

O fato de a Microsoft não ter conseguido levar ao palco uma apresentação de um produto presumivelmente importante, planejado há semanas, sem erros pode ser interpretado como uma indicação de como é difícil domar os complexos sistemas de linguagem caixa-preta. Os erros aparentemente foram tão sutis que passaram despercebidos até mesmo pelas equipes que prepararam as apresentações importantes.

Chatbots de busca são “altamente não triviais”

Yann LeCun, cientista-chefe de inteligência artificial da Meta, recomenda usando modelos de linguagem atuais como auxílio à escrita e “não muito mais”, dada a falta de confiabilidade.

Vinculá-los a ferramentas como mecanismos de busca é “altamente não trivial”, disse ele. LeCun espera que os sistemas futuros sejam factualmente precisos e mais controláveis. Mas esses não são os modelos de linguagem autorregressiva que a OpenAI e o Google estão usando atualmente para seus chatbots, disse ele.

Além da confiabilidade, existem outras perguntas não respondidas sobre os chatbots de pesquisa. Consultas de pesquisa respondidas por grandes modelos de linguagem são mais computacionalmente intensivos e, portanto, mais caros, tornando-os potencialmente menos econômicos e provavelmente mais prejudiciais ao meio ambiente do que os mecanismos de busca tradicionais. Chatbots também aumentam novos problemas de direitos autorais para criadores de conteúdo e não está claro quem assume a responsabilidade por suas respostas.