O Discord admite que os seus mecanismos de segurança falharam para derrubar a live que culminou no suicídio de uma adolescente de 13 anos. Segundo um relatório da empresa obtido pela GloboNews, a companhia entende que demorou demais para tirar a live do ar e inicialmente não avaliou o conteúdo como ameaçador.
A documentação revela que a livestream foi iniciada às 2h20 da manhã (horário de Brasília) de 22 de julho, mas a plataforma só foi entender algum tipo de periculosidade atrelada ao conteúdo por volta das 3h50. No entanto, o servidor só foi efetivamente retirado do ar para que a live fosse interrompida às 4h15, ou seja, quase duas horas depois do início.
Os sistemas de segurança do Discord funcionam por meio de um indicador de gravidade para esses conteúdos. A princípio, a live teria marcado somente 0,12 ponto de perigo, o que não gera preocupações. Todavia, o sistema de intervenção automático da rede social entra em ação a partir de 0,95 ponto.
Um dos motivos para a dificuldade do Discord em entender que o conteúdo era criminoso ocorreu por um tipo de “máscara” criada pelos integrantes. O servidor exigia um convite por link específico e os nomes e as comunicações usadas pelos membros não eram explícitos, então o sistema entendia que tudo estava dentro da normalidade.
Mesmo com o erro, o Discord avalia a eficácia do seu modelo de detecção de segurança.
