• The Conversation

Robôs assassinos abrem uma nova corrida armamentista

Armas letais autônomas são um perigo tanto na mão de terroristas quanto de governos.


Sistema autônomo letal
Sistema autônomo do aparato americano | Foto: cc John Williams/Marinha do EUA

Sistemas de armas autônomos - comumente conhecidos como robôs assassinos - podem ter matado seres humanos pela primeira vez no ano passado, de acordo com um relatório recente sobre a guerra civil na Líbia do Conselho de Segurança das Nações Unidas.


A história poderia muito bem identificar isso como o ponto de partida da próxima grande corrida armamentista, que tem o potencial de ser a última corrida da humanidade.


Os sistemas de armas autônomos são robôs com armas letais que podem operar de forma independente, selecionando e atacando alvos sem um humano pesando nessas decisões.


Militares em todo o mundo estão investindo pesadamente em pesquisa e desenvolvimento de armas autônomas. Só os Estados Unidos orçaram US $ 18 bilhões para armas autônomas entre 2016 e 2020.


Enquanto isso, organizações humanitárias e de direitos humanos estão correndo para estabelecer regulamentos e proibições relativos ao desenvolvimento de armas.


Sem essas verificações, os especialistas em política externa alertam que tecnologias de armas autônomas disruptivas irão desestabilizar perigosamente as estratégias nucleares atuais, tanto porque podem mudar radicalmente as percepções de domínio estratégico, aumentando o risco de ataques preemptivos, quanto porque podem se combinar com armas químicas, biológicas, radiológicas e com as próprias armas nucleares.


Como um especialista em direitos humanos com foco na militarização da inteligência artificial, acho que as armas autônomas tornam os equilíbrios instáveis ​​e as salvaguardas fragmentadas do mundo nuclear - por exemplo, a autoridade minimamente restrita do presidente dos EUA para lançar um ataque - mais instáveis ​​e mais fragmentadas.


Erros letais e caixas pretas


Vejo quatro perigos principais com armas autônomas. O primeiro é o problema da identificação incorreta.


Ao selecionar um alvo, as armas autônomas serão capazes de distinguir entre soldados hostis e crianças de 12 anos brincando com armas de brinquedo? Entre civis fugindo de um local de conflito e insurgentes fazendo uma retirada tática?


O problema aqui não é que as máquinas cometerão tais erros e os humanos não. É que a diferença entre erro humano e erro algorítmico é como a diferença entre enviar uma carta e tuitar.


A escala, o escopo e a velocidade dos sistemas de robôs assassinos - comandados por algoritmos de seleção de alvos, implantados em todo o continente - podem fazer com que as identificações errôneas por humanos individuais, como um recente ataque de drone dos EUA no Afeganistão, pareçam meros erros de arredondamento em comparação.


MQ-9 Reaper
MQ-9 Reaper no ar | Foto: Paul Ridgeway/Força Aérea Americana

O especialista em armas autônomas Paul Scharre usa a metáfora da arma em fuga para explicar a diferença.


Uma arma em fuga é uma metralhadora defeituosa que continua a disparar depois que um gatilho é liberado. A arma continua a disparar até que a munição se esgote porque, por assim dizer, a arma não sabe que está cometendo um erro.


Armas em fuga são extremamente perigosas, mas felizmente elas têm operadores humanos que podem quebrar a conexão da munição ou tentar apontar a arma em uma direção segura. As armas autônomas, por definição, não têm essa proteção.


É importante ressaltar que a inteligência artificial com arma não precisa nem mesmo ser defeituosa para produzir o efeito de arma em fuga.


Como vários estudos sobre erros algorítmicos em vários setores da economia mostraram, os melhores algoritmos - operando conforme projetado - podem gerar resultados internamente corretos que, no entanto, espalham erros terríveis rapidamente entre as populações.


Por exemplo, uma rede neural projetada para uso em hospitais de Pittsburgh identificou a asma como um redutor de risco em casos de pneumonia. Um software de reconhecimento de imagem usado pelo Google identificou afro-americanos como gorilas. E uma ferramenta de aprendizado de máquina usada pela Amazon para classificar os candidatos a empregos sistematicamente atribuiu às mulheres notas negativas.


O problema não é apenas que, quando os sistemas de inteligência artificial erram, eles erram em massa. É que, quando erram, seus criadores muitas vezes não sabem por que erraram e, portanto, também não sabem como corrigir o erro.


O problema da caixa preta da inteligência artificial ​​torna quase impossível imaginar o desenvolvimento moralmente responsável de sistemas de armas autônomos.


Os problemas de proliferação


Os próximos dois perigos são os problemas de proliferação de alto nível e de baixo nível. Vamos começar pelo nível mais baixo. Os militares que desenvolvem armas autônomas agora partem do pressuposto de que serão capazes de conter e controlar o uso de armas autônomas.


Mas se a história da tecnologia de armas ensinou alguma coisa ao mundo, é esta: as armas se espalham.


As pressões do mercado podem resultar na criação e venda generalizada do que pode ser considerado a arma autônoma equivalente ao fuzil de assalto Kalashnikov: robôs assassinos baratos, eficazes e quase impossíveis de conter enquanto circulam pelo mundo.


As armas autônomas “Kalashnikov” podem cair nas mãos de pessoas fora do controle do governo, incluindo terroristas internacionais e domésticos.


Kargu-2
Kargu-2: feito por um fabricante de armas turco, é uma mistura de drone e bomba com inteligência artificial | Foto: cc Ministério da Defesa da Ucrânia

A proliferação de alto nível é igualmente ruim, no entanto. As nações poderiam competir para desenvolver versões cada vez mais devastadoras de armas autônomas, incluindo aquelas capazes de montar armas químicas, biológicas, radiológicas e nucleares.


Os perigos morais do aumento da letalidade das armas seriam amplificados pelo aumento do uso de armas.


As armas autônomas de última geração provavelmente levarão a guerras mais frequentes porque reduzirão duas das principais forças que historicamente preveniram e encurtaram as guerras: a preocupação com os civis e a preocupação com os próprios soldados.


As armas provavelmente serão equipadas com dispendiosos gestores éticos projetados para minimizar os danos colaterais, usando o que a relatora especial da ONU, Agnes Callamard, chamou de “mito de um ataque cirúrgico” para abafar protestos morais.


As armas autônomas também reduzirão a necessidade e o risco para os próprios soldados, alterando drasticamente a análise de custo-benefício que as nações submetem ao lançar e manter guerras.


As guerras assimétricas - isto é, as guerras travadas no solo de nações que carecem de tecnologia concorrente - provavelmente se tornarão mais comuns.


Pense na instabilidade global causada pelas intervenções militares soviéticas e americanas durante a Guerra Fria, desde a primeira guerra por procuração até o blowback experimentado ao redor do mundo hoje.


Multiplique isso por todos os países que atualmente buscam armas autônomas de última geração.


Minando as leis da guerra


Finalmente, as armas autônomas minarão o tapa-buraco final da humanidade contra crimes de guerra e atrocidades: as leis internacionais de guerra.


Essas leis, codificadas em tratados que remontam à Convenção de Genebra, de 1864, são a tênue linha que separa a guerra com honra do massacre.


Elas têm como premissa a ideia de que as pessoas podem ser responsabilizadas por suas ações mesmo durante a guerra, que o direito de matar outros soldados durante o combate não dá o direito de assassinar civis.


Um exemplo proeminente de alguém responsabilizado é Slobodan Milosevic, ex-presidente da República Federal da Iugoslávia, que foi indiciado por acusações contra a humanidade e crimes de guerra pelo Tribunal Criminal Internacional da ONU para a ex-Iugoslávia.


Mas como as armas autônomas podem ser responsabilizadas? Quem é o culpado por um robô que comete crimes de guerra? Quem seria levado a julgamento? A arma? O soldado? Os comandantes do soldado? A corporação que fez a arma?


Organizações não governamentais e especialistas em direito internacional temem que as armas autônomas levem a um grave vazio em termos de responsabilidade.


Para responsabilizar um soldado criminalmente por usar uma arma autônoma que comete crimes de guerra, os promotores precisariam provar actus reus e mens rea, termos latinos que descrevem um ato e uma mente culpados.


Isso seria difícil por uma questão de direito e possivelmente injusto por uma questão de moralidade, visto que as armas autônomas são inerentemente imprevisíveis.


Acredito que a distância que separa o soldado das decisões independentes tomadas por armas autônomas em ambientes de rápida evolução é simplesmente grande demais.


O desafio legal e moral não fica mais fácil transferindo a culpa para a cadeia de comando ou de volta para o local de produção.


Em um mundo sem regulamentos que exijam um controle humano significativo de armas autônomas, haverá crimes de guerra sem criminosos de guerra para responsabilizar.


A estrutura das leis de guerra, junto com seu valor de dissuasão, será significativamente enfraquecida.


Uma nova corrida armamentista global


Imagine um mundo no qual militares, grupos insurgentes e terroristas internacionais e domésticos possam implantar força letal teoricamente ilimitada com risco teoricamente zero em momentos e locais de sua escolha, sem nenhuma responsabilização legal resultante.


É um mundo onde o tipo de erros algorítmicos inevitáveis que atormentam até mesmo gigantes da tecnologia como Amazon e Google pode levar à eliminação de cidades inteiras.


Na minha opinião, o mundo não deve repetir os erros catastróficos da corrida armamentista nuclear. Não deve andar de forma sonâmbula em direção a uma distopia. ✔︎


Este artigo foi escrito por James Dawes, professor das Faculdades #Macalester, de Saint Paul, Minnesota. Foi republicado do site The Conversation sob uma licença Creative Commons. Leia o original em inglês.


Veja mais: Inteligência artificial termina 10º sinfonia de Beethoven