Na real, nós somos o limitador sobrenatural da IA, podemos programar algum tipo de castigo para certos tipos de atitudes da IA... na real uma IA é muito parecida com um ser humano, apesar da gente achar que temos um limite ético/moral/religioso... tudo pode vir por água abaixo e qualquer ser humano pode perder todos os limites se tiver algo como sua própria vida em jogo... assim como a IA....
Em qualquer situação estamos ferrados! Mesmo no segundo caso, considerado menos preocupante, imagina se duas máquinas decidem cooperar para caçar seres humanos?!
Esse é o problema: apesar agirmos basicamente por impulsos egoístas, disfarçados de "boas acções" temos um limite ético/moral/religioso doutrinado por gerações. E eu acho a IA não consideraria um limitador sobrenatural em suas decisões (P-pai do céu vai te castigar etc). Enfim, para sobrevivermos às decisões da IA precisaremos virar uns Spocks. LL&P.
Bom talvez o problema é querer torna a IA "semelhante" ao inteligencia humana (comportamento, tomadas de decisões etc.), é necessário entender que apensar de tudo a IA age basicamente em busca de melhores resultados, levando em conta sempre o destino final, ou seja no fim do jogo a vitoria, como não existem pontos eticos/sociais ela vai fazer o possivel e impossivel para atingir a vitoria!
Ih irmão, independente de quem estiver errado uma coisa é certa: O sofá estará lhe esperando de braços abertos.
Qual seria esse limite? Mas a "graça" não é deixar o bagulho ir aprendendo cada vez mais? tem as 4 leis da robótica...
Na minha opinião a inteligência artificial deveria ser extremamente limitada, só pra uso de automação. E todo trabalho ser voltado pra integração máquina/homem. Assim, SEREMOS o exterminador do futuro e não sua presa. Voilà!