Saunders et al. publicaram Trial without Error: Towards Safe Reinforcement Learning via Human Intervention [“Tentativa sem erro: para uma aprendizagem por reforço segura através da intervenção humana”], um bom artigo no qual tentam criar um Aprendiz por Reforço que possa aprender “em segurança”, treinando um algoritmo de reconhecimento de catástrofe para supervisionar o treinamento. É uma idéia atraente e um bom uso do conjunto OpenAI Atari, embora tenha ficado mais impressionado com o fato de concluírem que sua abordagem não seria escalável (ou seja, não funcionaria). Não é comum os pesquisadores publicarem resultados negativos! Uma menção honrosa vai também para o artigo muito bom (mas não serão assim todos os seus artigos?) Sandberg et al. That is not dead which can eternal lie: the aestivation hypothesis for resolving Fermi’s paradox [“Não está morto o que eternamente jaz inanimado: a hipótese de estivação para resolver o Paradoxo de Fermi”] que é relevante na medida em que sugere que o Paradoxo de Fermi, na realidade, não é evidência contra a IA como um risco existencial.
O Global Catastrophic Risks Institute é coordenado por Seth Baum e Tony Barrett. Produziram trabalho sobre vários riscos existenciais, incluindo riscos não-IA. Algum desse trabalho parece bastante útil, especialmente o Feeding Everyone No Matter What [“Alimentar todos custe o que custar”] de Denkenberger, sobre como garantir o fornecimento de alimentos em caso de desastre, e é provavelmente do interesse do tipo de pessoa que leria este documento. No entanto, está fora do assunto que abordamos. No âmbito da IA, fazem muito trabalho sobre cenários estratégicos e são muito prolíficos.