Ao passo que ele lentamente continuava a analisar as observações de Tycho a respeito de Marte —agora à sua disposição em sua totalidade— e começava o lento processo de tabulação das tábuas rudolfinas, Kepler também retomou a investigação a respeito das leis da óptica de seu ensaio de 1600 sobre a Lua. Tanto o eclipse lunar quanto o solar apresentavam fenômenos não explicados, tais como tamanhos inesperados para as sombras, a cor vermelha de um eclipse lunar total, e a luz incomum ao redor de um eclipse solar total que tinha sido por alguns noticiada. Questões relacionadas de refração atmosférica se aplicavam a todas as observações astronômicas. Durante a maior parte do ano de 1603, Kepler fez uma pausa em seu outro trabalho para focar na teoria óptica; o manuscrito resultante, apresentado ao imperador em 1º de janeiro de 1604, foi publicado com o título Astronomiae Pars Optica (A Parte Óptica da Astronomia). Nessa obra, Kepler descreveu a lei do inverso do quadrado da distância que governa a intensidade da luz, reflexão por espelhos planos e curvos, e princípios das câmeras estenopeicas, assim como as implicações da óptica para a astronomia, tais como a paralaxe e os tamanhos aparentes dos corpos celestes. Ele também estendeu seu estudo de óptica ao olho humano, e é geralmente considerado por neurocientistas como o primeiro a perceber que as imagens são projetadas invertidas e são revertidas pelo cristalino na retina. A solução para esse dilema não era de particular importância para Kepler porque ele não o via como dizendo respeito à óptica, embora ele tenha sugerido que a imagem era mais tarde corrigida "nas cavidades do cérebro" devido à "atividade da alma".[32] Atualmente, Astronomiae Pars Optica é geralmente reconhecido como a fundação da óptica moderna (embora a lei da refração não apareça nele).[33]
Em outubro de 1604, uma nova estrela bastante brilhante (SN 1604) apareceu, mas Kepler não acreditou nos rumores até que ele mesmo a viu. Kepler começou a observar sistematicamente a estrela. Astrologicamente, o final de 1603 marcava o começo de um trígono de fogo, o começo do ciclo de grandes conjunções de ca. 800 anos; astrólogos associaram os dois prévios períodos desse tipo com a ascensão de Carlos Magno (ca. 800 anos antes) e o nascimento de Cristo (cerca de 1600 anos antes), e assim esperavam eventos grandiosos, especialmente em relação ao imperador. Foi nesse contexto, como matemático imperial e astrólogo do imperador, que Kepler descreveu a nova estrela dois anos depois em seu De Stella Nova. Nele, Kepler tratou a respeito das propriedades astronômicas da estrela, tendo uma atitude cética para as muitas interpretações astrológicas então em circulação. Ele percebeu sua luminosidade em enfraquecimento, especulou a respeito de sua origem, e usou a falta de paralaxe observada para argumentar que ela estava na esfera de estrelas fixas, minando ainda mais a doutrina da imutabilidade dos céus (a ideia aceita desde Aristóteles de que as esferas celestiais eram perfeitas e imutáveis). O nascimento de uma nova estrela implicava a variabilidade dos céus. Em um apêndice, Kepler também discutiu o então recente trabalho cronológico do historiador polonês Laurentius Suslyga; ele calculou que, se Suslyga estava correto de que as cronologias aceitas estavam quatro anos atrasadas, então a Estrela de Belém —de maneira análoga à então nova estrela— teria coincidido com a primeira grande conjunção do ciclo de 800 anos anterior.[34]
A ampla linha de investigação que culminou no Astronomia nova (Uma Nova Astronomia) —incluindo as primeiras duas leis do movimento planetário— começou com a análise, sob a direção de Tycho, da órbita de Marte. Kepler calculou e recalculou várias aproximações da órbita de Marte usando um equante (a ferramenta matemática que Copérnico tinha eliminado com o seu sistema), e por fim criou um modelo que em geral concordava com as observações de Tycho para dentro de dois minutos de arco (o erro médio das medições). Mas ele não ficou satisfeito com o demasiado complexo e ainda levemente pouco preciso resultado; em certos pontos o modelo diferia dos dados por até oito minutos de arco. Nenhum dos vários métodos de astronomia matemática tradicionais logrou o fim em vista, e foi então que Kepler começou a tentar encaixar uma órbita oval para os dados.[35]
Na visão religiosa de Kepler do cosmos, o Sol (um símbolo de Deus, o Pai) era a fonte da força motiva no sistema solar. Para embasamento físico, Kepler usou de analogia com a teoria de William Gilbert da alma magnética da Terra encontrada em De Magnete (1600) e em suas próprias pesquisas em óptica. Kepler supôs que o poder motivo (ou espécies motivas)[36] irradiado pelo Sol enfraquecia com a distância, causando movimento mais rápido ou lento a medida que os planetas se moviam para mais próximo ou longe dele.[37][38] Talvez esta suposição implicasse uma relação matemática que restaurasse a ordem astronômica. Baseado em medições do afélio e periélio da Terra e Marte, ele criou uma fórmula em que a taxa de movimento de um planeta é inversamente proporcional a sua distância ao Sol. Verificar essa relação para todo o ciclo orbital, no entanto, requeria cálculos muito extensos; assim, para simplificar essa tarefa, até o final de 1602 Kepler reformulou a proporção em termos geométricos: os planetas varrem áreas iguais em tempos iguais —A segunda lei de Kepler do movimento planetário.[39]