Kilisenin MS 365-395 tarihleri arasında inşa edildiği sanılmaktadır. Anadolu'da sıkça rastlanılan Kapadokya kiliseleri tarzında yapılmıştır; hatta Trabzon'da Maşatlık mevkiinde benzeri bir mağara kilisesi daha vardır. Kilisenin ilk kuruluşu ile manastır haline dönüşümü arasındaki bin yıllık dönem hakkında fazla bir şey bilinmemektedir.
Karadeniz Rumları arasında anlatılan bir efsaneye göre Atina'lı Barnabas ile Sophronios adlı iki keşiş aynı rüyayı görmüşler; rüyalarında, İsa’nın öğrencilerinden Aziz Luka’ın yaptığı üç Panagia ikonundan, Meryem'in bebek İsa’yı kollarında tuttuğu ikonun bulunduğu yer olarak Sümela'nın yerini görmüşler. Bunun üzerine birbirlerinden habersiz olarak deniz yoluyla Trabzon'a gelmiş, orada karşılaşıp gördükleri rüyaları birbirlerine anlatmış ve ilk kilisenin temelini atmışlardır. Bununla birlikte manastırdaki fresklerde sıkça yer alıp, özel bir önem verilen Trabzon İmparatoru III. Aleksios'un (1349-1390) manastırın gerçek kurucusu olduğu sanılmaktadır.