Viết tiếp tục cho đoạn này - Biliūnas được coi là có hai giai đoạn riêng biệt trong sự nghiệp văn học của mình. Phần đầu tiên kéo dài từ năm 1900-1903, và phần hai, 1904-1907. Hầu hết các tác phẩm của ông là những câu chuyện ngắn, và thường có những nội dung tự truyện liên quan đến kinh nghiệm cuộc sống cá nhân của chính mình. Trong giai đoạn đầu, một phong cách thực tế tràn ngập ý thức xã hội mạnh mẽ phổ biến trong các tác phẩm của ông. Hai trong số các tác phẩm của ông từ giai đoạn này bao gồm "Be darbo" (Người thất nghiệp) và "Pirmutinis streikas" (Tình trạng đình công đầu tiên). Ý thức hệ chính trị có tính chất xã hội chủ nghĩa thấm nhuần giai đoạn này và gợi nhớ đến các tác phẩm đầu của Jack London và Theodore Dreiser. Có lẽ là kết quả của căn bệnh suy nhược của ông, trong thời kỳ đó chắc chắn là chết chóc, Biliūnas đã trải qua một sự biến đổi về mặt thiêng liêng. Các hoạt động và lợi ích chính trị của ông đã bị thay thế bởi sự buồn bã, và một sự rời xa chủ nghĩa hiện thực, mà bây giờ đã được thể hiện trong các tác phẩm của ông trong giai đoạn thứ hai. "Brisiaus galas" (The End of Brisius), là một câu chuyện về sự ra đi của một con chó gia đình với những suy nghĩ của con chó xen kẽ với những suy nghĩ của chủ nhân. "Ant Uetlibergo giedra" (Thời tiết tốt đẹp trên Uetliberg) gần như là một cuốn sách du lịch về quan điểm của ông về dãy Alps Thụy Sĩ gần Zürich. "Liūdna pasaka" (Một câu chuyện buồn) là tác phẩm dài nhất của ông và là một vở kịch tâm lý liên quan đến cuộc nổi dậy năm 1863
. Trong tác phẩm này, nhân vật chính, một người phụ nữ, bị đẩy đến sự hủy hoại do hậu quả của cuộc nổi dậy, và câu chuyện của cô được kể từ một quan điểm tâm lý. Trong giai đoạn từ năm 1900 đến 1905, Biliūnas đã viết khoảng mười lăm bài thơ, bao gồm một số bài thơ. Những bản sonnet này bị ảnh hưởng bởi các nghiên cứu của ông về Petrarch. Hầu hết các bài phê bình về các bài thơ của ông đều có ý kiến rằng chúng không đạt được những tác phẩm khác của ông. Biliūnas đã viết một số bài viết liên quan đến phê bình văn học, được đánh giá cao và được coi là cho thấy chiều sâu nhận thức của ông về các chủ đề mà ông đã giải quyết.