What is the name of this tonal marking system?
It's called 发圈法.
《内江市志 方言》：



here it says:

标调用传统的四角发圈法

so we have (四角)发圈法
百度百科：发圈法

发圈法
发圈法，是指一种标记声调的方法。
能够独立区别意义的调值的类别称为调类。调类可以从共时角度编号并命名，也可以参考历时因素命名。
汉语方言的调类系统大多与中古汉语的平、上、去、入四声系统和声母的清浊系统有对应关系，通常根据这种历时对应关系来定调名：与平上去入四声对应的调类，今调名仍称平上去入；与中古清声母对应的调类今称阴调，与中古浊声母对应的调类今称阳调。

and
百度互动百科 says:

标记声调的一种方法。
能够独立区别意义的调值的类别称为调类。调类可以从共时角度编号并命名，也可以参考历时因素命名。汉语方言的调类系统大多与中古汉语的平、上、去、入四声系统和声母的清浊系统有对应关系，通常根据这种历时对应关系来定调名：与平上去入四声对应的调类，今调名仍称平上去入；与中古清声母对应的调类今称阴调，与中古浊声母对应的调类今称阳调。
用这种命名法命名的调类系统可以用发圈法标记，中国传统语音学是用附加在汉字的四角的四个半圆来表示；如果因古声母清浊影响而产生了声调分化，则在因受古浊声母影响而形成的调类号下加短横，这样，四个声调就变成八个。具体方法是：在音节或汉字的四角用带缺口的小圈标记，从左下角开始，按顺时针方向依次为阴平、阴上、阴去、阴入，相应的阳调则在小圈下加短横线表示。例如：
阴平: 【半圆在左下】（诗 阴上: 【半圆在左上】（使 阴去: 试）【半圆在右上】 阴入: 识）【半圆在右下】