고대 일본에서 한자의 일부 획을 따서 문자로 삼은 것은 일찍이 7세기부터였으나, 오늘날 가타카나의 직접적 기원은 9세기 초 나라 지방의 고종파 (古宗派)에 속한 학승들이 불경에 쓰인 한문을 일어로 훈독하기 위해 만든 글자 체계에서 비롯됐다. 이들이 만든 글자는 한문 옆에 작게 붙여 쓰는 일종의 훈점 (訓点)으로, 한자음만 빌려 쓰는 만요가나의 일부 획을 다시금 생략하여 만든 것이었다. 예를 들어 "カ"(카)는 "加(더할 가)"의 왼쪽 부분을 따서 만들었다. 초창기만 해도 경전의 각 행간 여백에 오코토텐 (ヲコト点)과 같이 쓰였으나 점차 빠르고 조그맣게 적기 위해 형태의 간략화가 이뤄지게 되었으며, 그 결과 지금 쓰는 가타카나의 원형이 된 것은 물론, 오코토텐의 역할을 대신하여 훈독에 널리 쓰이기에 이르렀다.

가타카나는 그 유래에서 짐작되듯이 승려나 박사들이 한자의 음과 훈을 주기하기 위해 사용한 경우가 많았으며, 꽤 초창기부터 현대 일본어처럼 한자와 가나를 번갈아 쓴 사례도 발견된다. 나중에는 한문의 주석 역할을 벗어나 노래 가사집이나 이야기집과 같이 일상 속 필기에도 쓰이는 등 사용 범위가 넓어졌지만, 히라가나로 쓰인 글이 미적 가치를 평가받고 감상하는 수준에 이른 것과 비교하면 아직까지 기호적인 성격이 강했다. 초창기 가타카나는 그걸 쓰는 개개인과 집단마다 글꼴의 차이가 컸고, 10세기 중반까지만 해도 이체자 (異体字)의 종류가 많았지만, 시간이 흐르면서 글꼴이 통일되었고 12세기에 이르러 오늘날의 모습에 가깝게 되었다.

가타카나가 히라가나와 같은 하나의 문자 체계로 인식되기 시작한 것은 헤이안 시대 중기이다. 이때 쓰여진 <우쓰호모노가타리> (宇津保物語) '국양 상' (国譲) 권의 '글씨의 모범' (書の手本)에 가타카나가 실려 있다. 또 에도 시대의 학자였던 반 노부토모 (伴信友)의 설에 따르면, 헤이안 시대 후기에 만들어진 것으로 보이는 <츠츠미추나곤모노가타리> (堤中納言物語)의 '무시메즈루 공주님' (虫めづる姫君) 편에 무시메즈루 공주가 남자에게 보낸 연애편지에서 "가나 (히라가나)는 아직 쓰지 못하오니 가타칸나 (가타카나)로"라는 구절이 있어, 이 당시 문자를 습득하는 순서는 가타카나에서 시작해 히라가나로 나아갔음을 알 수 있다. 그러나 이에 대한 반론으로 일어학자 고마쓰 히데오 (小松英雄)는 '무시메즈루 공주님'에서 보이는 서술은 기본적으로 허구인 이야기에서 쓰인 특수한 사례이며, 실제로는 가나 (히라가나)를 아릅답게 쓸 수 있게 배우는 것이 당대 여성들 사이에서 일반적인 일이었다고 밝히고 있다. 

메이지 시대에 들어와서부터는 서양 외래어 유입에 따라 그 활용 빈도가 한층 높아졌으며, J. C. 햅번이 지은 일영사전인 <일영어림집성> (和英語林集成)의 도표에서 메이지 초의 가타카나 글꼴을 찾아볼 수 있다. 1900년 소학교령 시행 규칙으로 한 소리 한 글자라는 원칙에 따라 표준 글꼴만 보급되기 시작하였으며, 이를 통해 지금의 가타카나가 확립되었다. 한편 가타카나는 히라가나에 비해 학문적으로 쓰이는 경향이 강했기 때문에, 제2차 세계 대전 시기까지만 하더라도 일본에서는 보다 정식적인 문자로 취급되어 법령과 기타 공문의 표기 문자로 쓰였고, 교육상으로도 히라가나에 앞서 가르쳤다. 그래서 이 당시 교과서를 보면 가타카나와 한자로만 서술된 것이 많다. 하지만 신문이나 문예집 등 민간 분야에서의 서술법에까지 가타카나 사용이 강제되진 않았다.
현재 사용되는 가타카나를 체계화한 법규가 발표된 해는?
1900년