针灸的形成经历了一个漫长的过程，远古时期，当人们偶然被一些尖硬物体，如石头、荆棘等碰撞了身体表面的某个部位，会出现意想不到的疼痛被减轻的现象。古人开始有意识地用一些尖利的石块来刺身体的某些部位或人为地刺破身体使之出血，以减轻疼痛。古书上曾多次提到针刺的原始工具是石针，称为砭石。人们就用"砭石"刺入身体的某一部位治疗疾病。砭石在当时还更常用于外科化脓性感染的切开排脓，所以又被称为针石或砭石。《山海经》说："有石如玉，可以为针"，是关于石针的早期记载。中国在考古中曾发现过砭石实物。可以说，砭石是后世刀针工具的基础和前身。

灸法则可能源于热熨之法，即将石头烧热，于皮肤局部加温而减轻病痛，后来原始人又学会了用燃烧的干枯植物茎叶代替石头，原始灸法就产生了。针灸作为一种治疗手段，早在先秦时代就已相当流行了。在长沙马王堆出土的古医书中，有《足臂十一脉灸经》、《阴阳十一脉灸经》、《脉法》、《阴阳脉死候》等书，江陵张家山汉简也有《脉书》出土，此皆与经络、经脉等针灸基础理论有密切关系。针灸疗法在《内经》中有着很重要的地位，其中《灵枢》一书的古称即为《针经》，而《内经》对针灸理论详细系统的论述，也全面奠定了后世针灸学的基础。