虽然说象棋比围棋更普及，但是它的起源却要比围棋晚得多。
围棋起源于中国，最少有三千年历史，在春秋战国就已经广泛流传了。而象棋呢？要到唐朝才出现，在南宋后期才定型。
有人说，战国时代就有象棋，屈原在《楚辞·招魂》里写过：“蓖蔽象棋，有六簿些；分曹并进，遒相迫些；成枭而牟，呼五白些。”这不明摆着说战国就有象棋吗？
其实“蓖蔽象棋”的象棋并不是象棋，而是边掷骰子边走子的六子棋。对局双方各摆六枚棋子，各拿一粒色子（骰子），下棋之前，先掷色子，看能掷出几点，掷出一点就走一步，掷出二点就走两步，有点儿像现在的西洋双陆棋。
可屈原为什么要把这种近似西洋双陆的六子棋叫做“象棋”呢？这是因为那时候的棋子都是立体的，都有一定的造型，有的像一匹马，有的像一辆车，有的像一杆长矛。换句话说，当时的棋子属于象形棋子，故此叫作“象棋”。
真正的象棋在古代中国并不叫“象棋”，而是叫“象戏”。象戏这个词最早出现于唐朝宰相牛僧孺编写的传奇故事，说是一个书生去亲戚家借住，晚上梦见床底下两军交战，双方布阵的方式一模一样，都是兵卒在前、车马在后、将帅居中指挥；作战的方式也一模一样，都是马斜行、车直进……后来书生醒了，去床底下挖掘，挖出来一副象戏器具，还有一首描述象戏规则的诗：
天马斜飞度三止，上将横行系四方。
六甲次第不乖行，辎车直入无回翔。
两军对垒，天马斜飞，辎车直入，上将被四四方方的中军帐束缚住（系四方），这些都跟现代象棋的玩法相同，说明现代象棋至少在唐朝就已经有了雏形。只是“六甲次第不乖行”这句不容易理解，估计唐朝象棋的棋盘上有十二枚小卒，双方各六，而不是像今天这样双方各五。
北宋中叶流行一种“大象戏”，棋盘近似围棋，中间没有楚河汉界那样的空白分界，棋路也不是像今天这样纵线九条、横线十条，而是纵横均为十一条，密密麻麻完全交叉。这样密集的棋盘上总共摆着三十四枚棋子，其中“兵”和“卒”都是六枚，恰恰证明唐朝传奇故事里的“六甲次第不乖行”不是虚言。
大象戏是有炮的，炮的位置跟现代象棋有所不同，它不在马的前方，而在车的旁边。也就是说，大象戏开局之时，车、马、炮一字排开，跟将、士、象完全并列。这样开局有一个非常明显的缺陷：不管谁先走子，都能用己方的车一下子吃掉对方的车。当然，对方必然也会采取报复，用他的车吃掉这边的车，但是为时已晚，他那边的炮已经岌岌可危了。为了弥补大象戏谁先走子谁占先所造成的不公平，宋朝人用骰子来做主：开局之前，双方各掷一把色子，谁的点数大，谁就先下。
在大象戏盛行的同时，宋朝还流行一种“小象戏”。小象戏的棋盘跟现代棋盘完全一样，都是九纵十横，中间一条楚河汉界，兵和卒也是各有五枚。但小象戏没有炮，所以棋子总数要比现在的三十二枚棋子少两枚，只有三十枚。
宋朝人曹勋讲过这样一个小故事：
北宋末年，金兵攻宋，首都开封沦陷，宋徽宗和宋钦宗都成了俘虏，皇子皇孙和后宫嫔妃也都被金兵抓到北国当奴隶去了，只有已故皇帝宋哲宗的老婆孟太后侥幸逃脱，成了宋朝皇室里辈份最高也最有威望的精神领袖。
流亡的文官武将纷纷请教孟太后：“天下不可一日无君，现在皇位空缺，谁才有资格承继大统，领导我们对抗金兵呢？”
孟太后说：“我觉得康王有资格。”
“为什么？”
“昨天晚上我沐浴更衣，焚香祷告，请求上天和列祖列宗赐给我们一个好皇帝，然后就做了个梦，梦见太祖皇帝在我手心里写了个‘康’字，这个字指的难道不就是康王吗？”
大家不服，都说区区一个梦不能为凭。于是孟太后找来一副象戏，在其中一枚棋子的背面写了个“康”字，混到其他棋子当中。然后这老太太双手捧起三十枚棋子，高高举起来，呼啦一下子全撒到棋盘上，只有一枚落到了中宫里，刚好就是写了“康”字的那一枚。
老太太得意地说：“怎么样？别的棋子都不能进中宫，只有带‘康’字的进去了，可见冥冥之中自有天意，康王就是上天赐给我们的真命天子！”
这回大家服了，全体拥戴康王登基。
康王是谁？就是后来建立南宋的宋高宗赵构。赵构当了皇帝，不忘孟太后的恩情，把老太太封为隆祐太后，待她比待自己的亲娘韦太后都要亲。
上述故事带有迷信色彩，不一定符合历史事实。即使符合史实，其中撒棋子那一段也极有可能是孟太后跟宋高宗串通起来玩的一个障眼法，比如说，他们可以在所有棋子背后都写上“康”字，这样不管哪一枚落入中宫，翻过来都是“康”。或者也可以找一个特制的棋盘，中宫部位镶嵌磁铁，再把其中一枚棋子换成铁的，背后写字即可。
不管这个故事是否属实，故事里的象戏一定是小象戏，因为棋盘上的棋子总数是三十枚，在宋朝所有类型的象棋里面，只有小象戏符合这个特征。
大象戏和小象戏在北宋都非常流行，但是它们并不是宋朝象戏的全部，北宋大政治家司马光还发明过一款比较复杂的“七国象戏”。
七国象戏的棋盘非常大，棋路纵横各十九条，中心摆放一枚棋子，东西南北四周分别按照金字塔布局摆放七片棋子，每片各有十七枚，包括将、偏将、裨将、车、炮、弓、弩、刀、剑、骑、行人（即间谍）等等。中心的棋子代表周王，周围那七片棋子分别代表秦、楚、齐、燕、韩、魏、赵等七国。下棋的时候，可以七人对局，也可以四人对局，还可以三人对局，这跟大小象戏只能两人对局有很大不同。另外大小象戏都是以吃掉对方的将帅为胜负，而司马光发明的这款七国象戏并不需要吃掉对方将帅，只需要计算总共吃掉别国多少个棋子，谁吃的棋子最多，谁最后胜出。
七国象戏在宋朝历史上仅仅昙花一现，就因为过于复杂而被淘汰了。大象戏的布局规则有缺陷，所以在北宋末年也已消失。只有小象戏一枝独秀，随着南宋中后期大炮在战争中的使用越来越频繁，曾经出现在大象戏里的炮也被玩家移植到小象戏的棋盘上，三十枚棋子从此变成三十二枚棋子，现代象棋至此定型。