华枫清楚其实比朱震更早的晁说之已叙述了先天图的流传：“有宋华山希夷先生陈抟图南，以《易》授终南种征君放明逸，明逸授汶阳穆参军修伯长，而武功苏舜钦子美亦尝从伯长学。伯长授青州李之才挺之，挺之授河南邵康节先生雍尧夫。”(《嵩山集》卷十八《王氏双松堂记》)
与邵雍同巷里居住了三十余年的二程兄弟说：“独先生之学为有传也。先生得之于李挺之，挺之得之于穆伯长。推其源流，远有端绪。”(程颢《邵尧夫先生墓志铭》)程氏只上推到穆修，穆修以上则以一句“远有端绪”省略。
邵雍之子邵伯温说：“先君受易于青社李之才，字挺之。为人倜傥不群，师事汶阳穆修。挺之闻先君好学……于是先君传其学。……伯长，《国史》有传，其师即陈抟也。”(《易学辨惑》)
由此可见朱震所说的传承关系是基本可信的。可惜的是这张“先天图”没有随上述文字流传下来，以至今人无法确认它到底是“阴阳鱼图”，还是“先天八卦方位图次序图”，或是别的什么图。
其后详细论述易图流变的是元代的袁桷，他在为宋末谢仲直《易三图》作的《序》中说；“上饶谢先生遁于建安番扬，吴生蟾往受易而后出其图焉”。而谢仲直又得自彭翁，彭翁得自武夷君。武夷君可能就是白玉蟾(白玉蟾道号武夷翁)。
袁桷又说：“至荆州袁溉道洁始受于薛翁，而易复传。袁乃授永嘉薛季宣……最后朱文公属其友蔡季通如荆州复入峡，始得其三图焉。……其孙抗秘不复出。……今彭翁所图疑出蔡氏。”(转引自胡渭《易图明辨》卷三)依袁桷说，易三图的流传大致为：
那么蔡元定从四川访得的三图是什么样子?或者说谢仲直的“易三图”是什么样子?今天已经看不到了，袁桷当时就没有说明。胡渭推测：“故首著之季通所得三图，一为先天太极图无疑矣。其二盖九宫图与五行生成图。”
明代初年赵撝谦在《六书本义》中载有这张图，并说：“此图世传蔡元定得之于蜀之隐者，秘而不传，虽朱子亦莫之见，今得之陈伯敷氏。”
当时大多数人都相信这种说法，只有季彭山表示怀疑，他说：“朱子与蔡氏无书不讲明，岂有秘不与言之理?”(转引自明代杨时乔《周易全书》)。胡渭不仅赞同袁桷的说法，而且赞同朱震的说法，认为陈抟以先天图授种放，三传至邵雍，邵雍的“先天古易者，悉本此图可知也。”断定此图出自陈抟，源自《参同契》。
有一种说法人为阴阳鱼太极图源于《周易参同契》“水火匡廓图”或“三五至精图”，也是值得分析的。后两图传为五代彭晓为诠释《周易参同契》而画的图，而经查《正统道藏》，彭晓《周易参同契分章通真义》中并没有这两幅图，而只有一幅“明镜图”。
当然不能排除其他失传的版本中载有这两幅图。退一步说即使彭晓作过这两幅图甚至哪怕《参同契》中就有这两幅图，也不能断定它就是太极图的源头，其道理同上述一样，从这两幅图的图形上看不出可以推衍出太极图的痕迹，但却有思想渊源关系。《参同契》首章说：“坎离匡廓，运毂正轴。”
特别强调坎离，坎离为日月、日月为“易”。坎为阴中有阳，离为阳中有阴。“水火匡廓图”正是对坎(水)离(火)二卦的形象表示。这种阴阳相合，阴中有阳、阳中有阴、阴阳消长流变的思想不正是太极图的基本思想吗?从袁桷等人所叙流传谱系看，太极图道教是很有关系的。武夷君白玉蟾是道教内丹派南宗第五祖，“蜀之隐者”可能就是蜀中道士。
思想上的渊源关系并不等同于图形上的渊源关系。看来要考察太极图源自于什么图是很困难的事。我们还是来考证一下最早的太极图是何人所作这个问题吧。
首先要给太极图的图形定一个标准(正因为没有一个标准，所以上述原始时代的图形统统被称作“太极图”)，真正的太极图应当是内为阴阳鱼互纠图案、外为八卦或六十四卦环形图案。至于陈抟所传的“龙图”、“先天图”是不是这种图形，已无法考证。因而难以判断陈抟就是作此图的第一人。薛翁、蜀之隐者是否作此图，同样无考。检索现存文献资料，发现最早的一张太极图在南宋张行成的《翼玄》中。
张行成，生卒年不详，约生活于公元十二世纪，绍兴进士，乾道二年(1166)向皇上进呈易学七书，其中《翼玄》即载有此图。
《翼玄》又作《翼元》，现存版本为两种，一是清乾隆李调元辑刊的《函海》本，一是1935年开始编辑出版的《丛书集成初编》，据《函海》本排印本。
今人郭或先生在《周易研究》1995年第4期发表《易先天图－－浑天象非张行成之图》，其理由有四点：
(1)张行成的“太极观是具体的六爻卦，是形而下的。”“与后来朱熹、蔡元定以《先天图》环中之‘中间虚者’为太极的宇宙论是不同的”。
(2)洪迈没有提及，朱熹也没有评论。
(3)邵雍并不以浑天术言天。
(4)《翼玄》是注释《太玄》的，“用以明三元符号系统《太玄》的书中，又怎能有此二元符号系统的图呢?”这几点意见很值得商榷。
第一，无论是“形而上”太极观还是“形而下”太极观，与阴阳鱼太极图都没有直接关系，郭氏说：张行成“既不以先天