河图、洛书最早并非象征智慧的无字天书，至少在隋唐之前是这样的。我们梳理《河图》《洛书》的发端以及流源，目的是为了弄清楚来龙去脉，而非否认既定事实。历史的轮次很容易理解，通俗地讲就是只能爹生儿子，而不能让儿子返回去去生爹，即使儿子很有出息，很厉害。轮次颠倒是绝对不行的。通过对文献的考据，我们可以认为《河图》《洛书》是北宋时期易经学者在象术方面的新发明，而绝不能以讹传讹的认为中国传统文化发端于此二书。研究过史前文明的读者必然是知晓的，各地文明并没有一个统一的起源，华夏文化是不同地域文明互相交流融合的产物。
北宋新造的《图》《书》一开始便遭到了质疑，欧阳修说：“河出图，洛出书。圣人幽赞神明而生蓍。两仪生四象。若此者，绝非圣人之言。”在《童子问易》中进一步阐述道理：《河图》之出也，《八卦》之文已具乎？则伏羲受之而已，复何所为也？《八卦》之文不具，必须人力为之，则不足为《河图》也。其曰：观天地，观鸟兽，取于身，取于物，然后始作《八卦》，盖“始作”者，前未有之言也。……若曰已受《河图》，又须有为而立《卦》，……不曰取法于《河图》，此岂近于人情乎？
欧阳修的道理很简单，如果说伏羲受到了《河图》，有何必观天地，观鸟兽，从大自然中取法画《八卦》呢？不如直接说取法《河图》更明白些。如果说伏羲是通过自己对世间万物的观察总结出来《八卦》，又何必取法《河图》呢？来回思索这很显然这是有悖常理的。
苏轼当时还是欧阳修的门人，并没有赞同他的观点，苏轼说：《河图》《洛书》其详不可得而闻矣。然著于《易》，见于《论语》不可诬也。他这两个依据我们前篇考证都聊过，《论语》中说的：“河不出图”是一种祥瑞，而非《河图》这本书。这句话还提供了一个重要的信息，欧阳修和苏轼两个人都没有见过《河图》《洛书》的内容。这一点很关键，《河图》《洛书》是先有其名，而后学人才“伪造”其实际内容的，并且内容出现了很多版本各不相同的图画。
明代的归有光，也不相信《河图》《洛书》。他的意见是：经过秦火的诸多经典，在西汉唯恐残缺散失，绝不至于“弃而不论”。据《汉书·艺文志》记载，当时诠释《易经》的有十三家，二百九十四篇。可以说两汉的易学大师都不知道有《河图》《洛书》的存在，突然在北宋出现了，还说是《易经》的鼻祖，谁信呢？汉以后虽然说《易》的人不是很多了，但是王弼、韩康伯的书都还在流传，也从来没有谁提及过《图》。最后他认为以《图》说《易》起源于北宋的邵雍。至于《洛书》他细数孔安国、刘牧、关朗的说辞，从义理的角度辨析说：夫《易》之道甚明，而儒者以《河图》乱之；《洪范》之义甚明，而儒者以《洛书》乱之。
到了清代，随着朱熹理学地位的下降。对《河图》《洛书》的批评越来越多了，随着质疑考辨之风气，《图》《书》逐渐失去了往昔的权威和地位，成为易学史上的名词。清代的黄宗义说：自朱子列之《本义》家传户诵……后之人徒见《图》《书》之说载在圣经，虽明知其穿凿附会，终不敢犯古今之不韪而黜其非。虽是如此批评，但对于《河图》的本身有是一番维护：“河不出图”说的是各国不上图，并非“河”里不出图。批评宋人附会之后，又捏造了一个更加荒诞的说法。
对于《河图》《洛书》来龙去脉梳理的比较透彻的应该是毛奇龄了，他说最初只有《河图》，如《尚书》《论语》说的说辞，并不是涉及《洛书》。自《淮南子》以“绿图”、“丹书”对举之后，孔安国、刘歆便开始捏造故事，将《河图》归于伏羲，《洛书》归于大禹。虽然两汉谶纬学比较流行，很多说辞都怪诞不经，终东汉之末也没有所谓的《图》《书》出来。宋代陈抟骤出其《河图》《洛书》，上无传人，无出处，只有他的门徒在传播。于是市面上就出现了刘牧版的《图·书》，邵雍蔡元定版的《图·书》，值得注意的是他们的内容是不一样的。毛奇龄给出他的解释是：陈抟的《图·书》本于东汉末年郑玄注《易》的“大衍之数”。郑玄只是做了注解，并没有《图》，陈抟将其注解演以为《图》。至于《洛书》，其根底在于九宫配八卦，乃《易纬》所谓“太一下九宫”之法。
除了如上辩斥之外，另有张惠言、胡渭等人对后世有关《河图》《洛书》流传的说辞进行了逐条的批评和辩驳。比如“天地之数”不得为《河图》，”五行生成之数“不是《河图》，又辩“太极”、“两仪”、“四象”等不是《图》也不是《书》中所有。在此不逐一而论了，大体可以得出结论，《河图》《洛书》不是没人反对，而是在朱熹被定位官学的明代，没人敢反对。北宋便有人质疑，清代反驳尤其激烈。
我们可以置身事外的理解这种情况的发生，从先秦战国到晚清，但凡有了新发明，只能托古而自重，为了自己的作品能够为世人所重视，连署名权都不要，挂靠在知名学者的明显，借助他们的名望人气来传播自己的理论。这是情理之中的事情，也是时局之下迫不得已的事情，如果不这样做的话，人传三代而不得其要领，便真正的成为“绝学”了。《河图》《洛书》是对易学的诠释，挂靠在伏羲《八卦》之前，后人只要学易经，便不得不了解一下《河图》《洛书》，从这个角度来讲，这场千古营销的策划是成功的。不能否认，这两幅“象”对后人理解易理是有帮助的。
