有关《河图洛书》的原始含义和与宇宙本原的关系，可以说无甚建树。西汉刘歆（约公元前53年～公元23年），以河图为八卦，以《尚书•洪范》为洛书。汉代纬书有《河图》九篇，《洛书》六篇，以九六附会河洛之数。宋初陈抟（871～989年）著《易龙图》，援引汉唐九宫说与五行生成数说，画出了几个图式——“龙图”，其中就有今之《河图》。从陈抟到邵雍均以从“一到十”称为《河图》，从“一到九”称为《洛书》。而刘牧（1011－1064年）的看法正好相反，把“一到十”为《洛书》，“一到九”为《河图》。西蜀隐者又把陈抟之“先天太极图”看作是《河图》。南宋朱震（1072－1138）于《汉上易卦图》中载其图。南宋蔡元定（1135～1198）认为刘牧将《河图》与《洛书》颠倒了，续将九宫图称为《洛书》，五行生成图称为《河图》。朱熹(1130～1200) 认可蔡元定的看法，在《周易本义》卷首载是图，后世一直援用自今。南宋薛季宣(1134-1173) 又把“九数河图”、“十数洛书”看成是周王朝的“地图”、地理志图籍。清黄宗羲（1610-1695）《易学象数论》、胡渭（1633——1714）《易图明辨》也认为《河图洛书》为四方所上图经一类。今人高亨（1900——1986）认为《河图洛书》可能是古代“地理书”，另有人认为《河图》为上古“气候图”，《洛书》为上古“方位图”，或以为《河图》为“天河之图”。
最早持不同意见者是胡瑗。胡著有《周易口义》，其中说：《易传》的“圣人则之”，非则之画卦，而是“法则其时，以行其事”。既然非则之画卦，则《河图》与八卦无关矣。并由此指出，以往一切说法都不成立。继胡瑗后，欧阳修态度更为激烈，在《易童子问》中不仅指出“圣人则”之画卦和“仰观俯察”之画卦有矛盾，而且还彻底否认有“河出图”之事，继而否认《系辞传》为孔子所作。在胡瑗和欧阳修心中，所谓《河图》，就是八卦，非黑白点阵。而此种观念，源于孔安国、刘歆、王充等人。接着程颐更讽刺地说，观兔也可画卦，何必《河图》！（见《二程遗书.伊川先生语一、四》）
而程颐的传弟子薛季宣则认为：《尚书》、《周易》之《河图》，乃地图也，非黑白点。项安世则认为：“窃意图者必有八卦之象，书者必有古文字之形，而今不传尔。”
此外，说河、洛出图书之事纯属怪诞妖妄者，还有杨简（《杨氏易传》）、叶适(1150～1223)（《习学记言》）、赵汝梅（《易雅》）等人，还包括朱熹的弟子林至（《易裨传》）以及宋元之际的俞琰（《读易举要》）。他们大都明确指出，黑白点之《河图》、《洛书》，不过是刘牧据九宫和五行所画。
明儒臣宋濂(1310—1381)，则否认以“数之多寡”为《河图》、《洛书》，他说：唯刘歆以八卦为《河图》，班固以《洪范》“初一”至“次九”六十五字为《洛书》本文，庶几近之。（《河图洛书说》）另归有光则力主废《河图》、《洛书》，认为《河图》无休止之争，即说明无论是黑白点《河图》还是什么别的《河图》，都是不可靠的。（见《易图论》）。
清初，精于考据的乾嘉学派，纷纷著文、著书，反对黑白点《河图》，认为其非《尚书》、《周易》中所说之《河图》。其中最著名者有黄宗羲的《易学象数论》，黄宗炎的《图学辨惑》，毛奇龄的《河洛原舛编》，胡渭的《易图明辨》等。黄宗羲说：“谓之《图》者，山川险易，南北高深，如后世之图经是也；谓之《书》者，风土刚柔，户口隘塞，如夏之《禹贡》、周之职方是也。谓之“河洛”者，河洛为天下之中，凡四方所上图书，皆以“河洛”系其名也。
继二黄、毛、胡之外，惠栋（1697-1758）在《易汉学.辨河图洛书》说：“其（指刘等人）说皆与《河图》合。然康成、仲翔未尝指此为《河图》。则造此图，以为伏羲时所出者，妄也！桓君山曰：“河图、洛书俱有兆，然而不可知”。乃知汉以来，并无图、书之象。夫子曰：“河不出图”。东序《河图》，后人安得见之？虽先儒皆信其说，吾不敢附和也。
近贤刘大钧于《关于“图”“书”及今本与帛本卦序之探索》一文中道：“作为铁证的是：考《旧唐书·礼仪志四》‘天宝三年，有术士苏嘉庆上言，请于京东朝日坛东置九富贵神坛……东南曰招摇，正东曰轩辕，东北曰太阴，正南曰天一，中央曰天符，正北曰太一，西南曰摄提，正西曰咸池，西北曰青龙，五为中，戴九履一，左三右七，二四为上，六八为下……．’此一段文字记载，足以做宋人“洛书”乃袭前人“九宫”说而出之铁证，亦一九七七年春，在阜阳县双古堆西汉汝阴侯墓出土的“太乙九宫占盘”在唐时仍有传授的铁证。”刘大钧尽管把《洛书》的出现大大地推前了数百年，但还是没有解决《河图洛书》是否古已有之的问题。