Der Kraichgau als alte Senkungszone ist geologisch wesentlich älter als die Rheinebene. Die tiefste Absenkung fand in seinem Zentrum statt, bevor der Grabenbruch der Rheinebene die Senke zerteilte. Spätere Erosion führte zu einem "zwiebelschaligen" Erscheinungsbild des Kraichgaus. Die Schichten im Landkreis fallen ab Durlach nach Norden hin ab, der "tiefste Punkt" liegt in der Jurasenke bei Mingolsheim.
Der Muschelkalk tritt von Grötzingen bis Bruchsal zutage, das Band zieht sich dann in den zentralen Kraichgau in Richtung Bretten. Durch Störungen kommt bei Gochsheim noch eine isolierte Muschelkalk-Insel an die Oberfläche, auch in den Vorbergen des Nordschwarzwalds liegen inselartige Restvorkommen. Der Muschelkalk ist vergleichsweise hart, daher sind die Randhügel zur Rheinebene hin steil und die Täler mit steilen Flanken eingeschnitten.
Am westlichen Kraichgau ist der Löß stellenweise vollständig erodiert, das unterliegende Gestein tritt an die Oberfläche. Hier macht Ackerbau wenig Sinn, es findet sich verbreitet Weinbau.
Der Keuper dominiert im nordöstlichen Landkreis. Unterer und oberer Keuper bilden vergleichsweise dünne Schichten, während der dreigeteilte Mittlere Keuper mächtige Sandsteinlagen bildet, die bei Odenheim früher als Grundlage einer florierenden Steinindustrie dienten. Alle Keuperschichten sind weicher als der Muschelkalk, die Hügelflanken sind daher wesentlich sanfter und von Lößschichten bis zu 15 Meter Dicke bedeckt. Wo der Löss dennoch vollständig erodiert ist und die roten, stark eisenhaltigen Keuper-Verwitterungsböden an die Oberfläche treten, findet sich ebenfalls Weinbau (so bei Tiefenbach am Eichelberg-Massiv). Keuperhänge zur Rheinebene hin (von Bruchsal bis Ubstadt) sind flach und tragen nur wenige Trockenrasen, dafür ausgedehnte Obstwiesen.
Der Jura kommt nur von Stettfeld bis Wiesloch in einer kleinen Zone am westlichen Kraichgaurand vor, der "Jurasenke". Die Schichten des weichen Gesteins sind stark erodiert, die Hügel steigen nur sehr sanft von der Rheinebene aus an und sind von ausgedehnten Wiesen, Obstwiesen und feuchten Laubwäldern bedeckt.
Im Nordschwarzwald und seiner Nordabdachung von Grötzingen an südwärts dominiert dagegen der unter dem Muschelkalk liegende Buntsandstein mit kalkarmen, eher sauren Biotopen.
Hier herrschen kilometerdicke, pleistozäne Sand- und Schotterschichten vor, die den Grabenbruch der Rheinebene auffüllen. In den letzten Eiszeiten wurde das feinteiligste Material in den Kraichgau geweht und dort als Löss abgelagert. In der Rheinebene selbst bildeten sich offene Sanddünen, die im südlichen Rhein-Neckar-Kreis bis heute Sanddünen-Vegetation tragen. Die pleistozänen Sande und Dünen der Rheinebene sind merklich kalkhaltig, während sich auf sekundär abgelagertem Schwemmmaterial, in der "Kinzig-Murg-Rinne" und im Rhein-Tiefgestade oberflächlich versauerte Biotope und Flachmoore bilden konnten.