Der größte Teil der Bergkette liegt im Los Padres National Forest, die nördlichen Abhänge gehören zum abgelegenen Naturschutzgebiet San Rafael National Wilderness Area.[1] Die Berge sind steil und zerklüftet. Die unteren Abhänge sind mit undurchdringlichem Chaparall bedeckt. In den höhergelegenen Gebieten wachsen Koniferen.[2] Auf den Berggipfeln ist oberhalb von 1.800 Metern im Winter mit Schneefällen zu rechnen, ansonsten herrscht in den San Rafael Mountains ein mediterranes Klima mit warmen, trockenen Sommern und milden, regnerischen Wintern.
Im Südwesten der Bergkette liegt der Zaca Lake, der einzige natürliche See im Santa Barbara County.[3]
Die San Rafael Mountains wurden erstmals von Indianern vom Stamme der Chumash besiedelt. Von ihren Gebräuchen zeugt die Felsmalerei in abgelegenen Gebieten der Bergkette.[4] In früheren Jahrhunderten wurde im südlichen Teil der Bergkette Quecksilber abgebaut.[5] Aufgrund der inzwischen bekannten Gesundheitsgefahren des giftigen Schwermetalls versuchen Umweltschützer gegenwärtig zu ergründen, ob eine Sanierung erforderlich und machbar ist.