Se situa a la riba dreta del Daró, que travessa el terme en direcció nord-sud al seu sector occidental. Al damunt d'una suau elevació, es va edificar amb una estructura clarament medieval. Ullastret muralles molt ben conservades encerclen un petit nucli de carrers estrets i costeruts que desemboquen en una esplanada on es creu que hi havia el recinte sobirà d'un castell actualment desaparegut. Davant de la part nord de la muralla es conserva una llotja o plaça gòtica coberta amb bigues de fusta sostingudes per dos arcs apuntats.