Gelangt man auf den Andreasplatz, so fallen rote Pflastersteine auf dem Boden auf, die den Grundriss der ehemaligen Andreaskapelle markieren. Die Kapelle St. Andreas, wie sie auch genannt wird und die erstmals im Jahre 1241 offiziell erwähnt ist, wurde in der zweiten Hälfte des 11. Jahrhunderts erbaut. Wahrscheinlich erfolgte der Bau während der Besiedelung dieses Stadtteils. Den Bischöfen als Gründer stand das kirchenrechtliche Kollaturrecht zu. Obschon stets als Kapelle bezeichnet, muss die Andreaskapelle über die Rechte einer Pfarrkirche verfügt haben, da sie über einen Kirchhof und einen Glockenturm verfügte. Zudem war sie wirtschaftlich selbstständig, d.h. sie besass eigenes Vermögen.
Der Namensgeber der Kapelle und folglich auch des Platzes, der Heilige Andreas, war der Bruder von Simon Petrus. Wie dieser war er von Beruf Fischer am See Genezareth. Nachdem er zuerst ein Jünger von Johannes dem Täufer war, folgte er später Christus und gehörte dem Kreis der 12 Jünger an. Nach dem Tod von Christus verkündete er als Apostel den christlichen Glauben und reiste dazu bis nach Griechenland. Nachdem er die Frau des Statthalters von Patras geheilt, bekehrt und zu ehelicher Enthaltsamkeit angehalten hatte, wurde er auf Geheiss des Statthalters gekreuzigt. Dies erfolgte an einem Kreuz mit schrägen Balken in der Form eines X, dem sogenannten Andreaskreuz. 1466 erhielt die Andreaskapelle eine Reliquie dieses Kreuzes als Spende.
Die Andreaskapelle lag im Quartier der Krämer und Gewürzhändler. Dies erkennt man heute noch an der Namensgebung der Gassen rund um den Andreasplatz, wie das Imbergässlein (Ingwergässlein) und das Pfeffergässlein. Die heutige Schneidergasse hiess damals Krämergasse. Die Kapelle St. Andreas stand in enger Beziehung zu den Krämern, die hier ansässig waren. Im Mittelalter war deshalb wohl auch das Gesellschaftshaus der heutigen Safranzunft, die früher „Krämerzunft“ hiess, neben dem Andreasplatz im Imbergässlein beheimatet. Im Jahr 1423 bezog die Zunft dann den jetzigen Standort an der Gerbergasse.
1296 übergab Bischof Peter Reich die Andreaskapelle an den Petersstift, die Kirche der Kaufleute und der Burgergeschlechter, die in finanzielle Probleme geraten war. Bischof Gerhard von Wippingen bestätigte diese Vereinigung im Jahr 1323. Obwohl somit für die Andreaskapelle „völlig abhängig vom Stift alles war“, liessen die um die Kapelle ansässigen Krämerfamilien ihr weiterhin direkt finanzielle Mittel zukommen. Bei diesen Zuwendungen handelte es sich um Opfer, Vergabungen (Schenkungen) und Jahrzeiten.
Eine dieser Zuwendungen war für die Zukunft der Andreaskapelle besonders ausschlaggebend. Im Jahr 1378 stiftete Mechthild, die Witwe des Krämers Hugo von Sarburg, der Kapelle eine Kaplaneipfründe, d.h. ein mit Einkünften verbundenes Kirchenamt, und eine ewige Messe. Der Vorstand der Krämerzunft zu Safran erhielt von ihr das Kollaturrecht für diese Pfründe.
Dieses Recht erweiterte sich in der Folge rasch und die Andreaskapelle wurde zu „einer der Safranzunft vorbehaltenen Kapelle“. Was fortan der Andreaskapelle gespendet wurde, ging an die Safranzunft, welche im Gegenzug für den Unterhalt des Gebäudes verantwortlich war:
„Keine Kirche der Stadt zeigte so einheitlich und stark wie St. Andreas eine ganz bestimmte Bildung und Devotion. Mitten im Schmutz, Lärm und Geschäftstreiben dieser Gassen gelegen, sammelte die Kapelle deren Bewohner zur feierlichen Ruhe der Gottesdienste oder erschien ihnen, wenn sie in der Ferne und Fremde ihrem Handel nachfuhren als das Köstlichste der Heimat, als eine heilige Schatzkammer, in der sie zurückkehrend alle glänzenden Güter der Welt, Prunkstücke und Reliquien mit Stolz niederlegten“.
Somit flossen zahlreiche Spenden aus dem Kreis der Zunftmitglieder an St. Andreas. Sie bestanden nicht nur aus Geld, sondern auch aus zahlreiche Kunstgegenständen, Kirchenzierden und Reliquien.
Mitglieder der Genossenschaft der Krämer bildeten eine Laienbruderschaft, die St. Andreas-Bruderschaft. Sie war die bedeutendste Laienbruderschaft von den mehr als dreissig Laienbruderschaften, die es im mittelalterlichen Basel gab. Sie war auch die einzige, die über ein eigenes Gotteshaus verfügte. Die St. Andreas-Bruderschaft kümmerte sich um die kirchlichen Handlungen in der Kapelle, die Sorge für die Armen und Kranken sowie die Begräbnisse auf dem Friedhof der Andreaskapelle. Der Friedhof wurde 1359 erstmals urkundlich erwähnt und aus einem Verzeichnis der Basler Begräbnisorte erfährt man, dass er 1450 noch belegt wurde.
1486 änderte sich die Situation für die Andreaskapelle grundlegend. Bei der Sichtung alter Rechtstitel stiessen die Chorherren zu St. Peter auf den alten Inkorporationsbrief. Gestützt auf diesen Brief wandte sich der Probst „in aller früntlichkeit“ an die Safranzunft mit der Botschaft, dass die Andreaskapelle Eigentum der Peterskirche sei. Die Forderung war unter anderem, dass sämtliche Opfergelder der Andreaskapelle dem St. Peter zukommen müssen. Nach langwierigen Verhandlungen wurde ein Vertrag unterzeichnet, der die Andreaskapelle wieder unter die überwiegende Kontrolle von St. Peter stellte. Weiter sah der Vertrag vor, dass die Opfergelder dem Stift und dem Peterskirchbau zugeführt werden. Durch diese Regelung und weiteren Beschränkungen betreffend Stiftungen „fand die lebensvolle kirchliche Sonderentwicklung zu St. Andreas hier ihren Abschluss“. Es gab keine weitere Bautätigkeit und auch keinen neuen Kapellenschmuck mehr.
Nach der Reformation stand die Kapelle zunächst lange Zeit leer und wurde danach, wie viele andere Gotteshäuser, als Lager genutzt. Die Mieteinnahmen flossen der Safranzunft zu, die die Kapelle vorwiegend an Krämer vermietete, die Zunftmitglieder waren. Unter anderem wurden Öl, Schwefel, Harz, Branntwein und ähnliche leicht brennbare Materialien gelagert.
Aufgrund der beengten Platzverhältnisse rund um die Kapelle, war die Angst vor einer Feuersbrunst stets präsent. Der Platzeingang war im 18. Jahrhundert derart schmal, „dass zwei Personen mit zwei Körben nicht aneinander vorbeikommen konnten“. Deshalb ersuchten die Anwohner der Schneidergasse und des Andreasplatzes 1718 den Rat um die „Wegschaffung der Andreaskirche“. Die Krämer der Safranzunft wollten jedoch nicht auf ihr Warenlager verzichten, weshalb ein 70 Jahre dauernder Streit entbrannte.
Aufgrund einer Bürgerpetition wurde die Kapelle schliesslich 1792 abgebrochen. In dieser Petition hiess es, der Platz sei so eng, „dass man mit keiner Feuerspritzen dahien kommen, noch dieselben allda kehren und wenden und Leyteren stellen“ könne. Die Safranzunft wurde mit von den Anwohnern gesammeltem Geld sowie einem Zuschuss der Stadt entschädigt.
Der Abbruch der Kapelle machte den Platz frei für den „Andresemärt“, den Geflügel- und Wildbretmarkt.