Die Geschichte der Bachritter fällt vollständig mit der Herrschaft deren von Pflummeren (Pflummern) zusammen.
Das obige, seit dem 17. Jahrhundert geführte Wappen der Herren von Pflummern ist ein roter Schild, darinnen drei weiße bzw. silberfarbene "Wolfs-Seges" mit dem Ring nach unten. (Die Doppelhaken wurden zur Wolfsjagd verwendet, indem man den Halbbogen befestigte und in den Ring eine Kette mit einem Haken, an dem ein Köder angebracht wurde, einhing.) Für ihre kriegerische Tüchtigkeit erhielten die Herren von Pflummern die Erlaubnis, Hahnenfedern auf ihrem Wappen zu führen. Was Sinn macht, wurden doch die Pflummerer wegen ihres vielen Geflügels (Plumis-Feder) in alten Dokumenten auch "Pflumare" genannt.
Die Geschichte der Bachritter ist wohl in enger Einheit mit der Genealogie der Herren von Pflummern aber auch mit den Herrschaftsverhältnissen in Kanzach zu beschreiben.
Urkundlich werden vom 12.-14 Jahrhundert mehrfach "Herren von Kanzach" erwähnt.
Zuerst sind es Bernardus und sein Sohn Ortolfus, die 1169 und 1171 als Zeugen in Urkunden Bischof Ottos von Konstanz und Herzog Heinrichs von Bayern und Sachsen für das Kloster Salem genannt werden. Mit der nächsten Erwähnung 1227 ist der Kanzacher Ortsadel vermutlich nach Pflummern verzogen. Kanzach ist in der Folge Filiale der Pflummer'schen Stammburg.
In der Urkunde von 1227 sind Bilgerinum de Pphlumnar und sein Sohn Ortolfum de Cantza als Zeugen benannt. Bilgerinum (vulgo) Peregrinus, der Ritter von und zu Pflummern (aus der Chronik der Herren zu Pflummern, Aloys von Pflummern 1795) gilt als Stammvater der Herren zu Pflummern. Dieser Rittersitz war vom damaligen schwäbischen Herzog Berchthold, der seinen Sitz auf dem Bussen hatte, dem Kloster Reichenau verstiftet.
Später wurde er davon entledigt und erhielt eigenen Adel. Peregrinus war 1180 Truchsess bei Kaiser Philipp, dem Herzog von Schwaben. Peregrinus gilt als Mitstifter der Klöster Salem, St. Gallen und Heiligkreuztal (Aufgeschrieben von Pater Bucelini, einem bekannten Historiker und Benediktinermönch der Abtei Weingarten). Nach dem Tode seines Vaters (1227) wurde sein Sohn Ortolph ebenfalls Truchsess (bei Kaiser Friedrich II.).
Ortolph wird in der Pflummer'schen Chronik als Ritter und Herr zue Canzach beschrieben. Fortan führen die Herren zu Kanzach den Beinamen "Bachritter". Spätestens jetzt stellt sich die Frage nach einer Kanzacher "Residenz". Wahrscheinlich gab es bereits im 12. Jahrhundert eine Kanzacher Stammburg. Zumindest der spätere Ortolph, der Sohn von Perigrinus, dürfte die Bachritterburg auf dem "Schlößlesberg" (links diese Motte) bewohnt haben. Er war also der erste Bachritter, wahrscheinlich auch erster Burgherr auf der Bachritterburg in Kanzach. Gestorben ist Ortolph im Jahr 1248. Der Bau der Bachritterburg fällt mit seiner Lebensendphase zusammen. Ob er die Fertigstellung erlebt hat, wissen wir nicht.
Ortolph hatte zwei Söhne, Petrus und Bertholdus. Petrus wurde Abt in Zwiefalten, Bertholdus ist 1296 als Ritter und Herr zu Kanzach bezeugt. Sein Sohn Conradus beendete die Herrschaft deren von Pflummern in Kanzach mit seinem Tod 1366. Die Bachritterburg wurde sodann mehrfach veräußert (Hornstein, Blankenstein,Höpplin) und 1392 durch Brandschatzung eingeäschert und nicht wieder aufgebaut. Uns wohl nicht gesonnene Buchauer Bürger setzten die Bachritterburg in Brand. Agathe, die Mutter von Blankenstein wurde bei dieser Gewalttat "verbrent und geschadget". Für die Wiederherstellung der Burg hatte Blankenstein wohl nicht die Mittel. Am 17. Oktober 1392 verkaufte er den Burgstall mit Hofstatt, Hof und Zubehör, den Burghof und einige andere Güter an den Saulgauer Bürger Hans Höpplin. So sehr sich Höpplin auch bemühte, er schaffte es nicht, die Burg wieder aufzubauen. Höpplin war vom Kloster Reichenau zunächst belehnt worden. 1442 wurden ihm die Kanzacher Güter, unter anderem "Burgstall und Gesäß", also wohl auch die Ortsherrschaft übereignet. Höpplin verkaufte jedoch sofort nach der Übereignung für 1500 fl an das Stift Buchau weiter. Kanzach gehörte von da an zu Buchau, dadurch von Thurn und Taxis übernommen und 1806 dem Königreich Württemberg einverleibt.
Der Stammsitz in Pflummern wurde 1350 eingeäschert. Die Familie zog sicherheitshalber an den herzoglichen Hof nach Mailand, kehrte aber bereits 1376 wieder zurück. Der Pflummer'sche Adel ließ sich jetzt als Patrizier an den Orten Biberach, Kempten, Überlingen und Augsburg nieder. In Biberach und Überlingen fungierten sie über mehrere Generationen als Schultheißen. Der Pflummer'sche Adel lässt sich bis ins 19. Jahrhundert nachweisen. Die abgebrannte Burg wurde von anderer Herrschaft wieder aufgebaut und 1603 vom Herzog von Württemberg übernommen. Das weitere Schicksal der Burg ist nicht bekannt.