Già dal suo nome "Al Fattore", un tempo figura che rappresentava la proprietà nel coordinare e dirigere l'attività delle grandi aziende agricole, si possono comprendere le origini di questo locale, legate al mondo contadino e agli scambi commerciali dei prodotti della terra.

L'edifico era sede di una delle più antiche cantine di vini del "Lugana", le "Cantine Visconti".