Το κτήριο του μουσείου ανεγέρθηκε το 1904 από την εβραϊκή κοινότητα Θεσσαλονίκης . Ονομάστηκε τότε «Τζεντίντ Χάνι» (Νέο Κτήριο). Ήταν μία από τις τυπικές εμπορικές στοές που χτίστηκαν από το 1880 ως το 1910 στο κέντρο της Θεσσαλονίκης για να στεγάσουν νέες επιχειρηματικές λειτουργίες. Στο κτήριο αυτό, στεγάστηκαν κατά καιρούς σημαντικές επιχειρήσεις, όπως επί παραδείγματι η Τράπεζα Αθηνών (1906-1925) και η εφημερίδα L’Independent (1909-1941).
Είναι ένα από τα λίγα οικοδομήματα του κέντρου της Θεσσαλονίκης που επιβίωσαν από τη μεγάλη πυρκαγιά του 1917 και τις διαδικασίες ανοικοδόμησης που επακολούθησαν.
Χρησιμοποιήθηκε ως εμπορικό κτήριο μέχρι το 1997. Για τη διασκευή τμήματος του κτηρίου σε μουσείο απαιτήθηκαν εκτεταμένες εργασίες. Το μουσείο άνοιξε το 2001. Το 2010 προστέθηκε η αίθουσα «Ανδρέας Σεφιχά» στην ανατολική πλευρά του «Τζεντίντ Χάνι». Το 2019 πραγματοποιήθηκε επέκταση του μουσείου στην κεντρική πτέρυγα.
Για την ανακαίνιση του κτηρίου, την ίδρυση, επέκταση και λειτουργία του μουσείου συνέβαλαν πολλοί δωρητές, οικογένειες και επιχειρήσεις, τα ονόματα των οποίων είναι καταγεγραμμένα σε επιγραφή αναρτημένη στην είσοδο του κτηρίου.
Οι αίθουσες του Μουσείου
Ο κύριος εκθεσιακός χώρος του μουσείου εκτείνεται σε τρία επίπεδα και σε τρεις πτέρυγες.
Το ισόγειο είναι αφιερωμένο στο παλιό εβραϊκό νεκροταφείο της Θεσσαλονίκης το οποίο ως το 1942-43απλωνόταν στο χώρο που σήμερα καταλαμβάνει το Πανεπιστήμιο, οπότε και κατεδαφίστηκε από τους Γερμανούς και τους εγχώριους συνεργάτες τους. Παρουσιάζονται ταφόπλακες και επιτύμβιες στήλες από το νεκροταφείο αυτό.
Αριστερά από την αίθουσα με τα μαρμάρινα μέλη, είναι η πτέρυγα Αντρέα Σεφιχά, επί της προεδρίας του οποίου ιδρύθηκε το μουσείο. Στο ισόγειό της βρίσκεται η Αίθουσα των Θυμάτων του Ολοκαυτώματος, με 27.000 ονόματα πιστοποιημένων θυμάτων, μετά από τριακονταετή έρευνα του Χάινς Κούνιο, επιβιώσαντα του Άουσβιτς (https://research.jmth.gr/index.php?MDL=pages&Alias=MENU_30_10).
Στον άνω όροφο, υπό την αιγίδα του Ιδρύματος Simon Marks παρουσιάζεται διαρκής έκθεση, που περιλαμβάνει στοιχεία για την ιστορία του εβραϊσμού στη Θεσσαλονίκη από τον 1ο αιώνα ΚΠ μέχρι τις μέρες μας. Λειτουργούν ακόμη, αίθουσες που παρουσιάζουν τις 28 εβραϊκές κοινότητες που κατέφυγαν στη Θεσσαλονίκη από το 1498 και στη διάρκεια του 16ου αιώνα, την κοινωνική ζωή, το λατρευτικό και οικογενειακό βίο, καθώς και τη διαδικασία εκτοπισμού κατά το Ολοκαύτωμα.
Στην νέα πτέρυγα (2019) έχει αναπτυχθεί η επέκταση της μόνιμης έκθεσης «Simon Marks» και έχουν δημιουργηθεί η «Αίθουσα Εβραϊκής Παιδικής Ηλικίας» και το 2022 η Αίθουσα «Άγνωστοι Μουσικοί Θησαυροί των Ελλήνων Εβραίων». Επίσης, στην νέα πτέρυγα μεταφέρθηκε το εκδοτήριο και το πωλητήριο του Μουσείου.
Τμήματα του Μουσείου
Ισόγειο: Το παλαιό εβραϊκό νεκροταφείο
Ισόγειο: Θύματα Ολοκαυτώματος
Κεντρική σκάλα: Επαύλεις
Άνω όροφος, αριστερός διάδρομος: Αρχαιότητα - Βυζάντιο
Άνω όροφος, αριστερός διάδρομος: Οθωμανική περίοδος
Άνω όροφος, αριστερή αίθουσα: Εικοστός αιώνας
Δεξιός διάδρομος: Φιλανθρωπικά ιδρύματα
Δεξιός διάδρομος: Προσωπικότητες
Πρώτο δωμάτιο δεξιά: Οι πρώτες εβραϊκές κοινότητες (kehilot)
Πρώτο δωμάτιο: Σιωνισμός παιδεία
Δεύτερο δωμάτιο: Θρησκεία
Τρίτο δωμάτιο: Γάμος και σπίτι
Τέταρτο δωμάτιο: Ολοκαύτωμα
Διάδρομος Βιβλιοθήκης: Μετά το Ολοκαύτωμα
Βιβλιοθήκη, αίθουσα συνεδριάσεων
Πτέρυγα Ανδρέα Σεφιχά, ισόγειο: Τα ονόματα των θυμάτων
Νέα Πτέρυγα, μεσόροφος: «Άγνωστοι Μουσικοί Θησαυροί των Ελλήνων Εβραίων»
Nέα Πτέρυγα, υπόγειο: «Αίθουσα Εβραϊκής Παιδικής Ηλικίας»