Και οι δύο γονείς του (Richard και Judy) προήλθαν από την Ταϊβάν. Ο Tony γεννήθηκε στο Ιλλινόις και μεγάλωσε στην περιοχή του κόλπου του Σαν Φρανσίσκο της Καλιφόρνιας. Έχει δύο νεώτερους αδελφούς, τον Andy και τον Daved.

Το 1995, αποφοίτησε από το Πανεπιστήμιο του Χάρβαρντ με πτυχίο στην επιστήμη των υπολογιστών, αργότερα θα γίνει ο CFO της Zappos. Μετά από το κολλέγιο, εργάστηκε για την Oracle Corporation. Μετά από πέντε μήνες, δυσαρεστημένος με το επιχειρηματικό περιβάλλον της Oracle’έφυγε και συν – ίδρυσε την -LinkExchange με την Sanjay Madan, μια φίλη του από το κολλέγιο, και  πρώην εργαζόμενη στην Oracle.