上海出现的第一家外资银行是丽如银行（Oriental Banking Corporation，又称东方银行、东亚银行），开设于1847年，它进入中国后就开始发行钞票，流通于上海、江浙一带。随后，外国银行相继进入，上海渐渐成为远东最重要的金融重镇。到1890年前后，沿外滩一带，已经集中了众多外国银行，黄浦滩12号为英资汇丰银行，14号为德资德华银行，15号为华俄道胜银行，18号为英资麦加利（又称渣打）银行，31号为日资横滨正金银行，其他还有英资有利银行、法资东方汇理银行等等。它们在相当长的时间里控制了中国金融的命脉。
在这些外资银行中，以汇丰银行最为显赫。1865年，汇丰成立于香港，在英资银行中，它的规模并不大，然而，它从一开始就只关心在中国的利益，所有活动都是围绕着中国开展的，所以成了最重要的在华外资金融机构，时人称，“盖吾国关税之收入，必解至汇丰，故汇丰操纵金融之势力尤伟。”它长期控制中国对外汇率，一直到1935年，汇丰每日的外汇牌价仍被视为上海市场的正式牌价。在汇丰的壮大过程中，东山席家的功劳最为突出，从1874年起，席氏祖孙三人——席正甫、席立功、席鹿笙——世袭汇丰大买办的位置前后长达55年，这是一项十分惊人的记录。
席正甫只在老家东山乡下读过几年私塾，他之崛起全因头脑机灵，善于经略中洋和官商关系。便是在促成李鸿章的200万元盐税担保借款的当年，他就被提升为大买办，从此，汇丰等外资银行代替已显颓势的山西票商成为了朝廷的金融合作伙伴。席正甫跟上海道台袁树勋是换过贴的结拜兄弟，这让汇丰在上海官场有了特别的优势。当时，朝廷最炙手可热的两个汉臣是李鸿章和左宗棠，两人关系一向恶劣，席正甫却跟他们、以及他们的“钱袋子”盛宣怀和胡雪岩都保持了很不错的交往。在李鸿章的保举下，他还被授予二品衔红顶花翎。正是在席正甫的居中斡旋下，汇丰银行先后经理了沪宁、广九、沪杭甬、津浦、京奉、湖广、浦信等主要铁路干线的贷款，其获利之厚非常惊人。
席正甫为人极其低调，很少参加社会公共活动，即便是东山同乡的联谊也极少参与，马学强在《江南席家》一书中称，他查阅了当年东山同乡会的活动记录，很少看到有关席正甫的记载，仅在光绪九年（1883年）重建静安寺的时候有过一次捐款。这个隐身在幕后的人，数十年中默默编织了一张庞大的家族网络，在上海的外资银行界逐一渗透，形成了一股可怕的席家势力。
除了子孙繁茂之外，席家还与当时上海的一些望族结成了“姻娅联盟”，如席家与另外一个买办世家沈家的关系就盘根错节，不但男女婚姻频繁，甚至席正甫的一个同父异母弟弟席素恒还过继给沈家，改名沈吉成。沈氏三代在沙逊洋行担任大买办长达35年。在十九世纪末期，沙逊与汇丰、太古和英美烟草号称英资在中国的四大垄断集团，席家与沈家的结姻让汇丰与沙逊在业务上互通有无，更加的强势霸道。
进入民国时期，席家与党国显要的关系也是十分复杂亲密。席正甫的孙子席德柄是宋子文的美国大学同学，还有一个孙子席德懋则把女儿嫁给了宋的弟弟宋子良。这使得汇丰在清廷灭亡之后，仍然能够与民国政府保持密切的关系。席氏子弟曾当过中国银行的官股董事、总经理、国际货币基金会中国代表，还出任中央造纸厂的厂长。
因为几辈人在银行界行走，使得席家子弟在金融专业上的能力独步天下。很多年后，席家后人席与棠回忆小时候看到父辈工作时的景象：“他的办公室特别大，里面有一张很大的办公桌，我从来没有见过那么大的桌子。桌上有20几部电话，还有电传，这是我第一次见到电传。电话不停地打进来，他两只手拿着两三个电话，一会儿对着这个说中文，一会儿对着那个说英文。他还有5个助手，他们的英文也是非常过硬的……当时国际主要货币不是美元，是英镑，英国和上海的时差是6个小时，所以，他们炒卖外汇还不用熬夜。”
席与棠还回忆了一段席家子弟与宋子文的一段轶事：一次，中国银行行长、“国舅”宋子文到中行上海分行副行长、汇兑经理席颂平的办公室，听到席在抛出英镑，他就大声疾呼：“给我买进，买进。”因为他来是为了某项进口贸易需要英镑支付，数额较大。席当即挂断电话，问清了要多少英镑，哪一天要，答应及时筹措，绝不耽误，接着，他拿起电话，继续自顾自地外抛英镑。宋子文走出席颂平的办公室，转身去查了逐年逐月的外汇进出帐，发现几乎每月都是赚的。此后，宋子文对中国银行的外汇职工说，“你们就听席颂平的，谁也不要插嘴，包括行长、副行长。”
1949年之后，席家子弟大多随外资银行退出了大陆，他们投资的地产和实业股份也全数消失。2000年之后，有一种“席家本帮菜”流行于沪上，它的菜肴典雅而偏甜，口味介于中西之间。喜欢它的时尚人士不少，却已很少有人知道它的前生来历了。