上周,Rentention 和 RB2B 的 CEO,Adam Robinson,在领英(LinkedIn)发帖讲了一个恐怖故事。
2021 年 3 月,在他第一个创业公司即将以一千万美金被收购的两周前,他们的一位工程师不小心删除了整个代码库,而他们
没有备份!!!🙀
事情是这样的(以下从 Adam 的角度,第一人称沉浸式讲述这个故事..):
2021 年 3 月 26 日,寻常的一天。
我起床,跑步,整了点咖啡,启动当天的工作。
上午十点左右,我收到我们的 CTO Tate 的信息。他说:
「坏了,出大事了」
这并未马上使我警觉,因为总有坏事在发生。我问:怎么了?
「Gustavo(化名)删了整个数据库」
我:啊???他做了什么?
「我们的四个节点中有一个坏了,这种情况一直都在发生。我教他们进入亚马逊并『重置』它。问题是在『重置』选项的正下方有一个『停止』节点的选项。他选择了『停止』那个节点,而就在这时,第二个节点也碰巧出了问题。他停止了两个节点。当你停止四节点分布式数据库中的两个节点时,一切都完了」
我:好吧,确实不妙,但我想他也不是故意的。我们有备份的,对吧?
「我们没有。为了省钱,我并不是每天都写一个全新的备份文件,因为我不想存储两个 1TB 的文件。相反,我会用新的备份信息更新旧文件。每天都有两个小时窗口期,期间如果代码库被删除,我们就没有备份」
我终于开始咀嚼我听到的信息……我开始心跳加速、手心冒汗……
时间线:
10:00 -- 发现情况
10:02 -- 打给合伙人 James,我们都慌了
10:15 -- 打给亚马逊,他们没办法。让他们找高层,就说几百万美元等着
10:30 -- 跟亚马逊高层谈,他们也没办法
10:32 -- Tate 尝试联系备份公司
11:00 -- 收购方联系我们:「你们的网站瘫痪几个小时了,怎么回事?」
11:30 -- 备份公司大骂 Tate 的无备份窗口期并表示没办法
11:45 -- Tate 解释说,我们将在两周(两周!)内,以一千万卖出这款产品,并以一位实际制造了该产品的资深工程师的身份,终于说服他们看看是否有办法挖掘出文件。他们以前从未做过这种事,毫无头绪,估计成功率只有 20%。
-- 次日 --
00:00 -- 我去了我朋友 Brad(一位风险投资人)的家。他说他从事技术工作 30 年,从没听过这种事,Tade 肯定有阴谋。我说不可能,他有 25% 的股份。
00:30 -- 去我朋友 Lou 的家。他在 Vista 工作 11 年,也没听过这种事。他也认为这是一种恶意攻击,也许是开发者所为?
01:00 -- 发现朋友们也没办法,我拖着六磅重的狗,在 Austin 散步。
我一直走到晚上八点,茶饭不思。
我打给银行,告诉他们交易取消了,我们没有网站可出售,然后不得不解释这件荒谬的事。
我个人原本将在两周内获得 400 万美元,而我当时几乎没有储蓄。
我打算还清抵押贷款,买一辆新卡车和一艘船,因为我刚在 Lake Austin 找到一个船位。税后,我还打算存 150 万美元,投入股票市场。
我都做了什么..
最明智的策略是接受最有可能且最坏的情况。如果惊喜出现,那太好了。如果没有,我已经在疗伤的路上了。
我在 Austin 走了八个小时。我一次次告诉自己:
「不过是钱而已。你未来能赚的远不止这点。」
很恐怖的故事……好在,是 Happy Ending。
原帖附了一个视频,讲了完整的故事。11 小时后,他们找到一个文件夹,它看起来基本是完整的,里面储存了 90% 以上的数据。
惊魂未定,Adam 感叹,世界如此脆弱,什么都可能在弹指间完全消失……
比如你的数据库。
🫵
GUI / GitOps / API: 用 Bytebase 实现 SQL 审核
Bytebase 签约交银施罗德,规范化数据库变更,确保上下游 schema 一致