最初，忆家人只有忆离和忆絮，两个人分别写着自己的小说，各自沉迷在自己的小说世界里。后来，由于某些客观+主观的原因，忆离和忆絮的关系开始慢慢好起来，两人偶尔也会坐在一起讨论小说，互相剧透。当时因为忆澄还没有开始写小说，所以忆离和忆絮还没有组成小组，只是单纯的喊一句“partner”。
    再过了没多久，忆澄也加入了这两个疯子的行列中去，开始了写文的生活。在忆澄决定了她的笔名之后，忆家人才发现，他们的名字的第一个字都是“忆”，于是就想到了组成一个小组，是专属于忆离、忆絮、忆澄三人的。最初，他们想了N个名字，不过最终都以太捞而pass掉了。后来只能根据“忆”字组词，回忆、失忆、思忆、拾忆……好吧，虽然有些是灰常滴离谱，但是，最后，三人还是决定了——悸忆组合。“悸”取自于忆絮的《悸忆、夏》，而“忆”取自于忆离的忆，也可以说是失忆的忆，因为忆离有一段时间曾消极地想过如果能失忆该多好……这个就留下以后再讲吧！
    就这样，忆离、忆絮和忆澄三人共同组建了一个小说组合，好吧必须得承认，这名字有点……捞……忆离继续沉醉于自己的《麒麟、羽翼》，并开始多网站发展；忆絮仍然致力于自己的《悸忆、夏》，在连城首先突破10000点击率；而忆澄嘛……说是更文，但又没更多少，说没更吧，但又确实码字了，真拿这澄子没办法……
    一年后，忆澄不知在哪里拉了一个高级……不，是超级腐女进来，还没进来啦，只是与忆离和忆絮开始熟悉起来。这位超级腐女画画水平还不错，至起码忆离是永远也不会画出这么有创意的画了……【boss曰：老四，这是褒，不是贬啊，贬的是偶啊！老四曰：偶知道-_-||】再后来，这个超级腐女在某一天突然在微博上发布说她要写小说，于是乎，忆家人都灰常地欢迎她加入……虽然也有过劝阻，但也罢了，多一个人加入忆家人也好。然后，她的笔名从此确定——忆弦，还是老大忆絮起的。
    老四忆弦加入了之后，boss忆离开始觉得悸忆组合已经不能满足这四个人了（貌似有点颜色啊，这句话……）然后，忆离决定把悸忆改为记忆，名曰记忆组合。但是忆絮却认为，组合这两字儿太捞了，又把组合改为组织，从此以后，悸忆组合正式改名为记忆组织。
    现在，记忆组织有四人：boss忆离，老大忆絮，老三忆澄，老四忆弦。至于为什么木有老二，这不明摆着嘛，谁会那么二啊！