±¹³»µµ¼
Àü°øµµ¼/´ëÇб³Àç
°øÇаè¿
ÄÄÇ»ÅÍ°øÇÐ
2013³â 9¿ù 9ÀÏ ÀÌÈÄ ´©Àû¼öÄ¡ÀÔ´Ï´Ù.
Á¤°¡ |
50,000¿ø |
---|
45,000¿ø (10%ÇÒÀÎ)
2,500P (5%Àû¸³)
ÇÒÀÎÇýÅÃ | |
---|---|
Àû¸³ÇýÅà |
|
|
|
Ãß°¡ÇýÅÃ |
|
À̺¥Æ®/±âȹÀü
¿¬°üµµ¼
»óÇ°±Ç
ÀÌ»óÇ°ÀÇ ºÐ·ù
Ã¥¼Ò°³
2019³â ´ëÇѹα¹Çмú¿ø ¿ì¼öÇмúµµ¼ ¼±Á¤µµ¼
½ºÆÄÅ©¸¦ ÀÌ¿ëÇØ µ¥ÀÌÅÍ ºÐ¼® ¹æ¹ýÀ» ¹è¿ì·Á´Â »ç¶÷¿¡°Ô ¸Å¿ì À¯¿ëÇÑ Ã¥ÀÌ´Ù. °¡Àå ¸ÕÀú ½ºÄ®¶ó¸¦ ¼Ò°³ÇÏ°í, ½ºÄ®¶ó ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß¿¡ ÇÊ¿äÇÑ °´Ã¼ÁöÇâ °³³ä°ú ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö °³³äÀ» ¼³¸íÇÑ´Ù. ½ºÆÄÅ©¿¡ ÃÊÁ¡À» ¸ÂÃç RDD¿Í µ¥ÀÌÅÍ ÇÁ·¹ÀÓÀ» »ç¿ëÇÑ ±âº» Ãß»óȸ¦ ´Ù·é´Ù.
±× ´ÙÀ½ ½ºÆÄÅ© SQL, GraphX, ½ºÆÄÅ© ±¸Á¶È ½ºÆ®¸®¹ÖÀ» »ç¿ëÇØ ±¸Á¶ÈµÈ µ¥ÀÌÅÍ¿Í ±¸Á¶ÈµÇÁö ¾ÊÀº µ¥ÀÌÅ͸¦ ºÐ¼®ÇÏ°í ¸ð´ÏÅ͸µ, ¼³Á¤, µð¹ö±ë, Å×½ºÆÃ, ¹èÆ÷¿Í °°Àº °í±Þ ÁÖÁ¦¸¦ »ìÆ캻´Ù. ¶ÇÇÑ SparkR ¹× PySpark API¸¦ »ç¿ëÇÑ ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ÇÀ» °³¹ßÇÏ´Â ¹æ¹ý, ¾ÆÆÄÄ¡ Á¦Çø°(Zeppelin)À» »ç¿ëÇÑ ´ëÈ½Ä µ¥ÀÌÅÍ ºÐ¼®, Alluxio¸¦ ÇÔ²² »ç¿ëÇØ Àθ޸𸮠µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â ¹æ¹ýÀ» ´Ù·é´Ù.
ÀÌ Ã¥À» ´Ù »ìÆ캻 ÈÄ, ½ºÆÄÅ©¸¦ ¿Ïº®ÇÏ°Ô ÀÌÇØÇÏ°í Ç® ½ºÅà µ¥ÀÌÅÍ ºÐ¼®À» ¼öÇàÇÒ ¼ö ÀÖÀ» °ÍÀÌ´Ù. ÀÌ Ã¥Àº ÃֽŠ2.3.2 ¹öÀüÀ» ±âÁØÀ¸·Î ÀÛ¼ºµÆ´Ù. ±âÁ¸ÀÇ ¿ø¼¿¡¼ Á¦°øÇÏ´Â ÄÚµåÀÇ ¿ÀŸ¿Í ȣȯ¼ºÀ» ¼öÁ¤ÇÑ ¿Å±äÀÌÀÇ github ÀúÀå¼Ò¸¦ Á¦°øÇÑ´Ù.
¡á ½ºÄ®¶óÀÇ °´Ã¼ÁöÇâ °³³ä°ú ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö °³³ä ÀÌÇØ
¡á ½ºÄ®¶ó Ä÷º¼Ç API ÀÌÇØ
¡á ½ºÆÄÅ©ÀÇ ÇÙ½É Ãß»óȸ¦ ¾Ë±â À§ÇØ RDD¿Í µ¥ÀÌÅÍ ÇÁ·¹ÀÓÀ¸·Î ÀÛ¾÷Çϱâ
¡á ½ºÆÄÅ© SQL°ú GraphX¸¦ »ç¿ëÇØ ±¸Á¶ µ¥ÀÌÅÍ¿Í ±¸Á¶ÈµÇÁö ¾ÊÀº µ¥ÀÌÅÍ ºÐ¼®
¡á ½ºÆÄÅ© ±¸Á¶È ½ºÆ®¸®¹ÖÀ» »ç¿ëÇØ È®Àå °¡´ÉÇÏ°í ³»°áÇÔ¼º ÀÖ´Â ½ºÆ®¸®¹Ö ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß
¡á ½ºÆÄÅ© MLlib°ú ½ºÆÄÅ© ML¿¡¼ ¸¹ÀÌ »ç¿ëµÇ´Â ¾Ë°í¸®ÁòÀ¸·Î ¿¹Ãø ¸ðµ¨À» ±¸ÃàÇÒ ¼ö ÀÖ´Â ºÐ·ù, ȸ±Í ºÐ¼®, Â÷¿ø °¨¼Ò, Ãßõ ½Ã½ºÅÛ°ú °°Àº ¸Ó½Å ·¯´× ¸ð¹ü »ç·Ê
¡á ¹æ´ëÇÑ ¾çÀÇ µ¥ÀÌÅ͸¦ Ŭ·¯½ºÅ͸µÇϴ Ŭ·¯½ºÅ͸µ ¸ðµ¨ ±¸Ãà
¡á ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç Æ©´×, µð¹ö±ë, ¸ð´ÏÅ͸µ ÀÌÇØ
¡á ½ÇÁ¦ µ¶¸³Çü(Standalone), ¸Þ¼Ò½º(Mesos), ¾á(YARN), Äí¹ö³×Ƽ½º(Kubernetes) ¸ðµåÀÇ Å¬·¯½ºÅÍ¿¡ ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç ¹èÆ÷
½ºÆÄÅ©¸¦ ÀÌ¿ëÇØ µ¥ÀÌÅÍ ºÐ¼® ¹æ¹ýÀ» ¹è¿ì·Á´Â »ç¶÷¿¡°Ô ¸Å¿ì À¯¿ëÇÑ Ã¥ÀÌ´Ù. ½ºÆÄÅ©³ª ½ºÄ®¶ó¿¡ ´ëÇÑ Áö½ÄÀº ¾ø´õ¶óµµ ÀÌÀü ÇÁ·Î±×·¡¹Ö °æÇè(ƯÈ÷ ´Ù¸¥JVM ¾ð¾î)ÀÌ ÀÖ´Ù¸é ½ºÆÄÅ©³ª ½ºÄ®¶ó¿¡ ´ëÇÑ °³³äÀ» ÀÌÇØÇÏ´Â µ¥ ¸Å¿ì À¯¿ëÇÏ´Ù.
½ºÄ®¶ó´Â Áö³ ¸î ³â µ¿¾È ƯÈ÷ µ¥ÀÌÅÍ °úÇаú ºÐ¼® ºÐ¾ß¿¡¼ ²ÙÁØÈ÷ Áõ°¡ÇÏ°í ÀÖ´Ù. ½ºÆÄÅ©´Â ½ºÄ®¶ó·Î ÀÛ¼ºµÆ°í ºÐ¼® ºÐ¾ß¿¡¼ ³Î¸® »ç¿ëµÇ°í ÀÖ´Ù. ÀÌ Ã¥Àº ºòµ¥ÀÌÅ͸¦ Àß ´Ù·ê ¼ö ÀÖ´Â ½ºÆÄÅ©¸¦ ¼³¸íÇÑ´Ù.
ÃâÆÇ»ç ¼Æò
1Àå, ¡®½ºÄ®¶ó ¼Ò°³¡¯¿¡¼´Â ½ºÆÄÅ©ÀÇ ½ºÄ®¶ó ±â¹Ý API¸¦ »ç¿ëÇØ ºòµ¥ÀÌÅ͸¦ ºÐ¼®ÇÑ´Ù. ½ÃÀÛÁ¡À¸·Î ½ºÆÄÅ© ³»ºÎ°¡ ½ºÄ®¶ó·Î ÀÛ¼ºµÆÀ½À» ¼³¸íÇÏ°í ÀÚ¿¬½º·´°Ô ½ºÄ®¶óÀÇ ¿ª»ç, ¸ñÀû, À©µµ¿ì/¸®´ª½º/¸ÆOS¿¡ ½ºÄ®¶ó¸¦ ¼³Ä¡ÇÏ´Â ¹æ¹ý°ú °°Àº ±âº» ³»¿ë µî ½ºÄ®¶ó¿¡ ´ëÇØ °£´ÜÈ÷ ¼³¸íÇÑ´Ù. ±×¸®°í ½ºÄ®¶ó À¥ ÇÁ·¹ÀÓ¿öÅ©¿¡ ´ëÇØ °£·«È÷ ¼³¸íÇÑ´Ù. ±×´ÙÀ½ ÀÚ¹Ù¿Í ½ºÄ®¶ó¸¦ ºñ±³ ºÐ¼®ÇÑ´Ù. ¸¶Áö¸·¿¡ ½ºÄ®¶ó¸¦ ½ÃÀÛÇϱâ À§ÇØ ½ºÄ®¶ó ÇÁ·Î±×·¡¹ÖÀ» »ìÆ캻´Ù.
2Àå, ¡®°´Ã¼ÁöÇâ ¾ð¾î, ½ºÄ®¶ó¡¯¿¡¼´Â °´Ã¼ÁöÇâ ÇÁ·Î±×·¡¹Ö(OOP) Æз¯´ÙÀÓÀÌ ¿ÏÀüÈ÷ »õ·Î¿î Ãß»óÈ °èÃþÀ» Á¦°øÇÑ´Ù°í ¼³¸íÇÑ´Ù. °£´ÜÈ÷ ¸»ÇØ OOP ¾ð¾îÀÇ °¡Àå Å« ÀåÁ¡ÀΠŽ»ö °¡´É¼º,¸ðµâ¼º, È®À强À» ¼³¸íÇÑ´Ù. ƯÈ÷ ½ºÄ®¶ó¿¡¼ º¯¼ö¸¦ ó¸®ÇÏ´Â ¹æ¹ýÀ» »ìÆ캻´Ù. ½ºÄ®¶ó¿¡¼ º¯¼ö, ¸Þ¼Òµå, Ŭ·¡½º, °´Ã¼»Ó ¾Æ´Ï¶ó ÆÐÅ°Áö, ÆÐÅ°Áö °´Ã¼, Æ®·¹ÀÌÆ®, Æ®·¹ÀÌÆ® ¼±ÇüÈ, ÀÚ¹Ù¿ÍÀÇ »óÈ£ ȣȯ¼º µîÀ» ´Ù·é´Ù.
3Àå, ¡®ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö °³³ä¡¯¿¡¼´Â ½ºÄ®¶óÀÇ ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö °³³äÀ» ¼Ò°³ÇÑ´Ù. ½ºÄ®¶ó°¡ µ¥ÀÌÅÍ °úÇÐÀÚ¿¡°Ô ¹«±â°¡ µÇ´Â ÀÌÀ¯, ½ºÆÄÅ© Æз¯´ÙÀÓ/¼ø¼ö ÇÔ¼ö/°íÂ÷ ÇÔ¼ö¸¦ ¹è¿ì´Â °ÍÀÌ Áß¿äÇÑ ÀÌÀ¯¿Í °°Àº ¸î °¡Áö ÁÖÁ¦¸¦ ´Ù·é´Ù. °íÂ÷ ÇÔ¼ö¸¦ »ç¿ëÇÏ´Â ½ÇÁ¦ »ç¿ë »ç·Êµµ ÇÔ²² ¼Ò°³ÇÑ´Ù. ±×´ÙÀ½ ½ºÄ®¶ó Ç¥ÁØ ¶óÀ̺귯¸®¸¦ »ç¿ëÇØ Ä÷º¼Ç ¿ÜºÎÀÇ °íÂ÷ ÇÔ¼ö¿¡¼ ¿¹¿Ü¸¦ ó¸®ÇÏ´Â ¹æ¹ýÀ» »ìÆ캻´Ù. ¸¶Áö¸·À¸·Î ÇÔ¼öÇü ½ºÄ®¶ó°¡ °´Ã¼ÀÇ °¡º¯¼º¿¡ ¾î¶² ¿µÇâÀ» ÁÖ´ÂÁö »ìÆ캻´Ù.
4Àå, ¡®Ä÷º¼Ç API¡¯¿¡¼´Â ½ºÄ®¶ó »ç¿ëÀÚ°¡ °¡Àå Å« Èï¹Ì¸¦ ¾ò´Â ±â´É Áß ÇϳªÀÎ Ä÷º¼Ç API¸¦ ¼Ò°³ÇÑ´Ù. ½ºÄ®¶ó Ä÷º¼Ç API´Â ¸Å¿ì °·ÂÇÏ°í À¯¿¬ÇÏ¸ç °áÇÕµÈ ¸¹Àº ¿¬»êÀ» °®°í ÀÖ´Ù. ±×¸®°í ½ºÄ®¶ó Ä÷º¼Ç APIÀÇ ±â´ÉÀ» ¼Ò°³ÇÒ »Ó ¾Æ´Ï¶ó ´Ù¾çÇÑ Å¸ÀÔÀÇ µ¥ÀÌÅ͸¦ ¼ö¿ëÇÏ°í ´Ù¾çÇÑ ¹®Á¦¸¦ ÇØ°áÇÒ ¶§ Ä÷º¼Ç APIÀÇ »ç¿ë ¹æ¹ýÀ» ¼Ò°³ÇÑ´Ù. ¸¶Áö¸·À¸·Î ½ºÄ®¶ó Ä÷º¼Ç API, ŸÀÔ°ú °èÃþ ±¸Á¶, ¼º´É Ư¼º, ÀÚ¹Ù »óÈ£¿î¿ë¼º, ½ºÄ®¶ó ¾Ï½Ã¸¦ ¼³¸íÇÑ´Ù.
5Àå, ¡®½ºÆÄÅ©·Î ºòµ¥ÀÌÅÍ ´Ù·ç±â¡¯¿¡¼´Â µ¥ÀÌÅÍ ºÐ¼®°ú ºòµ¥ÀÌÅÍ¿¡ ´ëÇØ ¼³¸íÇÑ´Ù. ºòµ¥ÀÌÅÍ¿¡¼ Á¦±âµÇ´Â µµÀü °úÁ¦, ºÐ»ê ÄÄÇ»Æà ó¸® ¹æ¹ý, ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö Á¢±Ù ¹æ½ÄÀ» »ìÆ캻´Ù. ±¸±ÛÀÇ ¸Ê¸®µà½º, ¾ÆÆÄÄ¡ ÇϵÓ, ¾ÆÆÄÄ¡ ½ºÆÄÅ©¸¦ ¼Ò°³ÇÏ°í, ÇØ´ç ¿ÀǼҽºÀÇ Á¢±Ù ¹æ¹ý°ú ±â¼úÀÇ »ç¿ë ¹æ¹ýÀ» »ìÆ캻´Ù. ¾ÆÆÄÄ¡ ½ºÆÄÅ©°¡ óÀ½ ¸¸µé¾îÁ³´ø ÀÌÀ¯¿Í ºòµ¥ÀÌÅÍ ºÐ¼® ¹× ó¸® ½Ã ºÎµúÇû´ø µµÀü °úÁ¦ µî ¾ÆÆÄÄ¡ ½ºÆÄÅ©ÀÇ ÁøÈ °úÁ¤À» »ìÆ캻´Ù.
6Àå, ¡®½ºÆÄÅ©·Î REPL°ú RDD·Î ÀÛ¾÷¡¯¿¡¼´Â ½ºÆÄÅ© ÀÛµ¿ ¹æ¹ýÀ» ´Ù·é´Ù. ±×´ÙÀ½ ¾ÆÆÄÄ¡ ½ºÆÄÅ©ÀÇ ±âº» Ãß»óÈÀÎ RDD¸¦ ¼Ò°³ÇÏ°í ´Ü¼øÈ÷ ½ºÄ®¶ó¿Í À¯»çÇÑ API¸¦ Á¦°øÇÏ´Â ºÐ»ê Ä÷º¼ÇÀÎÁö È®ÀÎÇÑ´Ù. ¾ÆÆÄÄ¡ ½ºÆÄÅ©ÀÇ ¹èÆ÷ ¿É¼ÇÀ» »ìÆ캸°í ½ºÆÄÅ© ¼ÐÀ» »ç¿ëÇØ ·ÎÄÿ¡¼ ½ÇÇàÇÑ´Ù. ¾ÆÆÄÄ¡ ½ºÆÄÅ©ÀÇ ³»ºÎ ±¸Á¶, RDDÀÇ °³³ä, DAG, RDD °èº¸, Æ®·£½ºÆ÷¸ÞÀ̼Ç, ¾×¼ÇÀ» ´Ù·é´Ù.
7Àå, ¡®Æ¯¼ö RDD ¿¬»ê¡¯¿¡¼´Â ´Ù¾çÇÑ ¿ä±¸ »çÇ×À» RDD°¡ ¾î¶»°Ô ÃæÁ·½ÃÅ°´ÂÁö, ¾î¶»°Ô RDD°¡ »õ·Î¿î ±â´É(À§Ç輺µµ °®°í ÀÖ´Ù)À» Á¦°øÇÏ´ÂÁö¿¡ ´ëÇØ ÁßÁ¡ÀûÀ¸·Î ´Ù·é´Ù. ¶ÇÇÑ ºê·Îµåij½ºÆ® º¯¼ö¿Í ½ºÆÄÅ©¿¡¼ Á¦°øÇÏ´Â ´©»ê±â¿Í °°Àº À¯¿ëÇÑ °´Ã¼¸¦ »ìÆ캻´Ù. ¸¶Áö¸·À¸·Î ¼ÅÇøµ°ú Áý°è¸¦ ´Ù·é´Ù.
8Àå, ¡®½ºÆÄÅ© SQL¡¯¿¡¼´Â RDDÀÇ ÇÏÀÌ·¹º§ Ãß»óÈÀÎ ½ºÆÄÅ© SQL·Î ±¸Á¶ÈµÈ µ¥ÀÌÅ͸¦ ºÐ¼®ÇÏ´Â ¹æ¹ý°ú ½ºÆÄÅ© SQL API·Î ±¸Á¶ÈµÈ µ¥ÀÌÅ͸¦ °£´ÜÇϸ鼵µ °ß°íÇÏ°Ô Äõ¸®ÇÏ´Â ¹æ¹ýÀ» ¼Ò°³ÇÑ´Ù. ¶ÇÇÑ µ¥ÀÌÅͼÂÀ» ¼Ò°³ÇÏ°í µ¥ÀÌÅͼÂ, µ¥ÀÌÅÍ ÇÁ·¹ÀÓ, RDD °£ÀÇ Â÷ÀÌÁ¡À» »ìÆ캻´Ù. ¸¶Áö¸·À¸·Î µ¥ÀÌÅÍ ÇÁ·¹ÀÓ API¸¦ »ç¿ëÇØ º¹ÀâÇÑ µ¥ÀÌÅÍ ºÐ¼®À» ¼öÇàÇÒ ¼ö ÀÖ´Â Á¶ÀÎ ¿¬»ê°ú À©µµ¿ì ÇÔ¼ö¸¦ »ìÆ캻´Ù.
9Àå, ¡®½ºÆÄÅ© ½ºÆ®¸®¹Ö¡¯¿¡¼´Â ½ºÆÄÅ© ½ºÆ®¸®¹ÖÀ» ¼Ò°³ÇÏ°í, ½ºÆÄÅ© API¸¦ »ç¿ëÇØ µ¥ÀÌÅÍ ½ºÆ®¸²À» ½ºÆÄÅ© ½ºÆ®¸®¹ÖÀ¸·Î ó¸®ÇÏ´Â ¹æ¹ýÀ» ¼³¸íÇÑ´Ù. ¶ÇÇÑ Æ®À§ÅÍ¿¡ ±ÛÀ» Æ®ÀÇÏ°í ó¸®ÇÏ´Â ½ÇÁ¦ »ç·Ê¸¦ »ç¿ëÇؼ ½Ç½Ã°£ µ¥ÀÌÅÍ ½ºÆ®¸²À» ó¸®ÇÏ´Â ´Ù¾çÇÑ ¹æ¹ýÀ» ´Ù·é´Ù. ½Ç½Ã°£ 󸮸¦ À§ÇØ ¾ÆÆÄÄ¡ Ä«ÇÁÄ«¿Í ÅëÇÕÇÏ´Â ¹æ¹ýµµ »ìÆ캻´Ù. ¸¶Áö¸·À¸·Î ¾ÖÇø®ÄÉÀ̼ǿ¡¼ ½Ç½Ã°£ Äõ¸®¸¦ Á¦°øÇÒ ¼ö ÀÖ´Â ±¸Á¶È ½ºÆ®¸®¹ÖÀ» »ìÆ캻´Ù.
10Àå, ¡®GraphX¡¯¿¡¼´Â ±×·¡ÇÁ¸¦ »ç¿ëÇØ ¾ó¸¶³ª ¸¹Àº ½ÇÁ¦ ¹®Á¦¸¦ ¸ðµ¨¸µÇÏ°í ÇØ°áÇÒ ¼ö ÀÖ´ÂÁö »ìÆ캻´Ù. ÆäÀ̽ººÏÀ» ¿¹·Î µé¾î ±×·¡ÇÁ ÀÌ·Ð, ½ºÆÄÅ©ÀÇ ±×·¡ÇÁ ó¸® ¶óÀ̺귯¸® GraphX, VertexRDD¿Í EdgeRDD, ±×·¡ÇÁ ¿¬»êÀÚ, aggregateMessages, triangleCount, Pregel API, ÆäÀÌÁö·©Å© ¾Ë°í¸®Áò°ú °°Àº »ç¿ë »ç·Ê¸¦ »ìÆ캻´Ù.
11Àå, ¡®¸Ó½Å ·¯´× ÇнÀ: ½ºÆÄÅ© MLlib°ú ML¡¯¿¡¼´Â Åë°è ¸Ó½Å ·¯´×¿¡ ´ëÇÑ °³³äÀûÀÎ ¼Ò°³¸¦ Á¦°øÇÑ´Ù. ½ºÆÄÅ©ÀÇ ¸Ó½Å ·¯´× APIÀÎ ½ºÆÄÅ© MLlib°ú ½ºÆÄÅ© MLÀ» ÁýÁßÀûÀ¸·Î ´Ù·é´Ù. µð½ÃÀü Æ®¸®(decision tree)¿Í ·£´ý Æ÷·¹½ºÆ® ¾Ë°í¸®Áò(random forest algorithm)À» ÀÌ¿ëÇÑ ºÐ·ù ÀÛ¾÷À» ÇØ°áÇÏ´Â ¹æ¹ý°ú ¼±Çü ȸ±Í ¾Ë°í¸®ÁòÀ» ÀÌ¿ëÇÑ È¸±Í ¹®Á¦¸¦ ÇØ°áÇÑ´Ù.
¶ÇÇÑ ºÐ·ù ¸ðµ¨À» ÈÆ·ÃÇϱâ Àü¿¡ ÇÇó ÃßÃâ¿¡¼ ¿øÇÖ(one-hot) ÀÎÄÚµù°ú Â÷¿ø Ãà¼Ò ¾Ë°í¸®ÁòÀ» »ç¿ëÇÔÀ¸·Î½á ¾òÀ» ¼ö ÀÖ´Â ÀÌÁ¡À» º¸¿©ÁØ´Ù. ±×´ÙÀ½¿¡´Â Çù¾÷ ÇÊÅ͸µ ±â¹Ý ¿µÈ Ãßõ ½Ã½ºÅÛÀ» °³¹ßÇÏ´Â ´Ü°èº° ¿¹Á¦¸¦ º¸¿©ÁØ´Ù.
12Àå, ¡®°í±Þ ·¯´× ¸Ó½Å ¸ð¹ü »ç·Ê¡¯¿¡¼´Â ½ºÆÄÅ©¸¦ »ç¿ëÇÑ ¸Ó½Å ·¯´× °í±Þ ÁÖÁ¦¿¡ ´ëÇÑ À̷аú ½Ç¿ëÀûÀÎ Ãø¸éÀ» »ìÆ캻´Ù. ±×¸®µå °Ë»ö, ±³Â÷ °ËÁõ, ÇÏÀÌÆÛÆĶó¹ÌÅÍ Æ©´×À» »ç¿ëÇØ ¼º´ÉÀ» ÃÖÀûÈÇÏ´Â ¸Ó½Å ·¯´× ¸ðµ¨ Æ©´× ¹æ¹ýÀ» ¹è¿î´Ù. ±×¸®°í ¸ðµ¨ ±â¹ÝÀÇ Ãßõ ¾Ë°í¸®Áò ÁßÀÎ ÇϳªÀÎ ALS¸¦ »ç¿ëÇØ È®Àå °¡´ÉÇÑ Ãßõ ½Ã½ºÅÛ °³¹ß ¹æ¹ýÀ» ´Ù·é´Ù. ¸¶Áö¸·À¸·Î ÁÖÁ¦ ¸ðµ¨¸µ ¾ÖÇø®ÄÉÀ̼ÇÀº ÅؽºÆ® Ŭ·¯½ºÅ͸µ ±â¹ýÀ» È°¿ëÇÑ´Ù.
13Àå, ¡®³ªÀÌºê º£ÀÌÁ¿¡¼´Â ºòµ¥ÀÌÅÍ ºÐ¾ßÀÇ ¸Ó½Å ·¯´×ÀÌ Çаè¿Í »ê¾÷°è ¸ðµÎÀÇ ¿¬±¸ ºÐ¾ß¿¡ Å« ¿µÇâÀ» ¹ÌÄ£ ±ÞÁøÀûÀÎ °áÇÕÀ̶ó°í ¸»ÇÑ´Ù. ºòµ¥ÀÌÅÍ´Â ½ÇÁ¦ °¡Ä¡¸¦ ã±â À§ÇØ ML, µ¥ÀÌÅÍ ºÐ¼® Åø, ¾Ë°í¸®Áò¿¡ ¾î·Á¿î °úÁ¦¸¦ ºÎ°úÇÑ´Ù. ±×·¯³ª °Å´ëÇÑ µ¥ÀÌÅͼÂÀ» ±â¹ÝÀ¸·Î ¹Ì·¡¸¦ ¿¹ÃøÇÏ´Â °ÍÀº °áÄÚ ½¬¿î ÀÏÀÌ ¾Æ´Ï´Ù. ¹Ì·¡ ¿¹Ãø°ú °ü·ÃÇØ MLÀ» ÀÚ¼¼È÷ »ìÆ캸°í, °£´ÜÇÏÁö¸¸ °·ÂÇÑ ¹æ¹ýÀ¸·Î ´ÙÇ× ºÐ·ù, º£ÀÌÁö¾È Ãß·Ð, ³ªÀÌºê º£ÀÌÁî, µð½ÃÀü Æ®¸®, ³ªÀÌºê º£ÀÌÁî¿Í µð½ÃÀü Æ®¸®ÀÇ ºñ±³ ºÐ¼® µî È®Àå °¡´ÉÇÑ ºÐ·ù ¸ðµ¨°ú °³³äÀ» ±¸ÃàÇÏ´Â ¹æ¹ýÀ» ¾Ë¾Æº»´Ù.
14Àå, ¡®½ºÆÄÅ© MLlibÀ¸·Î µ¥ÀÌÅÍ Å¬·¯½ºÅ͸µ¡¯¿¡¼´Â ½ºÆÄÅ©ÀÇ ±âº» ¾ÆÅ°ÅØó ±â¹ÝÀ¸·Î ½ºÆÄÅ©°¡ Ŭ·¯½ºÅÍ ¸ðµå¿¡¼ ¾î¶»°Ô µ¿ÀÛÇÏ´ÂÁö ¼³¸íÇÑ´Ù. ÀÌÀü ¿©·¯ Àå¿¡¼ ´Ù¾çÇÑ ½ºÆÄÅ© API¸¦ »ç¿ëÇØ ½ÇÁ¦ ¾ÖÇø®ÄÉÀ̼ÇÀÇ °³¹ß ¹æ¹ýÀ» »ìÆìºÃ´Ù¸é 14Àå¿¡¼´Â Ŭ·¯½ºÅÍ¿¡ Àüü ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ÇÀ» ¹èÆ÷ÇÏ´Â ¹æ¹ý»Ó ¾Æ´Ï¶ó ±âÁ¸ ÇϵÓÀ» ¼³Ä¡Çß´ÂÁö ¶Ç´Â ¼³Ä¡ÇÏÁö ¾Ê¾Ò´ÂÁö È®ÀÎÇÑ´Ù.
15Àå, ¡®½ºÆÄÅ© MLÀ» ÀÌ¿ëÇÑ ÅؽºÆ® ºÐ¼®¡¯¿¡¼´Â ½ºÆÄÅ© MLÀ» »ç¿ëÇØ ÅؽºÆ® ºÐ¼®À» ¼³¸íÇÑ´Ù. ÅؽºÆ® ºÐ¼®Àº ¸Ó½Å ·¯´×ÀÇ ³ÐÀº ºÐ¾ß¸ç, Á¤¼ ºÐ¼®, äÆà º¿, À̸ÞÀÏ ½ºÆÔ Å½Áö, ÀÚ¿¬¾î ó¸® µî°ú °°Àº ¸¹Àº »ç¿ë »ç·Ê¿¡¼ À¯¿ëÇÏ´Ù. 10,000°³ÀÇ Æ®À§ÅÍ »ùÇà µ¥ÀÌÅͼÂÀ» ÅؽºÆ® ºÐ·ù »ç¿ë »ç·Ê¿¡ ÁßÁ¡À» µÐ ÅؽºÆ® ºÐ¼®¿¡ ½ºÆÄÅ©¸¦ »ç¿ëÇÏ´Â ¹æ¹ýÀ» »ìÆ캻´Ù. ¶ÇÇÑ ½ÇÁ¦ ÅؽºÆ®¸¦ Àß ¸ð¸£´Â »óÅ¿¡¼ ¹®¼¿¡¼ ÁÖÁ¦¸¦ »ý¼ºÇÏ´Â Àαâ ÀÖ´Â ±â¼úÀÎ LDA¸¦ »ìÆ캸°í, LDA°¡ Àß µ¿ÀÛÇÏ´ÂÁö Æ®À§ÅÍ µ¥ÀÌÅ͸¦ ±â¹ÝÀ¸·Î ÅؽºÆ® ºÐ·ù¸¦ ±¸ÇöÇÑ´Ù.
16Àå, ¡®½ºÆÄÅ© Æ©´×¡¯¿¡¼´Â ½ºÆÄÅ© ³»ºÎ¸¦ ±íÀÌ ÀÖ°Ô »ìÆ캻´Ù. ±×¸®°í ½ºÆÄÅ©¸¦ »ç¿ëÇÏ´Â °ÍÀÌ ½ºÄ®¶ó Ä÷º¼ÇÀ» »ç¿ëÇÏ´Â °Íó·³ ´À²¸ÁöÁö¸¸ ½ÇÁ¦ ½ºÆÄÅ©°¡ ºÐ»ê ½Ã½ºÅÛ¿¡¼ ½ÇÇàµÈ´Ù´Â °ÍÀ» ÀØÁö ¸»¾Æ¾ß ÇÑ´Ù. ¶ÇÇÑ ½ºÆÄÅ© Àâ ¸ð´ÏÅ͸µ, ½ºÆÄÅ© ¼³Á¤, ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß ½Ã ¹ß»ýÇÏ´Â ÀϹÝÀûÀÎ ½Ç¼ö, ÃÖÀûÈ ±â¼ú¿¡ ´ëÇØ ¼³¸íÇÑ´Ù.
17Àå, ¡®Å¬·¯½ºÅÍ¿¡ ½ºÆÄÅ© ¹èÆ÷¡¯¿¡¼´Â ½ºÆÄÅ©°¡ ±âº» ¾ÆÅ°ÅØó¸¦ ±â¹ÝÀ¸·Î Ŭ·¯½ºÅÍ ¸ðµå¿¡¼ ¾î¶»°Ô µ¿ÀÛÇÏ´ÂÁö »ìÆ캻´Ù. Ŭ·¯½ºÅÍ¿¡¼ ½ºÆÄÅ© ¾ÆÅ°ÅØó, ½ºÆÄÅ© »ýÅ°è, Ŭ·¯½ºÅÍ °ü¸®¸¦ »ìÆ캸°í µ¶¸³Çü, ¸Þ¼Ò½º(Mesos), ¾á(Yarn), Äí¹ö³×Ƽ½º(kubernetes)¿¡ ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ÇÀ» ¹èÆ÷ÇÏ´Â ¹æ¹ýÀ» »ìÆ캻´Ù. ¸¶Áö¸·À¸·Î Ŭ¶ó¿ìµå ±â¹Ý AWS Ŭ·¯½ºÅÍ¿¡ ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ÇÀ» ¹èÆ÷ÇÏ´Â ¹æ¹ýµµ »ìÆ캻´Ù.
18Àå, ¡®½ºÆÄÅ© Å×½ºÆðú µð¹ö±ë¡¯¿¡¼´Â ºÐ»ê ¹èÆ÷µÈ ¾ÖÇø®ÄÉÀ̼ÇÀÇ Å×½ºÆÿ¡ ´ëÇÑ ¾î·Á¿òÀ» ¼³¸íÇÏ°í, Å×½ºÆÃÀ» ÇØ°áÇÒ ¹æ¹ýÀ» »ìÆ캻´Ù. ºÐ»ê ȯ°æ¿¡¼ Å×½ºÆÃÀ» ¼öÇàÇÏ´Â ¹æ¹ý°ú ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ÇÀ» Å×½ºÆÃÇÏ°í µð¹ö±ëÇÏ´Â ¹æ¹ýÀ» ´Ù·é´Ù.
19Àå, ¡®PySpark°ú SparkR¡¯¿¡¼´Â ÆÄÀ̽ã°ú RÀ» »ç¿ëÇØ ½ºÆÄÅ© Äڵ带 ÀÛ¼ºÇÏ´Â µ¥ »ç¿ëµÇ´Â µÎ API, Áï PySpark¿Í SparkRÀ» ¼³¸íÇÑ´Ù. ¸ÕÀú PySpark¸¦ ½ÃÀÛÇÏ´Â ¹æ¹ýÀ» ¼³¸íÇÑ ÈÄ PySpark·Î µ¥ÀÌÅÍ ÇÁ·¹ÀÓ API¿Í UDF¿¡ »óÈ£ÀÛ¿ëÇÏ´Â ¹æ¹ýÀ» ¼³¸íÇÑ´Ù.
±×¸®°í PySpark¸¦ »ç¿ëÇØ µ¥ÀÌÅÍ ºÐ¼®À» ¼öÇàÇÑ´Ù. ±×´ÙÀ½¿¡ SparkRÀ» ½ÃÀÛÇÏ´Â ¹æ¹ýÀ» ¼³¸íÇÑ´Ù. ¶ÇÇÑ µ¥ÀÌÅÍ Ã³¸®°ú Á¶ÀÛ ¹æ¹ý, SparkRÀ» »ç¿ëÇÑ RDD¿Í µ¥ÀÌÅÍ ÇÁ·¹ÀÓÀ» »ç¿ëÇÏ´Â ¹æ¹ý, ¸¶Áö¸·À¸·Î SparkRÀ» »ç¿ëÇÏ´Â ÀϺΠµ¥ÀÌÅÍ ½Ã°¢È ¹æ¹ýÀ» »ìÆ캻´Ù.
ºÎ·Ï A, ¡®Alluxio·Î ½ºÆÄÅ©ÀÇ Ã³¸® ¼º´É ³ôÀ̱⡯¿¡¼´Â Alluxio¸¦ ½ºÆÄÅ©¿Í ÇÔ²² »ç¿ëÇØ Ã³¸® ¼Óµµ¸¦ Çâ»ó½ÃÅ°´Â ¹æ¹ýÀ» º¸¿©ÁØ´Ù. Alluxio´Â ½ºÆÄÅ©¸¦ Æ÷ÇÔÇÑ ¿©·¯ Ç÷§Æû¿¡¼ ¸¹Àº ¾ÖÇø®ÄÉÀ̼ÇÀÇ ¼Óµµ¸¦ ³ô¿©ÁÖ´Â ¿ÀǼҽº ºÐ»ê ¸Þ¸ð¸® ÀúÀå ½Ã½ºÅÛÀÌ´Ù.
AlluxioÀÇ °¡´É¼ºÀ» »ìÆ캸°í AlluxioÀ» ½ºÆÄÅ©¿Í ÅëÇÕÇØ ½ºÆÄÅ© ÀâÀ» ½ÇÇàÇÒ ¶§¸¶´Ù ¸Þ¸ð¸®¿¡ µ¥ÀÌÅ͸¦ ij½ÃÇÒ ÇÊ¿ä ¾øÀÌ ´õ ÁÁÀº ¼º´ÉÀ» º¸¿©ÁÖ´Â ºÎºÐÀ» º¸¿©ÁØ´Ù.
ºÎ·Ï B, ¡®¾ÆÆÄÄ¡ Á¦Çø°¿¡¼ ´ëÈÇü µ¥ÀÌÅÍ ºÐ¼®¡¯¿¡¼´Â µ¥ÀÌÅÍ °úÇÐ °üÁ¡¿¡¼ µ¥ÀÌÅÍ ºÐ¼®ÀÇ ´ëÈÇü, ½Ã°¢Àû È¿°ú°¡ Áß¿äÇÔÀ» ¼³¸íÇÑ´Ù. Á¦Çø°Àº ¿©·¯ ¹é¿£µå¿Í ÀÎÅÍÇÁ¸®ÅÍ°¡ ÀÖ´Â ´ëÈÇü, ´ë±Ô¸ð µ¥ÀÌÅÍ ºÐ¼®À» À§ÇÑ À¥ ±â¹Ý ³ëÆ®ºÏÀÌ´Ù. ±×¸®°í ¹é¿£µå¿¡¼ ÀÎÅÍÇÁ¸®ÅÍ·Î ½ºÆÄÅ©¸¦ »ç¿ëÇØ ´ë±Ô¸ð µ¥ÀÌÅ͸¦ ºÐ¼®ÇÒ ¼ö ÀÖ°Ô ¾ÆÆÄÄ¡ Á¦Çø°À» »ç¿ëÇÏ´Â ¹æ¹ýÀ» ¼³¸íÇÑ´Ù.
¡Ú ¿Å±äÀÌÀÇ ¸» ¡Ú
ÇÏµÓ ¸Ê¸®µà½º(Hadoop MapReduce) ÇÁ·Î±×·¡¹ÖÀº ÃÖ±Ù ¸î ³â µ¿¾È Àß »ç¿ëµÇ°í ÀÖ½À´Ï´Ù. ¶ÇÇÑ µ¥ÀÌÅÍ°¡ ÀúÀåµÈ ÇÏµÓ ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛÀ» ±â¹ÝÀ¸·Î ÇÏ´Â ºÐ¼®, Ãßõ ÇÁ·Î±×·¡¹ÖÀº ÇÏµÓ ³»ºÎ¿¡¼¸¸ °¡´ÉÇ߱⿡ °³¹ßÀÚµéÀÌ ÇÏµÓ ÀÎÅÍÆäÀ̽º¸¦ »ç¿ëÇØ °³¹ßÇØ¾ß Çß½À´Ï´Ù. ±×·¯³ª ÀÏ¹Ý °³¹ßÀÚ°¡ ÀÌÇØÇϱ⠾î·Á¿î °³³ä°ú ÀÎÅÍÆäÀ̽º°¡ ÀÖ¾î ÇϵӰú ÇÏµÓ ¸Ê¸®µà½º¸¦ Àß ÀÌÇØÇÏ´Â °³¹ßÀÚ°¡ Àü¹®ÀûÀ¸·Î °³¹ßÇÏ°ï Çß½À´Ï´Ù. ÀÏ¹Ý °³¹ßÀÚµéÀÌ ½±°Ô ºÐ¼®ÇÒ ¼ö ÀÖµµ·Ï ¾ÆÆÄÄ¡ ÇÏÀ̺ê(Hive) µî ´Ù¾çÇÑ ÇÏµÓ °ü·Ã ÇÁ·¹ÀÓ¿öÅ©°¡ »ç¿ëµÇ±â ½ÃÀÛÇß½À´Ï´Ù. ±×·¯³ª ¿©ÀüÈ÷ À¯¿¬ÇÏÁö ¾ÊÀ» »Ó ´õ·¯ ÇÏµÓ ¸Ê¸®µà½º °³¹ßÀº º¯ÈµÇÁö ¾Ê¾Ò°í, Å×½ºÆ® ÄÚµå °³¹ß ¿ª½Ã ½±Áö ¾Ê¾Ò½À´Ï´Ù. ÇÏµÓ ÇÁ·Î±×·¡¹ÖÀÇ ¾àÁ¡Àº ´ë¿ë·® µ¥ÀÌÅÍ¿¡ ´ëÇÑ ½Ç½Ã°£ ó¸®ÀÔ´Ï´Ù. µû¶ó¼ ÇÏµÓ ´ë½Å ½Ç½Ã°£ µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â ¸Þ½Ã¡ Å¥(¿¹, Ä«ÇÁÄ«)¸¦ »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù. ±×·¯´Ù º¸´Ï ½ºÆ®¸®¹Ö 󸮸¦ ó¸®Çϱâ À§ÇØ ¾ÆÆÄÄ¡ ½ºÅè(Apache Storm), ½ºÆÄÅ© ½ºÆ®¸®¹Ö(Spark Streaming), ¾ÆÆÄÄ¡ ÇøµÅ©(Apache Flink) µî ¸¹Àº ¿ÀÇ ¼Ò½º°¡ ¾²ÀÌ°í ÀÖ½À´Ï´Ù.
Àú´Â Çö¾÷ °³¹ßÀÚÀÌÁö¸¸ ´Ù¾çÇÑ NoSQL, ´ë¿ë·®, ºñÁî´Ï½º¿¡ °ü½ÉÀÌ ¸¹½À´Ï´Ù. Àú´Â ½ºÄ®¶ó/½ºÆÄÅ©¸¦ »ç¿ëÇØ ¾ÖÇø®ÄÉÀ̼ÇÀ» °³¹ßÇß°í, ¸Þ¼Ò½º/¸¶¶óÅæ ¹× Äí¹ö³×Ƽ½º¿¡¼ ¾ÖÇø®ÄÉÀ̼ǿ¡¼µµ ¾ÖÇø®ÄÉÀ̼ÇÀ» °³¹ßÇß½À´Ï´Ù. µû¶ó¼ ÇÏµÓ ¸Ê¸®µà½º ÇÁ·Î±×·¡¹ÖÀº ½ºÆÄÅ©·Î ´ëüµÉ °ÍÀ̶ó´Â ±»Àº ¹ÏÀ½ÀÌ ÀÖ½À´Ï´Ù. ´©±¸³ª ½ºÄ®¶ó¸¦ Á¦´ë·Î ¾Ë ¼ö ÀÖ´Ù¸é ÇÏµÓ ¸Ê¸®µà½º ÇÁ·Î±×·¡¹ÖÀ» ½ºÄ®¶ó ±â¹ÝÀÇ ½ºÆÄÅ© ÇÁ·Î±×·¡¹ÖÀ¸·Î ´ëü ¹× º¸¿ÏÇÒ ¼ö ÀÖÀ» °ÍÀ̶ó È®½ÅÇÕ´Ï´Ù.
Àú»Ó ¾Æ´Ï¶ó ¸¹Àº °³¹ßÀÚ°¡ ÇÏµÓ ¸Ê¸®µà½º ÇÁ·Î±×·¡¹Ö, ±âÁ¸ ÆÄÀÌÇÁ¶óÀÎ ÇÁ·Î±×·¡¹Ö ¹× ¸Ó½Å ·¯´× ÇÁ·Î±×·¡¹ÖÀ» Á¡Â÷ ½ºÆÄÅ© ÇÁ·Î±×·¡¹ÖÀ¸·Î ´ëüµÇ°í º¸¿ÏÇÏ°í ÀÖ½À´Ï´Ù. ½ºÆ®¸®¹Ö ó¸®, ´ë¿ë·® ºÐ¼® ó¸®, Ãßõ ½Ã½ºÅÛ °³¹ß, Àθ޸𸮠º´·Äó¸®, ¸Ó½Å ·¯´×±îÁö ¿©·¯ ºÐ¾ßÀÇ ¾ÖÇø®ÄÉÀ̼ÇÀ» ½ºÆÄÅ© Çϳª¸¸ ¾Ë¸é ¾î´À Á¤µµ ÁøÇàÇÒ ¼ö ÀÖ½À´Ï´Ù. µû¶ó¼ ¶÷´Ù ¾ÆÅ°ÅØó¸¦ ½ºÆÄÅ©·Î ½±°Ô ó¸®ÇÒ ¼ö ÀÖ½À´Ï´Ù. ½ºÆÄÅ©´Â CNN°ú °°Àº µö·¯´×À» Áö¿øÇÏÁö ¾ÊÁö¸¸ ÅÙ¼Ç÷Î(Tensorflow)¿Í ½±°Ô ¿¬µ¿ÇÒ ¼ö ÀÖ½À´Ï´Ù. ±×¸®°í ½ºÆÄÅ©´Â ÀÚ¹Ù, ½ºÄ®¶ó, ÆÄÀ̽ã, R ¾ð¾î¸¦ Áö¿øÇϱ⠶§¹®¿¡ ¾ð¾î¿¡ ´ëÇÑ ºÎ´ãÀÌ °¡Àå ´úÇÕ´Ï´Ù.
ƯÈ÷ ½ºÄ®¶óÀÇ ÇÔ¼öÇü ¾ð¾îÀÇ Æ¯Â¡°ú µ¥ÀÌÅÍÇÁ·¹ÀÓÀ» Ãß»óÈÇÑ ½ºÄ®¶ó ±â¹ÝÀÇ ½ºÆÄÅ©¸¦ È°¿ëÇÔÀ¸·Î½á ºòµ¥ÀÌÅ͸¦ ³í¸®ÀûÀÎ ÇÁ·Î±×·¡¹ÖÀ¸·Î ½±°Ô ó¸®ÇÒ ¼ö ÀÖ½À´Ï´Ù. ¸¹Àº °³¹ßÀÚ°¡ ½º½º·Î °øºÎÇÏ¸ç ºòµ¥ÀÌÅÍ, ¸Ó½Å ·¯´×ÀÇ ¿µ¿ªÀ¸·Î ÁøÀÔÇÏ°í Àִµ¥ ±×¿¡ ÇÔ²² °¡°í ½Í½À´Ï´Ù.
ÀÌ Ã¥Àº Àü¹ÝÀûÀ¸·Î ¼³¸íÀÌ ¸¹°í ±×¸²ÀÌ Ç³ºÎÇÕ´Ï´Ù. ƯÈ÷, Áý°è ºÎºÐÀº Áß¿äÇÑ ³»¿ëÀ» Àß ¼³¸íÇÏ°í ÀÖ½À´Ï´Ù. Àú´Â ÀÌÀüºÎÅÍ Åë°è¿Í ¸Ó½Å ·¯´×À» °øºÎÇÏ°í ÀÖ¾ú´Âµ¥ ½ÇÁ¦ ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ǿ¡¼ ¾î¶»°Ô ¿¬µ¿µÇ´ÂÁö´Â ÀÌ Ã¥À» ÅëÇØ Àß ÀÌÇØÇÏ°Ô µÆ½À´Ï´Ù. ¸Ó½Å ·¯´×À» óÀ½ µµÀüÇϽô ºÐ¿¡°Ô´Â ÀÌ Ã¥ÀÌ Á» ¾î·Æ´Ù°í ´À³¥ ¼ö ÀÖ°ÚÁö¸¸ ¸¹Àº µµ¿òÀÌ µÉ °ÍÀÔ´Ï´Ù. ºòµ¥ÀÌÅÍ ºÐ¼®°ú ¸Ó½Å ·¯´×¿¡ ´ëÇÑ ¸¹Àº ³»¿ëÀ» Æ÷ÇÔÇÑ ¡®Àü°ú' °°Àº ÀÌ Ã¥ÀÌ ¿©·¯ºÐµé¿¡°Ôµµ Çö¾÷¿¡¼ Å« µµ¿òÀÌ µÇ¸é ÁÁ°Ú½À´Ï´Ù.
ÀÌ Ã¥Àº ¿ø¼¿Í ´Þ¸® ÃֽŠ2.3.2 ¹öÀüÀ¸·Î ÀÛ¼ºµÆ½À´Ï´Ù. ±âÁ¸ÀÇ ¿ø¼¿¡¼ Á¦°øÇÏ´Â ÄÚµåÀÇ ¿ÀŸ¿Í ȣȯ¼ºÀ» ¼öÁ¤ÇØ ¿Å±äÀÌÀÇ github ÀúÀå¼Ò(https://github.com/knight76/Scala-and-Spark-for-Big-Data-Analytics)¸¦ Á¦°øÇÏ°í ÀÖÀ¸´Ï, Âü°íÇϽñ⠹ٶø´Ï´Ù.
¸ñÂ÷
ÁöÀºÀÌ ¼Ò°³
±â¼ú °¨¼öÀÚ ¼Ò°³
¿Å±äÀÌ ¼Ò°³
¿Å±äÀÌÀÇ ¸»
µé¾î°¡¸ç
1Àå ½ºÄ®¶ó ¼Ò°³
2Àå °´Ã¼ÁöÇâ ¾ð¾î, ½ºÄ®¶ó
3Àå ÇÔ¼öÇü ÇÁ·Î±×·¡¹Ö °³³ä
4Àå Ä÷º¼Ç API
5Àå ½ºÆÄÅ©·Î ºòµ¥ÀÌÅÍ ´Ù·ç±â
6Àå ½ºÆÄÅ©·Î REPL°ú RDD ÀÛ¾÷
7Àå Ư¼ö RDD ¿¬»ê
8Àå ½ºÆÄÅ© SQL
9Àå ½ºÆÄÅ© ½ºÆ®¸®¹Ö
10Àå GraphX
11Àå ¸Ó½Å ·¯´× ÇнÀ: ½ºÆÄÅ© MLlib¿Í ML
12Àå °í±Þ ¸Ó½Å ·¯´× ¸ð¹ü »ç·Ê
13Àå ³ªÀÌºê º£ÀÌÁî
14Àå ½ºÆÄÅ© MLlibÀ¸·Î µ¥ÀÌÅÍ Å¬·¯½ºÅ͸µ
15Àå ½ºÆÄÅ© MLÀ» ÀÌ¿ëÇÑ ÅؽºÆ® ºÐ¼®
16Àå ½ºÆÄÅ© Æ©´×
17Àå Ŭ·¯½ºÅÍ¿¡ ½ºÆÄÅ© ¹èÆ÷
18Àå ½ºÆÄÅ© Å×½ºÆðú µð¹ö±ë
19Àå PySpark¿Í SparkR
ºÎ·Ï A Alluxio·Î ½ºÆÄÅ©ÀÇ Ã³¸® ¼º´É ³ôÀ̱â
ºÎ·Ï B ¾ÆÆÄÄ¡ Á¦Çø°¿¡¼ ´ëÈÇü µ¥ÀÌÅÍ ºÐ¼®
ã¾Æº¸±â
ÀúÀÚ¼Ò°³
»ý³â¿ùÀÏ | - |
---|
ÇØ´çÀÛ°¡¿¡ ´ëÇÑ ¼Ò°³°¡ ¾ø½À´Ï´Ù.
»ý³â¿ùÀÏ | - |
---|
ÇØ´çÀÛ°¡¿¡ ´ëÇÑ ¼Ò°³°¡ ¾ø½À´Ï´Ù.
ÁÖ°£·©Å·
´õº¸±â»óÇ°Á¤º¸Á¦°ø°í½Ã
À̺¥Æ® ±âȹÀü
Àü°øµµ¼/´ëÇб³Àç ºÐ¾ß¿¡¼ ¸¹Àº ȸ¿øÀÌ ±¸¸ÅÇÑ Ã¥
ÆǸÅÀÚÁ¤º¸
»óÈ£ |
(ÁÖ)±³º¸¹®°í |
---|---|
´ëÇ¥ÀÚ¸í |
¾Èº´Çö |
»ç¾÷ÀÚµî·Ï¹øÈ£ |
102-81-11670 |
¿¬¶ôó |
1544-1900 |
ÀüÀÚ¿ìÆíÁÖ¼Ò |
callcenter@kyobobook.co.kr |
Åë½ÅÆǸž÷½Å°í¹øÈ£ |
01-0653 |
¿µ¾÷¼ÒÀçÁö |
¼¿ïƯº°½Ã Á¾·Î±¸ Á¾·Î 1(Á¾·Î1°¡,±³º¸ºôµù) |
±³È¯/ȯºÒ
¹ÝÇ°/±³È¯ ¹æ¹ý |
¡®¸¶ÀÌÆäÀÌÁö > Ãë¼Ò/¹ÝÇ°/±³È¯/ȯºÒ¡¯ ¿¡¼ ½Åû ¶Ç´Â 1:1 ¹®ÀÇ °Ô½ÃÆÇ ¹× °í°´¼¾ÅÍ(1577-2555)¿¡¼ ½Åû °¡´É |
---|---|
¹ÝÇ°/±³È¯°¡´É ±â°£ |
º¯½É ¹ÝÇ°ÀÇ °æ¿ì Ãâ°í¿Ï·á ÈÄ 6ÀÏ(¿µ¾÷ÀÏ ±âÁØ) À̳»±îÁö¸¸ °¡´É |
¹ÝÇ°/±³È¯ ºñ¿ë |
º¯½É ȤÀº ±¸¸ÅÂø¿À·Î ÀÎÇÑ ¹ÝÇ°/±³È¯Àº ¹Ý¼Û·á °í°´ ºÎ´ã |
¹ÝÇ°/±³È¯ ºÒ°¡ »çÀ¯ |
·¼ÒºñÀÚÀÇ Ã¥ÀÓ ÀÖ´Â »çÀ¯·Î »óÇ° µîÀÌ ¼Õ½Ç ¶Ç´Â ÈÑ¼ÕµÈ °æ¿ì ·¼ÒºñÀÚÀÇ »ç¿ë, Æ÷Àå °³ºÀ¿¡ ÀÇÇØ »óÇ° µîÀÇ °¡Ä¡°¡ ÇöÀúÈ÷ °¨¼ÒÇÑ °æ¿ì ·º¹Á¦°¡ °¡´ÉÇÑ »óÇ° µîÀÇ Æ÷ÀåÀ» ÈѼÕÇÑ °æ¿ì ·½Ã°£ÀÇ °æ°ú¿¡ ÀÇÇØ ÀçÆǸŰ¡ °ï¶õÇÑ Á¤µµ·Î °¡Ä¡°¡ ÇöÀúÈ÷ °¨¼ÒÇÑ °æ¿ì ·ÀüÀÚ»ó°Å·¡ µî¿¡¼ÀÇ ¼ÒºñÀÚº¸È£¿¡ °üÇÑ ¹ý·üÀÌ Á¤ÇÏ´Â ¼ÒºñÀÚ Ã»¾àöȸ Á¦ÇÑ ³»¿ë¿¡ ÇØ´çµÇ´Â °æ¿ì |
»óÇ° Ç°Àý |
°ø±Þ»ç(ÃâÆÇ»ç) Àç°í »çÁ¤¿¡ ÀÇÇØ Ç°Àý/Áö¿¬µÉ ¼ö ÀÖÀ½ |
¼ÒºñÀÚ ÇÇÇغ¸»ó |
·»óÇ°ÀÇ ºÒ·®¿¡ ÀÇÇÑ ±³È¯, A/S, ȯºÒ, Ç°Áúº¸Áõ ¹× ÇÇÇغ¸»ó µî¿¡ °üÇÑ »çÇ×Àº¼ÒºñÀÚºÐÀïÇØ°á ±âÁØ (°øÁ¤°Å·¡À§¿øȸ °í½Ã)¿¡ ÁØÇÏ¿© ó¸®µÊ ·´ë±Ý ȯºÒ ¹× ȯºÒÁö¿¬¿¡ µû¸¥ ¹è»ó±Ý Áö±Þ Á¶°Ç, ÀýÂ÷ µîÀº ÀüÀÚ»ó°Å·¡ µî¿¡¼ÀǼҺñÀÚ º¸È£¿¡ °üÇÑ ¹ý·ü¿¡ µû¶ó ó¸®ÇÔ |
(ÁÖ)ÀÎÅÍÆÄÅ©Ä¿¸Ó½º´Â ȸ¿ø´ÔµéÀÇ ¾ÈÀü°Å·¡¸¦ À§ÇØ ±¸¸Å±Ý¾×, °áÁ¦¼ö´Ü¿¡ »ó°ü¾øÀÌ (ÁÖ)ÀÎÅÍÆÄÅ©Ä¿¸Ó½º¸¦ ÅëÇÑ ¸ðµç °Å·¡¿¡ ´ëÇÏ¿©
(ÁÖ)KGÀ̴Ͻýº°¡ Á¦°øÇÏ´Â ±¸¸Å¾ÈÀü¼ºñ½º¸¦ Àû¿ëÇÏ°í ÀÖ½À´Ï´Ù.
¹è¼Û¾È³»
±³º¸¹®°í »óÇ°Àº Åùè·Î ¹è¼ÛµÇ¸ç, Ãâ°í¿Ï·á 1~2Àϳ» »óÇ°À» ¹Þ¾Æ º¸½Ç ¼ö ÀÖ½À´Ï´Ù.
Ãâ°í°¡´É ½Ã°£ÀÌ ¼·Î ´Ù¸¥ »óÇ°À» ÇÔ²² ÁÖ¹®ÇÒ °æ¿ì Ãâ°í°¡´É ½Ã°£ÀÌ °¡Àå ±ä »óÇ°À» ±âÁØÀ¸·Î ¹è¼ÛµË´Ï´Ù.
±ººÎ´ë, ±³µµ¼Ò µî ƯÁ¤±â°üÀº ¿ìü±¹ Åù踸 ¹è¼Û°¡´ÉÇÕ´Ï´Ù.
¹è¼Ûºñ´Â ¾÷ü ¹è¼Ûºñ Á¤Ã¥¿¡ µû¸¨´Ï´Ù.