Tuesday, January 21, 2014
From Big Data to Disaster Response Workflow Management Systems
Towards a Model-Based Analysis of Place-Related Information in Disaster Response Workflows
http://www.iscramlive.org/ISCRAM2013/files/212.pdf
A Novel Architecture for Disaster Response Workflow Management Systems
http://www.iscramlive.org/ISCRAM2013/files/204.pdf
http://www.iscramlive.org/portal/iscram2013proceedings
http://www.iscramlive.org/portal/node/2236
Monday, January 20, 2014
Minimalism design for data analytic chart
“Perfection is achieved not when there is nothing more to add, but when there is nothing left to take away”
– Antoine de Saint-Exupery
Sunday, January 19, 2014
Vì sao các online publishers ở Vietnam nên học tập mô hình của Huffington Post
http://datajournalismhandbook.org/1.0/en/case_studies_6.html |
Một tí về Huffington Post: (http://en.wikipedia.org/wiki/The_Huffington_Post)
Foundation date | May 2005 |
---|---|
Headquarters | New York City, United States |
Founder(s) | Arianna Huffington (major) Kenneth Lerer Jonah Peretti Andrew Breitbart |
Key people | Arianna Huffington (editor-in-chief) Tim Armstrong (CEO) Roy Sekoff (editor) Anne Sinclair (French edition editor-in-chief) |
Employees | 200+ |
Parent | AOL |
Slogan(s) | "The Internet Newspaper: News, Blogs, Video, Community" |
Website | http://www.huffingtonpost.com/ |
Alexa rank | 68 (December 2013)[1] |
Type of site | Political weblog |
Registration | Optional |
Available in | English, French, Spanish, Italian, Japanese, German |
Launched | May 9, 2005 |
Current status |
=> Tóm lại xuất thân là các bloggers, post bài & tin có kiểm chứng cao (uy tín) , có 1 luợng độc giả lớn, đa dạng.
Chất luợng nguồn tin & ảnh huởng của blogger là yếu tố hàng đầu
Thắng giải Pulitzer Prize vì các bài phóng sự, thời sự về chiến tranh Irac
^ "Beyond The Battlefield: From A Decade Of War, An Endless Struggle For The Severely Wounded". The Huffington Post. October 10, 2011. Retrieved April 17, 2012.
Video blog là một thế mạnh, có studio như 1 đài truyền hình tư nhân
Vì là blogger nên rất nhạy với xu huớng của độc giả và nguồn tin rất đa dạng
Thursday, January 16, 2014
Palantir Technologies - bài học cho các Big Data startups
Tiếp theo của post PALANTIR BIG DATA TECHNOLOGIES - từ quỷ dữ đến thiên thần?
http://www.bigdatavietnam.org//2013/12/palantir-big-data-technologies-tu-quy.html
Palantir Technologies, Inc. is an American computer software and services company, specializing in US government customers, and since 2010, financial customers.
http://www.bigdatavietnam.org//2013/12/palantir-big-data-technologies-tu-quy.html
Palantir Technologies, Inc. is an American computer software and services company, specializing in US government customers, and since 2010, financial customers.
Type | Private |
---|---|
Founded | 2004 |
Founder(s) | Peter Thiel, Joe Lonsdale, Alex Karp, Stephen Cohen, Nathan Gettings |
Headquarters | Palo Alto, California |
Products | Palantir Gotham, Palantir Metropolis |
Employees | 1,200[1] |
Website | www.palantir.com |
=> CIA là khách hàng đầu tiên và lớn nhất
Sinh năm 1982, nhưng Joe Lonsdale đã tham gia sáng lập và thành công với Palantir Technologies, công ty công nghệ dữ liệu của Mỹ được định giá lên đến 9 tỉ USD vào tháng 12.2013. Anh cũng là người đồng sáng lập Formation 8, quỹ đầu tư mạo hiểm 448 triệu USD đang hoạt động tại Mỹ, Trung Quốc, Hàn Quốc và Singapore. Nhân dịp đầu năm mới, Joe Lonsdale đã đến thăm Việt Nam và chia sẻ với một số doanh nhân khởi nghiệp về bí quyết thành công của mình.
Anh thành lập Palantir Technologies từ ý tưởng nào?
Khi mới ra trường, tôi đã có cơ hội làm việc ở công ty cung cấp dịch vụ thanh toán trực tuyến PayPal. Trong thời gian đó, vấn đề lớn nhất mà công ty này gặp phải là nạn lừa đảo từ tội phạm công nghệ ở Đông Âu. Lúc đó, có khoảng 8 công ty hoạt động với mô hình tương tự PayPal và tất cả đều phá sản chỉ vì lý do này. Chúng tôi quyết tâm phải xử lý cho được vấn đề bằng cách đưa về những người giỏi nhất để xây dựng hệ thống xử lý dữ liệu đặc biệt giúp phát hiện rủi ro lừa đảo. Cuối cùng, PayPal đã giảm được đến 90% các trường hợp lừa đảo và bắt đầu có lãi trở lại.
Một sự trùng hợp: đó cũng là lúc mà sự kiện khủng bố 11.9 diễn ra ở Mỹ. Trong suốt quá trình xử lý tội phạm lừa đảo ở PayPal, chúng tôi đã có dịp tiếp xúc với cơ quan an ninh như FBI hay CIA và nhận thấy rằng họ không có công cụ nào để xử lý lượng thông tin khổng lồ thu được sau khi sự kiện 11.9 xảy ra. Khi đó, tôi nhận ra rằng mình phải có trách nhiệm hỗ trợ bằng sức mạnh của công nghệ và Palantir Technologies đã ra đời vì lý do này.
Năm 2002, giới công nghệ ở Thung lũng Silicon chỉ tập trung vào những sản phẩm dành cho người tiêu dùng, tiêu biểu là Facebook. Còn anh lại hướng đến khách hàng là các cơ quan chính phủ. Suy nghĩ của anh khi đó là gì?
Tôi tin rằng mình phải góp phần giúp ích cho đất nước. Thông qua công nghệ, chúng tôi giúp các đơn vị hành pháp xử lý thông tin tốt hơn, nhưng đồng thời cũng kiểm soát được cách mà họ sử dụng thông tin này. Ở phương Tây vấn đề bảo mật thông tin cá nhân rất được quan tâm. Vì vậy, chúng tôi giúp chính phủ đảm bảo an ninh nhưng vẫn phải tôn trọng sự riêng tư của người dân. Palantir Technologies được thành lập với mục tiêu như vậy.
Đội ngũ của Palantir Technologies đều là những người giỏi, có thể tự lập công ty riêng. Làm sao anh thuyết phục họ đồng lòng ở lại với công ty?
20 người đầu tiên của Palantir thực sự đều rất giỏi và họ hoàn toàn có thể tách ra để mở công ty riêng. Khi đó, tôi đã nói với họ rằng công ty này được thành lập với mục đích thế nào và có thể tiến bao xa nếu thành công. Tôi cho rằng mình cũng khá may mắn khi sản phẩm của chúng tôi đã giải quyết được vấn đề lớn nhất của Chính phủ Mỹ khi đó và điều đó đã truyền cảm hứng cho nhân viên Công ty. Hơn nữa, ở thời điểm mà nước Mỹ vừa bị tấn công, hầu như ai cũng cảm thấy có trách nhiệm phải đóng góp cho đất nước.
Palantir Technologies hoạt động hơn 9 năm và đã được định giá 9 tỉ USD. Yếu tố nào đem lại thành công này?
Đầu tiên chắc chắn phải là nhân sự giỏi. Ngoài ra, chúng tôi đã học được khá nhiều điều từ làn sóng sản phẩm tiêu dùng của Thung lũng Silicon như Facebook hay LinkedIn, trong đó quan trọng nhất là hiệu ứng mạng lưới và hiệu ứng nền tảng.
Một cách dễ hiểu, hiệu ứng mạng lưới xảy ra khi một nhóm người đang sử dụng một sản phẩm, người kế tiếp sẽ có xu hướng bắt chước sử dụng sản phẩm đó. Facebook tạo được hiệu ứng mạng lưới rất mạnh. Chúng ta sử dụng Facebook đơn giản vì bạn bè người thân đều đang dùng Facebook. Còn hiệu ứng nền tảng xảy ra khi các công ty khác bắt đầu phát triển sản phẩm dựa trên một nền tảng chung, ví dụ mối liên hệ giữa Facebook với các đơn vị phát triển ứng dụng và trò chơi trên mạng xã hội này.
Palantir Technologies thành công nhanh chóng cũng nhờ vào khả năng tạo ra hiệu ứng mạng lưới. Sản phẩm của chúng tôi được Chính phủ Mỹ sử dụng đầu tiên và thế là các quốc gia đồng minh cũng bắt đầu tìm đến, vì họ có nhu cầu chia sẻ dữ liệu bảo mật cho nhau. Đến nay, chính phủ của khoảng 20 quốc gia đã sử dụng sản phẩm của Palantir Technologies.
Với khách hàng là doanh nghiệp, chúng tôi bắt đầu phục vụ họ từ năm 2010. Vì họ cũng có nhu cầu chia sẻ dữ liệu với nhau và với các cơ quan chính phủ nên sản phẩm của chúng tôi tiếp tục có được thị trường mới. Lúc này, hiệu ứng nền tảng đã xảy ra khi các công ty công nghệ khác bắt đầu phát triển phần mềm phục vụ cho doanh nghiệp dựa trên nền của Palantir Technologies. Hiện đã có hơn 1.000 phần mềm được phát triển trên nền tảng của chúng tôi. Khi tạo được cả hai hiệu ứng nói trên và công ty trở thành cốt lõi của cả hệ sinh thái thì bạn đã thành công.
Quá trình tiếp cận các nhà đầu tư thế nào?
Palantir Technologies nhắm đến nhóm khách hàng chính phủ và doanh nghiệp. Nhưng chúng tôi cũng có thuận lợi là Peter Thiel, người đồng sáng lập Palantir Technologies, lúc đó đã khá nổi tiếng ở Mỹ và ông đã góp sức rất nhiều cho quá trình gọi vốn.
Có lẽ các bạn đều nghe nói đến mô hình khởi nghiệp tinh gọn, giúp tiết kiệm chi phí hơn khi thành lập và vận hành công ty mới. Tôi cho rằng không phải công ty khởi nghiệp nào cũng thực hiện được điều này, nhất là những đơn vị có sản phẩm hướng đến các khách hàng khó tính. Khách hàng mà Palantir Technologies đang phục vụ đòi hỏi chúng tôi phải có vốn lớn và người có kinh nghiệm như Peter Thiel.
Đã có lúc nào anh cảm thấy Palantir Technologies có thể sẽ gặp thất bại?
Ở Mỹ, Chính phủ thường có những hợp đồng gọi thầu dịch vụ công nghệ giá trị rất lớn, ví dụ như Bộ An ninh Nội địa có hợp đồng trị giá đến 3 tỉ USD để tích hợp toàn bộ thông tin của họ. Mỗi năm có thể có cả trăm hợp đồng như vậy. Khi đó, tuổi trẻ và tham vọng đã khiến chúng tôi tin rằng mình có thể tạo ra một sản phẩm mới mẻ có thể thay thế toàn bộ hệ thống công nghệ hiện hữu, qua đó giúp công ty thắng được những gói thầu đó. Tuy nhiên, dự án như vậy là quá lớn và Palantir đã suýt phá sản vì hết vốn trong quá trình thực hiện. Bây giờ tôi tin rằng đối với những công ty khởi nghiệp, cách hợp lý là phát triển từng bước và tinh chỉnh, phát triển sản phẩm dần thay vì nhảy vào làm ngay điều gì đó quá lớn.
Bài học nào là quan trọng nhất mà các công ty khởi nghiệp Việt Nam có thể học được từ Palantir Technologies?
Tôi tin là có những nguyên tắc mà các bạn luôn cần phải tránh dù là ở Việt Nam hay Mỹ. Trước hết, đừng cố tạo ra những sản phẩm mà mọi người đang đổ xô vào. Hãy tìm đến những ý tưởng độc đáo một chút. Có một xu hướng là nhiều công ty khởi nghiệp đã quá chú ý đến những sản phẩm dành cho người tiêu dùng kiểu như Facebook. Bạn khó mà tạo được hiệu ứng mạng lưới hay hiệu ứng nền tảng khi đã có quá nhiều ý tưởng giống nhau như vậy.
Kế đến, những người giỏi thường thích thể hiện mình bằng cách làm riêng. Thật ra, nếu tập hợp được những người giỏi, cùng nhau giải quyết những vấn đề thật sự quan trọng, giống như Palantir, thì công ty sẽ có khả năng thành công cao hơn nhiều. Nếu là tôi, tôi sẽ muốn trở thành một phần quan trọng trong một công ty thành công hơn là làm chủ một công ty làng nhàng.
Saturday, January 4, 2014
Real-time marketing with Open Source Technology Stack
Concepts about real-time marketing and use cases:
- http://en.wikipedia.org/wiki/Real-time_marketing
- http://blog.hubspot.com/blog/tabid/6307/bid/33696/7-Inspiring-Examples-of-Real-Time-Marketing-in-Action.aspx
- http://www.adweek.com/news-gallery/8-types-real-time-marketing-and-brands-got-it-right-152261#intro
- http://contentmarketinginstitute.com/2013/11/social-media-content-real-time-marketing/
- http://marketingland.com/real-time-marketing-the-use-cases-65509
- http://www.shoutlet.com/blog/2013/08/tweeting-in-real-time-six-steps-to-marketing-in-the-moment/
● Netty (http://netty.io/) a framework using reactive programming pattern for scaling HTTP system easier, by JBoss http://www.jboss.org
● Apache Kafka (http://kafka.apache.org/) a publish-subscribe messaging rethought as a distributed commit log, open sourced by Linkedin
● Storm (http://storm-project.net/) the framework for distributed realtime computation system, by Twitter
● Akka http://akka.io/ (Actor Model), a toolkit and runtime for building highly concurrent, distributed, and fault tolerant event-driven applications on the JVM.
● Redis (http://redis.io/) a advanced key-value in-memory NoSQL database, all fast statistical computations in here.
● OrientDB, an Open Source NoSQL DBMS with the features of both Document and Graph DBMSs for KPI Report Data Management http://pettergraff.blogspot.it/2014/01/getting-started-with-orientdb.html
● Groovy http://groovy.codehaus.org/ and Grails http://grails.org/ for scripting layer on JVM, ad-hoc query on Redis, and the front-end
● Hadoop ecosystem http://hadoop.apache.org/ : HDFS, Hive, HBase for batch processing
● RxJava https://github.com/Netflix/RxJava a library for composing asynchronous and event-based programs
● Hystrix https://github.com/Netflix/Hystrix : for Latency and Fault Tolerance for Distributed Systems
● NVD3 Reusable D3 Chart http://nvd3.org
- http://www.cs.iastate.edu/~patterbj/cs/Report_CS561.pdf => ideas for sample
- http://java.dzone.com/articles/flipping-coin-bayesian => write a small game
- http://www.cs.waikato.ac.nz/~eibe/pubs/Twitter-crc.pdf = > paper about how mining on stream data
Thursday, January 2, 2014
Processing Flows of Information: From BIG Data Stream to Complex Event Processing
- Analyzing network traffic in real-time to identify possible attacks ?
- Environmental monitoring applications, which process raw data coming from sensor networks to identify critical situations ?
- Applications performing on-line analysis of stock prices to identify trends and forecast future values ?
http://home.deib.polimi.it/margara/papers/survey.pdf
http://nguyentantrieu.info/blog/the-real-time-event-processing-open-source-stack/
Others:
http://lambda-architecture.net
http://kafka.apache.org/
http://sploutsql.com/architecture.html
http://prestodb.io/
Subscribe to:
Posts (Atom)
-
1. Programming Languages Python Tutorial - Python for Beginners https://www.youtube.com/watch?v=_uQrJ0TkZlc Java Tutorial for Beginners ht...
-
Một chút về lịch sử CRM & CDP Quản lý quan hệ khách hàng (CRM) đã trải qua một chặng đường dài. Từ những năm 1990, CRM đã phát triển t...